tailieunhanh - Báo cáo khoa học: "Detecting Errors in Discontinuous Structural Annotation"

Consistency of corpus annotation is an essential property for the many uses of annotated corpora in computational and theoretical linguistics. While some research addresses the detection of inconsistencies in positional annotation (., partof-speech) and continuous structural annotation (., syntactic constituency), no approach has yet been developed for automatically detecting annotation errors in discontinuous structural annotation. This is significant since the annotation of potentially discontinuous stretches of material is increasingly relevant, from treebanks for free-word order languages to semantic and discourse annotation. . | Detecting Errors in Discontinuous Structural Annotation Markus Dickinson Department of Linguistics The Ohio State University dickinso@ W. Detmar Meurers Department of Linguistics The Ohio State University dm@ Abstract Consistency of corpus annotation is an essential property for the many uses of annotated corpora in computational and theoretical linguistics. While some research addresses the detection of inconsistencies in positional annotation . part-of-speech and continuous structural annotation . syntactic constituency no approach has yet been developed for automatically detecting annotation errors in discontinuous structural annotation. This is significant since the annotation of potentially discontinuous stretches of material is increasingly relevant from treebanks for free-word order languages to semantic and discourse annotation. In this paper we discuss how the variation n-gram error detection approach Dickinson and Meurers 2003a can be extended to discontinuous structural annotation. We exemplify the approach by showing how it successfully detects errors in the syntactic annotation of the German TIGER corpus Brants et al. 2002 . 1 Introduction Annotated corpora have at least two kinds of uses firstly as training material and as gold standard testing material for the development of tools in computational linguistics and secondly as a source of data for theoretical linguists searching for analytically relevant language patterns. Annotation errors and why they are a problem The high quality annotation present in gold standard corpora is generally the result of a manual or semi-automatic mark-up process. The annotation thus can contain annotation errors from automatic pre- processes human post-editing or human annotation. The presence of errors creates problems for both computational and theoretical linguistic uses from unreliable training and evaluation of natural language processing technology . van Halteren 2000 Kveton and .

• Báo cáo khoa học
• Detecting Errors
• Discontinuous Structural Annotation
• Markus Dickinson
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học