tailieunhanh - Báo cáo khoa học: "Adaptive Chinese Word Segmentation"

For example, speech recogniThis paper presents a Chinese word segmentation system which can adapt to different tion systems prefer “longer words” to achieve domains and standards. We first present a stahigher accuracy whereas information retrieval tistical framework where domain-specific systems prefer “shorter words” to obtain higher words are identified in a unified approach to recall rates, etc. (Wu, 2003). | Adaptive Chinese Word Segmentation1 Jianfeng Gao Andi Wu Mu Li Chang-Ning Huang Hongqiao Li Xinsong Xia Haowei Qin Microsoft Research. jfgao andiwu muli cnhuang @ Beijing Institute of Technology Beijing. lhqtxm@ Peking University Beijing. xia_xinsong@ Shanghai Jiaotong university Shanghai. haoweiqin@ Abstract This paper presents a Chinese word segmentation system which can adapt to different domains and standards. We first present a statistical framework where domain-specific words are identified in a unified approach to word segmentation based on linear models. We explore several features and describe how to create training data by sampling. We then describe a transformation-based learning method used to adapt our system to different word segmentation standards. Evaluation of the proposed system on five test sets with different standards shows that the system achieves state- of-the-art performance on all of them. 1 Introduction Chinese word segmentation has been a longstanding research topic in Chinese language processing. Recent development in this field shows that in addition to ambiguity resolution and unknown word detection the usefulness of a Chinese word segmenter also depends crucially on its ability to adapt to different domains of texts and different segmentation standards. The need of adaptation involves two research issues that we will address in this paper. The first is new word detection. Different domains applications may have different vocabularies which contain new words terms that are not available in a general dictionary. In this paper new words refer to OOV words other than named entities factoids and morphologically derived words. These words are mostly domain specific terms . @ cellular and time-sensitive political social or cultural terms . Hffi Three Links @ SARS . The second issue concerns the customizable display of word segmentation. Different Chinese NLP-enabled applications may have .

• Báo cáo khoa học
• Adaptive Chinese Word Segmentation
• Jianfeng Gao
• Long Papers
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học