tailieunhanh - Báo cáo khoa học: "Incremental Joint Approach to Word Segmentation, POS Tagging, and Dependency Parsing in Chinese"

We propose the first joint model for word segmentation, POS tagging, and dependency parsing for Chinese. Based on an extension of the incremental joint model for POS tagging and dependency parsing (Hatori et al., 2011), we propose an efficient character-based decoding method that can combine features from state-of-the-art segmentation, POS tagging, and dependency parsing models. | Incremental Joint Approach to Word Segmentation POS Tagging and Dependency Parsing in Chinese Jun Hatori1 Takuya Matsuzaki2 Yusuke Miyao2 Jun ichi Tsujii3 University of Tokyo 7-3-1 Hongo Bunkyo Tokyo Japan 2National Institute of Informatics 2-1-2 Hitotsubashi Chiyoda Tokyo Japan 3Microsoft Research Asia 5 Danling Street Haidian District Beijing . China hatori@ takuya-matsuzaki yusuke @ jtsujii@ Abstract We propose the first joint model for word segmentation POS tagging and dependency parsing for Chinese. Based on an extension of the incremental joint model for POS tagging and dependency parsing Hatori et al. 2011 we propose an efficient character-based decoding method that can combine features from state-of-the-art segmentation POS tagging and dependency parsing models. We also describe our method to align comparable states in the beam and how we can combine features of different characteristics in our incremental framework. In experiments using the Chinese Treebank CTB we show that the accuracies of the three tasks can be improved significantly over the baseline models particularly by for POS tagging and for dependency parsing. We also perform comparison experiments with the partially joint models. 1 Introduction In processing natural languages that do not include delimiters . spaces between words word segmentation is the crucial first step that is necessary to perform virtually all NLP tasks. Furthermore the word-level information is often augmented with the POS tags which along with segmentation form the basic foundation of statistical NLP. Because the tasks of word segmentation and POS tagging have strong interactions many studies have been devoted to the task of joint word segmentation and POS tagging for languages such as Chinese . Kruengkrai et al. 2009 . This is because some of the segmentation ambiguities cannot be resolved without considering the surrounding grammatical constructions encoded in a .

• Báo cáo khoa học
• Incremental Joint Approach
• Word Segmentation
• POS Tagging
• Dependency Parsing
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball