tailieunhanh - Báo cáo khoa học: "The Surprising Variance in Shortest-Derivation Parsing"

We investigate full-scale shortest-derivation parsing (SDP), wherein the parser selects an analysis built from the fewest number of training fragments. Shortest derivation parsing exhibits an unusual range of behaviors. At one extreme, in the fully unpruned case, it is neither fast nor accurate. At the other extreme, when pruned with a coarse unlexicalized PCFG, the shortest derivation criterion becomes both fast and surprisingly effective, rivaling more complex weighted-fragment approaches. | The Surprising Variance in Shortest-Derivation Parsing Mohit Bansal and Dan Klein Computer Science Division University of California Berkeley mbansal klein @ Abstract We investigate full-scale shortest-derivation parsing SDP wherein the parser selects an analysis built from the fewest number of training fragments. Shortest derivation parsing exhibits an unusual range of behaviors. At one extreme in the fully unpruned case it is neither fast nor accurate. At the other extreme when pruned with a coarse unlexical-ized PCFG the shortest derivation criterion becomes both fast and surprisingly effective rivaling more complex weighted-fragment approaches. Our analysis includes an investigation of tie-breaking and associated dynamic programs. At its best our parser achieves an accuracy of 87 F1 on the English WSJ task with minimal annotation and 90 F1 with richer annotation. 1 Introduction One guiding intuition in parsing and data-driven NLP more generally is that all else equal it is advantageous to memorize large fragments of training examples. Taken to the extreme this intuition suggests shortest derivation parsing SDP wherein a test sentence is analyzed in a way which uses as few training fragments as possible Bod 2000 Goodman 2003 . SDP certainly has appealing properties it is simple and parameter free - there need not even be an explicit lexicon. However SDP may be too simple to be competitive. In this paper we consider SDP in both its pure form and with several direct modifications finding a range of behaviors. In its pure form with no pruning or approximation SDP is neither fast nor accurate achieving less than 70 F1 on the English WSJ 720 task. Moreover basic tie-breaking variants and lexical augmentation are insufficient to achieve competitive On the other hand SDP is dramatically improved in both speed and accuracy when a simple unlexicalized PCFG is used for coarse-to-fine pruning and tie-breaking . On the English WSJ the coarse PCFG

• Báo cáo khoa học
• The Surprising Variance
• Shortest Derivation Parsing
• Mohit Bansal and Dan Klein
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball