tailieunhanh - Báo cáo khoa học: "A Generic Sentence Trimmer with CRFs"

The paper presents a novel sentence trimmer in Japanese, which combines a non-statistical yet generic tree generation model and Conditional Random Fields (CRFs), to address improving the grammaticality of compression while retaining its relevance. Experiments found that the present approach outperforms in grammaticality and in relevance a dependency-centric approach (Oguro et al., 2000; Morooka et al., 2004; Yamagata et al., 2006; Fukutomi et al., 2007) − the only line of work in prior literature (on Japanese compression) we are aware of that allows replication and permits a direct comparison. . | A Generic Sentence Trimmer with CRFs Tadashi Nomoto National Institute of Japanese Literature 10-3 Midori Tachikawa Tokyo 190-0014 Japan nomoto@ Abstract The paper presents a novel sentence trimmer in Japanese which combines a non-statistical yet generic tree generation model and Conditional Random Fields CRFs to address improving the grammaticality of compression while retaining its relevance. Experiments found that the present approach outperforms in grammaticality and in relevance a dependency-centric approach Oguro et al. 2000 Morooka et al. 2004 Yamagata et al. 2006 Fukutomi et al. 2007 - the only line of work in prior literature on Japanese compression we are aware of that allows replication and permits a direct comparison. 1 Introduction For better or worse much of prior work on sentence compression Riezler et al. 2003 McDonald 2006 Turner and Charniak 2005 turned to a single corpus developed by Knight and Marcu 2002 K M henceforth for evaluating their approaches. The K M corpus is a moderately sized corpus consisting of 1 087 pairs of sentence and compression which account for about 2 of a Ziff-Davis collection from which it was derived. Despite its limited scale prior work in sentence compression relied heavily on this particular corpus for establishing results Turner and Charniak 2005 McDonald 2006 Clarke and Lapata 2006 Galley and McKeown 2007 . It was not until recently that researchers started to turn attention to an alternative approach which does not require supervised data Turner and Charniak 2005 . Our approach is broadly in line with prior work Jing 2000 Dorr et al. 2003 Riezler et al. 2003 Clarke and Lapata 2006 in that we make use of some form of syntactic knowledge to constrain compressions we generate. What sets this work apart from them however is a novel use we make of Conditional Random Fields CRFs to select among possible compressions Lafferty et al. 2001 Sutton and McCallum 2006 . An obvious benefit of using CRFs for sentence .

• Báo cáo khoa học
• A Generic Sentence Trimmer with CRFs
• Tadashi Nomoto
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học