tailieunhanh - Báo cáo khoa học: "Improving Statistical Machine Translation with Monolingual Collocation"

This paper proposes to use monolingual collocations to improve Statistical Machine Translation (SMT). We make use of the collocation probabilities, which are estimated from monolingual corpora, in two aspects, namely improving word alignment for various kinds of SMT systems and improving phrase table for phrase-based SMT. The experimental results show that our method improves the performance of both word alignment and translation quality significantly. | Improving Statistical Machine Translation with Monolingual Collocation Zhanyi Liu1 Haifeng Wang2 Hua Wu2 Sheng Li1 1Harbin Institute of Technology Harbin China Inc. Beijing China zhanyiliu@ wanghaifeng wu_hua @ lisheng@ Abstract This paper proposes to use monolingual collocations to improve Statistical Machine Translation SMT . We make use of the collocation probabilities which are estimated from monolingual corpora in two aspects namely improving word alignment for various kinds of SMT systems and improving phrase table for phrase-based SMT. The experimental results show that our method improves the performance of both word alignment and translation quality significantly. As compared to baseline systems we achieve absolute improvements of BLEU score on a phrase-based SMT system and BLEU score on a parsing-based SMT system. 1 Introduction Statistical bilingual word alignment Brown et al. 1993 is the base of most SMT systems. As compared to single-word alignment multi-word alignment is more difficult to be identified. Although many methods were proposed to improve the quality of word alignments Wu 1997 Och and Ney 2000 Marcu and Wong 2002 Cherry and Lin 2003 Liu et al. 2005 Huang 2009 the correlation of the words in multi-word alignments is not fully considered. In phrase-based SMT Koehn et al. 2003 the phrase boundary is usually determined based on the bi-directional word alignments. But as far as we know few previous studies exploit the collocation relations of the words in a phrase. Some This work was partially done at Toshiba China Research and Development Center. researches used soft syntactic constraints to predict whether source phrase can be translated together Marton and Resnik 2008 Xiong et al. 2009 . However the constraints were learned from the parsed corpus which is not available for many languages. In this paper we propose to use monolingual collocations to improve SMT. We first identify potentially .

• Báo cáo khoa học
• Improving Statistical Machine Translation
• Monolingual Collocation
• Zhanyi Liu
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Improving Pronoun Translation
• Statistical Machine Translation
• Liane Guillou
• scientific reports
• model language
• process natural language
• Improving Arabic to English Statistical Machine
• Translation by Reordering
• Post verbal Subjects for Alignment
• Phrase Linguistic Classification
• Generalization
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball