tailieunhanh - Báo cáo khoa học: "Exploiting N-best Hypotheses for SMT Self-Enhancement"

Word and n-gram posterior probabilities estimated on N-best hypotheses have been used to improve the performance of statistical machine translation (SMT) in a rescoring framework. In this paper, we extend the idea to estimate the posterior probabilities on N-best hypotheses for translation phrase-pairs, target language n-grams, and source word reorderings. The SMT system is self-enhanced with the posterior knowledge learned from Nbest hypotheses in a re-decoding framework. | Exploiting N-best Hypotheses for SMT Self-Enhancement Boxing Chen Min Zhang Aiti Aw and Haizhou Li Department of Human Language Technology Institute for Infocomm Research 21 Heng Mui Keng Terrace 119613 Singapore bxchen mzhang aaiti hli @ Abstract Word and n-gram posterior probabilities estimated on N-best hypotheses have been used to improve the performance of statistical machine translation SMT in a rescoring framework. In this paper we extend the idea to estimate the posterior probabilities on N-best hypotheses for translation phrase-pairs target language n-grams and source word reorderings. The SMT system is self-enhanced with the posterior knowledge learned from N-best hypotheses in a re-decoding framework. Experiments on NIST Chinese-to-English task show performance improvements for all the strategies. Moreover the combination of the three strategies achieves further improvements and outperforms the baseline by BLEU score on NIST-2003 set and on NIST-2005 set respectively. 1 Introduction State-of-the-art Statistical Machine Translation SMT systems usually adopt a two-pass search strategy. In the first pass a decoding algorithm is applied to generate an N-best list of translation hypotheses while in the second pass the final translation is selected by rescoring and re-ranking the N-best hypotheses through additional feature functions. In this framework the N-best hypotheses serve as the candidates for the final translation selection in the second pass. These N-best hypotheses can also provide useful feedback to the MT system as the first decoding has discarded many undesirable translation candidates. Thus the knowledge captured in the N-best hypotheses such as posterior probabilities for words n-grams phrase-pairs and source word re orderings etc. is more compatible with the source sentences and thus could potentially be used to improve the translation performance. Word posterior probabilities estimated from the N-best hypotheses .

• Báo cáo khoa học
• Exploiting N best Hypotheses
• SMT Self Enhancement
• Boxing Chen
• Min Zhang
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học