tailieunhanh - Báo cáo khoa học: "Translation Model Adaptation for Statistical Machine Translation with Monolingual Topic Information"

To adapt a translation model trained from the data in one domain to another, previous works paid more attention to the studies of parallel corpus while ignoring the in-domain monolingual corpora which can be obtained more easily. In this paper, we propose a novel approach for translation model adaptation by utilizing in-domain monolingual topic information instead of the in-domain bilingual corpora, which incorporates the topic information into translation probability estimation. | Translation Model Adaptation for Statistical Machine Translation with Monolingual Topic Information Jinsong Su1 2 Hua Wu3 Haifeng Wang3 Yidong Chen1 Xiaodong Shi1 Huailin Dong1 and Qun Liu2 Xiamen University Xiamen China1 Institute of Computing Technology Chinese Academy of Sciences Beijing China2 Baidu Inc. Beijing China3 jssu ydchen mandel hldong @ w _hua wanghaifeng @ liuqun@ Abstract To adapt a translation model trained from the data in one domain to another previous works paid more attention to the studies of parallel corpus while ignoring the in-domain monolingual corpora which can be obtained more easily. In this paper we propose a novel approach for translation model adaptation by utilizing in-domain monolingual topic information instead of the in-domain bilingual corpora which incorporates the topic information into translation probability estimation. Our method establishes the relationship between the out-of-domain bilingual corpus and the in-domain monolingual corpora via topic mapping and phrase-topic distribution probability estimation from in-domain monolingual corpora. Experimental result on the NIST Chinese-English translation task shows that our approach significantly outperforms the baseline system. 1 Introduction In recent years statistical machine translation SMT has been rapidly developing with more and more novel translation models being proposed and put into practice Koehn et al. 2003 Och and Ney 2004 Galley et al. 2006 Liu et al. 2006 Chiang 2007 Chiang 2010 . However similar to other natural language processing NLP tasks SMT systems often suffer from domain adaptation problem during practical applications. The simple reason is that the underlying statistical models always tend to closely Part of this work was done during the first author s internship at Baidu. 459 approximate the empirical distributions of the training data which typically consist of bilingual sentences and monolingual target language sentences.

• Báo cáo khoa học
• Translation Model Adaptation
• Statistical Machine Translation
• Monolingual Topic Information
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Perplexity Minimization
• Translation Model Domain Adaptation
• scientific reports
• model language
• process natural language
• Adaptation of Statistical Machine Translation Model
• Cross Lingual Information Retrieval
• Service Context
• Topic Models
• Dynamic Translation Model Adaptation
• Vladimir Eidelman
• Cutting the Long Tail
• Hybrid Language Models
• Translation Style Adaptation
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball