tailieunhanh - Báo cáo khoa học: "Diversify and Combine: Improving Word Alignment for Machine Translation on Low-Resource Languages"

We present a novel method to improve word alignment quality and eventually the translation performance by producing and combining complementary word alignments for low-resource languages. Instead of focusing on the improvement of a single set of word alignments, we generate multiple sets of diversified alignments based on different motivations, such as linguistic knowledge, morphology and heuristics. | Diversify and Combine Improving Word Alignment for Machine Translation on Low-Resource Languages Bing Xiang Yonggang Deng and Bowen Zhou IBM T. J. Watson Research Center Yorktown Heights NY 10598 bxiang ydeng zhou @ Abstract We present a novel method to improve word alignment quality and eventually the translation performance by producing and combining complementary word alignments for low-resource languages. Instead of focusing on the improvement of a single set of word alignments we generate multiple sets of diversified alignments based on different motivations such as linguistic knowledge morphology and heuristics. We demonstrate this approach on an English-to-Pashto translation task by combining the alignments obtained from syntactic reordering stemming and partial words. The combined alignment outperforms the baseline alignment with significantly higher F-scores and better translation performance. 1 Introduction Word alignment usually serves as the starting point and foundation for a statistical machine translation SMT system. It has received a significant amount of research over the years notably in Brown et al. 1993 Ittycheriah and Roukos 2005 Fraser and Marcu 2007 Hermjakob 2009 . They all focused on the improvement of word alignment models. In this work we leverage existing aligners and generate multiple sets of word alignments based on complementary information then combine them to get the final alignment for phrase training. The resource required for this approach is little compared to what is needed to build a reasonable discriminative alignment model for example. This makes the approach especially appealing for SMT on low-resource languages. Most of the research on alignment combination in the past has focused on how to combine the alignments from two different directions source-to-target and target-to-source. Usually people start from the intersection of two sets of alignments and gradually add links in the union based on certain heuristics

• Báo cáo khoa học
• Diversify and Combine
• Improving Word Alignment
• Machine Translation
• Low Resource Languages
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball