tailieunhanh - Báo cáo khoa học: "Beyond Log-Linear Models: Boosted Minimum Error Rate Training for N-best Re-ranking"

Current re-ranking algorithms for machine translation rely on log-linear models, which have the potential problem of underfitting the training data. We present BoostedMERT, a novel boosting algorithm that uses Minimum Error Rate Training (MERT) as a weak learner and builds a re-ranker far more expressive than log-linear models. BoostedMERT is easy to implement, inherits the efficient optimization properties of MERT, and can quickly boost the BLEU score on N-best re-ranking tasks. | Beyond Log-Linear Models Boosted Minimum Error Rate Training for N-best Re-ranking Kevin Duh Dept. of Electrical Engineering University of Washington Seattle WA 98195 kevinduh@ Katrin Kirchhoff Dept. of Electrical Engineering University of Washington Seattle WA 98195 katrin@ Abstract Current re-ranking algorithms for machine translation rely on log-linear models which have the potential problem of underfitting the training data. We present BoostedMERT a novel boosting algorithm that uses Minimum Error Rate Training MERT as a weak learner and builds a re-ranker far more expressive than log-linear models. BoostedMERT is easy to implement inherits the efficient optimization properties of MERT and can quickly boost the BLEU score on N-best re-ranking tasks. In this paper we describe the general algorithm and present preliminary results on the IWSLT 2007 Arabic-English task. 1 Introduction N-best list re-ranking is an important component in many complex natural language processing applications . machine translation speech recognition parsing . Re-ranking the N-best lists generated from a 1st-pass decoder can be an effective approach because a additional knowledge features can be incorporated and b the search space is smaller . choose 1 out of N hypotheses . Despite these theoretical advantages we have often observed little gains in re-ranking machine translation MT N-best lists in practice. It has often been observed that N-best list rescoring only yields a moderate improvement over the first-pass output although the potential improvement as measured by the oracle-best hypothesis for each sentence is much Work supported by anNSF Graduate Research Fellowship. higher. This shows that hypothesis features are either not discriminative enough or that the reranking model is too weak This performance gap can be mainly attributed to two problems optimization error and modeling error see Figure 1 .1 Much work has focused on developing .

• Báo cáo khoa học
• Beyond Log Linear Models
• Boosted Minimum Error Rate Training
• N best Re ranking
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học