tailieunhanh - Báo cáo khoa học: "Bilingual Lexicon Generation Using Non-Aligned Signatures"

Bilingual lexicons are fundamental resources. Modern automated lexicon generation methods usually require parallel corpora, which are not available for most language pairs. Lexicons can be generated using non-parallel corpora or a pivot language, but such lexicons are noisy. We present an algorithm for generating a high quality lexicon from a noisy one, which only requires an independent corpus for each language. Our algorithm introduces non-aligned signatures (NAS), a cross-lingual word context similarity score that avoids the over-constrained and inefficient nature of alignment-based methods. . | Bilingual Lexicon Generation Using Non-Aligned Signatures Daphna Shezaf Institute of Computer Science Hebrew University of Jerusalem Ari Rappoport Institute of Computer Science Hebrew University of Jerusalem arir@ Abstract Bilingual lexicons are fundamental resources. Modern automated lexicon generation methods usually require parallel corpora which are not available for most language pairs. Lexicons can be generated using non-parallel corpora or a pivot language but such lexicons are noisy. We present an algorithm for generating a high quality lexicon from a noisy one which only requires an independent corpus for each language. Our algorithm introduces non-aligned signatures NAS a cross-lingual word context similarity score that avoids the over-constrained and inefficient nature of alignment-based methods. We use NAS to eliminate incorrect translations from the generated lexicon. We evaluate our method by improving the quality of noisy Spanish-Hebrew lexicons generated from two pivot English lexicons. Our algorithm substantially outperforms other lexicon generation methods. 1 Introduction Bilingual lexicons are useful for both end users and computerized language processing tasks. They provide for each source language word or phrase a set of translations in the target language and thus they are a basic component of dictionaries which also include syntactic information sense division usage examples semantic fields usage guidelines etc. Traditionally when bilingual lexicons are not compiled manually they are extracted from parallel corpora. However for most language pairs parallel bilingual corpora either do not exist or are at best small and unrepresentative of the general language. Bilingual lexicons can be generated using nonparallel corpora or pivot language lexicons see Section 2 . However such lexicons are noisy. In this paper we present a method for generating a high quality lexicon given such a noisy one. Our .

• Báo cáo khoa học
• Bilingual Lexicon Generation
• Using Non Aligned Signatures
• Daphna Shezaf
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball