tailieunhanh - Báo cáo khoa học: "Clustering Comparable Corpora For Bilingual Lexicon Extraction"

We study in this paper the problem of enhancing the comparability of bilingual corpora in order to improve the quality of bilingual lexicons extracted from comparable corpora. We introduce a clustering-based approach for enhancing corpus comparability which exploits the homogeneity feature of the corpus, and finally preserves most of the vocabulary of the original corpus. | Clustering Comparable Corpora For Bilingual Lexicon Extraction Bo Li Eric Gaussier UJF-Grenoble 1 CNRS France LIG UMR 5217 Akiko Aizawa National Institute of Informatics Tokyo Japan aizawa@ Abstract We study in this paper the problem of enhancing the comparability of bilingual corpora in order to improve the quality of bilingual lexicons extracted from comparable corpora. We introduce a clustering-based approach for enhancing corpus comparability which exploits the homogeneity feature of the corpus and finally preserves most of the vocabulary of the original corpus. Our experiments illustrate the well-foundedness of this method and show that the bilingual lexicons obtained from the homogeneous corpus are of better quality than the lexicons obtained with previous approaches. 1 Introduction Bilingual lexicons are an important resource in multilingual natural language processing tasks such as statistical machine translation Och and Ney 2003 and cross-language information retrieval Ballesteros and Croft 1997 . Because it is expensive to manually build bilingual lexicons adapted to different domains researchers have tried to automatically extract bilingual lexicons from various corpora. Compared with parallel corpora it is much easier to build high-volume comparable corpora . corpora consisting of documents in different languages covering overlapping information. Several studies have focused on the extraction of bilingual lexicons from comparable corpora Fung and McKeown 1997 Fung and Yee 1998 Rapp 1999 Dejean et al. 2002 Gaussier et al. 2004 Robitaille et al. 2006 Morin et al. 2007 Garera et al. 2009 473 Yu and Tsujii 2009 Shezaf and Rappoport 2010 . The basic assumption behind most studies on lexicon extraction from comparable corpora is a distributional hypothesis stating that words which are translation of each other are likely to appear in similar context across languages. On top of this hypothesis researchers have .

• Báo cáo khoa học
• Clustering Comparable Corpora
• Bilingual Lexicon Extraction
• Bo Li
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball