tailieunhanh - Báo cáo khoa học: "Using Mutual Information to Resolve Query Translation Ambiguities and Query Term Weighting"

An easy way of translating queries in one language to the other for cross-language information retrieval (IR) is to use a simple bilingual dictionary. Because of the generalpurpose nature of such dictionaries, however, this simple method yields a severe translation ambiguity problem. This paper describes the degree to which this problem arises in Korean-English cross-language IR and suggests a relatively simple yet effective method for disambiguation using mutual information statistics obtained only from the target document collection. . | Using Mutual Information to Resolve Query Translation Ambiguities and Query Term Weighting 1 Myung-Gil Jang 2 Sung Hyon Myaeng and 1 Se Young Park 1 Dept of Knowledge Information Electronics and Telecommunications Research Institute 161 Kajong-Dong Yusong-Gu Taejon Korea 305-350 mgjang sypark @ Abstract An easy way of translating queries in one language to the other for cross-language information retrieval IR is to use a simple bilingual dictionary. Because of the general-purpose nature of such dictionaries however this simple method yields a severe translation ambiguity problem. This paper describes the degree to which this problem arises in Korean-English cross-language IR and suggests a relatively simple yet effective method for disambiguation using mutual information statistics obtained only from the target document collection. In this method mutual information is used not only to select the best candidate but also to assign a weight to query terms in the target language. Our experimental results based on the TREC 6 collection shows that this method can achieve up to 85 of the monolingual retrieval case and 96 of the manual disambiguation case. Introduction Cross-language information retrieval IR enables a user to retrieve documents written in diverse languages using queries expressed in his or her own language. For cross-language IR either queries or documents are translated to overcome the language differences. Although it is possible to apply a high-quality machine translation system for documents as in Oard Hackett 1997 query translation has emerged as a more popular method because it is much simpler and more economical compared to document translation. Query translation can be 2 Dept of Computer Science Chungnam National University 220 Gung-Dong Yusong-Gu Taejon Korea 305-764 shmyaeng @ .kr done in one or more of the three approaches a dictionary-based approach a thesaurus-based approach or a corpus-based approach. There are three

• Báo cáo khoa học
• Using Mutual Information
• Resolve Query Translation Ambiguities
• Query Term Weighting
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học