tailieunhanh - Báo cáo khoa học: "Exploiting Bilingual Information to Improve Web Search"

Web search quality can vary widely across languages, even for the same information need. We propose to exploit this variation in quality by learning a ranking function on bilingual queries: queries that appear in query logs for two languages but represent equivalent search interests. For a given bilingual query, along with corresponding monolingual query log and monolingual ranking, we generate a ranking on pairs of documents, one from each language. Then we learn a linear ranking function which exploits bilingual features on pairs of documents, as well as standard monolingual features. . | Exploiting Bilingual Information to Improve Web Search Wei Gao1 John Blitzer2 Ming Zhou3 and Kam-Fai Wong1 1The Chinese University of Hong Kong Shatin . Hong Kong China wgao kfwong @ 2Computer Science Division University of California at Berkeley CA 94720-1776 USA blitzer@ 3Microsoft Research Asia Beijing 100190 China mingzhou@ Abstract Web search quality can vary widely across languages even for the same information need. We propose to exploit this variation in quality by learning a ranking function on bilingual queries queries that appear in query logs for two languages but represent equivalent search interests. For a given bilingual query along with corresponding monolingual query log and monolingual ranking we generate a ranking on pairs of documents one from each language. Then we learn a linear ranking function which exploits bilingual features on pairs of documents as well as standard monolingual features. Finally we show how to reconstruct monolingual ranking from a learned bilingual ranking. Using publicly available Chinese and English query logs we demonstrate for both languages that our ranking technique exploiting bilingual data leads to significant improvements over a state-of-the-art monolingual ranking algorithm. 1 Introduction Web search quality can vary widely across languages even for a single query and search engine. For example we might expect that ranking search results for the query ft ft w ft Thomas Hobbes to be more difficult in Chinese than it is in English even while holding the basic ranking function constant. At the same time ranking search results for the query Han Feizi ftft is likely to be harder in English than in Chinese. A large portion of web queries have such properties that they are originated in a language different from the one they are searched. This variance in problem difficulty across languages is not unique to web search it appears in a wide range of natural language processing

• Báo cáo khoa học
• Exploiting Bilingual Information
• Improve Web Search
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học