tailieunhanh - Báo cáo khoa học: "Paraphrase Recognition Using Machine Learning to Combine Similarity Measures"

This paper presents three methods that can be used to recognize paraphrases. They all employ string similarity measures applied to shallow abstractions of the input sentences, and a Maximum Entropy classifier to learn how to combine the resulting features. Two of the methods also exploit WordNet to detect synonyms and one of them also exploits a dependency parser. We experiment on two datasets, the MSR paraphrasing corpus and a dataset that we automatically created from the MTC corpus. Our system achieves state of the art or better results. . | Paraphrase Recognition Using Machine Learning to Combine Similarity Measures Prodromos Malakasiotis Department of Informatics Athens University of Economics and Business Patission 76 GR-104 34 Athens Greece Abstract This paper presents three methods that can be used to recognize paraphrases. They all employ string similarity measures applied to shallow abstractions of the input sentences and a Maximum Entropy classifier to learn how to combine the resulting features. Two of the methods also exploit WordNet to detect synonyms and one of them also exploits a dependency parser. We experiment on two datasets the MSR paraphrasing corpus and a dataset that we automatically created from the MTC corpus. Our system achieves state of the art or better results. 1 Introduction Recognizing or generating semantically equivalent phrases is of significant importance in many natural language applications. In question answering for example a question may be phrased differently than in a document collection . Who is the author of War and Peace vs. Leo Tolstoy is the writer of War and Peace. and taking such variations into account can improve system performance significantly Harabagiu et al. 2003 Harabagiu and Hickl 2006 . A paraphrase generator meaning a module that produces new phrases or patterns that are semantically equivalent or almost equivalant to a given input phrase or pattern . X is the writer of Y o X wrote Y o Y was written by X o X is the author of Y or X produces Y o X manufactures Y o X is the manufacturer of Y can be used to produce alternative phrasings of the question before matching it against a document collection. Unlike paraphrase generators paraphrase recognizers decide whether or not two given phrases or patterns are paraphrases possibly by generalizing over many different training pairs of phrases. Paraphrase recognizers can be embedded in paraphrase generators to filter out erroneous generated paraphrases but they are also useful on their own. In .

• Báo cáo khoa học
• Paraphrase Recognition
• Machine Learning
• Combine Similarity Measures
• báo cáo khoa học
• báo cáo ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Paraphrase Identification
• Probabilistic Quasi Synchronous Recognition
• Dipanjan Das and Noah A
• Smith
• Chutima Boonthum
• Long Papers
• mô hình ngôn ngữ
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học