tailieunhanh - Báo cáo khoa học: "Compositional Matrix-Space Models of Language"

We propose CMSMs, a novel type of generic compositional models for syntactic and semantic aspects of natural language, based on matrix multiplication. We argue for the structural and cognitive plausibility of this model and show that it is able to cover and combine various common compositional NLP approaches ranging from statistical word space models to symbolic grammar formalisms. | Compositional Matrix-Space Models of Language Sebastian Rudolph Karlsruhe Institute of Technology Karlsruhe Germany rudolph@ Eugenie Giesbrecht FZI Forschungszentrum Informatik Karlsuhe Germany giesbrecht@ Abstract We propose CMSMs a novel type of generic compositional models for syntactic and semantic aspects of natural language based on matrix multiplication. We argue for the structural and cognitive plausibility of this model and show that it is able to cover and combine various common compositional NLP approaches ranging from statistical word space models to symbolic grammar formalisms. 1 Introduction In computational linguistics and information retrieval Vector Space Models Salton et al. 1975 and its variations - such as Word Space Models Schutze 1993 Hyperspace Analogue to Language Lund and Burgess 1996 or Latent Semantic Analysis Deerwester et al. 1990 - have become a mainstream paradigm for text representation. Vector Space Models VSMs have been empirically justified by results from cognitive science Gardenfors 2000 . They embody the distributional hypothesis of meaning Firth 1957 according to which the meaning of words is defined by contexts in which they co- occur. Depending on the specific model employed these contexts can be either local the co-occurring words or global a sentence or a paragraph or the whole document . Indeed VSMs proved to perform well in a number of tasks requiring computation of semantic relatedness between words such as synonymy identification Landauer and Dumais 1997 automatic thesaurus construction Grefenstette 1994 semantic priming and word sense disambiguation Padó and Lapata 2007 . Until recently little attention has been paid to the task of modeling more complex conceptual structures with such models which constitutes a crucial barrier for semantic vector models on the way to model language Widdows 2008 . An emerging area of research receiving more and more attention among the advocates of distributional models .

• Báo cáo khoa học
• Compositional Matrix Space
• Models of Language
• Long Papers
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball