tailieunhanh - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 8 - Viện Công nghệ Thông tin và Truyền thông

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural language processing): Bài 8 cung cấp cho học viên những nội dung về: hệ hỏi đáp (Question Answering); viết lại câu hỏi – trọng số; so khớp mẫu bề mặt (Ravichandran and Hovy, ISI); hệ thống phức tạp NLP – Pasca & Harabagiu; thuật toán lựa chọn từ khóa; . Mời các bạn cùng tham khảo chi tiết nội dung bài giảng! | Hệ hỏi đáp Question Answering Viện CNTT amp TT Trường ĐHBKHN 1 Hệ hỏi đáp Lấy ý tưởng từ hệ tìm kiếm IR find relevant documents but we want answers from textbases QA đưa ra câu hỏi ngắn có thể kèm theo bằng chứng 2 Một số câu hỏi đáp từ tập TREC Who is the author of the book The Iron Lady A Biography of Margaret Thatcher What was the monetary value of the Nobel Peace Prize in 1989 What does the Peugeot company manufacture How much did Mercury spend on advertising in 1993 Why did David Koresh ask the FBI for a word processor 3 Một số câu hỏi của con người Từ tập query log của AltaVista 1990s Who invented surf music How to make stink bombs Which english translation of the bible is used in official catholic liturgies Từ tập query log của Excite 12 1999 How can i find someone in Texas Where can i find information on puritan religion What vacuum cleaner does Consumers Guide recommend 4 Một số mẫu từ web LCC http demos question_answering AnswerBus is an open-domain question answering system EasyAsk AnswerLogic AnswerFriend Start Quasm Mulder Webclopedia TextMap etc. Google 5 Các cách tiếp cận Có bộ dữ liệu QA cho trước Đo độ tương đồng câu Lấy câu trả lời của câu hỏi tương đồng nhất VD AskJeeves Huấn luyện sử dụng học sâu để dự đoán câu trả lời Không có bộ dữ liệu QA có CSDL hoặc CSTT Phân tích câu hỏi sâu so khớp mẫu Tìm câu trả lời tra cứu CSDL so khớp mẫu suy diễn VD TextMap AskMSR LCC 6 AskJeeves một ví dụ nhân tạo về hệ thống QA thực hiện so khớp mẫu để khớp câu hỏi với câu trả lời từ tập các câu QA có sẵn Nếu có đưa ra câu trả lời do con người tạo ra Nếu không trả về kết quả giống hệ thống tìm kiếm 1 hệ thống tầm trung tiềm năng nhưng sử dụng ít kỹ thuật trong NLP 7 Các hệ thống đạt kết quả cao nhất có thể trả lời 70 các câu hỏi Cách tiếp cận Sử dụng nguồn tri thức các kỹ thuật NLP Harabagiu Moldovan et UTD LCC AskMRS tiếp cận nông Hệ thống tầm trung sử dụng tập lớn các mẫu ISI 11 AskMSR shallow .