tailieunhanh - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 8 - Lê Thanh Hương

Phản hồi thông tin (Information Retrieval - IR) là việc tìm các tài liệu phi cấu trúc (thường là văn bản) thỏa điều kiện tìm kiếm từ một kho dữ liệu lớn (thường được lưu trong máy tính). Chương này sẽ trình bày một số kiến thức cơ bản về phản hồi thông tin trong quá trình xử lý ngôn ngữ tự nhiên. . | Phản hồi thông tin Phản hồi thông tin Lê Thanh Hương Bộ môn Hệ thống thông tin Viện CNTT&TT Phản hồi thông tin (Information Retrieval - IR) là việc tìm các tài liệu phi cấu trúc (thường là văn bản) thỏa điều kiện tìm kiếm từ một kho dữ liệu lớn (thường được lưu trong máy tính) 2 1 Các vấn đề Các hệ thống dựa trên từ khóa tập các từ khóa có khả năng xuất hiện trong tài liệu (vd., JFK, assasination) Các phép toán AND OR: AND(Kennedy, conspiracy, OR(assasination, murder)) or AND(OR(Kennedy,JFK), OR(conspiracy, plot), OR(assasination,assasinated,assasinate,murder, murdered,kill,killed) Đa nghĩa: 1 từ - n nghĩa Đồng nghĩa: n từ - 1 nghĩa Kích thước: các hệ thống ố IR phải có khả năng xử lý tập ngữ liệu cỡ ~Gb Độ phủ: Các hệ thống IR phải có khả năng xử lý câu truy vấn thuộc bất kỳ lĩnh vực nào 3 Lấy từ gốc Từ dừng Gắn các thuật ngữ trong câu truy vấn với các biến thể của từ (cùng gốc từ) trong các tài liệu VD: assassination Æ assassinat Assassination Assassinate Assassinating Assassinations Assassinated Vấn đề: 4 Lỗi: organization - organ past - paste Bỏ qua: analysis - analyzes matrices - matrix 5 Là các từ thường xuất hiện ở hầu hết các tài liệu. Các từ này không chứa nhiều thông tin Không đưa vào file nghịch đảo Æ giảm kích thước của file này Các từ dừng: a, an, the, he, she, of, to, by, should, can, 6 1 Nhược điểm của việc bỏ từ dừng Từ chức năng và từ nội dung Có thể bỏ tên người như “The” Các từ dừng có thể là thành phần quan trọng của đoạn. Ví dụ, 1 câu nói của Shakepeare: to be or not to be” “to Một số từ dừng (vd., giới từ) cung cấp các thông tin quan trọng về mối quan hệ Bộ nhớ ngày nay đã rẻ hơn Æ tiết kiệm bộ nhớ không còn là vấn đề quan trọng như trước nữa Muốn loại bỏ các từ chức năng hoặc giảm ảnh hưởng của nó Xác định từ nội dung: Nó có xuất hiện thường xuyên không? Nó có xuất hiện trong số ít các tài liệu không? Tần suất của nó có thay đổi trong các tài liệu .