tailieunhanh - Bài giảng Khai phá dữ liệu web (PGS.TS. Hà Quang Thụy) - Chương 6. Tìm kiếm web

Bài toán tìm kiếm văn bản: Khái niệm; Đánh giá; Tìm kiếm xấp xỉ. Máy tìm kiếm: Công cụ tìm kiếm trên Internet; Một số máy tìm kiếm điển hình; Các thành phần cơ bản; Crawling; Đánh chỉ số và lưu trữ; Tính hạng và tìm kiếm | KHAI PHÁ WEB CHƯƠNG 6. TÌM KIẾM WEB Giảng viên: Hà Quang Thụy email: thuyhq@ Hà Nội, 11-2010 CHƯƠNG 6. TÌM KIẾM VĂN BẢN VÀ MÁY TÌM KIẾM Bài toán tìm kiếm văn bản Khái niệm Đánh giá Tìm kiếm xấp xỉ Máy tìm kiếm Công cụ tìm kiếm trên Internet Một số máy tìm kiếm điển hình Các thành phần cơ bản Crawling Đánh chỉ số và lưu trữ Tính hạng và tìm kiếm CHƯƠNG 6. TÌM KIẾM VĂN BẢN VÀ MÁY TÌM KIẾM Máy tìm kiếm thực thể Khái niệm Một số nội dung cơ bản Một số nghiên cứu tìm kiếm thực thể Máy tìm kiếm ở Việt Nam . BÀI TOÁN TÌM KIẾM VĂN BẢN Nguồn tài nguyên D = {di: các văn bản} cho trước: trong CSDL văn bản web trên Internet: cần thu thập về (máy tìm kiếm) Đầu vào q: Câu hỏi người dùng (q D) Từ khóa/ Cụm từ khóa/ "Biểu thức" hỏi Kết quả Tập R (q) các văn bản thuộc D "liên quan" tới câu hỏi q "liên quan": ngầm định một ánh xạ {q} 2D Hệ thống tìm kiếm "xấp xỉ" ánh xạ nói trên . BÀI TOÁN TÌM KIẾM VĂN BẢN Lời giải q: hệ thống cho tập R'(q) xấp xỉ R(q) Đánh giá hệ thống: đối sánh R'(q) với R(q) R chưa biết Đánh giá qua các ví dụ đã có Học ánh xạ R': xấp xỉ R cho hệ thống Phân loại tìm kiếm Tìm kiếm theo lựa chọn (Document Selection) Tìm kiếm theo tính hạng liên quan (Document Ranking) Kết hợp cả lựa chọn lẫn ranking TÌM KIẾM THEO LỰA CHỌN Học hàm f (d, q): D D {0,1} Chọn/Không chọn Thực tiễn: Module tìm kiếm của hệ thống. Ngôn ngữ hỏi và "ngữ nghĩa" cho từng câu hỏi câu hỏi q: Câu trả lời là R'(q)={d| f(d,q)=1} Ví dụ hệ thống thư viện điện tử Greenstone hệ thống tài liệu điện tử CiteSeer: Nhận xét Đơn giản, dễ thực hiện Hạn chế Câu hỏi q "quá phổ dụng": kết quả có rất nhiều văn bản Câu hỏi q "quá chuyên biệt": rất ít hoặc không có văn bản TÌM KIẾM THEO TÍNH HẠNG Học hàm (mô hình) f (d, q): D D [0,1] "Liên quan": Độ gần nhau giữa các tài liệu, hạng Hạng tính trước, hạng với câu hỏi câu hỏi q: Câu trả lời là R'(q)={d| f(d,q) } Hệ thống có ngưỡng >0 Yêu cầu học f (d, q) cần thỏa tính đơn điệu: . | KHAI PHÁ WEB CHƯƠNG 6. TÌM KIẾM WEB Giảng viên: Hà Quang Thụy email: thuyhq@ Hà Nội, 11-2010 CHƯƠNG 6. TÌM KIẾM VĂN BẢN VÀ MÁY TÌM KIẾM Bài toán tìm kiếm văn bản Khái niệm Đánh giá Tìm kiếm xấp xỉ Máy tìm kiếm Công cụ tìm kiếm trên Internet Một số máy tìm kiếm điển hình Các thành phần cơ bản Crawling Đánh chỉ số và lưu trữ Tính hạng và tìm kiếm CHƯƠNG 6. TÌM KIẾM VĂN BẢN VÀ MÁY TÌM KIẾM Máy tìm kiếm thực thể Khái niệm Một số nội dung cơ bản Một số nghiên cứu tìm kiếm thực thể Máy tìm kiếm ở Việt Nam . BÀI TOÁN TÌM KIẾM VĂN BẢN Nguồn tài nguyên D = {di: các văn bản} cho trước: trong CSDL văn bản web trên Internet: cần thu thập về (máy tìm kiếm) Đầu vào q: Câu hỏi người dùng (q D) Từ khóa/ Cụm từ khóa/ "Biểu thức" hỏi Kết quả Tập R (q) các văn bản thuộc D "liên quan" tới câu hỏi q "liên quan": ngầm định một ánh xạ {q} 2D Hệ thống tìm kiếm "xấp xỉ" ánh xạ nói trên . BÀI TOÁN TÌM KIẾM VĂN BẢN Lời giải q: hệ thống cho tập R'(q) xấp xỉ R(q) Đánh giá

• Quản trị Web
• khai phá dữ liệu web
• khai phá text
• Mô hình sinh Text
• lập trình web
• xử lý ngôn ngữ
• cấu trúc web
• Bài giảng Khai phá dữ liệu web
• Dữ liệu web
• Khai phá Web
• Toán học Internet
• Bài giảng Khai phá web
• Khai phá dữ liệu
• Cơ sở dữ liệu
• Phân tích dữ liệu
• Hệ quản trị cơ sở dữ liệu phân cấp
• Hệ quản trị cơ sở dữ liệu mạng
• Luận văn thạc sĩ
• Luận văn Khai phá dữ liệu web
• Luận văn thạc sỹ khoa học
• Kỹ thuật phân cụm dữ liệu
• Kỹ thuật phân cụm dữ liệu mờ
• Phân cụm tài liệu Web
• Thuật toán Fuzzy C Means
• Khai phá cấu trúc Web
• Mô hình biểu diễn tài liệu Web
• Mạng xã hội
• Khai phá quan điểm
• Tiền xử lý dữ liệu
• Khai phá hành vi người dùng
• Kênh phân phối trên internet
• Kỹ thuật khai phá dữ liệu trong marketing
• Hệ thống cơ sở dữ liệu
• Trực quan hóa dữ liệu
• Biểu đồ tĩnh
• Trực quan hóa theo điểm ảnh
• Trực quan hóa trên không gian véc tơ
• Cây siêu cầu
• trích chọn thông tin
• khoa học máy tính
• luận văn
• kỹ thuật điện
• luận văn thạc sỹ
• Tóm tắt luận văn Thạc sĩ
• Nghiên cứu Web ngữ nghĩa
• Web ngữ nghĩa
• Thuật toán k means
• Hàm khoảng cách
• Chuẩn hóa dữ liệu
• Phân cụm phân cấp
• Học có giám sát
• Máy tìm kiếm dữ liệu
• Bài toán phân lớp
• Chức năng tạo cơ sở dữ liệu
• Cách tổ chức cơ sở dữ liệu
• Quản trị Web
• Luận văn Thạc sĩ ngành Khoa học máy tính
• Luận văn Thạc sĩ Kỹ thuật
• Tóm tắt luận văn Thạc sĩ Kỹ thuật
• Ứng dụng web
• Tìm hiểu về web ngữ nghĩa
• Đồ án tốt nghiệp ngành Công nghệ thông tin
• Công nghệ thông tin
• Phương pháp phân cụm
• Xử lý dữ liệu
• Luận án Tiến sĩ
• Luận án Tiến sĩ Kỹ thuật
• Hệ thống thông tin
• Khai phá dữ liệu tuần
• Dự đoán hành vi truy cập Web
• Truy cập Web
• Tóm tắt Luận án Tiến sĩ Kỹ thuật
• máy tìm kiếm
• cấu trúc Block
• tính hạng trang
• cấu trúc cấu trúc Block
• Vết duyệt web
• Tư vấn cá nhân hóa
• Hệ tư vấn
• Bài toán tư vấn
• module Crawler
• xử lý song song
• máy tìm kiếm ASPseek
• giải pháp song song hóa
• Môđun indexing
• Tập tin nhật ký
• Kỹ thuật phân cụm mờ
• Dữ liệu nhật ký từ máy chủ Webserver
• Nguồn dữ liệu Web