tailieunhanh - Bài giảng Xử lý ngôn ngữ tự nhiên: Phân loại tin tự động cho báo điện tử - Lê Thanh Hương

Bài giảng Xử lý ngôn ngữ tự nhiên: Phân loại tin tự động cho báo điện tử trình bày các ứng dụng của Phân loại văn bản, các phương pháp thực hiện, chương trình thực nghiệm, đánh gái kết quả. nội dung chi tiết. | Bài giảng Xử lý ngôn ngữ tự nhiên: Phân loại tin tự động cho báo điện tử - Lê Thanh Hương 1. Tổng quan Ứng dụng của Phân loại văn bản Phân loại các tài liệu trong các thư viện Phân loại trong quá trình tác nghiệp của các báo điện tử. PHÂN LOẠI TIN TỰ ĐỘNG CHO BÁO ĐIỆN TỬ Phân chia sắp xếp lại các luận văn, đồ án trong các trường Đại học. Bộ máy tìm kiếm muốn phân chia các tài liệu trả về thành các chuyên mục Æ người đọc dễ nắm bắt được nội dung ban đầu của các kết quả tìm được. 1 2 1. Tổng quan 1. Tổng quan Ứng dụng “Phân loại tin tự động cho báo điện tử” Sơ đồ minh họa quá trình phân loại Mô hình hóa VB nhằm tìm hiểu và thử nghiệm các phương pháp phân Document loại văn bản áp dụng trên Tiếng Việt. Vector VB cần ầ phân lớp Tính độ Kết luận Kết hợp giữa hai phương pháp đã được chứng minh có tương tự phân nhóm hiệu quả cao để giải quyết hai bài toán khác nhau là Pha lập nhóm Phân loại và Lập nhóm văn bản Æ đề xuất một mô hình Vector trọng tâm cải tiến, phù hợp với bài toán mỗi nhóm Các VB mẫu đã phân lớp Kết luận phân loại 3 4 2. Các phương pháp thực hiện 2. Các phương pháp thực hiện (tiếp) Pha lập nhóm Tại sao cần sử dụng các phương pháp lập nhóm văn bản dựa trên thuật ngữ xuất hiện thường xuyên ? Kỹ thuật lập nhóm này phù hợp với yêu cầu “offline”, các thuật toán áp Vector trọng tâm dụng cho phương pháp này có độ chính xác cao tuy thời gian xử lý mỗi ỗi nhóm hó chậm hậ và à chi hi phí hí lớn, lớ nhưng h khô cần không ầ thiết lắm lắ khi xử ử lý offline. ffli Pha lập nhóm Thuật ngữ thường xuyên là các thuật ngư xuất hiện nhiều lần trong văn Các VB mẫu đã phân lớp bản hoặc trong một tập văn bản, các thuật ngữ phải có ý nghĩa, chúng đại diện cho nội dung toàn văn bản. Pha lập nhóm được thực hiện trước, một cách “offline” Æđể Các thuật ngữ thường xuyên tạo nền tảng của việc khai thác quy tắc xác định vector trọng tâm cho mỗi nhóm cùng các thông tin .

• Kỹ thuật lập trình
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Phân loại tin tự động
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Phân tích ngữ nghĩa
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học