tailieunhanh - Xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên giới thiệu đến các bạn những vấn đề về sự tiến hóa của ngôn ngữ, cơ sở của ngôn ngữ, khả năng phát sinh, vấn đề nói và nghe, hai mô hình của giao tiếp, mô hình bản tin mã hóa, mô hình tình huống giao tiếp, giao tiếp sử dụng ngôn ngữ hình thứ,. để nắm bắt nội dung chi tiết. | Xử lý ngôn ngữ tự nhiên 9 Xử lý ngôn ngữ tự nhiên Bởi Học Viện Công Nghệ Bưu Chính Viễn Thông XỬ LÝ NGÔN NGỮ Tự NHIÊN VÀ TRÍ TUỆ NHÂN TẠO Sự tiến hóa của ngôn ngữ Vấn đề để hiểu được lời nói hành động giống như việc hiểu các vấn đề khác tương tự như việc hiểu hình ảnh hoặc chẩn đoán y học. Chúng ta đưa ra một tập các đầu vào đa nghĩa và từ đó chúng ta làm ngược lại để quyết định trạng thái nào của thế giới có thể được tạo ra đầu vào. Hiểu được vấn đề của lời nói hành động là phần đặc tả của ngôn ngữ. Một phần của hiểu vấn đề có thể giải thích bằng các lí do logic. Chúng ta nhận thấy rằng các chuỗi logic liên kết lại là cách tốt để mô tả cách mà các từ và các cụm từ phối hợp để tạo ra một cụm từ lớn. Phần khác của việc hiểu vấn đề có thể chỉ được giải thích bởi các lí do kĩ thuật không rõ ràng. Thông thường có nhiều trạng thái của thế giới mà tất cả đều hướng dẫn đến một lời nói hành động tương tự vì vậy người hiểu phải quyết định cái mà nó dễ xảy ra hơn. Cơ sở của ngôn ngữ Một ngôn ngữ hình thức được định nghĩa như một tập các chuỗi kí tự trong đó mỗi chuỗi kí tự là một chuỗi các biểu tượng được lấy ra từ một tập hữu hạn được gọi là biểu tượng terminal. Một trong những phiền toái khi làm việc với cả ngôn ngữ tự nhiên và ngôn ngữ hình thức là có quá nhiều sự khác biệt hình thức và kí hiệu cho việc viết ngữ pháp. Tuy nhiên hầu hết chúng đều tương tự như cách mà chúng căn cứ vào ý tưởng của cấu trúc cụm từ - các chuỗi kí tự được soạn thảo của các chuỗi kí tự cơ sở được gọi là cụm từ dẫn đến các phạm trù khác nhau. Các phạm trù như cụm danh từ cụm động từ câu được gọi là biểu tượng nonterminal. Trong kí pháp BNF quy luật viết phù hợp của biểu tượng nonterminal đơn ở bên trái và liên kết của đầu cuối hoặc không đầu cuối viết ở bên phải. Quy luật được viết như trong ví dụ sau S NP VP Có nghĩa là chúng ta có thể đem bất kì cụm từ NP thêm vào sau bất kì cụm từ VP và kết quả là một cụm từ dạng câu. Các bước thành phần của giao tiếp 1 31 Xử lý ngôn ngữ tự nhiên Một đoạn giao

• Ngôn ngữ học
• Xử lý ngôn ngữ tự nhiên
• Sự tiến hóa của ngôn ngữ
• Cơ sở của ngôn ngữ
• Khả năng phát sinh
• Vấn đề nói và nghe
• Hai mô hình của giao tiếp
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học