tailieunhanh - Phân tích cú pháp tiếng Việt sử dụng văn phạm phi ngữ cảnh từ vựng hoá kết hợp xác suất

Bài viết "Phân tích cú pháp tiếng Việt sử dụng văn phạm phi ngữ cảnh từ vựng hoá kết hợp xác suất" tập trung nghiên cứu phương pháp xử lý hiện tượng nhập nhằng và các hiện tượng cú pháp phụ thuộc từ trong phân tích cú pháp tiếng Việt. Qua đó, đề xuất việc xây dựng một công cụ phân tích cú pháp dựa trên văn phạm phi ngữ cảnh với luật có chứa thông tin về xác suất và từ vựng. Mời bạn tham khảo chi tiết. | Phân tích cú pháp tiếng Việt sử dụng văn phạm phi ngữ cảnh từ vựng hoá kết hợp xác suất Nguyễn Quốc Thể Lê Thanh Hương Khoa Công nghệ Thông tin - Trường Đại học Bách khoa Hà Nội Tóm tắt Trong bài này chúng tôi nghiên cứu phương pháp xử lý hiện tượng nhập nhằng và các hiện tượng cú pháp phụ thuộc từ trong phân tích cú pháp tiếng Việt. Chúng tôi đề xuất việc xây dựng một công cụ phân tích cú pháp dựa trên văn phạm phi ngữ cảnh với luật có chứa thông tin về xác suất và từ vựng. Xác suất luật được tính dựa trên tập ngữ liệu mẫu sử dụng mô hình bigram kết hợp với phương pháp làm trơn nội suy tuyến tính để giảm ảnh hưởng của từ cụ thể đối với xác suất. Việc phân tích cú pháp câu được tiến hành dựa trên từ trọng tâm của câu từ điều khiển trung tâm . Các kết quả đạt được bước đầu cho thấy cách tiếp cận này khả thi. Từ khoá xử lý ngôn ngữ tự nhiên phân tích cú pháp xác suất văn phạm phi ngữ cảnh 1. Giới thiệu Phân tích cú pháp là một vấn đề cơ bản và quan trọng trong xử lý ngôn ngữ tự nhiên. Với một công cụ phân tích cú pháp tốt chúng ta có thể tích hợp vào nhiều ứng dụng trong xử lý ngôn ngữ tự nhiên như dịch máy tóm tắt văn bản các hệ thống hỏi đáp để tăng tính chính xác của các ứng dụng đó. Hiện nay các công cụ phân tích cú pháp tiếng Việt đã đạt được một số kết quả nhất định. Tuy nhiên phần lớn các kết quả đạt được mới dừng ở một số trường hợp câu cơ bản như câu đơn và các câu ghép đơn giản. Hiện tượng nhập nhằng và những trường hợp đặc biệt trong phân tích câu vẫn chưa được giải quyết thoả đáng. Trong bài này chúng tôi sẽ đề xuất cách giải quyết các vấn đề đó thông qua văn phạm phi ngữ cảnh có bổ sung thông tin về từ vựng và xác suất vào luật cú pháp. Việc phân tích cú pháp câu được tiến hành dựa trên từ trọng tâm của câu sử dụng một phương pháp cải tiến của mô hình xác suất thống kê Collins 5 . Trong phần sau chúng tôi sẽ trình bày một số vấn đề còn tồn tại trong phân tích cú pháp tiếng Việt và đề xuất cách giải quyết cho các vấn đề đó. Phần 3 giới thiệu một số nét .