tailieunhanh - Cải tiến một số giải thuật phân tích cú pháp trong xử lý ngôn ngữ tự nhiên.

Cải tiến một số giải thuật phân tích cú pháp trong xử lý ngôn ngữ tự nhiên. Nó gần giống nhưng không đồng nhất với khái niệm entropi nhiệt động của một hệ vật lý để đo khoảng cách tới trạng thái cân bằng (equilibrium) Định luật 2 của nhiệt động học được Shanon phát biểu mở rộng thành định luật 10 của Shannon trong ngữ cảnh phi nhiệt động như sinh học, sinh thái học, kinh tế học, xã hội học và kinh tế học | Tạp chí Tin học và Đĩêu khiền học T. 18 s. 3 2002 279-284 CÁI TIẾN MỘT SỐ GIẢI THUẬT PHÂN TÍCH cú PHÁP TRONG XỬ LÝ NGÔN NGỮ Tự NHIÊN PHAN THỊ TƯƠI Abstract. Earley and Chart algorithms are often used to parse natural language. However these algorithms are limited when they are used to work with large grammar. This paper presents some improvements for Earley and top-down chart algorithms in natural language processing. Tóm tắt. Để phân tích cú pháp cho ngôn ngũ tự nhiên nguời ta thuờng dùng các giải thuật nhu Earley và biểu đồ. Tuy nhiên khi xủ lý các văn phạm lớn thì các giải thuật nêu trên đều bị hạn chế. Bài báo này sẽ trình bày một số cải thiện cho giải thuật Earley và biểu đồ từ trên xuống trong xủ lý ngôn ngũ tự nhiên. 1. MỞ ĐẦU Vai trò của phân tích cú pháp trong xử lý ngôn ngữ tự nhiên là vô cùng quan trọng. Tuy nhiên không phải tất cả các giải thuật phân tích cú pháp cho ngôn ngữ lập trình đều có thể áp dụng cho ngôn ngữ tự nhiên bởi vì văn phạm của ngôn ngữ tự nhiên là không tường minh. Ngay cả khi ta dùng các giải thuật như Tomita 10 Earley 1 và Chart 3 là những giải thuật phân tích cú pháp cho văn phạm không tường minh thì cũng gặp nhiều khó khăn khi áp dụng chúng cho xử lý ngôn ngữ tự nhiên bởi vì muốn phân tích một chuỗi nhập vào là câu hoặc đoạn câu của ngôn ngữ tự nhiên thì bộ phân tích buộc phải kiểm tra từ vài chuỗi đến hàng chục hàng trăm chuỗi từ loại khác nhau từ loại được hiểu như các token trong ngôn ngữ lập trình điều đó sẽ dẫn đến sự bùng nổ tổ hợp. Trong bài báo này chúnh tôi trình bày việc cải thiện giải thuật Earley và giải thuật biểu đồ từ trên xuống top down chart parsing cho phân tích cú pháp của ngôn ngữ tự nhiên. 2. MỘT SỐ GIẢI THUẬT EARLEY VÀ LR Jfe CẢl TIEN Giải thuật LR là giải thuật phân tích cú pháp từ dưới lên còn được gọi là giải thuật bảng. Giải thuật này chỉ dùng cho văn phạm phi ngữ cảnh tường minh Tomita đã cải tiến giải thuật này để giải quyết đụng độ bang việc mô phỏng việc thực thi song song của bộ phân tích LR dựa trên