tailieunhanh - Ứng dụng mô hình Skip - thought giải quyết bài toán tìm kiếm câu đồng nghĩa trong văn bản

Đánh giá mức độ đồng nghĩa giữa các câu là nhiệm vụ trọng tâm để thực hiện mục tiêu hiểu ngôn ngữ tự nhiên - một trong những thách thức lớn trong xử lý ngôn ngữ tự nhiên. Sử dụng Deep Learning cho bài toán so khớp ngữ nghĩa của câu đã thay đổi cách tiếp cận, khắc phục được những khó khăn mà các phương pháp truyền thống trước đây gặp phải. | Ứng dụng mô hình Skip - thought giải quyết bài toán tìm kiếm câu đồng nghĩa trong văn bản Nghiên cứu khoa học công nghệ ỨNG DỤNG MÔ HÌNH SKIP-THOUGHT GIẢI QUYẾT BÀI TOÁN TÌM KIẾM CÂU ĐỒNG NGHĨA TRONG VĂN BẢN Ngô Hữu Phúc1, Vi Bảo Ngọc1*, Nguyễn Viết Học1, Đoàn Văn Hòa2 Tóm tắt: Đánh giá mức độ đồng nghĩa giữa các câu là nhiệm vụ trọng tâm để thực hiện mục tiêu hiểu ngôn ngữ tự nhiên - một trong những thách thức lớn trong xử lý ngôn ngữ tự nhiên. Sử dụng Deep Learning cho bài toán so khớp ngữ nghĩa của câu đã thay đổi cách tiếp cận, khắc phục được những khó khăn mà các phương pháp truyền thống trước đây gặp phải. Nhiều thuật toán đã được phát triển để có thể biểu diễn câu bằng một vector với số chiều cố định, việc này giúp cho việc xử lý ngôn ngữ tự nhiên dựa trên câu trở nên dễ dàng và hiệu quả hơn. Các phương pháp trên đều trích rút đặc trưng thủ công hoặc sử dụng các thuật toán học có giám sát nhưng với không gian ngữ liệu ngày càng phong phú, các phương pháp này tỏ ra không còn hiệu quả. Điều đó là động lực để ra đời các phương pháp học không giám sát, tận dụng sức mạnh tính toán của thiết bị hiện nay. Skip–thought là một trong những mô hình Deep Learning điển hình cho việc sử dụng thuật toán học không giám sát trong xử lý ngôn ngữ tự nhiên. Trong nghiên cứu này, mô hình Skip- thought để tìm kiếm câu đồng nghĩa trong văn bản tiếng Việt. Với thử nghiệm trên bộ ngữ liệu VnPara, mô hình Skip-thought đạt độ chính xác lên đến , vượt trội so với độ chính xác . đã đạt được trước đây. Từ khóa: Xử lý ngôn ngữ tự nghiên; Học sâu; Skip – thought; Câu đồng nghĩa. 1. ĐẶT VẤN ĐỀ Đánh giá độ tương đồng về ngữ nghĩa trong xử lý ngôn ngữ tự nhiên có rất nhiều ứng dụng trong thực tiễn, ví dụ như xác định quan hệ giữa các câu truy vấn trong máy tìm kiếm, tạo từ khóa cho quảng cáo. Trong y học, có thể kể đến các ứng dụng như phân cụm gene, tìm kiếm gen bệnh, biểu diễn gene. Trong xử lý ngôn ngữ tự nhiên, đánh