tailieunhanh - Sự ảnh hưởng của phương pháp tách từ trong bài toán phân lớp văn bản tiếng Việt

Bài viết so sánh sự ảnh hưởng của các phương pháp tách từ lên hiệu quả phân lớp văn bản tiếng Việt, để từ đó chọn ra phương pháp hiệu quả nhất. Thực nghiệm trên tập dữ liệu 6,000 văn bản thuộc 10 chủ đề và tập dữ liệu 105,293 quyển sách thuộc 166 chủ đề với giải thuật máy học SVM cho thấy rằng kết quả phân lớp với các phương pháp tách từ khác nhau tuy có sự khác biệt nhưng không có ý nghĩa thống kê trong bài toán phân lớp văn bản tiếng Việt. | Kỷ yếu Hội nghị Khoa học Quốc gia lần thứ IX Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin FAIR 9 Cần Thơ ngày 4-5 8 2016 DOI SỰ ẢNH HƯỞNG CỦA PHƯƠNG PHÁP TÁCH TỪ TRONG BÀI TOÁN PHÂN LỚP VĂN BẢN TIẾNG VIỆT Phạm Nguyên Khang Trần Nguyễn Minh Thƣ Phạm Thế Phi Đỗ Thanh Nghị Khoa Công nghệ thông tin amp Truyền thông Trƣờng Đại học Cần Thơ pnkhang tnmthu ptphi dtnghi @ TÓM TẮT Tách từ là một bước quan trọng không thể thiếu trong xử lý ngôn ngữ tự nhiên nhằm xác định được ranh giới các từ có trong văn bản. Trong tiếng Việt ngoài từ đơn một âm tiết còn có từ ghép đa âm tiết . Điều này gây khó khăn cho việc tách từ tự động một cách chính xác ảnh hưởng đến kết quả của các bài toán phân tích dữ liệu văn bản như gom nhóm phân lớp văn bản. Hai tiếp cận chính để tách từ là dựa trên từ điển và thống kê hoặc kết hợp hai tiếp cận . Trong bài toán phân lớp văn bản tách từ mới chỉ là bước tiền xử lý và biểu diễn dữ liệu. Bước kế tiếp là sử dụng một mô hình máy học để huấn luyện bộ phân lớp. Đối với một số mô hình máy học như máy học véc-tơ hỗ trợ SVM phân tích thành phần chính phân tích tương ứng các từ ghép có thể được phát hiện dựa vào sự đồng xuất hiện của các âm tiết mà không cần đến một bước tách từ chính xác. Trong bài báo này chúng tôi nghiên cứu so sánh sự ảnh hưởng của các phương pháp tách từ lên hiệu quả phân lớp văn bản tiếng Việt để từ đó chọn ra phương pháp hiệu quả nhất. Thực nghiệm trên tập dữ liệu 6 000 văn bản thuộc 10 chủ đề và tập dữ liệu 105 293 quyển sách thuộc 166 chủ đề với giải thuật máy học SVM cho thấy rằng kết quả phân lớp với các phương pháp tách từ khác nhau tuy có sự khác biệt nhưng không có ý nghĩa thống kê trong bài toán phân lớp văn bản tiếng Việt. Từ khóa Tách từ phương pháp tách từ tiếng Việt xử lý ngôn ngữ tự nhiên phân lớp văn bản. I. GIỚI THIỆU Với sự phát triển nhanh chóng của công nghệ thông tin nguồn thông tin trực tuyến online dƣới dạng văn bản xuất hiện càng ngày càng nhiều. Nguồn thông tin này đến

• Ngôn ngữ học
• Phương pháp tách từ
• Bài toán phân lớp văn bản tiếng Việt
• Văn bản tiếng Việt
• Phương pháp tách từ tiếng Việt
• Xử lý ngôn ngữ tự nhiên
• Phân lớp văn bản
• Sinh học lớp 11
• Chương trình thực hành sinh học lớp 11
• Thực hành sinh học lớp 11
• Tách chiết sắc tố từ lá
• Phương pháp hóa học
• Tách các nhóm sắc tố
• Một phương pháp mới tách chiết fucoidan
• Tách chiết fucoidan
• Tách chiết fucoidan từ rong nâu
• Rong nâu chiết
• Tách triết Anthocyanin
• Phân tích hàm lượng Anthocyanin
• Nghiên cứu hàm lượng Anthocyanin
• Quy trình tách triết Anthocyanin
• Phương pháp tách triết Anthocyanin
• Kỹ thuật tách triết Anthocyanin
• Thuốc bảo vệ thực vật
• Công nghệ tách chiết Cinnamylacetate
• Tách chiết Cinnamylacetate từ vỏ cây quế
• Sản xuất chế phẩm sinh học
• Phương pháp tách lọc tuyến trùng từ đất
• Phòng trừ nấm bệnh gây hại hồ tiêu
• Công nghiệp giấy
• Rơm làm nguyên liệu cho công nghiệp giấy
• Sử dụng rơm làm giấy
• Hóa cơ kết hợp tách lignin
• Phương pháp hóa cơ kết hợp tách lignin
• Lignin tách từ dịch đen soda
• Tinh dầu sả chanh
• Tách citral từ tinh dầu sả chanh
• Chiết tinh dầu từ sả chanh
• Phương pháp tách chiết hợp chất terpenoid
• Phương pháp sắc ký khí
• Quy trình tách chiết củ gừng
• Phương pháp ngâm dầm
• Phương pháp khuấy từ không gia nhiệt
• Tách chiết bằng sóng siêu âm
• 6 gingerol từ củ gừng
• Công dụng của gừng
• Tạp chí khoa học
• Phương pháp tách chiết ADN
• Số từ mẫu gỗ
• Tách chiết ADN
• Hệ sinh thái
• Đa dạng sinh học
• Tạp chí phân tích
• Quá trình tách cellulose và lignin
• Quá trình tách cellulose và lignin từ rơm rạ
• Phương pháp kiềm
• Chiết xuất kiềm
• Công nghệ hóa
• Nghiên cứu tách curcumin
• Củ Nghệ vàng
• Phương pháp trích ly siêu âm
• Hóa dược
• Phương pháp tách curcumin
• Tách thori oxit
• Quặng monazite
• Phương pháp kết tủa chọn lọc
• Phương pháp tách thori oxit
• Hóa phân tích
• Chiết tách lycopene từ quả gấc
• Hoạt chất lycopene có trong gấc
• Phương pháp chiết tách lycopene từ gấc
• Hàm lượng dinh dưỡng có trong gấc
• Tạp chí Khoa học Công nghệ Việt Nam
• Phương pháp chiết hesperidin từ vỏ quả quýt hồng
• Quả quýt hồng
• Phương pháp tách
• Tách hesperidin từ vỏ quả quýt hồng
• Thành phần hóa học chính trong tinh dầu
• Nghiên cứu tách Xeri Đioxit
• Quặng Monazite Phan Thiết
• Quy trình tách Xeri Đioxit
• Pằng phương pháp axit
• Nguyên tố đất hiếm
• Ứng dụng các nguyên tố đất hiếm
• Mô hình hóa quy trình hòa tách thiếc
• Mô hình hóa quy trình hòa tách chì
• Bản mạch in thiết bị điện tử gia dụng thải
• Phương pháp quy hoạch thực nghiệm
• Tách chiết alkloid từ quả quất
• Công nghệ thực phẩm
• Công nghệ sinh học
• Thực vật giàu alkloid
• Phân bố alkloid
• Tách chiết alkloid
• Chiết xuất alkloid
• Tách chiết collagen từ da cá tra
• Pangasius hypophthalmus
• Quy trình tách chiết collagen
• Sản phẩm collagen
• Nghiên cứu sử dụng hydro peroxit để khử màu
• Hoạt tính kháng khuẩn
• Phương pháp chiết tách Flavonoid
• Hợp chất flavonoid
• Quy trình tách chiết lá chè xanh
• Hoạt chất từ lá trà xanh
• Tách chiết betacyanin
• Tách chiết betacyanin từ vỏ quả thanh long
• Xác định hàm lượng betacyanin
• Hàm lượng phenol tổng
• Bột màu thực phẩm
• Tạp chí sinh học
• Phương pháp chiết tách mô động vật
• Phương pháp nhân dòng DNA từ mô động vật
• Nghiên cứu đa dạng sinh học
• phương pháp học tiếng anh
• sổ tay anh văn
• học từ vựng
• cách nối ghép từ
• “kỹ thuật tách ghép từ”
• tiếng anh
• học tiếng anh
• anh văn
• bí quyết học anh văn
• kinh nghiệm học tiếng anh
• từ vựng tiếng anh
• Cách học từ vựng
• Kỹ thuật tách ghép từ
• Momordica cochinchinensis Spreng
• Phương pháp sấy
• Tách chiết carotemoid
• Bảo quản bằng vi bao carotenoid từ quả gấc
• Hiệu suất thu hồi carotenoid từ vỏ gấc
• Khoa học nông nghiệp
• Công nghệ tách sợi từ bẹ chuối
• Bẹ chuối từ thân cây chuối tiêu hồng
• Sản xuất hàng thủ công mỹ nghệ
• Phương pháp cơ học