tailieunhanh - Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 3 - Lê Thanh Hương

Bài này tập trung giảng về gán nhãn từ loại. Những nội dung chính được đề cập trong bài gồm có: Tại sao cần gán nhãn? Tập từ loại tiếng Anh, lớp từ mở trong tiếng Anh, tập nhãn cho tiếng Anh, các phương pháp gán nhãn từ loại, các cách tiếp cận, dán nhãn dựa trên xác suất,. và các nội dung liên quan khác. | Định nghĩa Gán nhãn từ loại z Gán nhãn từ loại (Part of Speech tagging - POS tagging): mỗi từ trong câu được gán nhãn thẻ từ loại tương ứng của nó z Lê Thanh Hương Bộ môn Hệ thống Thông tin Viện CNTT &TT – Trường ĐHBKHN Email: huonglt-fit@ z Vào : 1 đoạn văn bản đã tách từ + tập nhãn Ra: cách gán nhãn chính xác nhất Ví dụ 1 Ví dụ 2 Ví dụ 3 Ví dụ 4 Ví dụ 5 ¾ Gán nhãn làm cho việc phân tích văn bản dễ dàng hơn 1 Tập từ loại tiếng Anh Tại sao cần gán nhãn? z z z 2 Dễ thực hiện: có thể thực hiện bằng nhiều phương pháp khác nhau z Các phương pháp sử dụng ngữ cảnh có thể đem lại kết quả tốt z Mặc Mặ dù nên ê th thực hiệ hiện bằ bằng phân hâ tích tí h văn ă bả bản Các ứng dụng: z Text-to-speech: record - N: [‘reko:d], V: [ri’ko:d]; lead – N [led], V: [li:d] z Tiền xử lý cho PTCP. PTCP thực hiện việc gán nhãn tốt hơn nhưng đắt hơn z Nhận dạng tiếng nói, PTCP, tìm kiếm, Dễ đánh giá (có bao nhiêu thẻ được gán nhãn đúng?) 3 z Lớp đóng (các từ chức năng): số lượng cố định z z z z z z z Giới từ (Prepositions): on, under, over, Tiểu từ (Particles): abroad, about, around, before, in, instead, since, without, Mạo từ (Articles): a, an, the Liên từ (Conjunctions): and, or, but, that, Đại từ (Pronouns): you, me, I, your, what, who, Trợ động từ (Auxiliary verbs): can, will, may, should, Lớp mở: có thể có thêm từ mới 4 Lớp từ mở trong tiếng Anh Tập nhãn cho tiếng Anh Proper nouns: IBM, Colorado nouns count nouns: book, ticket common nouns verbs auxiliaries mass nouns: snow, salt z Color: red, white open p class adjectives tập ngữ liệu Brown: 87 nhãn 3 tập thường được sử dụng: z . ¾ Age: old, young ¾ Value: good, bad ¾ Nhỏ: 45 nhãn - Penn treebank (slide sau) Trung bình: 61 nhãn, British national corpus Lớn: 146 nhãn, C7 Locatives adverbs: home, here, downhill adverbs Degree adverbs: extremely, very, somewhat Manner adverbs: slowly, delicately Temporal adverbs: yesterday, Monday 5 6 Penn Treebank – ví dụ z The grand .