tailieunhanh - Chương 2: Phân tích từ vựng

IT4073:NGÔN NGỮ và PHƯƠNG PHÁP DỊCH 1. Nhiệm vụ của bộ phân tích từ vựng 2. Biểu thức chính quy 3. Ô tô mát hữu hạn 4. Phân tích từ vựng của ngôn ngữ PL/0 1. Nhiệm vụ của bộ phân tích 1. Nhiệm vụ của bộ phân tích Mục đích & Nhiệm vụ • Mục đích: – Tìm chuỗi dài nhất các ký tự đầu vào, bắt đầu từ ký tự hiện tại tương ứng với một từ tố và trả về từ tố này. | IT4073 NGÔN NGỮ và PHƯƠNG PHÁP DỊCH Phạm Đăng Hải haipd@soict. 1. Nhiệm vụ của bộ phân tích Mục đích Nhiệm vụ Mục đích - Tìm chuỗi dài nhắt các ký tự đầu vào bắt đầu từ ký tự hiện tại tương ứng với một từ tố và trả về từ tố này Nhiệm vụ - Duyệt từng ký tự của văn bản nguồn Loại bỏ các ký tự không cần thiết như dấu cách chú thích . - Xây dựng từ vựng từ những ký tự đọc được - Nhận dạng từ tố và gửi tới pha tiếp Nhận biết từ tố gồm - Nhận biết các từ khóa tên do người dùng định nghĩa - Nhận biết các con số hằng chuỗi hằng ký tự - Nhận biết các ký tự đặc biệt ký hiệu kép . 9 18 2012 3 Chương 2 Phân tích từ vựng 1. Nhiệm vụ của bộ phân tích từ vựng 2. Biểu thức chính quy 3. ô tô mát hữu hạn 4. Phân tích từ vựng của ngôn ngữ PL O 9 18 2012 2 1. Nhiệm vụ của bộ phân tích Từ vựng và Từ tố Từ vựng Lexeme - Là đơn vị nhỏ nhất trong ngôn ngữ lập trình Được coi là ký hiệu của một bảng chữ của ngôn ngữ -Được xây dựng từ các ký tự ASCII Từ tố Token - Là thuật ngữ dùng chỉ các từ vựng có cùng ý nghĩa cú pháp Có thể coi từ vựng là những từ cụ thể trong từ điển hôm naỹ trời đẹp - còn từ tố là loại từ trạng từ danh từ tính từ 9 18 2012 4 1. Nhiệm vụ của bộ phân tích Từ tố VÍ dụ pos start 10 size pos start size 10 là từ vựng pos start size các từ vựng thuộc lớp từ tố tên ident từ vựng của từ tố gán assign 10 từ vựng của từ tố số nguyên number từ vựng của từ tố cộng plus từ vựng của từ tố nhân times - từ vựng của từ tố chấm phẩy semicolon 9 18 2012 5 Thực hiện lặp dựa vào yêu cầu từ bộ ptcp - Bộ ptcp khi cần một từ tố sẽ gọi getTokenO - Nhận được y cầu bộ pttv sẽ đọc các ký tự cho tới khi xây dựng xong từ vựng và nhận ra từ tố hoặc gặp lỗi Thường bộ pttv được chia thành 2 phần chính - Đọc ký tự - Xây dựng từ vựng và nhận dạng từ tố 9 18 2012 7 1. Nhiệm vụ của bộ phân tích Từ tố- Chú V Các từ tố Ident number plus assign . do người viết trình dịch tự định nghĩa để dễ dàng cho việc mã hóa chương trình. Đây là việc số hóa ký hiệu Một từ tố có thể ứng với tập các từ vựng khác .