tailieunhanh - Báo cáo khoa học: "The Arabic Online Commentary Dataset: an Annotated Dataset of Informal Arabic with High Dialectal Content"

The written form of Arabic, Modern Standard Arabic (MSA), differs quite a bit from the spoken dialects of Arabic, which are the true “native” languages of Arabic speakers used in daily life. However, due to MSA’s prevalence in written form, almost all Arabic datasets have predominantly MSA content. We present the Arabic Online Commentary Dataset, a 52M-word monolingual dataset rich in dialectal content, and we describe our long-term annotation effort to identify the dialect level (and dialect itself) in each sentence of the dataset. . | The Arabic Online Commentary Dataset an Annotated Dataset of Informal Arabic with High Dialectal Content Omar F. Zaidan and Chris Callison-Burch Dept. of Computer Science Johns Hopkins University Baltimore MD 21218 USA ozaidan ccb @ Abstract The written form of Arabic Modern Standard Arabic MSA differs quite a bit from the spoken dialects of Arabic which are the true native languages of Arabic speakers used in daily life. However due to MSA s prevalence in written form almost all Arabic datasets have predominantly MSA content. We present the Arabic Online Commentary Dataset a 52M-word monolingual dataset rich in dialectal content and we describe our long-term annotation effort to identify the dialect level and dialect itself in each sentence of the dataset. So far we have labeled 108K sentences 41 of which as having dialectal content. We also present experimental results on the task of automatic dialect identification using the collected labels for training and evaluation. 1 Introduction The Arabic language is characterized by an interesting linguistic dichotomy whereby the written form of the language Modern Standard Arabic MSA differs in a non-trivial fashion from the various spoken varieties of Arabic. As the variant of choice for written and official communication MSA content significantly dominates dialectal content and in turn MSA dominates in datasets available for linguistic research especially in textual form. The abundance of MSA data has greatly aided research on computational methods applied to Arabic but only the MSA variant of it. A state-of-the-art Arabic-to-English machine translation system performs quite well when translating MSA source sentences but often produces incomprehensible output when the input is dialectal. For example most words 37 Src MSA í 4 a jj AJjJi oi jj TL mtY snrY h h Alvlp mn Almjrmyn ỊtxDE IlmHAkmp MT When will we see this group of offenders subject to a trial Src Lev í S âĨỊ jj j J J áịịI TL AymtY rH n wf hAl lp mn

• Báo cáo khoa học
• The Arabic Online Commentary Dataset
• an Annotated Dataset
• Informal Arabic
• High Dialectal Content
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball