tailieunhanh - Báo cáo khoa học: "Optimizing Story Link Detection is not Equivalent to Optimizing New Event Detection"

Link detection has been regarded as a core technology for the Topic Detection and Tracking tasks of new event detection. In this paper we formulate story link detection and new event detection as information retrieval task and hypothesize on the impact of precision and recall on both systems. Motivated by these arguments, we introduce a number of new performance enhancing techniques including part of speech tagging, new similarity measures and expanded stop lists. Experimental results validate our hypothesis. . | Optimizing Story Link Detection is not Equivalent to Optimizing New Event Detection Ayman Farahat PARC 3333 Coyote Hill Rd Palo Alto CA 94304 farahat@ Francine Chen PARC 3333 Coyote Hill Rd Palo Alto CA 94304 fchen@ Thorsten Brants PARC 3333 Coyote Hill Rd Palo Alto CA 94304 thorsten@ Abstract Link detection has been regarded as a core technology for the Topic Detection and Tracking tasks of new event detection. In this paper we formulate story link detection and new event detection as information retrieval task and hypothesize on the impact of precision and recall on both systems. Motivated by these arguments we introduce a number of new performance enhancing techniques including part of speech tagging new similarity measures and expanded stop lists. Experimental results validate our hypothesis. 1 Introduction Topic Detection and Tracking TDT research is sponsored by the DARPA Translingual Information Detection Extraction and Summarization TIDES program. The research has five tasks related to organizing streams of data such as newswire and broadcast news Wayne 2000 story segmentation topic tracking topic detection new event detection NED and link detection LNK . A link detection system detects whether two stories are linked or discuss the same event. A story about a plane crash and another story about the funeral of the crash victims are considered to be linked. In contrast a story about hurricane Andrew and a story about hurricane Agnes are not linked because they are two different events. A new event detection system detects when a story discusses a previously unseen or not linked event. Link detection is considered to be a core technology for new event detection and the other tasks. Several groups are performing research in the TDT tasks of link detection and new event detection. Based on their findings we incorporated a number of their ideas into our baseline system. CMU Yang et al. 1998 and UMass Allan et al. 2000a found that for new

• Báo cáo khoa học
• Optimizing Story Link Detection
• Equivalent to Optimizing
• New Event Detection
• báo cáo khoa học
• mô hình ngôn ngữ
• xử lý ngôn ngữ tự nhiên
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân tích ngữ nghĩa
• Phân loại tin tự động
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Tách từ tiếng Việt
• Gán nhãn từ loại
• Phân tích cú pháp
• Nghĩa từ vựng
• Phân giải nhập nhằng từ
• Phân loại văn bản
• Lexical chain
• Phản hồi thông tin
• Bài toán PTCP
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học