Kinh doanh - Marketing
Kinh tế quản lý
Biểu mẫu - Văn bản
Tài chính - Ngân hàng
Công nghệ thông tin
Tiếng anh ngoại ngữ
Kĩ thuật công nghệ
Khoa học tự nhiên
Khoa học xã hội
Văn hóa nghệ thuật
Sức khỏe - Y tế
Văn bản luật
Nông Lâm Ngư
Kỹ năng mềm
Luận văn - Báo cáo
Giải trí - Thư giãn
Tài liệu phổ thông
Văn mẫu
Giới thiệu
Đăng ký
Đăng nhập
Tìm
Danh mục
Kinh doanh - Marketing
Kinh tế quản lý
Biểu mẫu - Văn bản
Tài chính - Ngân hàng
Công nghệ thông tin
Tiếng anh ngoại ngữ
Kĩ thuật công nghệ
Khoa học tự nhiên
Khoa học xã hội
Văn hóa nghệ thuật
Y tế sức khỏe
Văn bản luật
Nông lâm ngư
Kĩ năng mềm
Luận văn - Báo cáo
Giải trí - Thư giãn
Tài liệu phổ thông
Văn mẫu
Thông tin
Điều khoản sử dụng
Quy định bảo mật
Quy chế hoạt động
Chính sách bản quyền
Giới thiệu
Đăng ký
Đăng nhập
0
Trang chủ
Luận Văn - Báo Cáo
Báo cáo khoa học
Báo cáo khoa học: "Measures of Distributional Similarity"
tailieunhanh - Báo cáo khoa học: "Measures of Distributional Similarity"
We study distributional similarity measures for the purpose of improving probability estimation for unseen cooccurrences. Our contributions are three-fold: an empirical comparison of a broad range of measures; a classification of similarity functions based on the information that they incorporate; and the introduction of a novel function that is superior at evaluating potential proxy distributions. | Measures of Distributional Similarity Lillian Lee Department of Computer Science Cornell University Ithaca NY 14853-7501 Abstract We study distributional similarity measures for the purpose of improving probability estimation for unseen cooccurrences. Our contributions are three-fold an empirical comparison of a broad range of measures a classification of similarity functions based on the information that they incorporate and the introduction of a novel function that is superior at evaluating potential proxy distributions. 1 Introduction An inherent problem for statistical methods in natural language processing is that of sparse data the inaccurate representation in any training corpus of the probability of low frequency events. In particular reasonable events that happen to not occur in the training set may mistakenly be assigned a probability of zero. These unseen events generally make up a substantial portion of novel data for example Essen and Steinbiss 1992 report that 12 of the test-set bigrams in a 75 -25 split of one million words did not occur in the training partition. We consider here the question of how to estimate the conditional cooccurrence probability p v n of an unseen word pair n v drawn from some finite set N X V. Two state-of-the-art technologies are Katz s 1987 backoff method and Jelinek and Mercer s 1980 interpolation method. Both use P v to estimate P v n when n v is unseen essentially ignoring the identity of n. An alternative approach is distance-weighted averaging which arrives at an estimate for unseen cooccurrences by combining estimates for cooccurrences involving similar words 1 Az I X _ me5 n sim n Wl P v m P y n -------------- ----------- 1 EmeS n sim n m v where S n is a set of candidate similar words and sim n m is a function of the similarity between n and m. We focus on distributional rather than semantic similarity . Resnik 1995 because the goal of distance-weighted averaging is to smooth probability .
Ngọc Ðiệp
86
8
pdf
Báo lỗi
Trùng lắp nội dung
Văn hóa đồi trụy
Phản động
Bản quyền
File lỗi
Khác
Upload
Tải xuống
đang nạp các trang xem trước
Bấm vào đây để xem trước nội dung
Tải xuống
TÀI LIỆU LIÊN QUAN
Emergency department operational metrics, measures and definitions: Results of the second performance measures and benchmarking summit
8
80
0
Lectures Applied statistics for business: Chapter 3 - ThS. Nguyễn Tiến Dũng
45
93
0
The Theory of Measures and Integration
168
13
1
Báo cáo khoa học: "Measures of Distributional Similarity"
8
74
1
Lecture Basic statistics for business and economics - Chapter 3: Describing data: Numerical measures
15
89
0
Research on reproductive characteristics and multiplication measures of vetiver grass in Thua Thien Hue
8
69
0
Based on HDFS safety measures construction of secret storage cloud
6
67
0
Lecture Fundamentals of cost accounting - Chapter 18: Nonfinancial and multiple measures of performance
17
54
0
Anlytic measures for adaptability of wheat genotypes for northern hills zone of country by mixed model approach
18
74
0
Scientists’ preference on suggested action measures and major areas of impact for changing weather patterns in Cuttack district of Odisha, India
10
107
0
TÀI LIỆU XEM NHIỀU
Một Case Về Hematology (1)
8
461857
55
Giới thiệu :Lập trình mã nguồn mở
14
22603
58
Tiểu luận: Tư tưởng Hồ Chí Minh về xây dựng nhà nước trong sạch vững mạnh
13
10882
529
Câu hỏi và đáp án bài tập tình huống Quản trị học
14
10049
445
Phân tích và làm rõ ý kiến sau: “Bài thơ Tự tình II vừa nói lên bi kịch duyên phận vừa cho thấy khát vọng sống, khát vọng hạnh phúc của Hồ Xuân Hương”
3
9513
104
Ebook Facts and Figures – Basic reading practice: Phần 1 – Đặng Tuấn Anh (Dịch)
249
8268
1124
Tiểu luận: Nội dung tư tưởng Hồ Chí Minh về đạo đức
16
8224
423
Mẫu đơn thông tin ứng viên ngân hàng VIB
8
7862
2220
Đề tài: Dự án kinh doanh thời trang quần áo nữ
17
6669
253
Vật lý hạt cơ bản (1)
29
5765
85
TỪ KHÓA LIÊN QUAN
Báo cáo khoa học
Measures of Distributional Similarity
Measures of Distributional Similarity Lillian Lee
Long Papers
báo cáo khoa học
mô hình ngôn ngữ
xử lý ngôn ngữ tự nhiên
Finding Synonyms
Automatic Word Alignment
Word classification
combined measures of distributional
semantic similarity
scientific reports
model language
process natural language
Bài giảng Xử lý ngôn ngữ tự nhiên
Ngôn ngữ tự nhiên
Kỹ thuật lập trình
Xử lý nhập nhằng ngữ nghĩa
Xử lý ngữ nghĩa
Xử lý ngôn ngữ
Natural Language Processing
Ngôn ngữ lập trình
Nhập nhằng cấu trúc
Tri thức về ngôn ngữ
Mô hình n gram
Dịch máy
Phương pháp dịch máy
Hiểu ngôn ngữ
Phân tích ngữ nghĩa
Phân loại tin tự động
Biểu diễn vị từ
Thuộc tính về sự kiện
Thuộc tính về sự kiện
Mô hình ngôn ngữ Google Book N grams
Mô hình ngôn ngữ KenLM
Phương pháp làm mịn
Tách từ tiếng Việt
Gán nhãn từ loại
Phân tích cú pháp
Nghĩa từ vựng
Phân giải nhập nhằng từ
Phân loại văn bản
Lexical chain
Phản hồi thông tin
Bài toán PTCP
Cấu trúc ngữ pháp
Phân tích cú pháp xác suất
CKY kết hợp xác suất
Văn phạm phi ngữ cảnh xác suất
Hình thái học
TÀI LIỆU MỚI ĐĂNG
Giáo án mầm non chương trình đổi mới: Gia đình vui nhộn
4
312
1
24-04-2024
Giáo án mầm non chương trình đổi mới: Đề tài: Ôn xác định vị trí trên – dưới, trước- sau của đối tượng khác.
8
352
3
24-04-2024
Lịch sử Đội TNTP Hồ Chí Minh - CHƯƠNG III VÂNG LỜI BÁC DẠY, LÀM NGHÌN VIỆC TỐT, CHỐNG MỸ, CỨU NƯỚC, THIẾU NIÊN SĂN SÀNG
45
136
0
24-04-2024
Data Structures and Algorithms - Chapter 8: Heaps
41
118
0
24-04-2024
Hệ thống làm lạnh và điều hòa không khí
21
125
0
24-04-2024
Báo cáo nghiên cứu nông nghiệp " Biofertiliser inoculant technology for the growth of rice in Vietnam: Developing technical infrastructure for quality assurance and village production for farmers "
12
85
0
24-04-2024
Bài giảng hệ điều hành : HỆ ĐIỀU HÀNH NÂNG CAO part 4
6
113
0
24-04-2024
Giáo trình vật liệu điện part 8
11
110
0
24-04-2024
Báo cáo y học: "ignal 3 and its role in autoimmunity"
2
93
0
24-04-2024
Báo cáo " Thực thi pháp luật về giao dịch bảo đảm trong hoạt động cấp tín dụng của ngân hàng thương mại - một số vướng mắc pháp lí và đề xuất hoàn thiện "
7
165
1
24-04-2024
TÀI LIỆU HOT
Mẫu đơn thông tin ứng viên ngân hàng VIB
8
7862
2220
Giáo trình Tư tưởng Hồ Chí Minh - Mạch Quang Thắng (Dành cho bậc ĐH - Không chuyên ngành Lý luận chính trị)
152
5678
1349
Ebook Chào con ba mẹ đã sẵn sàng
112
3757
1230
Ebook Tuyển tập đề bài và bài văn nghị luận xã hội: Phần 1
62
5309
1135
Ebook Facts and Figures – Basic reading practice: Phần 1 – Đặng Tuấn Anh (Dịch)
249
8268
1124
Giáo trình Văn hóa kinh doanh - PGS.TS. Dương Thị Liễu
561
3489
642
Tiểu luận: Tư tưởng Hồ Chí Minh về xây dựng nhà nước trong sạch vững mạnh
13
10882
529
Giáo trình Sinh lí học trẻ em: Phần 1 - TS Lê Thanh Vân
122
3678
525
Giáo trình Pháp luật đại cương: Phần 1 - NXB ĐH Sư Phạm
274
4040
514
Bài tập nhóm quản lý dự án: Dự án xây dựng quán cafe
35
4120
480
crossorigin="anonymous">
Đã phát hiện trình chặn quảng cáo AdBlock
Trang web này phụ thuộc vào doanh thu từ số lần hiển thị quảng cáo để tồn tại. Vui lòng tắt trình chặn quảng cáo của bạn hoặc tạm dừng tính năng chặn quảng cáo cho trang web này.