tailieunhanh - Báo cáo khoa học: "Spectral Learning of Latent-Variable PCFGs"

We introduce a spectral learning algorithm for latent-variable PCFGs (Petrov et al., 2006). Under a separability (singular value) condition, we prove that the method provides consistent parameter Introduction Statistical models with hidden or latent variables are of great importance in natural language processing, speech, and many other fields. The EM algorithm is a remarkably successful method for parameter estimation within these models: it is simple, it is often relatively efficient, and it has well understood formal properties. . | Spectral Learning of Latent-Variable PCFGs Shay B. Cohen1 Karl Stratos1 Michael Collins1 Dean P. Foster2 and Lyle Ungar3 Dept. of Computer Science Columbia University 2Dept. of Statistics 3Dept. of Computer and Information Science University of Pennsylvania scohen stratos mcollins @ foster@ ungar@ Abstract We introduce a spectral learning algorithm for latent-variable PCFGs Petrov et al. 2006 . Under a separability singular value condition we prove that the method provides consistent parameter estimates. 1 Introduction Statistical models with hidden or latent variables are of great importance in natural language processing speech and many other fields. The EM algorithm is a remarkably successful method for parameter estimation within these models it is simple it is often relatively efficient and it has well understood formal properties. It does however have a major limitation it has no guarantee of finding the global optimum of the likelihood function. From a theoretical perspective this means that the EM algorithm is not guaranteed to give consistent parameter estimates. From a practical perspective problems with local optima can be difficult to deal with. Recent work has introduced polynomial-time learning algorithms and consistent estimation methods for two important cases of hidden-variable models Gaussian mixture models Dasgupta 1999 Vempala and Wang 2004 and hidden Markov models Hsu et al. 2009 . These algorithms use spectral methods that is algorithms based on eigenvector decompositions of linear systems in particular singular value decomposition SVD . In the general case learning of HMMs or GMMs is intractable . see Terwijn 2002 . Spectral methods finesse the problem of intractibility by assuming separability conditions. For example the algorithm of Hsu et al. 2009 has a sample complexity that is polynomial in 1 a where a is the minimum singular value of an underlying decomposition. These methods are not .

• Báo cáo khoa học
• Spectral Learning
• Latent Variable PCFGs
• Shay B
• Cohen
• báo cáo khoa học
• báo cáo ngôn ngữ
• ngôn ngữ tự nhiên
• Non Deterministic Dependency Parsing
• Ariadna Quattoni and Borja Balle
• scientific reports
• model language
• process natural language
• Secondary cancer
• Risk factors
• Class imbalance
• Patient heterogeneity
• Spectral clustering
• Ensemble learning
• Hyper spectral image
• Semi supervised learning
• Semi supervised classification problem
• CANN algorithms
• CASVM algorithms
• Chromatography A
• Mass spectral comparison
• Nontargeted analysis
• Suspect screening
• Machine learning
• Bài giảng Xử lý ngôn ngữ tự nhiên
• Xử lý ngôn ngữ tự nhiên
• Kỹ thuật lập trình
• Mô hình ngôn ngữ
• Mô hình n gram
• Dịch máy
• Phương pháp dịch máy
• Hiểu ngôn ngữ
• Phân loại tin tự động
• Tạo chí tin học
• Điều khiển học
• Truy vấn ngôn ngữ tự nhiên
• Phép dịch truy vấn ngôn ngữ tự nhiên
• Truy vấn SQL
• Văn phạm ngữ nghĩa
• Xử lý nhập nhằng ngữ nghĩa
• Xử lý ngữ nghĩa
• Phân tích ngữ nghĩa
• Biểu diễn vị từ
• Thuộc tính về sự kiện
• Thuộc tính về sự kiện
• Xử lý ngôn ngữ
• Natural Language Processing
• Ngôn ngữ lập trình
• Nhập nhằng cấu trúc
• Tri thức về ngôn ngữ
• Mô hình ngôn ngữ Google Book N grams
• Mô hình ngôn ngữ KenLM
• Phương pháp làm mịn
• Bài toán PTCP
• Phân tích cú pháp
• Cấu trúc ngữ pháp
• Phân tích cú pháp xác suất
• CKY kết hợp xác suất
• Văn phạm phi ngữ cảnh xác suất
• Hình thái học
• Gán nhãn từ loại
• Ngôn ngữ tự nhiên trong dịch máy
• Hệ thống dịch máy
• Phương pháp xây dựng bảng từ
• Tác từ
• Conditional random fields
• Nhận dạng thực thể có tên
• Đối tượng vật lý trừu tượng
• Phân lớp văn bản
• Biểu diễn nhị phân
• Ma trận từ văn bản
• Wolfram Alpha
• Trích rút thông tin
• Phương pháp Snowball