tailieunhanh - Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương 9.2: Học dựa trên xác suất

Bài giảng Nhập môn Học máy và Khai phá dữ liệu - Chương : Học dựa trên xác suất. Chương này cung cấp cho học viên những nội dung về: expectation maximization; GMM và K-means; thuật toán EM; mô hình hỗn hợp và phân cụm; mạng nơron để thực hiện suy diễn Bayes; . Mời các bạn cùng tham khảo chi tiết nội dung bài giảng! | 1 Nhập môn Học máy và Khai phá dữ liệu IT3190 2 Nội dung môn học Lecture 1 Giới thiệu về Học máy và khai phá dữ liệu Lecture 2 Thu thập và tiền xử lý dữ liệu Lecture 3 Hồi quy tuyến tính Linear regression Lecture 4 5 Phân cụm Lecture 6 Phân loại và Đánh giá hiệu năng Lecture 7 dựa trên láng giềng gần nhất KNN Lecture 8 Cây quyết định và Rừng ngẫu nhiên Lecture 9 Học dựa trên xác suất Lecture 10 Mạng nơron Neural networks Lecture 11 Máy vector hỗ trợ SVM Lecture 12 Khai phá tập mục thường xuyên và các luật kết hợp Lecture 13 Thảo luận ứng dụng trong thực tế 3 Expectation maximization 4 Expectation maximization 5 GMM Xét việc học GMM với K phân phối Gaussian từ dữ liệu huấn luyện D x1 x2 xM . Hàm mật độ σ 1 1 chứa cho trọng số của từng phân phối Mỗi Gaussian đa biến có hàm mật độ 1 1 exp 2 1 det 2 MLE cố gắng cực đại hàm log-likelihood sau log 1 1 Không thể tìm được công thức nghiệm cụ thể Naïve gradient decent lặp hai bước sau cho đến khi hội tụ Tối ưu hóa theo biến khi cố định . Tối ưu hóa theo biến khi cố định . 6 GMM và K-means GMM ta cần biết K-means Trong số K Gaussian phân bố nào Trong số K cụm thì x thuộc về sinh ra dữ liệu x cụm nào chỉ số z của phân bố đó Chỉ số z của cụm Tham số của từng phân phối Tham số của từng cụm Tâm cụm Ý tưởng cho GMM Huấn luyện K-means Bước 1 phân bổ mỗi x vào chú ý σ 1 1 cụm gần nhất gán mềm vào các cụm gán nhãn cụm cho từng x cách gán cứng nhắc Cập nhật tham số cho từng phân bố Gaussian Bước 2 tình toán lại tâm các cụm 7 GMM cận dưới Ý tưởng của GMM Bước 1 tính note σ 1 1 Bước 2 Cập nhật tham số cho các phân bố Xét hàm log-likelihood log log 1 1 Quá phức tạp nếu trực tiếp sử dụng đạo hàm Lưu ý rằng log log log BĐT Jensen log log log Tối đa hóa có thể được thực hiện bằng cách tối đa hóa giới hạn dưới log 8 GMM cực đại hoá cận dưới Ý tưởng của GMM Bước 1 tính note σ 1 1 Bước 2 Cập nhật tham số cho từng phân phối Gaussian Quy tắc Bayes trong đó σ là hằng số chuẩn hóa. Có nghĩa là người ta có thể tính nếu biết Đặt với mọi 1 1 Còn về