tailieunhanh - Bài giảng Học máy: Bài 6 - Nguyễn Hoàng Long

Bài giảng "Học máy - Bài 6: Các phương pháp học máy kết hợp" cung cấp cho người học các kiến thức: Bootstrap là gì, các phương pháp kết hợp enemble methods, phương páp kết hợp boosting, độ sâu của từng cây,. Mời các bạn cùng thâm khảo nội dung chi tiết. | Bài giảng Học máy: Bài 6 - Nguyễn Hoàng Long Các phương pháp học máy kết hợp Boosting, Bagging, và Random Forests Nguyễn Thanh Tùng Khoa Công nghệ thông tin – Đại học Thủy Lợi tungnt@ Website môn học: Bài giảng có sử dụng hình vẽ trong cuốn sách “An Introduction to Statistical Learning with Applications in R” với sự cho phép của tác giả, có sử dụng slides các khóa học CME250 của ĐH Stanford và IOM530 của ĐH Southern California CSE 445: Học máy | Học kỳ 1, 2016-2017 1 Bootstrap là gì? • Giả sử ta có 5 quả bóng gắn nhãn A,B,C,D, E và bỏ tất cả chúng vào trong 1 cái giỏ. • Lấy ra ngẫu nhiên 1 quả từ giỏ và ghi lại nhãn, sau đó bỏ lại quả bóng vừa bốc được vào giỏ. • Tiếp tục lấy ra ngẫu nhiên một quả bóng và lặp lại quá trình trên cho đến khi việc lấy mẫu kết thúc. Việc lấy mẫu này gọi là lấy mẫu có hoàn lại. • Kết quả của việc lấy mẫu như trên có thể như sau (giả sử kích thước mẫu là 10): C, D, E, E, A, B, C, B, A, E Nguồn: CSE 445: Học máy | Học kỳ 1, 2016-2017 2 Bootstrap là gì? • Bootstrap là phương pháp lấy mẫu có hoàn lại (sampling with replacement)-> một mẫu có thể xuất hiện nhiều lần trong một lần lấy mẫu CSE 445: Học máy | Học kỳ 1, 2016-2017 3 Bootstrap là gì? • Là kỹ thuật rất quan trọng trong thống kê • Lấy mẫu có hoàn lại từ tập dữ liệu ban đầu để tạo ra các tập dữ liệu mới CSE 445: Học máy | Học kỳ 1, 2016-2017 4 Các phương pháp kết hợp Ensemble Methods CSE 445: Học máy | Học kỳ 1, 2016-2017 5 Sức mạnh của các bộ phân lớp yếu Condorcet’s Jury Theorem – Nếu p lớn hơn 1/2 (mỗi cử tri bỏ phiếu đúng mong muốn của họ), càng thêm nhiều cử tri sẽ tăng xác suất theo quyết định số đông sẽ chính xác. Trong giới hạn, xác suất bầu chọn theo số đông tiến đến 1 khi số cử tri tăng lên. CSE 445: Học máy | Học kỳ 1, 2016-2017 6 Sức mạnh của các bộ phân lớp yếu Condorcet’s Jury Theorem – Nếu p lớn hơn 1/2 .