tailieunhanh - Bài giảng Học sâu và ứng dụng: Bài 4 - ĐH Bách khoa Hà Nội

Bài giảng Học sâu và ứng dụng: Bài 4 Huấn luyện mạng nơ-ron, cung cấp cho người học những kiến thức như: Hàm kích hoạt; Tiền xử lý dữ liệu; Khởi tạo trọng số; Các kỹ thuật chuẩn hóa. Mời các bạn cùng tham khảo! | 1 Bài 4 Huấn luyện mạng nơ-ron Phần 1 2 Nội dung Hàm kích hoạt Tiền xử lý dữ liệu Khởi tạo trọng số Các kỹ thuật chuẩn hóa 3 Hàm kích hoạt 4 Hàm kích hoạt 5 Hàm kích hoạt Nhận giá trị trong khoảng 0 1 Được dùng phổ biến trong lịch sử mạng nơ- ron do chúng mô phỏng tốt tỉ lệ bắn xung firing rate của nơ-ron Có 3 nhược điểm - Nơ-ron bão hòa triệt tiêu gradient 6 Hàm kích hoạt Điều gì sẽ xảy ra khi x -10 Điều gì sẽ xảy ra khi x 0 Điều gì sẽ xảy ra khi x 10 7 Hàm kích hoạt Nhận giá trị trong khoảng 0 1 Được dùng phổ biến trong lịch sử mạng nơ- ron do chúng mô phỏng tốt tỉ lệ bắn xung firing rate của nơ-ron Có 3 nhược điểm - Nơ-ron bão hòa triệt tiêu gradient - Trung bình đầu ra khác 0 8 Hàm kích hoạt Điều gì xảy ra nếu tất cả đầu vào xi của nơ-ron đều dương Khi đó gradient của hàm mục tiêu đối với w sẽ ra sao Tất cả các phần tử của w đều cùng dấu với f w tức là cùng âm hoặc cùng dương Khi đó gradient chỉ có thể hướng theo một số chiều nhất định trong không gian tìm kiếm 9 Hàm kích hoạt Nhận giá trị trong khoảng 0 1 Được dùng phổ biến trong lịch sử mạng nơ- ron do chúng mô phỏng tốt tỉ lệ bắn xung firing rate của nơ-ron Có 3 nhược điểm - Nơ-ron bão hòa triệt tiêu gradient - Trung bình đầu ra khác 0 - Tính toán hàm mũ exp tốn kém 10 Hàm kích hoạt Nhận giá trị trong khoảng -1 1 Trung bình đầu ra bằng 0 - Vẫn bị hiện tượng bão hòa triệt tiêu gradient 11 Hàm kích hoạt Không bị bão hòa trong vùng dương Tính toán hiệu quả Trong thực tế hội tụ nhanh hơn sigmoid tanh khoảng 6 lần - Đầu ra trung bình khác 0 - Và một vấn đề nữa 12 Hàm kích hoạt Điều gì sẽ xảy ra khi x -10 Điều gì sẽ xảy ra khi x 0 Điều gì sẽ xảy ra khi x 10 13 Hàm kích hoạt ReLU bị văng ra khỏi tập dữ liệu dẫn tới đầu ra luôn âm và không bao giờ được cập nhật trọng số nữa è ReLU chết Thường khởi tạo nơ-ron ReLU với bias dương bé ví dụ 14 Hàm kích hoạt Không bị bão hòa trong vùng dương Tính toán hiệu quả Trong thực tế hội tụ nhanh hơn sigmoid tanh khoảng 6 lần Không bao giờ chết 15 Hàm kích hoạt Không bị bão

• Cơ sở dữ liệu
• Bài giảng Học sâu và ứng dụng
• Học sâu và ứng dụng
• Huấn luyện mạng nơ ron
• Tiền xử lý dữ liệu
• Hàm kích hoạt
• Khởi tạo trọng số
• Phần mềm cho học sâu
• Phần cứng cho học sâu
• Đồ thị tính toán động
• Ứng dụng học sâu trong thị giác máy
• Bài toán phát hiện đối tượng
• Thị giác máy
• Xử lý ngôn ngữ tự nhiên
• Ứng dụng học sâu
• Bài toán dịch máy
• Dịch máy thống kê
• Mô hình huấn luyện sẵn
• Nhận dạng thực thể định danh
• Suy diễn logic
• Lựa chọn siêu tham số
• Kỹ thuật chống overfitting
• Kỹ thuật học tái sử dụng
• Hàm mục tiêu
• Độ phân giải upsampling
• Bài toán phân đoạn ảnh
• Mạng phân đoạn ảnh tiêu biểu
• Mạng hồi quy
• Lan truyền ngược theo thời gian
• Bài toán dự đoán chuỗi
• Phân lớp văn bản
• Phương pháp học máy truyền thống
• Phân lớp tuyến tính
• Hồi quy tuyến tính
• Mạng nơ ron
• Mạng nơ ron một lớp ẩn
• Thuật lan truyền ngược
• Conv Neural Networks
• Mạng tích chập
• Lớp tích chập
• Lớp gộp max pooling
• Mô hình sinh dữ liệu
• Mô hình tự mã hóa
• Variational Autoencoders
• Biểu diễn không gian ẩn