tailieunhanh - Giáo trình Lý thuyết thông tin: Phần 1

Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin như: Mô hình lý thuyết thông tin theo quan điểm Shannon; Độ đo lượng tin (Measure of Information); Xác định các phân phối ngẫu nhiên của bài toán; . Mời các bạn cùng tham khảo để nắm nội dung chi tiết. | Giáo trình Lý thuyết thông tin Giáo trình Lý thuyết thông tin. MỤC LỤC GIỚI THIỆU TỔNG 1. MỤC ĐÍCH .6 2. YÊU CẦU .6 3. NỘI DUNG CỐT 4. KẾT THỨC TIÊN QUYẾT .7 5. TÀI LIỆU THAM 6. PHƯƠNG PHÁP HỌC CHƯƠNG 1 GIỚI THIỆU .9 1. Mục 2. Đối tượng nghiên 3. Mô hình lý thuyết thông tin theo quan điểm Shannon .10 4. Lượng tin biết và chưa biết .10 5. Ví dụ về lượng tin biết và chưa biết .10 6. Định lý cơ sở của kỹ thuật truyền tin .11 7. Mô tả trạng thái truyền tin có nhiễu .11 8. Minh họa kỹ thuật giảm 9. Chi phí phải trả cho kỹ thuật giảm nhiễu .13 10. Khái niệm về dung lượng kênh truyền .13 11. Vấn đề sinh mã .13 12. Vấn đề giải CHƯƠNG 2 ĐỘ ĐO LƯỢNG TIN .15 BÀI ENTROPY .15 1. Mục 2. Ví dụ về 3. Nhận xét về độ đo lượng tin .15 4. Khái niệm entropy .16 5. Entropy của một sự 6. Entropy của một phân phối .16 7. Định lý dạng giải tích của 8. Ví dụ minh họa .17 9. Bài toán về cây tìm kiếm nhị phân-Đặt vấn đề .17 10. Bài toán về cây tìm kiếm nhị phân - Diễn 11. Bài tập .18 BÀI CÁC TÍNH CHẤT CỦA ENTROPY .19 1. Mục tiêu .19 2. Các tính chất cơ bản của 3. Minh họa tính chất 1 và 4. Minh họa tính chất 3 và 5. Định lý cực đại của entropy .20 6. Chứng minh định lý cực đại của 7. Bài tập .21 BÀI ENTROPY CỦA NHIỀU BIẾN .22 1. Mục 2. Định nghĩa Entropy của nhiều 3. Ví dụ Entropy của nhiều 4. Định nghĩa Entropy có điều Biên soạn TS. L ê Quy ết Thắng ThS. Phan Tấn Tài amp Ks. Dương Văn Hiếu. 1 Giáo trình Lý thuyết thông tin. 5. Ví dụ Entropy có điều kiện .23 6. Quan hệ giữa H X Y với H X và H Y khi X Y độc 7. Quan hệ giữa H X Y với H X và H Y khi X Y tương quan .24 8. Bài tập .25 BÀI MINH HỌA CÁC ENTROPY .26 1. Mục 2. Yêu cầu của bài toán .26 3. Xác định các phân phối ngẫu nhiên của bài toán .26 4. Minh họa Entropy H X H Y và H X Y .27 5. Minh họa Entropy H X Y và H Y X .27 6. Minh họa quan hệ giữa .