tailieunhanh - Giáo trình: Lý thuyết thông tin part 3

Bài 1: Cho 2 biến ngẫu nhiên X, Y độc lập nhau có phân phối sau: X P Y P x1 1/2 y1 1/4 x2 1/2 y2 1/4 y3 1/4 y4 1/4 Tính H(X), H(Y). Bài 2: Kiểm tra lại kết quả của của bài 1 bằng tính chất 2. Bài 3: Cho biến ngẫu nhiên X có phân phối sau: X P x1 10% x2 20% x3 25% x4 25% x5 15% x6 5% Ta có thể gom các sự kiện x1, x2, x3 lại thành một sự kiện mới là x123 có xác suất xuất hiện là 55%, gom sự. | Giáo trình Lý thuyết thông tin. và đẳng thức chỉ xảy ra khi Pi Vi đpcm . M Bài tập Bài 1 Cho 2 biến ngẫu nhiên X Y độc lập nhau có phân phối sau X X1 X2 P 1 2 1 2 Y y1 y2 y3 y4 P 1 4 1 4 1 4 1 4 Tính H X H Y . Bài 2 Kiểm tra lại kết quả của của bài 1 bằng tính chất 2. Bài 3 Cho biến ngẫu nhiên X có phân phối sau X X1 X2 X3 X4 X5 X6 P 10 20 25 25 15 5 Ta có thể gom các sự kiện X1 x2 x3 lại thành một sự kiện mới là x123 có xác suất xuất hiện là 55 gom sự kiện X5 và X6 lại thành sự kiện X56 có Xác suất 20 . Ta được một nhiến ngẫu nhiên mới X có phân phối sau X X123 X4 X56 P 55 25 20 - Tính entropy của X X và kiểm tra lại tính chất 3. - Kiểm tra lại định lý cực đại từ dữ liệu cho trên. Biên soạn TS. L ê Quy ết Thắng ThS. Phan Tấn Tài Ks. Dương Văn Hiếu. 21 Giáo trình Lý thuyết thông tin. BÀI ENTROPY CỦA NHIỀU BIẾN Mục tiêu Sau khi hoàn tất bài học này bạn có thể - Hiểu biết các định nghĩa Entropy của nhiều biến và Entropy có điều kiện - Hiểu mối quan hệ giữa H X Y với H X và H Y khi X Y độc lập - Hiểu mối quan hệ giữa H X Y với H X và H Y khi X Y tương quan - Vận dụng mối quan hệ gữa các Entropy để tính các Entropy một cách hiệu quả - Vận dụng Entropy có điều kiện để làm cơ sở tính lượng tin trong bài học kế tiếp Định nghĩa Entropy của nhiều biến Giả sử X và Y là 2 biến ngẫu nhiên cho trước với pịj p X xi Y yj V i 1 . M và j 1 . L . Khi đó Entropy H X Y có dạng H X Y -ss p X y log2 p X y i 1 j 1 Hay H X Y -f ị pt. log Pj i 1 j 1 Một cách tổng quát H x1 - xn - s p X1 - Xn log p x1 X2 - Xn Ví dụ Entropy của nhiều biến Cho 2 BNN X và Y độc lập nhau và có các phân phối X 1 0 1 P Y 0 1 2 P Tính H X Y . - Lập phân phối của P X Y X Y X 0 Y 0 X 0 Y 1 X 0 Y 2 X 1 Y 0 X 1 Y 1 X 1 Y 2 P X Y - H X Y H Bit Định nghĩa Entropy có điều kiện Entropy của Y với điều kiện X xi i 1 . M được định nghĩa là H Y X Xi j p yj Xi log p y Xi Biên soạn TS. L ê Quy ết Thắng ThS. Phan Tấn Tài Ks. Dương .