tailieunhanh - Bài tập và gợi ý giải môn học Lý thuyết thông tin

Tài liệu ôn tập tham khảo gồm 15 câu hỏi bài tập môn Lý thuyết thông tin ngành đào tạo điện tử - viễn thông. | ĐÁP ÁN 1 xk klnp xk I Xk - lnp Xk nat 1 xk - log2 p xk bít 1 xk - lgp xk hart Ngành đào tạo ĐIÊN TỬ - VIỄN THÔNG Hệ đào tạo ĐẠI HỌC Môn học LÝ THUYẾT THÔNG TIN Mã số 411 LTT 340A Số ĐVHT 4 PHẦN 1 LÝ THUYẾT THÔNG TIN Câu 1 1 điểm Định nghĩa lượng thông tin riêng độ bất định của một biến ngẫu nhiên. Xác định các đơn vị đo - Định nghĩa lượng thông tin riêng độ bất định Lượng thông tin riêng là độ bất định tiềm năng chứa trong một biến cố ngẫu nhiên xk. Ký hiệu I xk - Các đơn vị đo k -1 k - Ĩn2 k - ln10 1 nat 1 443 bít 1 hart 3 322 bít Câu 2 1 điểm Định nghĩa entropy của nguồn rời rạc Entropy của nguồn tin rời rạc A là trung bình thống kê của lượng thông tin riêng của các tin thuộc A Ký hiệu H1 A H1 A M I a a a2 . m A 1 . 2 s ự a1 p a2 . p as s 0 p ai 1 Ẽp ai 1 i 1 H1 A -È p ai logp ai bít 1 Câu 3 1 điểm Nêu các tính chất của entropy của nguồn rời rạc Các tính chất của H1 A - Khi p ak 1 p ai 0 với Vi k thì H1 A H1 A min 0 - Một nguồn tin rời rạc gồm s dấu đồng xác suất cho entropy cực đại. Ta có H1 A max logs - Entropy của nguồn rời rạc là một đại luợng giới nội 0 H1 a logs Câu 4 1 điểm Định nghĩa khả năng thông qua kênh rời rạc nêu các tính chất - Định nghĩa Khả năng thông qua của kênh rời rạc là giá trị cực đại của l-ợng thông tin chéo trung bình truyền qua kênh trong một đơn vị thời gian lấy theo mọi khả năng có thể có của nguồn tin A. C maxl A B vkmaxI A B bps - Các tính chất C 0 C 0 khi A và B là độc lập kênh bị đứt C Vklogs C vk log s khi kênh không nhiễu Câu 5 2 điểm Entropy của nguồn rời rạc nhị phân. ý nghĩa của dơn vị đo bít Entropy của nguồn rời rạc nhị phân. a1 H A bits 1 Hi A 1 max 0 5 1 p A a2 1 - p -plogp - 1 - p log 1 - p Khi p 1 - p 2 H1 A Hi AL 1bit - ý nghĩa 1 bít là l-ợng thông tin riêng trung bình chứa trong một biến cố của một nguồn rời rạc 2 phân đồng xác suất. 2 Câu 6 2 điểm Xác định hai trạng thái cực đoan của kênh rời rạc. - Kênh bị đứt Các nguồn tin A và B ở hai đầu thu và phát là độc lập. p aựbj p ai p bj ai p ai p aibj p ai p bj Ta có H A b