tailieunhanh - Giáo trình lý thuyết thông tin 3

Tham khảo tài liệu 'giáo trình lý thuyết thông tin 3', kỹ thuật - công nghệ, kĩ thuật viễn thông phục vụ nhu cầu học tập, nghiên cứu và làm việc hiệu quả | Chương 3 Cơ sở lý thuyết thông tin thống kê . Tính chất của các tín hiệu có phân bố chuẩn Định lý Trong số những quá trình tín hiệu có cùng công suất trung bình ơ2 tín hiệu có phân bố Gausse sẽ cho entropie vi phân lớn nhất. Tức là X h X - J W1 x .log W1 x .dx logx 2neơ2 -X max h X logx2neơ2 khi W1 x - mạt độ chuẩn Chứng minh Gọi x t là tín hiệu không Gausse. x t là tín hiệu Gause W1 x 1 Y exp x 2 ì x 2P x Điều cần chứng minh ở định lý trên trương đương với việc chứng minh bất đẳng thức sau h X - logự2nePx 0 Trước hết theo giả thiết ta có D Dx D x X 2 X _ X _ - J x W1 x dx J x2W1 x dx -X X -X a Ta có h X X -J W1 -X x log W1 X í x dx X X logx 2nD J W1 x dx -X X X iog J x2W1 x dx 2D 1 -X í X X X A do J W1 x Idx J W1 x dx 1 và do a I X -X X J -X 80 Chương 3 Cơ sở lý thuyết thông tin thống kê . A h X 7 E - I -- log2nD -7L 2 2DlOge W1 x dx 7 - I W1 x logWi -7 A . x dx Từ cần chứng minh h X - h 0 Ta có A h X -h X 7 - I W1 x log W1 x dx -7 7 I W1 x log W1 -7 A . x dx 7 W1 x IW1 x log wk dx 71 Với a 1 bao giờ ta cũng có loga x x - 1. Nên 7 h X - h X I W1 x l -7 A W1 x M-1 W1 x dx 7 A 7 I W1 x dx - I W1 x dx -7 V -7 Vậy h X - h X 0 h X h X V x x maxh X h X log 2neD Ý nghĩa định lý Trong số các quá trình ngẫu nhiên có cùng phương sai thì quá trình có phân bố chuẩn thể hiện tính ngẫu nhiên nhiều hơn cả. Do đó ta thấy rằng trong số những tạp có cùng phương sai thì tạp phân bố chuẩn có tác hại lớn nhất đối với việc truyền tin. vì entropie đặc trưng cho độ bất 81 Chương 3 Cơ sở lý thuyết thông tin thống kê định mà entropie của tạp chuẩn max nên độ bất định của nó lớn nhất . Đó là lý do vì sao trong các bài toán của vô tuyến điện thống kê người ta thường xét tạp chuẩn. Bằng phương pháp tương tự ta có thể chứng minh được a. Trong số tất cả các phân bố trong một khoảng hữu hạn b a b J W1 x dx 1. Đại a lượng ngẫu nhiên phân bố đều có entropie lớn nhất. H X log b - a log ơ2ạ 3 l b. Trong số tất cả các đại lượng ngẫu nhiên liên tục dương có cùng kỳ vọng m J W1 x dx 1 và J xW1 x .