tailieunhanh - Bài giảng Nhập môn Kỹ thuật truyền thông - Chương 3.1: Các đại lượng thông tin

Bài giảng Nhập môn Kỹ thuật truyền thông - Chương 3 (1): Các đại lượng thông tin cung cấp cho người học những nội dung chính sau: Lượng tin riêng, Entropy, lượng tin tương hỗ. Mời các bạn cùng tham khảo để biết thêm nội dung chi tiết. | o .c Chương 3. Các đại lượng thông tin ng . Lượng tin riêng co . Entropy . Lượng tin tương hỗ an . Nguồn tin . Kênh th . Phối hợp nguồn kênh g on du u https tailieudientucntt o .c . Lượng tin riêng ng Lưu ý co Một nguồn có mô hình là một biến ngẫu nhiên Thông tin là một khái niệm trừu tượng mô tả sự hiểu biết về đối an tượng xung quanh ta. Thông tin thu được thông qua sự làm mất đi sự chưa biết hay sự bất ngờ bất định về đối tượng Lượng tin riêng của tin sẽ bằng độ bất định về tin th Tính toán lượng tin riêng thông qua tính toán độ bất định Lượng tin riêng là số đơn vị thông tin chứa trong tin hay còn gọi là g độ lớn thông tin của tin on du u https tailieudientucntt o .c ng Độ đo độ bất định của một sự kiện đã được shannon đề xuấttừ 1948. co Theo lý thuyết độ đo Độ bất định sẽ tỷ lệ nghịch với xác suất xuất hiện của sự kiện. Tức nó là hàm f 1 p x . P x là xác suất xuất hiện của sự kiện x an Để đảm bảo tính tuyến tính độ bất định phải được đo bởi hàm log 1 p x th Hai sự kiện x và y độc lập với nhau có xác suất xuất hiện đồng thời p x y p x p y . Vậy log 1 p x p y log 1 p x log 1 p y 0 o .c ng co an th g on du u https tailieudientucntt o .c . Amount of information Cont. ng Ví dụ bảng dưới cho độ bất ngờ về kết quả của một phép thử và co lượng tin chưa trong kết quả đó chú ý sự kiện event là tập các kết quả của phép thử . an Event Probability Surprise 1 1 th 1 0 bits kết quả sai trong câu hỏi có 4 đáp án 3 4 bits g on kết quả đúng trong câu hỏi 2 đáp án 1 2 1 bit kết quả đúng trong câu hỏi 4 đáp án 1 4 2 bits du kết quả 7 khi gieo 2 con súc sắc 6 36 bits u Thắng trong trò chơi Jackpot 1 76 million 26 bits https tailieudientucntt o .c ng Lượng tin của bản tin chuỗi liên tiếp các tin sẽ là tổng lượng tin riêng của các tin nếu các tin độc lập hay không chứa lượng tin của nhau. Nếu các tin không độc lập lượng tin của bản tin .