tailieunhanh - Báo cáo: LÝ THUYẾT THÔNG TIN

THÔNG TIN là một đại lượng toán học dùng để đo lượng tin không chắc (hay lượng ngẫu nhiên) của một sự kiện hay của phân phối ngẫu nhiên cho trước. Hay một số tài liệu tiếng anh gọi là Uncertainty Measure. Ý nghĩa entropy: Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện ngẫu nhiên. Nói cách khác, entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu, với thông tin là các phần không hỗn loạn ngẫu nhiên của tín hiệu | LÝ THUYẾT THÔNG TIN ENTROPY Định nghĩa entropy Entropy là một đại lượng toán học dùng để đo hay lượng ngẫu nhiên của một sự kiện hay của phân phối ngẫu nhiên cho trước. Hay một số tài liệu tiếng anh gọi là Uncertainty Measure. Ý nghĩa entropy Entropy thông tin mô tả mức độ hỗn loạn trong một tín hiệu lấy từ một sự kiện ngẫu nhiên. Nói cách khác entropy cũng chỉ ra có bao nhiêu thông tin trong tín hiệu với thông tin là các phần không hỗn loạn ngẫu nhiên của tín hiệu. Ở đây ta chỉ nghiên cứu các sự kiện ngẫu nhiên rời rạc. Entropy của một sự kiện Giả sử có một sự kiện A có xác suất xuất hiện là p. Khi đó ta nói A có một lượng không chắc chắn được đo bởi với p C 0 1 . Hàm h p được gọi là Entropy nếu nó thoả 2 tiêu đề toán học sau Tiên đề 1 h p là hàm liên tục không âm và đơn điệu giảm. Tiên đề 2 nếu A và B là hai sự kiện độc lập nhau có xác suất xuất hiện lần lượt là pA và pB. Khi đó p A B nhưng h A B h pA h pB