tailieunhanh - Giáo trình Lý thuyết thông tin: Phần 2

Tiếp nối phần 1, giáo trình Lý thuyết thông tin phần 2 bao gồm 2 chương còn lại: chương 4 cơ sở lý thuyết mã hóa và chương 5 lý thuyết thu tối ưu. ! | Chương 4 – Cơ sở lý thuyết mã hóa CHƯƠNG 4. CƠ SỞ LÝ THUYẾT MÃ HÓA . CÁC ĐỊNH NGHĨA VÀ KHÁI NIỆM CƠ BẢN . Các định nghĩa cơ bản . Mã hóa Tập các tin rời rạc rất đa dạng và phong phú. Để hệ thống truyền tin số có thể truyền được các tin này cần phải có một quá trình biến đổi thích hợp đối với các tin rời rạc, đó chính là quá trình mã hóa. n Định nghĩa . Mã hóa là một ánh xạ 1- 1 từ tập các tin rời rạc a i lên tập các từ mã i i f : a i in i n Để có thể dễ dàng mã hóa và giải mã, từ các từ mã i i thường là các phần tử của một cấu trúc đại số nào đó. Bởi vậy ta có thể định nghĩa cụ thể hơn cho phép mã hóa. IT Định nghĩa . Mã hóa là một ánh xạ 1- 1 từ tập các tin rời rạc a i lên một tập con có cấu trúc của một cấu trúc đại số nào đó. . Mã PT Định nghĩa . Mã (hay bộ mã) là sản phẩm của phép mã hóa, hay nói cách khác mã là một tập các từ mã được lập nên theo một luật đã định. . Các yếu tố của từ mã Định nghĩa . Độ dài từ mã n i là số các dấu mã cần thiết dùng để mã hóa cho tin a i . Nếu n i const với mọi i thì mọi từ mã đều có cùng độ dài. Bộ mã tương ứng được gọi là bộ mã đều. Nếu n i n j thì bộ mã tương ứng được gọi là bộ mã không đều Định nghĩa . Số các dấu mã khác nhau (về giá trị) được sử dụng trong bộ mã được gọi là cơ số mã. Ta ký hiệu giá trị này là m. Nếu m = 2 thì bộ mã tương ứng được gọi là mã nhị phân. Nếu m = 3 thì bộ mã tương ứng được gọi là mã tam phân Nếu m = p thì bộ mã tương ứng được gọi là mã p phân. Thông thường các dấu mã được chọn là các phần tử trong một trường F nào đó. 7 Ví dụ 1: Từ mã i trong bộ mã đều nhị phân có độ dài 7 có thể mô tả như sau: i7 0 1 1 0 1 0 1 85 Chương 4 – Cơ sở lý thuyết mã hóa Mỗi một dấu mã trong từ mã này chỉ có thể nhận một trong hai giá trị 0,1 , mỗi dấu mã là một phần tử của trường nhị phân GF(2). . Các khái niệm cơ bản . Độ thừa của một bộ mã đều (D) Cho nguồn rời rạc A gồm s tin: A a i ; 1,s . n n Xét phép mã hóa f .