tailieunhanh - Giáo trình Các mô hình xác suất và ứng dụng - Phần I: Xích Markov và ứng dụng (Phần 2)

Phần 2 Giáo trình Các mô hình xác suất và ứng dụng - Phần I: Xích Markov và ứng dụng trình bày chương 2 - Phân loại trạng thái xích Markov. Nội dung chương này trình bày mục đích, các trạng thái liên thông và sự phân lớp, chu kỳ của trạng thái, trạng thái hồi quy và không hồi quy,. . | Chương 2 PHÂN LOẠI TRẠNG THÁI XÍCH MARKOV a B . Mục đích Già sử Xn là xích Markov rời rac. thuần nhất với không gian trạng thái E và ma trận xác suất chuyến là p - pij . Từ các kết quà ờ chương trước ta có thể nói rằng những vấn đồ chính cần nghiên cứu đối với xích Markov là Sự tồn tại các gió i hạn 7Tj lim không phụ thuộc vầo i đối với mọi j G E. Sự tồn tại phân phối gỉóả hạn tức là các giới hạn 7Tj lập thành phân phối xác suất 7ĨJ 0 52 7Fj 1. Tính ergodic của xích Markov tức là 7Tj 0 52 1- Sự tồn tại và duy nhất phân phối dừng Q qi sao chó 0 52 ỉi 1 và y ỉiPĩj vód mọi j e. E. i Với mục đích như thế ta cần phân loại các trạng thái của xích Markov. Các trạng thái liên thông và sự phân lớp Định nghĩa. Ta nói rằng trạng thái j đạt được tù trạng thái i nếu ton tại n 0 sao cho Pị 0 ta quy ước Piji 1 nếu i j và Piji 0 nếu i 7 j . Trong trường hợp như thế ta ký hiệu là ỉ j. Hai trạng thái i và j được gọi là liên thông với nhau nếu i j và j i- Trong trường hợp đó ta ký hiệu là i j. Dê dàng thấy rằng có cấc tính chất phản xạ đối xứng bắc cầu tức là 70 vì p ----- 1 2 i j thì j - i 3 i - j và j k thì i - k. Như vậy - là quan hệ tương đương. Do đó theo CỊuan hệ này toàn bộ không gian trạng thái được chia thành các lớp rời nhan hai trạng thái bất kỳ thuộc cùng một lớp liên thòng với nhau còn hai trạng thái bất kỳ thuỏc hai lớp khác nhau không thể liên thòng với nhau. 2 Định nghĩa. Xích Markov đuơc gọi là tối giản nếu hai trạng thái bất kỳ của nó liên thông với nhau. Như vậy xích tối giản khi và chi khi E gồm đúng một lớp theo cách phân lớp trên xích không tối giản có ít nhất hai lớp khác rỗng rời nhau E Eỉ u E u . Trong nhiều trường hợp có thể xem mỗi Etc k - . là không gian trạng thái cúa xích Markov tối giản. Vì thế Eỵ Ez dược gọi là các. lớp tối giản của xích. Ví dụ 1. Cho xích Markov với ma trận xác suất chuyển w 1 3 2 3 1 4 3 4 p 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 2 0 1 2 0 1 0 Pị 0 0 p2 71 Xích này có 5 trạng thái E - 1 2 3 4 5 . Theo cách phân lớp .