Цепи Маркова на измеримом пространстве состояний - Википедия - Markov chains on a measurable state space

А Цепь Маркова на измеримом пространстве состояний это однородная по дискретному времени цепь Маркова с измеримое пространство как пространство состояний.

История

Определение цепей Маркова эволюционировало в течение 20 века. В 1953 г. термин «цепь Маркова» использовался для обозначения случайные процессы с дискретным или непрерывным набором индексов, живущим в счетном или конечном пространстве состояний, см. Doob.^[1] или Чанг.^[2] С конца 20-го века стало более популярным рассматривать цепь Маркова как стохастический процесс с дискретным набором индексов, живущий в измеримом пространстве состояний.^[3]^[4]^[5]

Определение

Обозначим через ${ displaystyle (E, Sigma)}$ измеримое пространство и с ${ displaystyle p}$ а Марковское ядро с источником и целью ${ displaystyle (E, Sigma)}$ .Случайный процесс ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ на ${ Displaystyle ( Omega, { mathcal {F}}, mathbb {P})}$ называется однородной по времени марковской цепью с марковским ядром ${ displaystyle p}$ и начать распространение ${ displaystyle mu}$ если

{ displaystyle mathbb {P} [X_ {0} in A_ {0}, X_ {1} in A_ {1}, dots, X_ {n} in A_ {n}] = int _ { A_ {0}} dots int _ {A_ {n-1}} p (y_ {n-1}, A_ {n}) , p (y_ {n-2}, dy_ {n-1}) точки p (y_ {0}, dy_ {1}) , mu (dy_ {0})}

удовлетворяет любой ${ displaystyle n in mathbb {N}, , A_ {0}, dots, A_ {n} in Sigma}$ . Для любого марковского ядра и любой вероятностной меры можно построить ассоциированную цепь Маркова.^[4]

Замечание об интеграции с марковским ядром

Для любого мера ${ Displaystyle му двоеточие сигма к [0, infty]}$ обозначим для ${ displaystyle mu}$ -интегрируемая функция ${ displaystyle f двоеточие E to mathbb {R} cup { infty, - infty }}$ в Интеграл Лебега в качестве ${ Displaystyle int _ {E} е (х) , му (дх)}$ . Для меры ${ displaystyle nu _ {x} двоеточие Sigma to [0, infty]}$ определяется ${ Displaystyle ню _ {х} (А): = р (х, А)}$ мы использовали следующие обозначения:

{ Displaystyle int _ {E} f (y) , p (x, dy): = int _ {E} f (y) , nu _ {x} (dy).}

Основные свойства

Начиная с одной точки

Если ${ displaystyle mu}$ это Мера Дирака в ${ displaystyle x}$ , обозначим для марковского ядра ${ displaystyle p}$ со стартовой раздачей ${ displaystyle mu}$ ассоциированную цепь Маркова как ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ на ${ displaystyle ( Omega, { mathcal {F}}, mathbb {P} _ {x})}$ и ожидаемое значение

{ displaystyle mathbb {E} _ {x} [X] = int _ { Omega} X ( omega) , mathbb {P} _ {x} (d omega)}

для ${ displaystyle mathbb {P} _ {x}}$ -интегрируемая функция ${ displaystyle X}$ . По определению, тогда ${ Displaystyle mathbb {P} _ {x} [X_ {0} = x] = 1}$ .

Для любой измеримой функции ${ Displaystyle е двоеточие Е к [0, infty]}$ следующее соотношение:^[4]

{ displaystyle int _ {E} f (y) , p (x, dy) = mathbb {E} _ {x} [f (X_ {1})].}

Семейство марковских ядер

Для марковского ядра ${ displaystyle p}$ со стартовой раздачей ${ displaystyle mu}$ можно ввести семейство марковских ядер ${ displaystyle (p_ {n}) _ {n in mathbb {N}}}$ к

{ displaystyle p_ {n + 1} (x, A): = int _ {E} p_ {n} (y, A) , p (x, dy)}

за ${ Displaystyle п в mathbb {N}, , п geq 1}$ и ${ displaystyle p_ {1}: = p}$ . Для ассоциированной цепи Маркова ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ в соответствии с ${ displaystyle p}$ и ${ displaystyle mu}$ можно получить

{ Displaystyle mathbb {P} [X_ {0} in A, , X_ {n} in B] = int _ {A} p_ {n} (x, B) , mu (dx) }

.

Стационарная мера

Вероятностная мера ${ displaystyle mu}$ называется стационарной мерой марковского ядра ${ displaystyle p}$ если

{ Displaystyle int _ {A} mu (dx) = int _ {E} p (x, A) , mu (dx)}

справедливо для любого ${ displaystyle A in Sigma}$ . Если ${ displaystyle (X_ {n}) _ {n in mathbb {N}}}$ на ${ Displaystyle ( Omega, { mathcal {F}}, mathbb {P})}$ обозначает цепь Маркова согласно марковскому ядру ${ displaystyle p}$ со стационарной мерой ${ displaystyle mu}$ , а распределение ${ displaystyle X_ {0}}$ является ${ displaystyle mu}$ , то все ${ displaystyle X_ {n}}$ имеют одинаковое распределение вероятностей, а именно:

{ Displaystyle mathbb {P} [X_ {n} in A] = mu (A)}

для любого ${ displaystyle A in Sigma}$ .

Обратимость

Марковское ядро ${ displaystyle p}$ называется обратимым по вероятностной мере ${ displaystyle mu}$ если

{ Displaystyle int _ {A} p (x, B) , mu (dx) = int _ {B} p (x, A) , mu (dx)}

справедливо для любого ${ displaystyle A, B in Sigma}$ .Замена ${ displaystyle A = E}$ показывает, что если ${ displaystyle p}$ обратимо согласно ${ displaystyle mu}$ , тогда ${ displaystyle mu}$ должна быть стационарной мерой ${ displaystyle p}$ .