Цепи Маркова на измеримом пространстве состояний - Википедия - Markov chains on a measurable state space

А Цепь Маркова на измеримом пространстве состояний это однородная по дискретному времени цепь Маркова с измеримое пространство как пространство состояний.

История

Определение цепей Маркова эволюционировало в течение 20 века. В 1953 г. термин «цепь Маркова» использовался для обозначения случайные процессы с дискретным или непрерывным набором индексов, живущим в счетном или конечном пространстве состояний, см. Doob.[1] или Чанг.[2] С конца 20-го века стало более популярным рассматривать цепь Маркова как стохастический процесс с дискретным набором индексов, живущий в измеримом пространстве состояний.[3][4][5]

Определение

Обозначим через измеримое пространство и с а Марковское ядро с источником и целью .Случайный процесс на называется однородной по времени марковской цепью с марковским ядром и начать распространение если

удовлетворяет любой . Для любого марковского ядра и любой вероятностной меры можно построить ассоциированную цепь Маркова.[4]

Замечание об интеграции с марковским ядром

Для любого мера обозначим для -интегрируемая функция в Интеграл Лебега в качестве . Для меры определяется мы использовали следующие обозначения:

Основные свойства

Начиная с одной точки

Если это Мера Дирака в , обозначим для марковского ядра со стартовой раздачей ассоциированную цепь Маркова как на и ожидаемое значение

для -интегрируемая функция . По определению, тогда.

Для любой измеримой функции следующее соотношение:[4]

Семейство марковских ядер

Для марковского ядра со стартовой раздачей можно ввести семейство марковских ядер к

за и . Для ассоциированной цепи Маркова в соответствии с и можно получить

.

Стационарная мера

Вероятностная мера называется стационарной мерой марковского ядра если

справедливо для любого . Если на обозначает цепь Маркова согласно марковскому ядру со стационарной мерой , а распределение является , то все имеют одинаковое распределение вероятностей, а именно:

для любого .

Обратимость

Марковское ядро называется обратимым по вероятностной мере если

справедливо для любого .Замена показывает, что если обратимо согласно , тогда должна быть стационарной мерой .

Смотрите также

Рекомендации

  1. ^ Джозеф Л. Дуб: Стохастические процессы. Нью-Йорк: Джон Вили и сыновья, 1953.
  2. ^ Кай Л. Чунг: Марковские цепи со стационарными переходными вероятностями. Второе издание. Берлин: Springer-Verlag, 1974.
  3. ^ Шон Мейн и Ричард Л. Твиди: Марковские цепи и стохастическая устойчивость. 2-е издание, 2009 г.
  4. ^ а б c Даниэль Ревуз: Цепи Маркова. 2-е издание, 1984 г.
  5. ^ Рик Дарретт: Вероятность: теория и примеры. Издание четвертое, 2005 г.