Вложенный алгоритм выборки - Nested sampling algorithm

Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом. Пожалуйста помоги улучшить статью к обеспечение большего контекста для читателя. (Октябрь 2009 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В вложенный алгоритм выборки это вычислительный подход к Байесовская статистика проблемы сравнения моделей и генерации выборок из апостериорных распределений. Он был разработан в 2004 году компанией физик Джон Скиллинг.^[1]

Фон

Теорема Байеса может быть применен к паре конкурирующих моделей ${displaystyle M_ {1}}$ и ${displaystyle M_ {2}}$ для данных ${displaystyle D}$, одно из которых может быть истинным (хотя какое неизвестно), но оба не могут быть истинными одновременно. Апостериорная вероятность для ${displaystyle M_ {1}}$ можно рассчитать как:

${displaystyle {egin {выровнено} P (M_ {1} mid D) & = {frac {P (Dmid M_ {1}) P (M_ {1})} {P (D)}} & = {frac { P (Dmid M_ {1}) P (M_ {1})} {P (Dmid M_ {1}) P (M_ {1}) + P (Dmid M_ {2}) P (M_ {2})}} & = {frac {1} {1+ {frac {P (Dmid M_ {2})} {P (Dmid M_ {1})}} {frac {P (M_ {2})} {P (M_ { 1})}}}} конец {выровнено}}}$

При отсутствии априорной информации в пользу ${displaystyle M_ {1}}$ или же ${displaystyle M_ {2}}$, разумно назначить априорные вероятности${displaystyle P (M_ {1}) = P (M_ {2}) = 1/2}$, так что ${displaystyle P (M_ {2}) / P (M_ {1}) = 1}$. Остальные Фактор Байеса ${displaystyle P (Dmid M_ {2}) / P (Dmid M_ {1})}$ не так-то просто оценить, поскольку в целом требует минимизации мешающих параметров. В общем, ${displaystyle M_ {1}}$ имеет набор параметров, которые можно сгруппировать и вызвать ${displaystyle heta}$, и ${displaystyle M_ {2}}$ имеет свой вектор параметров, который может иметь разную размерность, но все же называется ${displaystyle heta}$. Маргинализация для ${displaystyle M_ {1}}$ является

${displaystyle P (Dmid M_ {1}) = int d heta, P (Dmid heta, M_ {1}) P (heta mid M_ {1})}$

и аналогично для ${displaystyle M_ {2}}$. Этот интеграл часто трудно поддается анализу, и в этих случаях необходимо использовать численный алгоритм, чтобы найти приближение. Алгоритм вложенной выборки был разработан Джоном Скиллингом специально для аппроксимации этих интегралов маргинализации, и он имеет дополнительное преимущество создания выборок из апостериорного распределения. ${displaystyle P (heta mid D, M_ {1})}$.^[2] Это альтернатива методам из байесовской литературы.^[3] такие как выборка моста и выборка защитной важности.

Вот простая версия алгоритма вложенной выборки, за которой следует описание того, как он вычисляет предельную плотность вероятности. ${displaystyle Z = P (Dmid M)}$ куда ${displaystyle M}$ является ${displaystyle M_ {1}}$ или же ${displaystyle M_ {2}}$:

Начать с ${displaystyle N}$ точки ${displaystyle heta _ {1}, ldots, heta _ {N}}$ взяты из приора.за ${displaystyle i = 1}$ к ${displaystyle j}$ делать        % Число итераций j выбирается наугад. ${displaystyle L_ {i}: = min (}$текущие значения правдоподобия точек${displaystyle)}$;    ${displaystyle X_ {i}: = exp (-i / N);}$    ${displaystyle w_ {i}: = X_ {i-1} -X_ {i}}$    ${displaystyle Z: = Z + L_ {i} cdot w_ {i};}$    Сохраните точку с наименьшей вероятностью как точку выборки с весом ${displaystyle w_ {i}}$. Обновите точку с наименьшей вероятностью некоторыми Цепь Маркова Монте-Карло шаги в соответствии с предыдущим, принимая только те шаги, которые сохраняют вероятность выше ${displaystyle L_ {i}}$.конецвозвращаться ${displaystyle Z}$;

На каждой итерации ${displaystyle X_ {i}}$ представляет собой оценку количества предшествующей массы, покрытой гиперобъемом в пространстве параметров всех точек с вероятностью больше, чем ${displaystyle heta _ {i}}$. Фактор веса ${displaystyle w_ {i}}$ это оценка количества предшествующей массы, которая лежит между двумя вложенными гиперповерхностями ${displaystyle {heta mid P (Dmid heta, M) = P (Dmid heta _ {i-1}, M)}}$ и ${displaystyle {heta mid P (Dmid heta, M) = P (Dmid heta _ {i}, M)}}$. Шаг обновления ${displaystyle Z: = Z + L_ {i} w_ {i}}$ вычисляет сумму по ${displaystyle i}$ из ${displaystyle L_ {i} w_ {i}}$ для численной аппроксимации интеграла

${displaystyle {egin {выровнено} P (Dmid M) & = int P (Dmid heta, M) P (heta mid M), d heta & = int P (Dmid heta, M), dP (heta mid M) end {выровнено}}}$

В пределе ${displaystyle j o infty}$, эта оценка имеет положительное смещение порядка ${displaystyle 1 / N}$^[4] который можно удалить с помощью ${displaystyle (1–1 / N)}$ вместо ${displaystyle exp (-1 / N)}$ в приведенном выше алгоритме.

Идея состоит в том, чтобы разделить диапазон ${displaystyle f (heta) = P (Dmid heta, M)}$ и оценить, для каждого интервала ${displaystyle [f (heta _ {i-1}), f (heta _ {i})]}$, насколько вероятно, что случайно выбранный ${displaystyle heta}$ будет отображаться в этот интервал. Это можно рассматривать как байесовский способ численной реализации Интеграция Лебега.^[5]

Реализации

Примеры реализации, демонстрирующие алгоритм вложенной выборки, общедоступны для загрузки, написаны на нескольких языки программирования.

• Простые примеры в C, р, или же Python находятся на веб-сайте Джона Скиллинга.^[6]
• А Haskell Порт вышеперечисленных простых кодов есть на Hackage.^[7]
• Пример в р изначально разработан для примерка спектры описан на ^[8] и находится на GitHub.^[9]
• Пример в C ++, названный Diamonds, находится на GitHub.^[10]
• Модульный Python параллельный пример для статистическая физика и физика конденсированного состояния use находится на GitHub.^[11]
• пиматнест - это Python пакет, предназначенный для изучения энергетический ландшафт различных материалов, вычисляя термодинамические переменные при произвольных температурах и фазовые переходы находится на GitHub.^[12]
• Программный пакет MultiNest может выполнять вложенную выборку для мультимодальных апостериорных распределений.^[13] Он имеет интерфейсы для входных данных C ++, Fortran и Python и доступен на GitHub.^[14]
• PolyChord - еще один пакет вложенных программ для выборки, доступный на GitHub.^[15] Вычислительная эффективность PolyChord лучше масштабируется с увеличением количества параметров, чем MultiNest, что означает, что PolyChord может быть более эффективным для задач большой размерности.^[16]

Приложения

Поскольку вложенная выборка была предложена в 2004 г., она использовалась во многих аспектах области астрономия. В одном документе предлагалось использовать вложенную выборку для космологический выбор модели и обнаружение объектов, поскольку оно «уникально сочетает в себе точность, общую применимость и вычислительную выполнимость».^[17] Уточнение алгоритма для обработки мультимодальных апостериорных данных было предложено в качестве средства обнаружения астрономических объектов в существующих наборах данных.^[13] Другие применения вложенной выборки находятся в области обновление методом конечных элементов где алгоритм используется для выбора оптимального заключительный элемент модель, и это было применено к структурная динамика.^[18] Этот метод отбора проб также использовался в области моделирования материалов. Его можно использовать для изучения функция распределения из статистическая механика и получить термодинамический характеристики. ^[19]

Динамическая вложенная выборка

Динамическая вложенная выборка - это обобщение алгоритма вложенной выборки, в котором количество выборок, взятых в разных областях пространства параметров, динамически регулируется для максимальной точности вычислений.^[20] Это может привести к значительному повышению точности и эффективности вычислений по сравнению с исходным алгоритмом вложенной выборки, в котором распределение выборок не может быть изменено, и часто многие выборки берутся в регионах, которые мало влияют на точность вычислений.

Общедоступные пакеты программного обеспечения для динамического вложенного отбора проб включают:

• dyPolyChord: программный пакет, который можно использовать с вероятностью Python, C ++ и Fortran, а также с предыдущими дистрибутивами.^[21] dyPolyChord доступен на GitHub.^[22]
• dynesty - Python-реализация динамической вложенной выборки, которую можно скачать с GitHub.^[23][24]

Динамическая вложенная выборка применялась для решения множества научных задач, включая анализ гравитационных волн.^[25], отображение расстояний в космосе^[26] и обнаружение экзопланет^[27].

Смотрите также

• Сравнение байесовских моделей

Рекомендации