Приближения гауссовского процесса - Gaussian process approximations

Эта статья включает в себя список общих Рекомендации, но он остается в основном непроверенным, потому что ему не хватает соответствующих встроенные цитаты. Пожалуйста, помогите улучшать эта статья введение более точные цитаты. (Август 2020 г.) (Узнайте, как и когда удалить этот шаблон сообщения)

В статистике и машинном обучении Приближение гауссовского процесса это вычислительный метод что ускоряет задачи вывода в контексте Гауссовский процесс модель, чаще всего вероятность оценка и прогноз. Подобно приближениям других моделей, они часто могут быть выражены как дополнительные предположения, налагаемые на модель, которые не соответствуют никаким реальным характеристикам, но которые сохраняют свои ключевые свойства при упрощении расчетов. Многие из этих приближенных методов могут быть выражены в чисто линейная алгебраическая или же функциональная аналитика термины как приближения матрицы или функции. Другие являются чисто алгоритмическими и не могут быть легко перефразированы как модификация статистической модели.

Основные идеи

В статистическое моделирование, часто удобно считать, что ${ displaystyle y in { mathcal {Y}}}$, исследуемое явление представляет собой Гауссовский процесс проиндексировано ${ displaystyle X in { mathcal {X}} = { mathcal {X}} _ {1} times { mathcal {X}} _ {2} dots { mathcal {X}} _ {d }}$ который имеет функцию среднего ${ displaystyle mu: { mathcal {X}} rightarrow { mathcal {Y}}}$ и ковариационная функция ${ Displaystyle K: { mathcal {X}} times { mathcal {X}} rightarrow mathbb {R}}$. Также можно предположить, что данные ${ displaystyle mathbf {y} = (y_ {1}, dots, y_ {n})}$ - значения конкретной реализации этого процесса для индексов ${ Displaystyle mathbf {X} = X_ {1}, точки, X_ {n}}$.

Следовательно, совместное распределение данных можно выразить как

${ Displaystyle mathbf {y} sim { mathcal {N}} ( mathbf { mu}, mathbf { Sigma})}$,

куда ${ Displaystyle mathbf { Sigma} = left [К (X_ {i}, X_ {j}) right] _ {i, j = 1} ^ {n}}$ и ${ displaystyle mathbf { mu} = left ( mu (X_ {1}), mu (X_ {2}), dots, mu (X_ {d}) right) ^ { top} }$, т.е. соответственно вектор матрица со значениями ковариационной функции и вектор со средними значениями функции при соответствующих (парах) индексов. Отрицательная логарифмическая вероятность данных тогда принимает вид

${ displaystyle - log ell ( mathbf {y}) = { frac {d} {2 pi}} + { frac {1} {2}} log det ( mathbf { Sigma} ) + left ( mathbf {y} - mathbf { mu} right) ^ { top} mathbf { Sigma} ^ {- 1} left ( mathbf {y} - mathbf { mu } верно)}$

Точно так же лучший предсказатель ${ displaystyle mathbf {y} ^ {*}}$, значения ${ displaystyle y}$ для индексов ${ displaystyle mathbf {X} ^ {*} = left (X_ {1} ^ {*}, X_ {2} ^ {*}, dots, X_ {d} ^ {*} right)}$, учитывая данные ${ displaystyle mathbf {y}}$ имеет форму

${ displaystyle mathbf { mu} _ { mathbf {y}} ^ {*} = mathbb {E} left [ mathbf {y} ^ {*} | mathbf {y} right] = mathbf { mu} ^ {*} - mathbf { Sigma} _ { mathbf {y} ^ {*} mathbf {y}} mathbf { Sigma} ^ {- 1} left ( mathbf { y} - mathbf { mu} right)}$

В контексте гауссовских моделей, особенно в геостатистика, прогнозирование с использованием наилучшего предиктора, то есть среднего, обусловленного данными, также известно как кригинг.

Самый затратный с точки зрения вычислений компонент формулы лучшего предсказателя - это инвертирование в ковариационная матрица ${ Displaystyle mathbf { Sigma}}$, имеющий кубический сложность ${ Displaystyle { mathcal {O}} (п ^ {3})}$. Точно так же оценка вероятности включает в себя как расчет ${ Displaystyle mathbf { Sigma} ^ {- 1}}$ и детерминант ${ Displaystyle Det ( mathbf { Sigma})}$ имеющий такую ​​же кубическую сложность.

Приближения гауссовского процесса часто можно выразить в терминах предположений о ${ displaystyle y}$ под которым ${ Displaystyle журнал ell ( mathbf {y})}$ и ${ Displaystyle mathbf { mu} _ { mathbf {y}} ^ {*}}$ можно рассчитать с гораздо меньшей сложностью. Поскольку обычно считается, что эти предположения не отражают реальность, вероятность и лучший предсказатель, полученные таким образом, не являются точными, но они должны быть близки к своим исходным значениям.

Модельные методы

Этот класс приближений выражается через набор предположений, которые накладываются на исходный процесс и которые, как правило, подразумевают некоторую особую структуру ковариационной матрицы. Хотя большинство этих методов были разработаны независимо, большинство из них можно выразить как частные случаи разреженных общих Приближение Веккьи.

Методы разреженной ковариации

Эти методы приближают истинную модель таким образом, чтобы ковариационная матрица была разреженной. Как правило, каждый метод предлагает собственный алгоритм, который в полной мере использует шаблон разреженности в ковариационной матрице. Двумя выдающимися членами этого класса подходов являются сужение ковариации и разделение домена. Первый метод обычно требует метрики ${ displaystyle d}$ над ${ displaystyle { mathcal {X}}}$ и предполагает, что для ${ displaystyle X, { tilde {X}} in { mathcal {X}}}$ у нас есть ${ Displaystyle Cov (y (X), y ({ тильда {X}})) = 0}$ только если ${ displaystyle d (X, { тильда {X}})$ для некоторого радиуса ${ displaystyle r}$. Второй метод предполагает наличие ${ Displaystyle { mathcal {X}} ^ {(1)}, точки, { mathcal {X}} ^ {(K)}}$ такой, что ${ Displaystyle bigcup _ {к = 1} ^ {K} { mathcal {X}} ^ {(к)}}$. Затем при соответствующем распределении индексов между элементами разбиения и упорядочении элементов ${ displaystyle X}$ матрица ковариаций является блочно-диагональной.

Методы разреженной точности

Это семейство методов предполагает, что матрица точности ${ Displaystyle mathbf { Lambda} = mathbf { Sigma} ^ {- 1}}$ является разреженным и обычно указывает, какие из его элементов не равны нулю. Это приводит к быстрой инверсии, потому что нужно рассчитывать только эти элементы. Некоторые из выдающихся приближений в этой категории включают подход, основанный на эквивалентности гауссовских процессов с функцией ковариации Матерна и стохастических уравнений в частных производных, периодического вложения и гауссовских процессов ближайшего соседа. Первый метод применяется в случае ${ displaystyle d = 2}$ и когда ${ displaystyle { mathcal {X}}}$ имеет определенную метрику и использует тот факт, что выполняется свойство Маркова, которое делает ${ displaystyle mathbf { Lambda}}$ очень редко. Второй расширяет область и использует дискретное преобразование Фурье для декорреляции данных, что приводит к диагональной матрице точности. Третий требует метрики на ${ displaystyle { mathcal {X}}}$ и использует так называемый эффект экранирования, предполагая, что ${ Displaystyle mathbf { Lambda} _ {я, j} neq 0}$ только если ${ displaystyle d (x_ {i}, x_ {j})$, для некоторых ${ displaystyle r> 0}$.

Методы разреженного фактора Холецкого

Во многих практических приложениях расчет ${ displaystyle mathbf { Lambda}}$ сначала заменяется вычислением ${ displaystyle mathbf {L}}$, фактор Холецкого ${ Displaystyle mathbf { Sigma}}$, а во-вторых, обратное ${ displaystyle mathbf {L} ^ {- 1}}$. Известно, что это более стабильно, чем простая инверсия. По этой причине некоторые авторы сосредотачиваются на построении разреженной аппроксимации фактора Холецкого матриц точности или ковариации. Одним из наиболее распространенных методов в этом классе является Приближение Веккьи и его обобщение. Эти подходы определяют оптимальное упорядочение индексов и, следовательно, элементов ${ displaystyle mathbf {x}}$ а затем принять структуру зависимостей, которая минимизирует заполнение фактора Холецкого. В этой структуре могут быть выражены несколько других методов: приближение с несколькими разрешениями (MRA), гауссовский процесс ближайшего соседа, модифицированный прогнозный процесс и полномасштабное приближение.

Низкоранговые методы

Хотя этот подход включает в себя множество методов, общим допущением, лежащим в основе всех них, является предположение, что ${ displaystyle y}$, представляющий интерес гауссовский процесс, фактически имеет низкий ранг. Точнее, предполагается, что существует набор индексов ${ displaystyle { bar {X}} = {{ bar {x}} _ {1}, dots, { bar {x}} _ {p} }}$ такой, что любой другой набор индексов ${ displaystyle X = {x_ {1}, dots, x_ {n} }}$

${ displaystyle y (X) sim { mathcal {N}} left ( mathbf {A} _ {X} { bar { mathbf { mu}}}, mathbf {A} _ {X} ^ { top} { bar { mathbf { Sigma}}} mathbf {A} _ {X} + mathbf {D} right)}$

куда ${ displaystyle mathbf {A} _ {X}}$ является ${ displaystyle p times k}$ матрица ${ displaystyle { bar { mathbf { mu}}} = mu left (y left ({ bar {X}} right) right)}$ и ${ displaystyle { bar { mathbf { Sigma}}} = K left ({ bar {X}}, { bar {X}} right)}$ и ${ displaystyle mathbf {D}}$ - диагональная матрица. В зависимости от метода и применения различные способы выбора ${ displaystyle { bar {X}}}$ Были предложены. Обычно ${ displaystyle p}$ выбрано намного меньше, чем ${ displaystyle n}$ что означает, что вычислительные затраты на инвертирование ${ displaystyle { bar { mathbf { Sigma}}}}$ управляема (${ displaystyle { mathcal {O}} (p ^ {3})}$ вместо ${ Displaystyle { mathcal {O}} (п ^ {3})}$).

В более общем плане, помимо выбора ${ displaystyle { bar {X}}}$, можно также найти ${ Displaystyle п раз р}$ матрица ${ displaystyle mathbf {A}}$ и предположим, что ${ Displaystyle X = mathbf {A} mathbf { eta}}$, куда ${ Displaystyle mathbf { eta}}$ находятся ${ displaystyle p}$ значения гауссовского процесса, возможно, не зависящие от ${ displaystyle x}$. В эту категорию попадают многие методы машинного обучения, такие как подмножество регрессоров (SoR), вектор релевантности, гауссовский процесс с разреженным спектром и другие, и они обычно различаются по способу получения. ${ displaystyle mathbf {A}}$ и ${ Displaystyle mathbf { eta}}$.

Иерархические методы

Общий принцип иерархических аппроксимаций состоит в многократном применении какого-либо другого метода, так что каждое последующее применение улучшает качество приближения. Несмотря на то, что они могут быть выражены как набор статистических допущений, они часто описываются в терминах аппроксимации иерархической матрицы (HODLR) или разложения базисных функций (LatticeKrig, MRA, вейвлеты). Подход с иерархической матрицей часто можно представить как повторное применение аппроксимации низкого ранга к последовательно уменьшающимся подмножествам набора индексов. ${ displaystyle X}$. Расширение базисных функций основано на использовании функций с компактной поддержкой. Затем эти особенности могут быть использованы алгоритмом, который проходит через последовательные уровни аппроксимации. В наиболее благоприятных условиях некоторые из этих методов могут обеспечить квазилинейный (${ Displaystyle { mathcal {O}} (п журнал п)}$) сложность.

Единая структура

Вероятностные графические модели обеспечивают удобную основу для сравнения приближений на основе моделей. В этом контексте значение процесса по индексу ${ displaystyle x_ {k} in X}$ тогда может быть представлена ​​вершиной в ориентированном графе, а ребра соответствуют членам факторизации совместной плотности ${ Displaystyle у (Х)}$. В общем, когда не предполагается никаких зависимостей, совместное распределение вероятностей может быть представлено произвольным направленным ациклическим графом. Затем использование определенного приближения может быть выражено как определенный способ упорядочивания вершин и добавления или удаления определенных ребер.

Методы без статистической модели

Этот класс методов не определяет статистическую модель и не налагает допущений на существующую. Три основных члена этой группы - это алгоритм метакригинга, алгоритм заполнения пробелов и подход локального приближенного гауссовского процесса. Первый разбивает набор индексов на ${ displaystyle K}$ составные части ${ Displaystyle { mathcal {X}} ^ {(1)}, точки, { mathcal {X}} ^ {(k)}}$, вычисляет условное распределение для каждого из этих компонентов отдельно, а затем использует геометрическую медиану условного PDF-файлы объединить их. Второй основан на квантильной регрессии с использованием значений процесса, близких к значению, которое пытаются предсказать, где расстояние измеряется в терминах метрики на множестве индексов. Локальный приближенный гауссовский процесс использует аналогичную логику, но строит допустимый стохастический процесс на основе этих соседних значений.

Рекомендации

• Лю, Хайтао; Онг, Ю-Сун; Шен, Сяобо; Цай, Цзяньфэй (2020). «Когда гауссовский процесс встречает большие данные: обзор масштабируемого GPS». Транзакции IEEE в нейронных сетях и обучающих системах. PP: 1–19. arXiv:1807.01065. Дои:10.1109 / TNNLS.2019.2957109. PMID  31944966.
• Хитон, Мэтью Дж .; Датта, Абхируп; Финли, Эндрю О .; Феррер, Рейнхард; Гиннесс, Джозеф; Гуханийоги, Раджарши; Гербер, Флориан; Gramacy, Роберт Б .; Хаммерлинг, Дорит; Кацфус, Матиас; Линдгрен, Финн; Ничка, Дуглас В .; Солнце, Фуронг; Заммит-Мангион, Эндрю (2018). «Конкурс тематических исследований среди методов анализа больших пространственных данных». Журнал сельскохозяйственной, биологической и экологической статистики. 24 (3): 398–425. Дои:10.1007 / s13253-018-00348-w. ISSN  1085-7117.