Приближение Веккьи - Vecchia approximation

Приближение Веккьи это Гауссовские процессы приближение метод, первоначально разработанный Альдо Веккья, статистик Геологическая служба США. Это одна из самых ранних попыток использовать гауссовские процессы в параметрах большой размерности. С тех пор он был широко обобщен, дав начало множеству современных приближений.

Интуиция

Совместное распределение вероятностей для событий ${ displaystyle A, B}$ , и ${ displaystyle C}$ , обозначенный ${ Displaystyle P (А, В, С)}$ , можно выразить как

{ Displaystyle P (A, B, C) = P (A) P (B | A) P (C | A, B)}

Приближение Веккьи принимает вид, например,

{ Displaystyle P (A, B, C) приблизительно P (A) P (B | A) P (C | A)}

и точен, когда события ${ displaystyle B}$ и ${ displaystyle C}$ близки к условно независимым данным знаниям ${ displaystyle A}$ . Конечно, можно было бы в качестве альтернативы выбрать приближение

{ Displaystyle P (A, B, C) приблизительно P (A) P (B | A) P (C | B)}

и поэтому использование приближения требует некоторого знания о том, какие события близки к условно независимым при данных других. Более того, мы могли бы выбрать другой порядок, например

{ Displaystyle P (A, B, C) приблизительно P (C) P (C | A) P (B | A).}

К счастью, во многих случаях существуют хорошие эвристики, принимающие решения о том, как построить приближение.

Технически общие версии аппроксимации приводят к разреженному Фактор холецкого матрицы точности. Использование стандартной факторизации Холецкого дает записи, которые можно интерпретировать.^[1] как условные корреляции с нулями, указывающими на отсутствие независимости (так как модель гауссова). Эти отношения независимости могут быть альтернативно выражены с помощью графических моделей, и существуют теоремы, связывающие структуру графа и порядок вершин с нулями в факторе Холецкого. В частности, известно^[2] что зависимости, закодированные в моральном графе, приводят к факторам Холецкого матрицы точности, которые не имеют заполните.

Формальное описание

Проблема

Позволять ${ displaystyle x}$ быть Гауссовский процесс проиндексировано ${ Displaystyle { mathcal {S}}}$ со средней функцией ${ displaystyle mu}$ и ковариационная функция ${ displaystyle K}$ . Предположить, что ${ Displaystyle S = {s_ {1}, dots, s_ {n} } subset { mathcal {S}}}$ конечное подмножество ${ Displaystyle { mathcal {S}}}$ и ${ displaystyle mathbf {x} = (x_ {1}, dots, x_ {n}))}$ вектор значений ${ displaystyle x}$ оценивается в ${ displaystyle S}$ , т.е. ${ Displaystyle х_ {я} = х (s_ {я})}$ за ${ Displaystyle я = 1, точки, п}$ . Предположим далее, что наблюдается ${ displaystyle mathbf {y} = (y_ {1}, dots, y_ {n})}$ куда ${ Displaystyle у_ {я} = х_ {я} + varepsilon _ {я}}$ с ${ displaystyle varepsilon _ {i} { overset { text {i.i.d.}} { sim}} { mathcal {N}} (0, sigma ^ {2})}$ . В этом контексте две наиболее распространенные задачи вывода включают оценку вероятности

{ Displaystyle { mathcal {L}} ( mathbf {y}) = int f ( mathbf {y}, mathbf {x}) , d mathbf {x},}

или делать прогнозы значений ${ displaystyle x}$ за ${ displaystyle s ^ {*} in { mathcal {S}}}$ и ${ displaystyle s not in S}$ , т.е. вычисление

{ displaystyle f (x (s ^ {*}) mid y_ {1}, dots, y_ {n}).}

Оригинальная рецептура

Первоначальный метод Веккья начинается с наблюдения, что общая плотность наблюдений ${ displaystyle f ( mathbf {y}) = left (y_ {1}, dots, y_ {n} right)}$ можно записать как произведение условных распределений

{ displaystyle f ( mathbf {y}) = f (y_ {1}) prod _ {i = 2} ^ {n} f (y_ {i} mid y_ {i-1}, dots, y_ {1}).}

Приближение Веккьи вместо этого предполагает, что для некоторых ${ Displaystyle к ll п}$

{ displaystyle { hat {f}} ( mathbf {y}) = f (y_ {1}) prod _ {i = 2} ^ {n} f (y_ {i} mid y_ {i-1 }, dots, y _ { max (ik, 1)}).}

Веккья также предложил применять это приближение к наблюдениям, которые лексикографически переупорядочены с использованием их пространственных координат. Хотя его простой метод имеет много недостатков, он снизил вычислительную сложность до ${ Displaystyle { mathcal {O}} (нк ^ {3})}$ . Многие из его недостатков были устранены с помощью последующих обобщений.

Общая формулировка

Хотя с концептуальной точки зрения допущение приближения Веккьи часто оказывается довольно ограничительным и неточным.^[3] Это вдохновило на важные обобщения и улучшения, внесенные в базовую версию на протяжении многих лет: включение скрытых переменных, более сложное кондиционирование и лучший порядок. Различные частные случаи общего приближения Веккья могут быть описаны в терминах того, как выбираются эти три элемента.^[4]

Скрытые переменные

Чтобы описать расширения метода Веккья в его наиболее общей форме, определите ${ displaystyle z_ {i} = (x_ {i}, y_ {i})}$ и обратите внимание, что для ${ displaystyle mathbf {z} = (z_ {1}, dots, z_ {n})}$ в нем, как и в предыдущем разделе

{ displaystyle f ( mathbf {z}) = f (x_ {1}, y_ {1}) left ( prod _ {i = 1} ^ {n} f (x_ {i} mid z_ {1) : i-1}) right) left ( prod _ {i = 1} ^ {n} f (y_ {i} mid x_ {i}) right)}

потому что дано ${ displaystyle x_ {i}}$ все остальные переменные не зависят от ${ displaystyle y_ {i}}$ .

Заказ

Широко отмечалось, что первоначальный лексикографический порядок, основанный на координатах, когда ${ Displaystyle { mathcal {S}}}$ двумерный дает плохие результаты.^[5] Совсем недавно были предложены другие упорядочения, некоторые из которых обеспечивают квазислучайное упорядочение точек. Было доказано, что они обладают высокой масштабируемостью и значительно повышают точность.^[3]

Кондиционирование

Подобно базовой версии, описанной выше, для данного порядка общее приближение Веккьи может быть определено как

{ displaystyle { hat {f}} ( mathbf {z}) = f (x_ {1}, y_ {1}) left ( prod _ {i = 1} ^ {n} f (x_ {i } mid z_ {q (i)}) right) left ( prod _ {i = 1} ^ {n} f (y_ {i} mid x_ {i}) right),}

куда ${ Displaystyle д (я) подмножество влево {1, точки, я-1 вправо }}$ . С ${ displaystyle y_ {i} perp x _ {- i}, y _ {- i} mid x_ {i}}$ следует, что ${ Displaystyle f (x_ {i} mid z_ {q (i)}) = f (x_ {i} mid x_ {q} (i), y_ {q} (i)) = f (x_ {i) } mid x_ {q} (i))}$ предполагая, что условия ${ displaystyle f (x_ {i} mid z_ {q (i)})}$ заменить на ${ displaystyle f (x_ {i} mid x_ {q (i)})}$ . Однако оказывается, что иногда обусловливание некоторых наблюдений ${ displaystyle z_ {i}}$ увеличивает разреженность фактора Холецкого матрицы точности ${ Displaystyle ( mathbf {x}, mathbf {y})}$ . Следовательно, вместо этого можно было бы рассматривать множества ${ displaystyle q_ {y} (я)}$ и ${ displaystyle q_ {x} (я)}$ такой, что ${ Displaystyle д (я) = д_ {у} (я) чашка д_ {х} (я)}$ и выразить ${ displaystyle { hat {f}}}$ в качестве

{ displaystyle { hat {f}} ( mathbf {z}) = f (x_ {1}, y_ {1}) left ( prod _ {i = 1} ^ {n} f (x_ {i } mid x_ {q_ {x} (i)}, y_ {q_ {y} (i)}) right) left ( prod _ {i = 1} ^ {n} f (y_ {i} середина x_ {i}) right).}

Несколько способов выбора ${ displaystyle q_ {y} (я)}$ и ${ displaystyle q_ {x} (я)}$ были предложены, в первую очередь подходы гауссова процесса ближайшего соседа (NNGP) и приближения с несколькими разрешениями (MRA) с использованием ${ Displaystyle д (я) = д_ {х} (я)}$ , стандартная Vecchia с использованием ${ Displaystyle д (я) = д_ {у} (я)}$ и Редкий Генерал Веккья, где оба ${ displaystyle q_ {y} (я)}$ и ${ displaystyle q_ {x} (я)}$ непустые.^[4]

Программного обеспечения

Было разработано несколько пакетов, реализующих несколько вариантов приближения Веккья.

GPvecchia пакет R доступен через CRAN (язык программирования R) который реализует большинство версий приближения Веккья
GpGp R packagae доступен через CRAN (язык программирования R) который реализует масштабируемый метод упорядочивания для пространственных задач, который значительно повышает точность.
spNNGP пакет R доступен через CRAN (язык программирования R) который реализует латентное приближение Веккьи
pyMRA это пакет Python, доступный через pyPI реализация приближения с несколькими разрешениями, частного случая общего метода Веккья, используемого в динамических моделях пространства состояний

Примечания

^ Пурахмади, М. (2007). "Разложения Холецкого и оценка ковариационной матрицы: ортогональность параметров корреляции дисперсии". Биометрика. 94 (4): 1006–1013. Дои:10.1093 / biomet / asm073. ISSN 0006-3444.
^ Харе, Кшитидж; Раджаратнам, Бала (2011). «Распределения Уишарта для моделей разложимых ковариационных графов». Анналы статистики. 39 (1): 514–555. Дои:10.1214 / 10-AOS841. ISSN 0090-5364.
^ ^а ^б Гиннесс, Джозеф (2018). «Методы перестановки и группировки для уточнения приближений гауссовских процессов». Технометрика. 60 (4): 415–429. Дои:10.1080/00401706.2018.1437476. ISSN 0040-1706. ЧВК 6707751.
^ ^а ^б Кацфус, Матиас; Гиннесс, Джозеф. "Общая основа для приближений Веккья гауссовских процессов". arXiv:1708.06302 [stat.CO ].
^ Судипто Банерджи; Брэдли П. Карлин; Алан Э. Гельфанд (12 сентября 2014 г.). Иерархическое моделирование и анализ пространственных данных, второе издание. CRC Press. ISBN 978-1-4398-1917-3.

[Pourahmadi2007-1] Пурахмади, М. (2007). "Разложения Холецкого и оценка ковариационной матрицы: ортогональность параметров корреляции дисперсии". Биометрика. 94 (4): 1006–1013. Дои:10.1093 / biomet / asm073. ISSN 0006-3444.

[KhareRajaratnam2011-2] Харе, Кшитидж; Раджаратнам, Бала (2011). «Распределения Уишарта для моделей разложимых ковариационных графов». Анналы статистики. 39 (1): 514–555. Дои:10.1214 / 10-AOS841. ISSN 0090-5364.

[Guinness2018-3] а ^б Гиннесс, Джозеф (2018). «Методы перестановки и группировки для уточнения приближений гауссовских процессов». Технометрика. 60 (4): 415–429. Дои:10.1080/00401706.2018.1437476. ISSN 0040-1706. ЧВК 6707751.

[Katzfuss2017-4] а ^б Кацфус, Матиас; Гиннесс, Джозеф. "Общая основа для приближений Веккья гауссовских процессов". arXiv:1708.06302 [stat.CO ].

[BanerjeeCarlin2014-5] Судипто Банерджи; Брэдли П. Карлин; Алан Э. Гельфанд (12 сентября 2014 г.). Иерархическое моделирование и анализ пространственных данных, второе издание. CRC Press. ISBN 978-1-4398-1917-3.

[1]

[2]

[3]

[4]

[5]