В статистика , то матричное нормальное распределение или же матричное гауссово распределение это распределение вероятностей это обобщение многомерное нормальное распределение к матричнозначным случайным величинам.
Определение
В функция плотности вероятности для случайной матрицы Икс (п × п ), которая следует нормальному матричному распределению M N п , п ( M , U , V ) { displaystyle { mathcal {MN}} _ {n, p} ( mathbf {M}, mathbf {U}, mathbf {V})} имеет вид:
п ( Икс ∣ M , U , V ) = exp ( − 1 2 т р [ V − 1 ( Икс − M ) Т U − 1 ( Икс − M ) ] ) ( 2 π ) п п / 2 | V | п / 2 | U | п / 2 { displaystyle p ( mathbf {X} mid mathbf {M}, mathbf {U}, mathbf {V}) = { frac { exp left (- { frac {1} {2}) } , mathrm {tr} left [ mathbf {V} ^ {- 1} ( mathbf {X} - mathbf {M}) ^ {T} mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) right] right)} {(2 pi) ^ {np / 2} | mathbf {V} | ^ {n / 2} | mathbf {U} | ^ {p / 2}}}} куда т р { displaystyle mathrm {tr}} обозначает след и M является п × п , U является п × п и V является п × п .
Нормаль матрицы связана с многомерное нормальное распределение следующим образом:
Икс ∼ M N п × п ( M , U , V ) , { displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {U}, mathbf {V}),} если и только если
v е c ( Икс ) ∼ N п п ( v е c ( M ) , V ⊗ U ) { displaystyle mathrm {vec} ( mathbf {X}) sim { mathcal {N}} _ {np} ( mathrm {vec} ( mathbf {M}), mathbf {V} otimes mathbf {U})} куда ⊗ { displaystyle otimes} обозначает Кронекер продукт и v е c ( M ) { Displaystyle mathrm {vec} ( mathbf {M})} обозначает векторизация из M { displaystyle mathbf {M}} .
Доказательство Эквивалентность между вышеуказанными матрица нормальная и многомерный нормальный функции плотности можно показать, используя несколько свойств след и Кронекер продукт , следующее. Начнем с аргумента экспоненты нормальной матрицы PDF:
− 1 2 tr [ V − 1 ( Икс − M ) Т U − 1 ( Икс − M ) ] = − 1 2 vec ( Икс − M ) Т vec ( U − 1 ( Икс − M ) V − 1 ) = − 1 2 vec ( Икс − M ) Т ( V − 1 ⊗ U − 1 ) vec ( Икс − M ) = − 1 2 [ vec ( Икс ) − vec ( M ) ] Т ( V ⊗ U ) − 1 [ vec ( Икс ) − vec ( M ) ] { displaystyle { begin {align} & ; ; ; ; - { frac {1} {2}} { text {tr}} left [ mathbf {V} ^ {- 1} ( mathbf {X} - mathbf {M}) ^ {T} mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) right] & = - { frac {1} {2}} { text {vec}} left ( mathbf {X} - mathbf {M} right) ^ {T} { text {vec}} left ( mathbf {U} ^ {- 1} ( mathbf {X} - mathbf {M}) mathbf {V} ^ {- 1} right) & = - { frac {1} {2}} { text { vec}} left ( mathbf {X} - mathbf {M} right) ^ {T} left ( mathbf {V} ^ {- 1} otimes mathbf {U} ^ {- 1} right) { text {vec}} left ( mathbf {X} - mathbf {M} right) & = - { frac {1} {2}} left [{ text {vec} } ( mathbf {X}) - { text {vec}} ( mathbf {M}) right] ^ {T} left ( mathbf {V} otimes mathbf {U} right) ^ { -1} left [{ text {vec}} ( mathbf {X}) - { text {vec}} ( mathbf {M}) right] end {выравнивается}}} который является аргументом экспоненты многомерной нормальной PDF. Доказательство завершается использованием детерминантного свойства: | V ⊗ U | = | V | п | U | п . { displaystyle | mathbf {V} otimes mathbf {U} | = | mathbf {V} | ^ {n} | mathbf {U} | ^ {p}.}
Характеристики
Если Икс ∼ M N п × п ( M , U , V ) { displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {U}, mathbf {V})} , то у нас есть следующие свойства:[1] [2]
Ожидаемые значения Среднее или ожидаемое значение является:
E [ Икс ] = M { Displaystyle E [ mathbf {X}] = mathbf {M}} и у нас есть следующие ожидания второго порядка:
E [ ( Икс − M ) ( Икс − M ) Т ] = U tr ( V ) { Displaystyle E [( mathbf {X} - mathbf {M}) ( mathbf {X} - mathbf {M}) ^ {T}] = mathbf {U} OperatorName {tr} ( mathbf {V})} E [ ( Икс − M ) Т ( Икс − M ) ] = V tr ( U ) { Displaystyle E [( mathbf {X} - mathbf {M}) ^ {T} ( mathbf {X} - mathbf {M})] = mathbf {V} OperatorName {tr} ( mathbf {U})} куда tr { displaystyle operatorname {tr}} обозначает след .
В более общем смысле, для матриц подходящего размера А ,B ,C :
E [ Икс А Икс Т ] = U tr ( А Т V ) + M А M Т E [ Икс Т B Икс ] = V tr ( U B Т ) + M Т B M E [ Икс C Икс ] = V C Т U + M C M { displaystyle { begin {align} E [ mathbf {X} mathbf {A} mathbf {X} ^ {T}] & = mathbf {U} operatorname {tr} ( mathbf {A} ^ {T} mathbf {V}) + mathbf {MAM} ^ {T} E [ mathbf {X} ^ {T} mathbf {B} mathbf {X}] & = mathbf {V} operatorname {tr} ( mathbf {U} mathbf {B} ^ {T}) + mathbf {M} ^ {T} mathbf {BM} E [ mathbf {X} mathbf {C} mathbf {X}] & = mathbf {V} mathbf {C} ^ {T} mathbf {U} + mathbf {MCM} end {выравнивается}}} Трансформация Транспонировать преобразовать:
Икс Т ∼ M N п × п ( M Т , V , U ) { displaystyle mathbf {X} ^ {T} sim { mathcal {MN}} _ {p times n} ( mathbf {M} ^ {T}, mathbf {V}, mathbf {U} )} Линейное преобразование: пусть D (р -к-п ), быть полным классифицировать г ≤ п и C (п -к-s ), иметь полное звание s ≤ p , тогда:
D Икс C ∼ M N р × s ( D M C , D U D Т , C Т V C ) { displaystyle mathbf {DXC} sim { mathcal {MN}} _ {r times s} ( mathbf {DMC}, mathbf {DUD} ^ {T}, mathbf {C} ^ {T} mathbf {VC})} Пример
Представим себе образец п независимый п -мерные случайные величины, одинаково распределенные согласно многомерное нормальное распределение :
Y я ∼ N п ( μ , Σ ) с я ∈ { 1 , … , п } { displaystyle mathbf {Y} _ {i} sim { mathcal {N}} _ {p} ({ boldsymbol { mu}}, { boldsymbol { Sigma}}) { text {with} } i in {1, ldots, n }} .При определении п × п матрица Икс { displaystyle mathbf {X}} для чего я -я строка Y я { Displaystyle mathbf {Y} _ {я}} , мы получаем:
Икс ∼ M N п × п ( M , U , V ) { displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {U}, mathbf {V})} где каждая строка M { displaystyle mathbf {M}} равно μ { displaystyle { boldsymbol { mu}}} , то есть M = 1 п × μ Т { displaystyle mathbf {M} = mathbf {1} _ {n} times { boldsymbol { mu}} ^ {T}} , U { displaystyle mathbf {U}} это п × п единичная матрица, то есть строки независимы, и V = Σ { Displaystyle mathbf {V} = { boldsymbol { Sigma}}} .
Оценка параметра максимального правдоподобия
Данный k матрицы, каждая размером п × п , обозначенный Икс 1 , Икс 2 , … , Икс k { Displaystyle mathbf {X} _ {1}, mathbf {X} _ {2}, ldots, mathbf {X} _ {k}} , которые, как мы предполагаем, были отобраны i.i.d. из нормального распределения матрицы оценка максимального правдоподобия параметров можно получить, максимизируя:
∏ я = 1 k M N п × п ( Икс я ∣ M , U , V ) . { displaystyle prod _ {i = 1} ^ {k} { mathcal {MN}} _ {n times p} ( mathbf {X} _ {i} mid mathbf {M}, mathbf { U}, mathbf {V}).} Решение для среднего имеет замкнутый вид, а именно
M = 1 k ∑ я = 1 k Икс я { displaystyle mathbf {M} = { frac {1} {k}} sum _ {i = 1} ^ {k} mathbf {X} _ {i}} но параметры ковариации - нет. Однако эти параметры можно итеративно максимизировать путем обнуления их градиентов при:
U = 1 k п ∑ я = 1 k ( Икс я − M ) V − 1 ( Икс я − M ) Т { displaystyle mathbf {U} = { frac {1} {kp}} sum _ {i = 1} ^ {k} ( mathbf {X} _ {i} - mathbf {M}) mathbf {V} ^ {- 1} ( mathbf {X} _ {i} - mathbf {M}) ^ {T}} и
V = 1 k п ∑ я = 1 k ( Икс я − M ) Т U − 1 ( Икс я − M ) , { displaystyle mathbf {V} = { frac {1} {kn}} sum _ {i = 1} ^ {k} ( mathbf {X} _ {i} - mathbf {M}) ^ { T} mathbf {U} ^ {- 1} ( mathbf {X} _ {i} - mathbf {M}),} См. Например [3] и ссылки в нем. Параметры ковариации не идентифицируются в том смысле, что для любого масштабного коэффициента s> 0 , у нас есть:
M N п × п ( Икс ∣ M , U , V ) = M N п × п ( Икс ∣ M , s U , 1 / s V ) . { displaystyle { mathcal {MN}} _ {n times p} ( mathbf {X} mid mathbf {M}, mathbf {U}, mathbf {V}) = { mathcal {MN} } _ {n times p} ( mathbf {X} mid mathbf {M}, s mathbf {U}, 1 / s mathbf {V}).} Получение значений из распределения
Выборка из нормального распределения матрицы - это частный случай процедуры выборки для многомерное нормальное распределение . Позволять Икс { displaystyle mathbf {X}} быть п к п матрица нп независимых выборок из стандартного нормального распределения, так что
Икс ∼ M N п × п ( 0 , я , я ) . { displaystyle mathbf {X} sim { mathcal {MN}} _ {n times p} ( mathbf {0}, mathbf {I}, mathbf {I}).} Тогда пусть
Y = M + А Икс B , { Displaystyle mathbf {Y} = mathbf {M} + mathbf {A} mathbf {X} mathbf {B},} так что
Y ∼ M N п × п ( M , А А Т , B Т B ) , { displaystyle mathbf {Y} sim { mathcal {MN}} _ {n times p} ( mathbf {M}, mathbf {AA} ^ {T}, mathbf {B} ^ {T} mathbf {B}),} куда А и B может быть выбран Разложение Холецкого или аналогичная операция извлечения квадратного корня из матрицы.
Отношение к другим дистрибутивам
Давид (1981) обсуждает связь матричнозначного нормального распределения с другими распределениями, включая Распределение Уишарта , Обратное распределение Вишарта и матричное t-распределение , но использует другие обозначения, чем здесь.
Смотрите также
Рекомендации
^ А. К. Гупта; Д. К. Нагар (22 октября 1999 г.). "Глава 2: НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ МАТРИЦЫ ИЗМЕНЕНИЯ". Матричные распределения переменных . CRC Press. ISBN 978-1-58488-046-2 . Получено 23 мая 2014 . ^ Дин, Шаньшань; Р. Деннис Кук (2014). «РАЗМЕРНАЯ СКЛАДКА PCA И PFC ДЛЯ МАТРИЧНЫХ ПРЕДИКТОРОВ». Statistica Sinica . 24 (1): 463–492. ^ Гланц, Хантер; Карвалью, Луис. "Алгоритм ожидания-максимизации для нормального распределения матрицы". arXiv :1309.6609 . Дискретный одномерный с конечной опорой Дискретный одномерный с бесконечной поддержкой Непрерывный одномерный поддерживается на ограниченном интервале Непрерывный одномерный поддерживается на полубесконечном интервале Непрерывный одномерный поддерживается на всей реальной линии Непрерывный одномерный с поддержкой, тип которой варьируется Смешанная непрерывно-дискретная одномерная Многовариантный (совместный) Направленный Вырожденный и единственное число Семьи