Теорема Карунена – Лоэва - Karhunen–Loève theorem

В теории случайные процессы, то Теорема Карунена – Лоэва (названный в честь Кари Карунен и Мишель Лоэв ), также известный как Теорема Косамби – Карунена – Лоэва.^[1][2] представляет собой представление случайного процесса в виде бесконечной линейной комбинации ортогональные функции, аналогично Ряд Фурье представление функции на ограниченном интервале. Преобразование также известно как преобразование Хотеллинга и преобразование собственного вектора и тесно связано с Анализ главных компонентов (PCA) метод, широко используемый при обработке изображений и анализе данных во многих областях.^[3]

Стохастические процессы, задаваемые бесконечными рядами такого вида, впервые были рассмотрены Дамодар Дхармананда Косамби.^[4][5] Существует много таких расширений случайного процесса: если процесс индексируется по [а, б], любой ортонормированный базис из L²([а, б]) дает его расширение в этой форме. Важность теоремы Карунена – Лоэва заключается в том, что она дает лучший такой базис в том смысле, что минимизирует общую среднеквадратичная ошибка.

В отличие от ряда Фурье, где коэффициенты являются фиксированными числами, а базис разложения состоит из синусоидальные функции (то есть, синус и косинус функций) коэффициенты в теореме Карунена – Лоэва равны случайные переменные и основа расширения зависит от процесса. Фактически, ортогональные базисные функции, используемые в этом представлении, определяются ковариационная функция процесса. Можно подумать, что Преобразование Карунена – Лоэва адаптируется к процессу, чтобы создать наилучшую основу для его расширения.

В случае по центру случайный процесс {Икс_т}_{т ∈ [а, б]} (по центру средства E[Икс_т] = 0 для всех т ∈ [а, б]) удовлетворяющие условию технической непрерывности, Икс_т допускает разложение

${ displaystyle X_ {t} = sum _ {k = 1} ^ { infty} Z_ {k} e_ {k} (t)}$

куда Z_k попарно некоррелированный случайные величины и функции е_k - непрерывные действительные функции на [а, б] которые попарно ортогональный в L²([а, б]). Поэтому иногда говорят, что расширение биортогональный поскольку случайные коэффициенты Z_k ортогональны в вероятностном пространстве, а детерминированные функции е_k ортогональны во временной области. Общий случай процесса Икс_т то, что не центрировано, может быть возвращено к случаю центрированного процесса, учитывая Икс_т − E[Икс_т] который является центрированным процессом.

Более того, если процесс Гауссовский, то случайные величины Z_k гауссовы и стохастически независимый. Этот результат обобщает Преобразование Карунена – Лоэва. Важный пример центрированного реального стохастического процесса на [0, 1] это Винеровский процесс; теорема Карунена – Лоэва может быть использована, чтобы дать ей каноническое ортогональное представление. В этом случае разложение состоит из синусоидальных функций.

Вышеупомянутое разложение на некоррелированные случайные величины также известно как Расширение Карунена – Лоэва или же Разложение Карунена – Лоэва. В эмпирический версия (то есть с коэффициентами, вычисленными из выборки) известна как Преобразование Карунена – Лоэва (КЛТ), Анализ главных компонентов, правильное ортогональное разложение (POD), эмпирические ортогональные функции (термин, используемый в метеорология и геофизика ), или Hotelling преобразовать.

Формулировка

• В этой статье мы рассмотрим квадратично интегрируемый случайный процесс с нулевым средним Икс_т определяется над вероятностное пространство (Ω, F, п) и проиндексированы за закрытый интервал [а, б], с ковариационной функцией K_Икс(s, т). Таким образом, мы имеем:

${ displaystyle forall t in [a, b] qquad X_ {t} in L ^ {2} ( Omega, F, mathbf {P}),}$

${ displaystyle forall t in [a, b] qquad mathbf {E} [X_ {t}] = 0,}$

${ displaystyle forall t, s in [a, b] qquad K_ {X} (s, t) = mathbf {E} [X_ {s} X_ {t}].}$

• Мы связываемся с K_Икс а линейный оператор Т_KИкс определяется следующим образом:

${ displaystyle { begin {align} & T_ {K_ {X}} &: L ^ {2} ([a, b]) & to L ^ {2} ([a, b]) &&: f mapsto T_ {K_ {X}} f & = int _ {a} ^ {b} K_ {X} (s, cdot) f (s) , ds end {выровнено}}}$

С Т_KИкс является линейным оператором, имеет смысл поговорить о его собственных значениях λ_k и собственные функции е_k, которые находятся как решение однородной фредгольмовой интегральное уравнение второго рода

${ displaystyle int _ {a} ^ {b} K_ {X} (s, t) e_ {k} (s) , ds = lambda _ {k} e_ {k} (t)}$

Формулировка теоремы

Теорема. Позволять Икс_т - случайный процесс, интегрируемый с нулевым средним квадратом, определенный в вероятностном пространстве (Ω, F, п) и индексируется на замкнутом и ограниченном интервале [а, б], с непрерывной ковариационной функцией K_Икс(s, т).

потом K_Икс(с, т) это Ядро Мерсера и позволяя е_k быть ортонормированным основанием на L²([а, б]) образованный собственными функциями Т_KИкс с соответствующими собственными значениями λ_k, ИКС_т допускает следующее представление

${ displaystyle X_ {t} = sum _ {k = 1} ^ { infty} Z_ {k} e_ {k} (t)}$

где сходимость в L², униформа в т и

${ displaystyle Z_ {k} = int _ {a} ^ {b} X_ {t} e_ {k} (t) , dt}$

Кроме того, случайные величины Z_k имеют нулевое среднее, некоррелированы и имеют дисперсию λ_k

${ displaystyle mathbf {E} [Z_ {k}] = 0, ~ forall k in mathbb {N} qquad { mbox {and}} qquad mathbf {E} [Z_ {i} Z_ {j}] = delta _ {ij} lambda _ {j}, ~ forall i, j in mathbb {N}}$

Заметим, что обобщениями теоремы Мерсера мы можем заменить интервал [а, б] с другими компактными пространствами C и мера Лебега на [а, б] с мерой Бореля с носителем C.

Доказательство

• Ковариационная функция K_Икс удовлетворяет определению ядра Мерсера. К Теорема Мерсера, следовательно, существует множество {λ_k, е_k(т)} собственных значений и собственных функций оператора T_KИкс формируя ортонормированный базис L²([а,б]), и K_Икс можно выразить как

${ Displaystyle K_ {X} (s, t) = sum _ {k = 1} ^ { infty} lambda _ {k} e_ {k} (s) e_ {k} (t)}$

• Процесс Икс_т можно разложить по собственным функциям е_k в качестве:

${ displaystyle X_ {t} = sum _ {k = 1} ^ { infty} Z_ {k} e_ {k} (t)}$

где коэффициенты (случайные величины) Z_k даются проекцией Икс_т на соответствующие собственные функции

${ displaystyle Z_ {k} = int _ {a} ^ {b} X_ {t} e_ {k} (t) , dt}$

• Затем мы можем вывести

${ displaystyle { begin {align} mathbf {E} [Z_ {k}] & = mathbf {E} left [ int _ {a} ^ {b} X_ {t} e_ {k} (т ) , dt right] = int _ {a} ^ {b} mathbf {E} [X_ {t}] e_ {k} (t) dt = 0 [8pt] mathbf {E} [ Z_ {i} Z_ {j}] & = mathbf {E} left [ int _ {a} ^ {b} int _ {a} ^ {b} X_ {t} X_ {s} e_ {j } (t) e_ {i} (s) , dt , ds right] & = int _ {a} ^ {b} int _ {a} ^ {b} mathbf {E} left [X_ {t} X_ {s} right] e_ {j} (t) e_ {i} (s) , dt , ds & = int _ {a} ^ {b} int _ {a} ^ {b} K_ {X} (s, t) e_ {j} (t) e_ {i} (s) , dt , ds & = int _ {a} ^ {b} e_ {i} (s) left ( int _ {a} ^ {b} K_ {X} (s, t) e_ {j} (t) , dt right) , ds & = лямбда _ {j} int _ {a} ^ {b} e_ {i} (s) e_ {j} (s) , ds & = delta _ {ij} lambda _ {j} end {выровнено}}}$

где мы использовали тот факт, что е_k являются собственными функциями Т_KИкс и ортонормированы.

• Покажем теперь, что сходимость L². Позволять

${ displaystyle S_ {N} = sum _ {k = 1} ^ {N} Z_ {k} e_ {k} (t).}$

Потом:

${ displaystyle { begin {align} mathbf {E} left [ left | X_ {t} -S_ {N} right | ^ {2} right] & = mathbf {E} left [X_ {t} ^ {2} right] + mathbf {E} left [S_ {N} ^ {2} right] -2 mathbf {E} left [X_ {t} S_ {N} right ] & = K_ {X} (t, t) + mathbf {E} left [ sum _ {k = 1} ^ {N} sum _ {l = 1} ^ {N} Z_ {k } Z _ { ell} e_ {k} (t) e _ { ell} (t) right] -2 mathbf {E} left [X_ {t} sum _ {k = 1} ^ {N} Z_ {k} e_ {k} (t) right] & = K_ {X} (t, t) + sum _ {k = 1} ^ {N} lambda _ {k} e_ {k} (t) ^ {2} -2 mathbf {E} left [ sum _ {k = 1} ^ {N} int _ {a} ^ {b} X_ {t} X_ {s} e_ {k } (s) e_ {k} (t) , ds right] & = K_ {X} (t, t) - sum _ {k = 1} ^ {N} lambda _ {k} e_ {к} (т) ^ {2} конец {выровнено}}}$

который стремится к 0 по теореме Мерсера.

Свойства преобразования Карунена – Лоэва

Частный случай: распределение Гаусса

Поскольку предел в среднем совместно гауссовских случайных величин является совместно гауссовским, а совместно гауссовские случайные (центрированные) переменные являются независимыми тогда и только тогда, когда они ортогональны, мы также можем заключить:

Теорема. Переменные Z_я имеют совместное гауссовское распределение и стохастически независимы, если исходный процесс {Икс_т}_т гауссово.

В гауссовском случае, поскольку переменные Z_я независимы, можно сказать больше:

${ displaystyle lim _ {N to infty} sum _ {i = 1} ^ {N} e_ {i} (t) Z_ {i} ( omega) = X_ {t} ( omega)}$

почти наверняка.

Преобразование Карунена – Лоэва декоррелирует процесс

Это следствие независимости Z_k.

Разложение Карунена – Лоэва минимизирует полную среднеквадратичную ошибку

Во введении мы упоминали, что усеченное разложение Карунена – Лоэва было наилучшим приближением исходного процесса в том смысле, что оно уменьшает общую среднеквадратичную ошибку, возникающую в результате его усечения. Из-за этого свойства часто говорят, что преобразование KL оптимально уплотняет энергию.

Более конкретно, учитывая любой ортонормированный базис {ж_k} из L²([а, б]), мы можем разложить процесс Икс_т в качестве:

${ Displaystyle X_ {T} ( omega) = sum _ {k = 1} ^ { infty} A_ {k} ( omega) f_ {k} (t)}$

куда

${ Displaystyle A_ {к} ( omega) = int _ {a} ^ {b} X_ {t} ( omega) f_ {k} (t) , dt}$

и мы можем приблизиться Икс_т конечной суммой

${ displaystyle { hat {X}} _ {t} ( omega) = sum _ {k = 1} ^ {N} A_ {k} ( omega) f_ {k} (t)}$

для некоторого целого числа N.

Требовать. Из всех таких приближений KL-приближение - это то, которое минимизирует общую среднеквадратичную ошибку (при условии, что мы расположили собственные значения в порядке убывания).

Объясненная дисперсия

Важное наблюдение: поскольку случайные коэффициенты Z_k KL-разложения некоррелированы, Формула Биенайме утверждает, что дисперсия Икс_т представляет собой просто сумму отклонений отдельных компонентов суммы:

${ displaystyle operatorname {var} [X_ {t}] = sum _ {k = 0} ^ { infty} e_ {k} (t) ^ {2} operatorname {var} [Z_ {k}] = sum _ {k = 1} ^ { infty} lambda _ {k} e_ {k} (t) ^ {2}}$

Интеграция более [а, б] и используя ортонормированность е_k, получаем, что общая дисперсия процесса составляет:

${ displaystyle int _ {a} ^ {b} operatorname {var} [X_ {t}] , dt = sum _ {k = 1} ^ { infty} lambda _ {k}}$

В частности, общая дисперсия N-усеченное приближение

${ displaystyle sum _ {k = 1} ^ {N} lambda _ {k}.}$

В результате N-усеченное расширение объясняет

${ displaystyle { frac { sum _ {k = 1} ^ {N} lambda _ {k}} { sum _ {k = 1} ^ { infty} lambda _ {k}}}}$

дисперсии; и если мы довольствуемся приближением, которое объясняет, скажем, 95% дисперсии, то нам просто нужно определить ${ Displaystyle N in mathbb {N}}$ такой, что

${ displaystyle { frac { sum _ {k = 1} ^ {N} lambda _ {k}} { sum _ {k = 1} ^ { infty} lambda _ {k}}} geq 0,95.}$

Расширение Карунена – Лоэва обладает свойством минимальной энтропии представления

Учитывая представление ${ displaystyle X_ {t} = sum _ {k = 1} ^ { infty} W_ {k} varphi _ {k} (t)}$, для некоторого ортонормированного базиса ${ Displaystyle varphi _ {к} (т)}$ и случайный ${ displaystyle W_ {k}}$, мы позволяем ${ displaystyle p_ {k} = mathbb {E} [| W_ {k} | ^ {2}] / mathbb {E} [| X_ {t} | _ {L ^ {2}} ^ {2} ]}$, так что ${ Displaystyle сумма _ {к = 1} ^ { infty} p_ {k} = 1}$. Затем мы можем определить представление энтропия быть ${ Displaystyle Н ( { varphi _ {k} }) = - sum _ {i} p_ {k} log (p_ {k})}$. Тогда у нас есть ${ Displaystyle H ( { varphi _ {k} }) geq H ( {e_ {k} })}$, для всех вариантов ${ displaystyle varphi _ {k}}$. То есть KL-расширение имеет минимальную энтропию представления.

Доказательство:

Обозначим коэффициенты, полученные для базиса ${ Displaystyle е_ {к} (т)}$ в качестве ${ displaystyle p_ {k}}$, и для ${ Displaystyle varphi _ {к} (т)}$ в качестве ${ displaystyle q_ {k}}$.

выбирать ${ displaystyle N geq 1}$. Обратите внимание, что поскольку ${ displaystyle e_ {k}}$ минимизирует среднеквадратичную ошибку, мы имеем

${ displaystyle mathbb {E} left | sum _ {k = 1} ^ {N} Z_ {k} e_ {k} (t) -X_ {t} right | _ {L ^ {2}} ^ {2} leq mathbb {E} left | sum _ {k = 1} ^ {N} W_ {k} varphi _ {k} (t) -X_ {t} right | _ {L ^ {2}} ^ {2}}$

Расширяя правый размер, получаем:

${ displaystyle mathbb {E} left | sum _ {k = 1} ^ {N} W_ {k} varphi _ {k} (t) -X_ {t} right | _ {L ^ {2 }} ^ {2} = mathbb {E} | X_ {t} ^ {2} | _ {L ^ {2}} + sum _ {k = 1} ^ {N} sum _ { ell = 1} ^ {N} mathbb {E} [W _ { ell} varphi _ { ell} (t) W_ {k} ^ {*} varphi _ {k} ^ {*} (t)] _ {L ^ {2}} - sum _ {k = 1} ^ {N} mathbb {E} [W_ {k} varphi _ {k} X_ {t} ^ {*}] _ {L ^ { 2}} - sum _ {k = 1} ^ {N} mathbb {E} [X_ {t} W_ {k} ^ {*} varphi _ {k} ^ {*} (t)] _ { L ^ {2}}}$

Используя ортонормальность ${ Displaystyle varphi _ {к} (т)}$, и расширение ${ displaystyle X_ {t}}$ в ${ Displaystyle varphi _ {к} (т)}$ исходя из этого, получаем, что размер правой руки равен:

${ displaystyle mathbb {E} [X_ {t}] _ {L ^ {2}} ^ {2} - sum _ {k = 1} ^ {N} mathbb {E} [| W_ {k} | ^ {2}]}$

Мы можем выполнить индивидуальный анализ для ${ Displaystyle е_ {к} (т)}$, и поэтому перепишем приведенное выше неравенство как:

${ displaystyle { displaystyle mathbb {E} [X_ {t}] _ {L ^ {2}} ^ {2} - sum _ {k = 1} ^ {N} mathbb {E} [| Z_ {к} | ^ {2}]} leq { displaystyle mathbb {E} [X_ {t}] _ {L ^ {2}} ^ {2} - sum _ {k = 1} ^ {N } mathbb {E} [| W_ {k} | ^ {2}]}}$

Вычитая общий первый член и разделив на ${ Displaystyle mathbb {E} [| X_ {t} | _ {L ^ {2}} ^ {2}]}$, получаем, что:

${ displaystyle sum _ {k = 1} ^ {N} p_ {k} geq sum _ {k = 1} ^ {N} q_ {k}}$

Это означает, что:

${ displaystyle - sum _ {k = 1} ^ { infty} p_ {k} log (p_ {k}) leq - sum _ {k = 1} ^ { infty} q_ {k} журнал (q_ {k})}$

Линейные приближения Карунена – Лоэва.

Рассмотрим целый класс сигналов, которые мы хотим приблизить к первому M векторы базиса. Эти сигналы моделируются как реализации случайного вектора Y[п] размера N. Чтобы оптимизировать приближение, мы разрабатываем базис, который минимизирует среднюю ошибку приближения. В этом разделе доказывается, что оптимальные базисы - это базисы Карунена – Лоэва, которые диагонализируют ковариационную матрицу Y. Случайный вектор Y можно разложить по ортогональному базису

${ displaystyle left {g_ {m} right } _ {0 leq m leq N}}$

следующее:

${ displaystyle Y = sum _ {m = 0} ^ {N-1} left langle Y, g_ {m} right rangle g_ {m},}$

где каждый

${ displaystyle left langle Y, g_ {m} right rangle = sum _ {n = 0} ^ {N-1} {Y [n]} g_ {m} ^ {*} [n]}$

случайная величина. Приближение с первого M ≤ N векторов базиса

${ displaystyle Y_ {M} = sum _ {m = 0} ^ {M-1} left langle Y, g_ {m} right rangle g_ {m}}$

Из сохранения энергии в ортогональном базисе следует

${ Displaystyle varepsilon [M] = mathbf {E} left { left | Y-Y_ {M} right | ^ {2} right } = sum _ {m = M} ^ {N-1} mathbf {E} left { left | left langle Y, g_ {m} right rangle right | ^ {2} right }}$

Эта ошибка связана с ковариацией Y определяется

${ displaystyle R [n, m] = mathbf {E} left {Y [n] Y ^ {*} [m] right }}$

Для любого вектора Икс[п] мы обозначим через K ковариационный оператор, представленный этой матрицей,

${ displaystyle mathbf {E} left { left | langle Y, x rangle right | ^ {2} right } = langle Kx, x rangle = sum _ {n = 0} ^ {N-1} sum _ {m = 0} ^ {N-1} R [n, m] x [n] x ^ {*} [m]}$

Ошибка ε[M] поэтому является суммой последних N − M коэффициенты ковариационного оператора

${ displaystyle varepsilon [M] = sum _ {m = M} ^ {N-1} { left langle Kg_ {m}, g_ {m} right rangle}}$

Оператор ковариации K является эрмитовым и позитивным и поэтому диагонализуется в ортогональном базисе, называемом базисом Карунена – Лоэва. Следующая теорема утверждает, что базис Карунена – Лоэва оптимален для линейных приближений.

Теорема (оптимальность базиса Карунена – Лоэва). Позволять K - ковариационный оператор. Для всех M ≥ 1, ошибка аппроксимации

${ displaystyle varepsilon [M] = sum _ {m = M} ^ {N-1} left langle Kg_ {m}, g_ {m} right rangle}$

минимален тогда и только тогда, когда

${ displaystyle left {g_ {m} right } _ {0 leq m$

является базисом Карунена – Лоэва, упорядоченным по убыванию собственных значений.

${ displaystyle left langle Kg_ {m}, g_ {m} right rangle geq left langle Kg_ {m + 1}, g_ {m + 1} right rangle, qquad 0 leq m$

Нелинейное приближение в базисах

Линейные приближения проецируют сигнал на M векторы априори. Приближение можно сделать более точным, выбрав M ортогональные векторы в зависимости от свойств сигнала. В этом разделе анализируется общая производительность этих нелинейных приближений. Сигнал ${ displaystyle f in mathrm {H}}$ аппроксимируется M векторов, выбранных адаптивно в ортонормированном базисе для ${ displaystyle mathrm {H}}$

${ displaystyle mathrm {B} = left {g_ {m} right } _ {m in mathbb {N}}}$

Позволять ${ displaystyle f_ {M}}$ - проекция f на M векторов, индексы которых лежат в я_M:

${ displaystyle f_ {M} = sum _ {m in I_ {M}} left langle f, g_ {m} right rangle g_ {m}}$

Ошибка аппроксимации складывается из оставшихся коэффициентов

${ Displaystyle varepsilon [M] = left { left | f-f_ {M} right | ^ {2} right } = sum _ {m notin I_ {M}} ^ { N-1} left { left | left langle f, g_ {m} right rangle right | ^ {2} right }}$

Чтобы минимизировать эту ошибку, индексы в я_M должны соответствовать M векторам, имеющим наибольшую амплитуду внутреннего произведения

${ Displaystyle left | left langle f, g_ {m} right rangle right |.}$

Это векторы, которые лучше всего коррелируют с f. Таким образом, их можно интерпретировать как основные черты f. Результирующая ошибка обязательно меньше, чем ошибка линейного приближения, которое выбирает M векторов приближения независимо от f. Давайте рассортируем

${ Displaystyle left { left | left langle f, g_ {m} right rangle right | right } _ {m in mathbb {N}}}$

в порядке убывания

${ Displaystyle left | left langle f, g_ {m_ {k}} right rangle right | geq left | left langle f, g_ {m_ {k + 1}} right rangle right |.}$

Лучшее нелинейное приближение

${ displaystyle f_ {M} = sum _ {k = 1} ^ {M} left langle f, g_ {m_ {k}} right rangle g_ {m_ {k}}}$

Его также можно записать как внутренний порог продукта:

${ displaystyle f_ {M} = sum _ {m = 0} ^ { infty} theta _ {T} left ( left langle f, g_ {m} right rangle right) g_ {m }}$

с

${ Displaystyle T = left | left langle f, g_ {m_ {M}} right rangle right |, qquad theta _ {T} (x) = { begin {cases} x & | x | geq T 0 & | x |$

Нелинейная ошибка равна

${ Displaystyle varepsilon [M] = left { left | f-f_ {M} right | ^ {2} right } = sum _ {k = M + 1} ^ { infty } left { left | left langle f, g_ {m_ {k}} right rangle right | ^ {2} right }}$

эта ошибка быстро стремится к нулю при увеличении M, если отсортированные значения ${ Displaystyle left | left langle f, g_ {m_ {k}} right rangle right |}$ быстро затухают при увеличении k. Этот распад количественно оценивается путем вычисления ${ Displaystyle mathrm {I} ^ { mathrm {P}}}$ норма сигнальных скалярных продуктов в B:

${ Displaystyle | е | _ { mathrm {B}, p} = left ( sum _ {m = 0} ^ { infty} left | left langle f, g_ {m} right rangle right | ^ {p} right) ^ { frac {1} {p}}}$

Следующая теорема связывает распад ε[M] к ${ Displaystyle | е | _ { mathrm {B}, p}}$

Теорема (убыль ошибки). Если ${ Displaystyle | е | _ { mathrm {B}, p} < infty}$ с п < 2 тогда

${ displaystyle varepsilon [M] leq { frac { | f | _ { mathrm {B}, p} ^ {2}} {{ frac {2} {p}} - 1}} M ^ {1 - { frac {2} {p}}}}$

и

${ displaystyle varepsilon [M] = o left (M ^ {1 - { frac {2} {p}}} right).}$

Наоборот, если ${ displaystyle varepsilon [M] = o left (M ^ {1 - { frac {2} {p}}} right)}$ тогда

${ Displaystyle | е | _ { mathrm {B}, q} < infty}$ для любого q > п.

Неоптимальность базисов Карунена – Лоэва.

Чтобы дополнительно проиллюстрировать различия между линейными и нелинейными приближениями, мы изучаем разложение простого негауссовского случайного вектора в базисе Карунена – Лоэва. Процессы, реализации которых имеют случайную трансляцию, стационарны. Тогда базис Карунена – Лоэва является базисом Фурье, и мы изучаем его эффективность. Чтобы упростить анализ, рассмотрим случайный вектор Y[п] размера N это случайный сдвиг по модулю N детерминированного сигнала ж[п] нулевого среднего

${ Displaystyle сумма _ {п = 0} ^ {N-1} е [п] = 0}$

${ Displaystyle Y [п] = е [(п-р) { bmod {N}}]}$

Случайный сдвиг п равномерно распределена на [0,N − 1]:

${ Displaystyle Pr (P = p) = { frac {1} {N}}, qquad 0 leq p$

Четко

${ displaystyle mathbf {E} {Y [n] } = { frac {1} {N}} sum _ {p = 0} ^ {N-1} f [(np) { bmod { N}}] = 0}$

и

${ Displaystyle R [n, k] = mathbf {E} {Y [n] Y [k] } = { frac {1} {N}} sum _ {p = 0} ^ {N- 1} f [(np) { bmod {N}}] f [(kp) { bmod {N}}] = { frac {1} {N}} f Theta { bar {f}} [ nk], quad { bar {f}} [n] = f [-n]}$

Следовательно

${ displaystyle R [n, k] = R_ {Y} [nk], qquad R_ {Y} [k] = { frac {1} {N}} f Theta { bar {f}} [k ]}$

Поскольку R_Y N периодичен, Y - круговой стационарный случайный вектор. Оператор ковариации представляет собой круговую свертку с R_Y и поэтому диагонализуется в дискретном базисе Фурье, Карунена – Лоэва

${ displaystyle left {{ frac {1} { sqrt {N}}} e ^ {i2 pi mn / N} right } _ {0 leq m$

Спектр мощности представляет собой преобразование Фурье р_Y:

${ displaystyle P_ {Y} [m] = { hat {R}} _ {Y} [m] = { frac {1} {N}} left | { hat {f}} [m] вправо | ^ {2}}$

Пример: Рассмотрим крайний случай, когда ${ Displaystyle е [п] = дельта [п] - дельта [п-1]}$. Приведенная выше теорема гарантирует, что базис Фурье, Карунена – Лоэва дает меньшую ожидаемую ошибку аппроксимации, чем канонический базис Дирака. ${ displaystyle left {g_ {m} [n] = delta [n-m] right } _ {0 leq m$. Действительно, нам априори неизвестна абсцисса ненулевых коэффициентов Y, поэтому не существует конкретного Дирака, лучше приспособленного для выполнения аппроксимации. Но векторы Фурье покрывают всю опору Y и, таким образом, поглощают часть энергии сигнала.

${ displaystyle mathbf {E} left { left | left langle Y [n], { frac {1} { sqrt {N}}} e ^ {i2 pi mn / N} right rangle right | ^ {2} right } = P_ {Y} [m] = { frac {4} {N}} sin ^ {2} left ({ frac { pi k} { N}} right)}$

Выбор более высоких частотных коэффициентов Фурье дает лучшее среднеквадратическое приближение, чем выбор априори нескольких векторов Дирака для выполнения аппроксимации. Совершенно иная ситуация для нелинейных приближений. Если ${ Displaystyle е [п] = дельта [п] - дельта [п-1]}$ тогда дискретный базис Фурье крайне неэффективен, потому что f и, следовательно, Y имеют энергию, которая почти равномерно распределена между всеми векторами Фурье. Напротив, поскольку f имеет только два ненулевых коэффициента в базисе Дирака, нелинейная аппроксимация Y с M ≥ 2 дает нулевую ошибку.^[6]

Анализ главных компонентов

Мы установили теорему Карунена – Лоэва и вывели некоторые ее свойства. Мы также отметили, что одним из препятствий при его применении была численная стоимость определения собственных значений и собственных функций его ковариационного оператора с помощью интегрального уравнения Фредгольма второго рода.

${ displaystyle int _ {a} ^ {b} K_ {X} (s, t) e_ {k} (s) , ds = lambda _ {k} e_ {k} (t).}$

Однако применительно к дискретному и конечному процессу ${ displaystyle left (X_ {n} right) _ {n in {1, ldots, N }}}$, задача принимает гораздо более простой вид, и для выполнения вычислений можно использовать стандартную алгебру.

Обратите внимание, что непрерывный процесс также может быть отобран на N моменты времени, чтобы свести проблему к конечной версии.

В дальнейшем мы рассматриваем случайную N-мерный вектор ${ Displaystyle X = left (X_ {1} ~ X_ {2} ~ ldots ~ X_ {N} right) ^ {T}}$. Как уже упоминалось выше, Икс может содержать N образцы сигнала, но он может содержать гораздо больше представлений в зависимости от области применения. Например, это могут быть ответы на опрос или экономические данные в эконометрическом анализе.

Как и в непрерывном варианте, мы предполагаем, что Икс центрировано, иначе мы можем позволить ${ Displaystyle X: = X- mu _ {X}}$ (куда ${ displaystyle mu _ {X}}$ это средний вектор из Икс), который центрирован.

Адаптируем процедуру к дискретному случаю.

Ковариационная матрица

Напомним, что основное значение и сложность преобразования KL - это вычисление собственных векторов линейного оператора, связанного с ковариационной функцией, которые задаются решениями интегрального уравнения, написанного выше.

Определите Σ, ковариационную матрицу Икс, как N × N матрица, элементы которой задаются следующим образом:

${ Displaystyle Sigma _ {ij} = mathbf {E} [X_ {i} X_ {j}], qquad forall i, j in {1, ldots, N }}$

Переписывая приведенное выше интегральное уравнение в соответствии с дискретным случаем, мы видим, что оно превращается в:

${ displaystyle sum _ {j = 1} ^ {N} Sigma _ {ij} e_ {j} = lambda e_ {i} quad Leftrightarrow quad Sigma e = lambda e}$

куда ${ Displaystyle е = (е_ {1} ~ е_ {2} ~ ldots ~ е_ {N}) ^ {T}}$ является N-мерный вектор.

Таким образом, интегральное уравнение сводится к простой задаче на собственные значения матрицы, что объясняет, почему PCA имеет такую ​​широкую область применения.

Поскольку Σ является положительно определенной симметричной матрицей, она обладает набором ортонормированных собственных векторов, образующих базис ${ Displaystyle mathbb {R} ^ {N}}$, и мы пишем ${ displaystyle { lambda _ {i}, varphi _ {i} } _ {i in {1, ldots, N }}}$ этот набор собственных значений и соответствующих собственных векторов, перечисленных в убывающих значениях λ_я. Пусть также Φ - ортонормированная матрица, состоящая из этих собственных векторов:

${ displaystyle { begin {align} Phi &: = left ( varphi _ {1} ~ varphi _ {2} ~ ldots ~ varphi _ {N} right) ^ {T} Фи ^ {Т} Фи & = I конец {выровнено}}}$

Преобразование главного компонента

Осталось выполнить собственно преобразование KL, называемое преобразование главных компонент в этом случае. Напомним, что преобразование было найдено путем расширения процесса по базису, покрытому собственными векторами ковариационной функции. В этом случае мы имеем:

${ displaystyle X = sum _ {i = 1} ^ {N} langle varphi _ {i}, X rangle varphi _ {i} = sum _ {i = 1} ^ {N} varphi _ {i} ^ {T} X varphi _ {i}}$

В более компактной форме преобразование главных компонент Икс определяется:

${ displaystyle { begin {cases} Y = Phi ^ {T} X X = Phi Y end {cases}}}$

В я-й компонент Y является ${ Displaystyle Y_ {я} = varphi _ {я} ^ {T} X}$, проекция Икс на ${ displaystyle varphi _ {я}}$ и обратное преобразование Икс = ΦY дает расширение Икс на пространстве, охваченном ${ displaystyle varphi _ {я}}$:

${ displaystyle X = sum _ {i = 1} ^ {N} Y_ {i} varphi _ {i} = sum _ {i = 1} ^ {N} langle varphi _ {i}, X rangle varphi _ {я}}$

Как и в непрерывном случае, мы можем уменьшить размерность задачи, усекая сумму на некотором ${ Displaystyle К ин {1, ldots, N }}$ такой, что

${ displaystyle { frac { sum _ {i = 1} ^ {K} lambda _ {i}} { sum _ {i = 1} ^ {N} lambda _ {i}}} geq альфа}$

где α - объясненный порог дисперсии, который мы хотим установить.

Мы также можем уменьшить размерность за счет использования многоуровневой оценки доминирующего собственного вектора (MDEE).^[7]

Примеры

Винеровский процесс

Существует множество эквивалентных характеристик Винеровский процесс что является математической формализацией Броуновское движение. Здесь мы рассматриваем его как центрированный стандартный гауссовский процесс W_т с ковариационной функцией

${ displaystyle K_ {W} (t, s) = operatorname {cov} (W_ {t}, W_ {s}) = min (s, t).}$

Мы ограничиваем временную область [а, б] = [0,1] без ограничения общности.

Собственные векторы ядра ковариации легко определяются. Это

${ displaystyle e_ {k} (t) = { sqrt {2}} sin left ( left (k - { tfrac {1} {2}} right) pi t right)}$

а соответствующие собственные значения равны

${ displaystyle lambda _ {k} = { frac {1} {(k - { frac {1} {2}}) ^ {2} pi ^ {2}}}.}$

Это дает следующее представление о винеровском процессе:

Теорема. Есть последовательность {Z_я}_я независимых гауссовских случайных величин с нулевым средним и дисперсией 1 такой, что

${ displaystyle W_ {t} = { sqrt {2}} sum _ {k = 1} ^ { infty} Z_ {k} { frac { sin left ( left (k - { frac { 1} {2}} right) pi t right)} { left (k - { frac {1} {2}} right) pi}}.}$

Обратите внимание, что это представление действительно только для ${ displaystyle t in [0,1].}$ На больших интервалах приращения не являются независимыми. Как указано в теореме, сходимость происходит в L² норма и униформа вт.

Броуновский мост

Аналогичным образом Броуновский мост ${ displaystyle B_ {t} = W_ {t} -tW_ {1}}$ который является случайный процесс с ковариационной функцией

${ Displaystyle K_ {B} (t, s) = min (t, s) -ts}$

можно представить как серию

${ displaystyle B_ {t} = sum _ {k = 1} ^ { infty} Z_ {k} { frac {{ sqrt {2}} sin (k pi t)} {k pi} }}$

Приложения

Эта секция нуждается в расширении. Вы можете помочь добавляя к этому. (Июль 2010 г.)

Адаптивная оптика системы иногда используют функции K – L для восстановления информации о фазе волнового фронта (Dai 1996, JOSA A). Разложение Кархунена – Лоэва тесно связано с Разложение по сингулярным значениям. Последний имеет множество приложений в области обработки изображений, радаров, сейсмологии и т. Д. Если есть независимые векторные наблюдения от векторнозначного случайного процесса, то левые сингулярные векторы равны максимальная вероятность оценки разложения ансамбля KL.

Приложения для оценки и обнаружения сигналов

Обнаружение известного непрерывного сигнала S(т)

При общении мы обычно должны решить, содержит ли сигнал из зашумленного канала ценную информацию. Следующая проверка гипотез используется для обнаружения непрерывного сигнала. s(т) с выхода канала Икс(т), N(т) - шум канала, который обычно считается гауссовским процессом с нулевым средним с корреляционной функцией ${ Displaystyle R_ {N} (t, s) = E [N (t) N (s)]}$

${ Displaystyle Н: Х (т) = N (т),}$

${ Displaystyle К: Икс (т) = N (т) + s (т), четырехъядерный т в (0, Т)}$

Обнаружение сигнала в белом шуме

Когда шум канала белый, его корреляционная функция

${ Displaystyle R_ {N} (t) = { tfrac {1} {2}} N_ {0} delta (t),}$

и имеет постоянную плотность спектра мощности. В физически практическом канале мощность шума конечна, поэтому:

${ displaystyle S_ {N} (f) = { begin {cases} { frac {N_ {0}} {2}} & | f | w end {cases}} }$

Тогда корреляционная функция шума является функцией sinc с нулями при ${ displaystyle { frac {n} {2 omega}}, п in mathbf {Z}.}$ Поскольку они некоррелированы и гауссовы, они независимы. Таким образом, мы можем брать образцы из Икс(т) с интервалом времени

${ displaystyle Delta t = { frac {n} {2 omega}} { text {within}} (0, '' T '').}$

Позволять ${ Displaystyle X_ {я} = Икс (я , Delta t)}$. У нас в общей сложности ${ Displaystyle п = { гидроразрыва {T} { Delta t}} = T (2 omega) = 2 omega T}$ i.i.d наблюдения ${ Displaystyle {X_ {1}, X_ {2}, ldots, X_ {n} }}$ разработать тест отношения правдоподобия. Определить сигнал ${ Displaystyle S_ {я} = S (я , Delta t)}$, проблема становится,

${ displaystyle H: X_ {i} = N_ {i},}$

${ displaystyle K: X_ {i} = N_ {i} + S_ {i}, i = 1,2, ldots, n.}$

Отношение логарифма правдоподобия

${ displaystyle { mathcal {L}} ({ underline {x}}) = log { frac { sum _ {i = 1} ^ {n} (2S_ {i} x_ {i} -S_ { i} ^ {2})} {2 sigma ^ {2}}} Leftrightarrow Delta t sum _ {i = 1} ^ {n} S_ {i} x_ {i} = sum _ {i = 1} ^ {n} S (i , Delta t) x (i , Delta t) , Delta t gtrless lambda _ { cdot} 2}$

В качестве т → 0, позволять:

${ Displaystyle G = int _ {0} ^ {T} S (t) x (t) , dt.}$

потом грамм это статистика теста и Оптимальный детектор Неймана – Пирсона является

${ Displaystyle G ({ underline {x}})> G_ {0} Rightarrow K$

В качестве грамм является гауссовым, мы можем охарактеризовать его, найдя его среднее значение и дисперсии. Тогда получаем

${ displaystyle H: G sim N left (0, { tfrac {1} {2}} N_ {0} E right)}$

${ displaystyle K: G sim N left (E, { tfrac {1} {2}} N_ {0} E right)}$

куда

${ displaystyle mathbf {E} = int _ {0} ^ {T} S ^ {2} (t) , dt}$

- энергия сигнала.

Ошибка ложной тревоги

${ displaystyle alpha = int _ {G_ {0}} ^ { infty} N left (0, { tfrac {1} {2}} N_ {0} E right) , dG Rightarrow G_ {0} = { sqrt {{ tfrac {1} {2}} N_ {0} E}} Phi ^ {- 1} (1- alpha)}$

И вероятность обнаружения:

${ displaystyle beta = int _ {G_ {0}} ^ { infty} N left (E, { tfrac {1} {2}} N_ {0} E right) , dG = 1- Phi left ({ frac {G_ {0} -E} { sqrt {{ tfrac {1} {2}} N_ {0} E}}} right) = Phi left ({ sqrt { frac {2E} {N_ {0}}}} - Phi ^ {- 1} (1- alpha) right),}$

где Φ - cdf стандартной нормальной или гауссовой переменной.

Обнаружение сигнала в цветном шуме

Когда N (t) окрашен (коррелирован во времени) гауссовский шум с нулевым средним и ковариационной функцией ${ Displaystyle R_ {N} (t, s) = E [N (t) N (s)],}$ мы не можем сделать выборку независимых дискретных наблюдений, равномерно распределив время. Вместо этого мы можем использовать расширение K – L, чтобы некоррелировать шумовой процесс и получить независимые гауссовские «выборки» наблюдений. K – L разложение N(т):

${ Displaystyle N (t) = sum _ {i = 1} ^ { infty} N_ {i} Phi _ {i} (t), quad 0$

куда ${ Displaystyle N_ {я} = int N (t) Phi _ {i} (t) , dt}$ и ортонормированные базы ${ Displaystyle { Phi _ {я} {т} }}$ генерируются ядром ${ Displaystyle R_ {N} (т, с)}$, т.е. решение

${ displaystyle int _ {0} ^ {T} R_ {N} (t, s) Phi _ {i} (s) , ds = lambda _ {i} Phi _ {i} (t) , quad operatorname {var} [N_ {i}] = lambda _ {i}.}$

Сделайте расширение:

${ Displaystyle S (т) = сумма _ {я = 1} ^ { infty} S_ {я} Phi _ {я} (т),}$

куда ${ Displaystyle S_ {я} = int _ {0} ^ {T} S (t) Phi _ {i} (t) , dt}$, тогда

${ displaystyle X_ {i} = int _ {0} ^ {T} X (t) Phi _ {i} (t) , dt = N_ {i}}$

под H и ${ displaystyle N_ {i} + S_ {i}}$ под К. Пусть ${ displaystyle { overline {X}} = {X_ {1}, X_ {2}, dots }}$, у нас есть

${ displaystyle N_ {i}}$ являются независимыми гауссовскими с.в. с дисперсией ${ displaystyle lambda _ {я}}$

под H: ${ displaystyle {X_ {i} }}$ являются независимыми гауссовскими с.в.

${ displaystyle f_ {H} [x (t) | 0$