Аппроксимация низкого ранга - Википедия - Low-rank approximation

В математике приближение низкого ранга это минимизация проблема, в которой функция стоимости измеряет соответствие между заданной матрицей (данными) и аппроксимирующей матрицей (переменная оптимизации), при условии, что аппроксимирующая матрица уменьшила классифицировать. Проблема используется для математическое моделирование и Сжатие данных. Ограничение ранга связано с ограничением сложности модели, которая соответствует данным. В приложениях часто существуют другие ограничения на аппроксимирующую матрицу, помимо ограничения ранга, например, неотрицательность и Структура Ганкеля.

Аппроксимация низкого ранга тесно связана с:

• Анализ главных компонентов,
• факторный анализ,
• Всего наименьших квадратов,
• латентно-семантический анализ, и
• ортогональная регрессия.

Определение

Данный

• спецификация конструкции ${ displaystyle { mathcal {S}}: mathbb {R} ^ {n_ {p}} to mathbb {R} ^ {m times n}}$,
• вектор параметров конструкции ${ displaystyle p in mathbb {R} ^ {n_ {p}}}$,
• норма ${ displaystyle | cdot |}$, и
• желаемый ранг ${ displaystyle r}$,

${ displaystyle { text {минимизировать}} quad { text {over}} { widehat {p}} quad | p - { widehat {p}} | quad { text {при условии} } quad operatorname {rank} { big (} { mathcal {S}} ({ widehat {p}}) { big)} leq r.}$

Приложения

• Линейный идентификация системы, в этом случае аппроксимирующая матрица Ганкель структурированный.^[1][2]
• Машинное обучение, в этом случае аппроксимирующая матрица имеет нелинейную структуру.^[3]
• Рекомендательные системы, в каких случаях матрица данных имеет недостающие значения и приближение категоричный.
• Расстояние заполнение матрицы, и в этом случае есть ограничение положительной определенности.
• Обработка естественного языка, в этом случае приближение неотрицательный.
• Компьютерная алгебра, в этом случае приближение Сильвестр структурированный.

Основная задача аппроксимации низкого ранга

Неструктурированная проблема с подгонкой, измеренная Норма Фробениуса, т.е.

${ displaystyle { text {minim}} quad { text {over}} { widehat {D}} quad | D - { widehat {D}} | _ { text {F}} quad { text {при условии}} quad operatorname {rank} { big (} { widehat {D}} { big)} leq r}$

имеет аналитическое решение с точки зрения разложение по сингулярным числам матрицы данных. Результат называется леммой о матричной аппроксимации или теоремой Эккарта – Юнга – Мирского.^[4] Позволять

${ Displaystyle D = U Sigma V ^ { top} in mathbb {R} ^ {m times n}, quad m geq n}$

- сингулярное разложение ${ displaystyle D}$ и раздел ${ displaystyle U}$, ${ displaystyle Sigma =: operatorname {diag} ( sigma _ {1}, ldots, sigma _ {m})}$, и ${ displaystyle V}$ следующее:

${ displaystyle U =: { begin {bmatrix} U_ {1} & U_ {2} end {bmatrix}}, quad Sigma =: { begin {bmatrix} Sigma _ {1} & 0 0 & Sigma _ {2} end {bmatrix}}, quad { text {and}} quad V =: { begin {bmatrix} V_ {1} & V_ {2} end {bmatrix}},}$

куда ${ displaystyle U_ {1}}$ является ${ displaystyle m times r}$, ${ displaystyle Sigma _ {1}}$ является ${ Displaystyle г раз г}$, и ${ displaystyle V_ {1}}$ является ${ Displaystyle п раз г}$. Тогда звание-${ displaystyle r}$ матрица, полученная из усеченного сингулярного разложения

${ displaystyle { widehat {D}} ^ {*} = U_ {1} Sigma _ {1} V_ {1} ^ { top},}$

таково, что

${ displaystyle | D - { widehat {D}} ^ {*} | _ { text {F}} = min _ { operatorname {rank} ({ widehat {D}}) leq r } | D - { widehat {D}} | _ { text {F}} = { sqrt { sigma _ {r + 1} ^ {2} + cdots + sigma _ {m} ^ {2}}}.}$

Минимайзер ${ displaystyle { widehat {D}} ^ {*}}$ уникален тогда и только тогда, когда ${ displaystyle sigma _ {r + 1} neq sigma _ {r}}$.

Доказательство теоремы Эккарта – Юнга – Мирского (для спектральная норма )

Позволять ${ Displaystyle А в mathbb {R} ^ {м раз п}}$ - вещественная (возможно, прямоугольная) матрица с ${ Displaystyle м geq п}$. Предположим, что

${ Displaystyle A = U Sigma V ^ { top}}$

это разложение по сингулярным числам из ${ displaystyle A}$. Напомним, что ${ displaystyle U}$ и ${ displaystyle V}$ находятся ортогональный матрицы и ${ displaystyle Sigma}$ является ${ Displaystyle м раз п}$ диагональ матрица с записями ${ displaystyle ( sigma _ {1}, sigma _ {2}, cdots, sigma _ {n})}$ такой, что ${ displaystyle sigma _ {1} geq sigma _ {2} geq cdots geq sigma _ {n} geq 0}$.

Мы утверждаем, что лучший ранг ${ displaystyle k}$ приближение к ${ displaystyle A}$ в спектральной норме, обозначаемой ${ Displaystyle | cdot | _ {2}}$, дан кем-то

${ displaystyle A_ {k} = sum _ {i = 1} ^ {k} sigma _ {i} u_ {i} v_ {i} ^ { top}}$

куда ${ displaystyle u_ {i}}$и ${ displaystyle v_ {i}}$ обозначить ${ displaystyle i}$-й столбец ${ displaystyle U}$ и ${ displaystyle V}$, соответственно.

Во-первых, обратите внимание, что у нас есть

${ displaystyle | A-A_ {k} | _ {2} = left | sum _ {i = k + 1} ^ {n} sigma _ {i} u_ {i} v_ {i} ^ { top} right | _ {2} = sigma _ {k + 1}}$

Следовательно, нам нужно показать, что если ${ displaystyle B_ {k} = XY ^ { top}}$ куда ${ displaystyle X}$ и ${ displaystyle Y}$ имеют ${ displaystyle k}$ столбцы тогда ${ Displaystyle | A-A_ {к} | _ {2} = sigma _ {k + 1} leq | A-B_ {k} | _ {2}}$.

С ${ displaystyle Y}$ имеет ${ displaystyle k}$ столбцов, то должна быть нетривиальная линейная комбинация первых ${ displaystyle k + 1}$ столбцы ${ displaystyle V}$, т.е.

${ displaystyle w = gamma _ {1} v_ {1} + cdots + gamma _ {k + 1} v_ {k + 1},}$

такой, что ${ displaystyle Y ^ { top} ш = 0}$. Без потери общности мы можем масштабировать ${ displaystyle w}$ так что ${ Displaystyle | ш | _ {2} = 1}$ или (эквивалентно) ${ displaystyle gamma _ {1} ^ {2} + cdots + gamma _ {k + 1} ^ {2} = 1}$. Следовательно,

${ Displaystyle | A-B_ {k} | _ {2} ^ {2} geq | (A-B_ {k}) w | _ {2} ^ {2} = | Aw | _ {2} ^ {2} = gamma _ {1} ^ {2} sigma _ {1} ^ {2} + cdots + gamma _ {k + 1} ^ {2} sigma _ {k +1} ^ {2} geq sigma _ {k + 1} ^ {2}.}$

Результат получается извлечением квадратного корня из обеих частей указанного неравенства.

Доказательство теоремы Эккарта – Юнга – Мирского (для Норма Фробениуса )

Позволять ${ Displaystyle А в mathbb {R} ^ {м раз п}}$ - вещественная (возможно, прямоугольная) матрица с ${ Displaystyle м geq п}$. Предположим, что

${ Displaystyle A = U Sigma V ^ { top}}$

это разложение по сингулярным числам из ${ displaystyle A}$.

Мы утверждаем, что лучший ранг ${ displaystyle k}$ приближение к ${ displaystyle A}$ в норме Фробениуса, обозначаемой ${ Displaystyle | cdot | _ {F}}$, дан кем-то

${ displaystyle A_ {k} = sum _ {i = 1} ^ {k} sigma _ {i} u_ {i} v_ {i} ^ { top}}$

куда ${ displaystyle u_ {i}}$ и ${ displaystyle v_ {i}}$ обозначить ${ displaystyle i}$-й столбец ${ displaystyle U}$ и ${ displaystyle V}$, соответственно.

Во-первых, обратите внимание, что у нас есть

${ displaystyle | A-A_ {k} | _ {F} ^ {2} = left | sum _ {i = k + 1} ^ {n} sigma _ {i} u_ {i} v_ {i} ^ { top} right | _ {F} ^ {2} = sum _ {i = k + 1} ^ {n} sigma _ {i} ^ {2}}$

Следовательно, нам нужно показать, что если ${ displaystyle B_ {k} = XY ^ { top}}$ куда ${ displaystyle X}$ и ${ displaystyle Y}$ имеют ${ displaystyle k}$ столбцы тогда

${ displaystyle | A-A_ {k} | _ {F} ^ {2} = sum _ {i = k + 1} ^ {n} sigma _ {i} ^ {2} leq | A-B_ {k} | _ {F} ^ {2}.}$

По неравенству треугольника со спектральной нормой, если ${ Displaystyle А = А '+ А' '}$ тогда ${ displaystyle sigma _ {1} (A) leq sigma _ {1} (A ') + sigma _ {1} (A' ')}$. Предполагать ${ displaystyle A '_ {k}}$ и ${ displaystyle A '' _ {k}}$ соответственно обозначают ранг ${ displaystyle k}$ приближение к ${ displaystyle A '}$ и ${ displaystyle A ''}$ методом СВД, описанным выше. Тогда для любого ${ displaystyle i, j geq 1}$

${ displaystyle { begin {align} sigma _ {i} (A ') + sigma _ {j} (A' ') & = sigma _ {1} (A'-A' _ {i-1 }) + sigma _ {1} (A '' - A '' _ {j-1}) & geq sigma _ {1} (A-A '_ {i-1} -A' ' _ {j-1}) & geq sigma _ {1} (A-A_ {i + j-2}) qquad ({ text {Since}} { rm {rank}} (A ' _ {i-1} + A '' _ {j-1}) leq { rm {rank ,}} A_ {i + j-2}) & = sigma _ {i + j-1 } (A). End {выровнено}}}$

С ${ displaystyle sigma _ {k + 1} (B_ {k}) = 0}$, когда ${ displaystyle A '= A-B_ {k}}$ и ${ displaystyle A '' = B_ {k}}$ мы заключаем, что для ${ Displaystyle я geq 1, j = k + 1}$

${ displaystyle sigma _ {i} (A-B_ {k}) geq sigma _ {k + i} (A).}$

Следовательно,

${ displaystyle | A-B_ {k} | _ {F} ^ {2} = sum _ {i = 1} ^ {n} sigma _ {i} (A-B_ {k}) ^ { 2} geq sum _ {i = k + 1} ^ {n} sigma _ {i} (A) ^ {2} = | A-A_ {k} | _ {F} ^ {2} ,}$

как требуется.

Взвешенные задачи аппроксимации низкого ранга

Норма Фробениуса равномерно взвешивает все элементы ошибки аппроксимации ${ displaystyle D - { widehat {D}}}$. Предварительные сведения о распределении ошибок можно учесть, рассматривая взвешенную задачу аппроксимации низкого ранга

${ displaystyle { text {минимизировать}} quad { text {over}} { widehat {D}} quad operatorname {vec} ^ { top} (D - { widehat {D}}) W operatorname {vec} (D - { widehat {D}}) quad { text {subject to}} quad operatorname {rank} ({ widehat {D}}) leq r,}$

куда ${ displaystyle vec (A)}$ векторизует матрица ${ displaystyle A}$ колонка мудрая и ${ displaystyle W}$ - заданная положительная (полу) определенная весовая матрица.

Общая взвешенная задача аппроксимации низкого ранга не допускает аналитического решения в терминах разложения по сингулярным значениям и решается методами локальной оптимизации, которые не гарантируют, что глобально оптимальное решение будет найдено.

В случае некоррелированных весов задача взвешенной аппроксимации низкого ранга также может быть сформулирована следующим образом:^[5][6] для неотрицательной матрицы ${ displaystyle W}$ и матрица ${ displaystyle A}$ мы хотим минимизировать ${ displaystyle sum _ {я, j} (W_ {i, j} (A_ {i, j} -B_ {i, j})) ^ {2}}$ над матрицами, ${ displaystyle B}$, ранга не выше ${ displaystyle r}$.

Входной ${ displaystyle L_ {p}}$ задачи аппроксимации низкого ранга

Позволять ${ Displaystyle | A | _ {p} = left ( sum _ {i, j} | A_ {i, j} ^ {p} | right) ^ {1 / p}}$. За ${ displaystyle p = 2}$, самый быстрый алгоритм работает в ${ displaystyle nnz (A) + n cdot poly (k / epsilon)}$ время,.^[7][8] Одна из важных использованных идей - это забвение встраивания подпространств (OSE), она впервые была предложена Сарлосом.^[9]

За ${ displaystyle p = 1}$, известно, что эта начальная норма L1 более устойчива, чем норма Фробениуса при наличии выбросов, и указывается в моделях, где предположения Гаусса относительно шума могут не применяться. Естественно стремиться минимизировать ${ Displaystyle | БА | _ {1}}$.^[10] За ${ displaystyle p = 0}$ и ${ displaystyle p geq 1}$, есть несколько алгоритмов с доказуемыми гарантиями.^[11][12]

Задача аппроксимации низкого ранга расстояния

Позволять ${ Displaystyle P = {p_ {1}, ldots, p_ {m} }}$ и ${ Displaystyle Q = {q_ {1}, ldots, q_ {n} }}$ - два точечных множества в произвольном метрическом пространстве. Позволять ${ displaystyle A}$ представляют ${ Displaystyle м раз п}$ матрица, где ${ displaystyle A_ {i, j} = dist (p_ {i}, q_ {i})}$. Такие матрицы расстояний обычно вычисляются в программных пакетах и ​​имеют приложения для изучения многообразий изображений, распознавания почерка и многомерного развертывания. В попытке уменьшить размер их описания,^[13][14] можно изучить низкоранговую аппроксимацию таких матриц.

Распределенная / потоковая задача аппроксимации низкого ранга

Проблемы аппроксимации низкого ранга в распределенной и потоковой настройке рассмотрены в.^[15]

Представления ранговых ограничений в виде и ядре

Используя эквивалентности

${ displaystyle operatorname {rank} ({ widehat {D}}) leq r quad iff quad { text {there are}} P in mathbb {R} ^ {m times r} { text {and}} L in mathbb {R} ^ {r times n} { text {такой, что}} { widehat {D}} = PL}$

и

${ displaystyle operatorname {rank} ({ widehat {D}}) leq r quad iff quad { text {есть полный ранг строки}} R in mathbb {R} ^ {mr times m} { text {такой, что}} R { widehat {D}} = 0}$

взвешенная задача аппроксимации низкого ранга становится эквивалентной задачам оптимизации параметров

${ displaystyle { text {Minimum}} quad { text {over}} { widehat {D}}, P { text {and}} L quad operatorname {vec} ^ { top} (D - { widehat {D}}) W operatorname {vec} (D - { widehat {D}}) quad { text {при условии}} quad { widehat {D}} = PL}$

и

${ displaystyle { text {Minimum}} quad { text {over}} { widehat {D}} { text {and}} R quad operatorname {vec} ^ { top} (D- { widehat {D}}) W operatorname {vec} (D - { widehat {D}}) quad { text {subject to}} quad R { widehat {D}} = 0 quad { текст {и}} quad RR ^ { top} = I_ {r},}$

куда ${ displaystyle I_ {r}}$ это единичная матрица размера ${ displaystyle r}$.

Алгоритм чередования проекций

Графическое представление ограничения ранга предлагает метод оптимизации параметров, в котором функция стоимости минимизируется поочередно по одной из переменных (${ displaystyle P}$ или же ${ displaystyle L}$) с фиксированным другим. Хотя одновременная минимизация по обоим ${ displaystyle P}$ и ${ displaystyle L}$ сложно двояковыпуклая оптимизация проблема, минимизация только по одной из переменных является линейный метод наименьших квадратов проблема и может быть решена глобально и эффективно.

Результирующий алгоритм оптимизации (называемый чередующимися проекциями) глобально сходится с линейной скоростью сходимости к локально оптимальному решению взвешенной задачи аппроксимации низкого ранга. Начальное значение для ${ displaystyle P}$ (или же ${ displaystyle L}$) должен быть указан. Итерация останавливается, когда выполняется определенное пользователем условие сходимости.

Matlab реализация алгоритма чередующихся проекций для взвешенной низкоранговой аппроксимации:

функция[дх, ф] =wlra_ap(д, ш, п, тол, макситер)[м, п] = размер(d); р = размер(п, 2); ж = инф;за я = 2: макситер    % минимизации над L    бп = крон(глаз(п), п);    vl = (бп' * ш * бп) \ бп' * ш * d(:);    л  = изменить форму (vl, r, n);    % минимизации над P    бл = крон(л', глаз(м));    вице-президент = (бл' * ш * бл) \ бл' * ш * d(:);    п  = изменить форму (вп, м, г);    % проверить условие выхода    dh = п * л; дд = d - dh;    ж(я) = дд(:)' * ш * дд(:);    если abs (f (i - 1) - f (i)) конец

Алгоритм переменных проекций

Алгоритм альтернативных проекций использует тот факт, что задача аппроксимации низкого ранга, параметризованная в форме изображения, является билинейной по переменным ${ displaystyle P}$ или же ${ displaystyle L}$. Билинейный характер проблемы эффективно используется в альтернативном подходе, называемом переменными проекциями.^[16]

Рассмотрим снова взвешенную задачу аппроксимации низкого ранга, параметризованную в форме изображения. Минимизация по ${ displaystyle L}$ переменная (линейная задача наименьших квадратов) приводит к выражению в замкнутой форме ошибки аппроксимации как функции ${ displaystyle P}$

${ displaystyle f (P) = { sqrt { operatorname {vec} ^ { top} (D) { Big (} WW (I_ {n} otimes P) { big (} (I_ {n} otimes P) ^ { top} W (I_ {n} otimes P) { big)} ^ {- 1} (I_ {n} otimes P) ^ { top} W { Big)} имя оператора {vec} (D)}}.}$

Исходная проблема, следовательно, эквивалентна нелинейная задача наименьших квадратов минимизации ${ Displaystyle f (P)}$ относительно ${ displaystyle P}$. Для этого используются стандартные методы оптимизации, например то Алгоритм Левенберга-Марквардта может быть использован.

Matlab реализация алгоритма переменных проекций для взвешенной низкоранговой аппроксимации:

функция[дх, ф] =wlra_varpro(д, ш, п, тол, макситер)проблема = optimset(); проблема.решатель = 'lsqnonlin';проблема.опции = optimset('MaxIter', макситер, 'TolFun', тол); проблема.x0 = п; проблема.цель = @(п) cost_fun(п, d, ш);[п, ж ] = lsqnonlin(проблема); [ж, vl] = cost_fun(п, d, ш); dh = п * изменить форму(vl, размер(п, 2), размер(d, 2));функция [f, vl] = cost_fun (p, d, w)бп = крон(глаз(размер(d, 2)), п);vl = (бп' * ш * бп) \ бп' * ш * d(:);ж = d(:)' * ш * (d(:) - бп * vl);

Подход переменных проекций можно применять также к задачам аппроксимации низкого ранга, параметризованным в форме ядра. Метод эффективен, когда количество исключаемых переменных намного превышает количество оптимизационных переменных, оставшихся на этапе минимизации нелинейным методом наименьших квадратов. Такие проблемы возникают при идентификации системы, параметризованной в форме ядра, где исключенные переменные представляют собой аппроксимирующую траекторию, а остальные переменные - параметры модели. В контексте линейные инвариантные во времени системы, шаг исключения эквивалентен Кальмановское сглаживание.

Вариант: выпукло-ограниченная аппроксимация низкого ранга

Обычно мы хотим, чтобы наше новое решение было не только низкого ранга, но и удовлетворяло другим выпуклым ограничениям, обусловленным требованиями приложения. Наша интересующая проблема будет заключаться в следующем:

${ displaystyle { text {минимизировать}} quad { text {over}} { widehat {p}} quad | p - { widehat {p}} | quad { text {при условии} } quad operatorname {rank} { big (} { mathcal {S}} ({ widehat {p}}) { big)} leq r { text {and}} g ({ widehat { p}}) leq 0}$

У этой проблемы есть много реальных приложений, в том числе для восстановления хорошего решения из неточного (полуопределенного программирования) релаксации. Если дополнительное ограничение ${ displaystyle g ({ widehat {p}}) leq 0}$ является линейным, так как мы требуем, чтобы все элементы были неотрицательными, задача называется структурированным приближением низкого ранга.^[17] Более общая форма называется выпукло-ограниченным приближением низкого ранга.

Эта проблема помогает при решении многих проблем. Однако это сложно из-за комбинации выпуклых и невыпуклых (низкого ранга) ограничений. Различные методы были разработаны на основе различных реализаций ${ displaystyle g ({ widehat {p}}) leq 0}$. Однако метод множителей переменного направления (ADMM) может применяться для решения невыпуклой задачи с выпуклой целевой функцией, ранговыми ограничениями и другими выпуклыми ограничениями,^[18] и поэтому подходит для решения нашей вышеупомянутой проблемы. Более того, в отличие от общих невыпуклых задач, ADMM гарантирует сходимость допустимого решения до тех пор, пока его двойственная переменная сходится в итерациях.

Смотрите также

• Аппроксимация матрицы CUR состоит из строк и столбцов исходной матрицы

Рекомендации

• М. Т. Чу, Р. Э. Фундерлик, Р. Дж. Племмонс, Структурированная аппроксимация низкого ранга, Линейная алгебра и ее приложения, Том 366, 1 июня 2003 г., страницы 157–172 Дои:10.1016 / S0024-3795 (02) 00505-0

внешняя ссылка

• Пакет C ++ для приближения структурированного низкого ранга