Обратное преобразование Мура – ​​Пенроуза - Moore–Penrose inverse

В математика, и в частности линейная алгебра, то Обратное преобразование Мура – ​​Пенроуза ${ displaystyle A ^ {+}}$ из матрица ${ displaystyle A}$ это наиболее широко известный обобщение из обратная матрица.^[1][2][3][4] Это было независимо описано Э. Х. Мур^[5] в 1920 г. Арне Бьерхаммар^[6] в 1951 г. и Роджер Пенроуз^[7] в 1955 году. Ранее Эрик Ивар Фредхольм ввел понятие псевдообратной интегральные операторы в 1903 году. При упоминании матрицы термин псевдообратный, без дополнительных уточнений, часто используется для обозначения обратного преобразования Мура – ​​Пенроуза. Период, термин обобщенно обратный иногда используется как синоним псевдообратного.

Обычно псевдообратное выражение используется для вычисления "наилучшего соответствия" (наименьших квадратов ) решение система линейных уравнений без решения (см. ниже в § Приложения Другой способ - найти минимум (Евклидово ) нормальное решение системы линейных уравнений с кратными решениями. Псевдообратная матрица упрощает формулировку и доказательство результатов линейной алгебры.

Псевдообратная матрица определена и уникальна для всех матриц, элементы которых равны настоящий или же сложный числа. Его можно вычислить с помощью разложение по сингулярным числам.

Обозначение

В нижеследующем обсуждении приняты следующие условные обозначения.

• ${ Displaystyle mathbb {K}}$ будет обозначать один из поля действительных или комплексных чисел, обозначенных ${ Displaystyle mathbb {R}}$, ${ Displaystyle mathbb {C}}$, соответственно. Векторное пространство ${ Displaystyle м раз п}$ матрицы над ${ Displaystyle mathbb {K}}$ обозначается ${ Displaystyle mathbb {K} ^ {м раз п}}$.
• За ${ Displaystyle А в mathbb {K} ^ {м раз п}}$, ${ displaystyle A ^ { top}}$ и ${ displaystyle A ^ {*}}$ обозначают транспонирование и эрмитово транспонирование (также называемое сопряженный транспонировать ) соответственно. Если ${ Displaystyle mathbb {K} = mathbb {R}}$, тогда ${ displaystyle A ^ {*} = A ^ { top}}$.
• За ${ Displaystyle А в mathbb {K} ^ {м раз п}}$, ${ displaystyle operatorname {ran} (A)}$ обозначает пространство столбца (изображение ${ displaystyle A}$ (пространство, покрытое векторами-столбцами ${ displaystyle A}$) и ${ displaystyle operatorname {ker} (A)}$ обозначает ядро (пустое пространство) из ${ displaystyle A}$.
• Наконец, для любого положительного целого числа ${ displaystyle n}$, ${ Displaystyle I_ {п} в mathbb {K} ^ {п раз п}}$ обозначает ${ Displaystyle п раз п}$ единичная матрица.

Определение

За ${ Displaystyle А в mathbb {K} ^ {м раз п}}$, псевдообратное ${ displaystyle A}$ определяется как матрица ${ Displaystyle A ^ {+} in mathbb {K} ^ {п раз m}}$ удовлетворяющие всем следующим четырем критериям, известным как условия Мура – ​​Пенроуза:^[7][8]

${ displaystyle { text {1.}} quad AA ^ {+} A}$	${ Displaystyle = ; А}$	(${ displaystyle AA ^ {+}}$ не обязательно быть общей единичной матрицей, но она отображает все векторы-столбцы ${ displaystyle A}$ себе);
${ displaystyle { text {2.}} quad A ^ {+} AA ^ {+}}$	${ Displaystyle = ; А ^ {+}}$	(${ displaystyle A ^ {+}}$ действует как слабый обратный );
${ displaystyle { text {3.}} quad (AA ^ {+}) ^ {*}}$	${ Displaystyle = ; AA ^ {+}}$	(${ displaystyle AA ^ {+}}$ является Эрмитский );
${ displaystyle { text {4.}} quad (A ^ {+} A) ^ {*}}$	${ Displaystyle = ; А ^ {+} А}$	(${ displaystyle A ^ {+} A}$ тоже эрмитово).

${ displaystyle A ^ {+}}$ существует для любой матрицы ${ displaystyle A}$, но при полном классифицировать (то есть ранг ${ displaystyle A}$ является ${ Displaystyle мин {м, п }}$), тогда ${ displaystyle A ^ {+}}$ можно выразить в виде простой алгебраической формулы.

В частности, когда ${ displaystyle A}$ имеет линейно независимые столбцы (и, следовательно, матрица ${ displaystyle A ^ {*} A}$ обратима), ${ displaystyle A ^ {+}}$ можно вычислить как

${ displaystyle A ^ {+} = (A ^ {*} A) ^ {- 1} A ^ {*}.}$

Эта конкретная псевдообратная модель представляет собой левый обратный, поскольку в этом случае ${ displaystyle A ^ {+} A = I}$.

Когда ${ displaystyle A}$ имеет линейно независимые строки (матрица ${ displaystyle AA ^ {*}}$ обратима), ${ displaystyle A ^ {+}}$ можно вычислить как

${ displaystyle A ^ {+} = A ^ {*} (AA ^ {*}) ^ {- 1}.}$

Это правый обратный, так как ${ displaystyle AA ^ {+} = I}$.

Характеристики

Существование и уникальность

Псевдообратная матрица существует и единственна: для любой матрицы ${ displaystyle A}$, имеется ровно одна матрица ${ displaystyle A ^ {+}}$, который удовлетворяет четырем свойствам определения.^[8]

Матрица, удовлетворяющая первому условию определения, называется обобщенной обратной. Если матрица также удовлетворяет второму определению, она называется обобщенный рефлексивный обратный. Обобщенные инверсии существуют всегда, но в общем случае не уникальны. Уникальность - следствие двух последних условий.

Основные свойства

• Если ${ displaystyle A}$ есть настоящие записи, значит, тоже ${ displaystyle A ^ {+}}$.
• Если ${ displaystyle A}$ является обратимый, его псевдообратное значение является обратным. То есть, ${ Displaystyle А ^ {+} = А ^ {- 1}}$.^[9]:243
• Псевдообратная нулевая матрица это его транспонирование.
• Псевдообратная псевдообратная матрица - это исходная матрица: ${ Displaystyle влево (А ^ {+} вправо) ^ {+} = А}$.^[9]:245
• Псевдообращение коммутирует с транспонированием, спряжением и выполнением сопряженного транспонирования:^[9]:245

  ${ displaystyle left (A ^ { top} right) ^ {+} = left (A ^ {+} right) ^ { top}}$, ${ displaystyle left ({ overline {A}} right) ^ {+} = { overline {A ^ {+}}}}$, ${ Displaystyle влево (А ^ {*} вправо) ^ {+} = влево (А ^ {+} вправо) ^ {*}}$.

• Псевдообратная скалярная величина, кратная ${ displaystyle A}$ является обратным кратным ${ displaystyle A ^ {+}}$:

  ${ Displaystyle влево ( альфа А вправо) ^ {+} = альфа ^ {- 1} А ^ {+}}$ за ${ displaystyle alpha neq 0}$.

Идентичности

Следующие идентификаторы можно использовать для отмены определенных подвыражений или раскрытия выражений, содержащих псевдообратные символы. Доказательства этих свойств можно найти в подстраница доказательств.

${ displaystyle { begin {alignat} {3} A ^ {+} = {} & A ^ {+} && A ^ {+ *} && A ^ {*} = {} & A ^ {*} && A ^ {+ *} && A ^ {+}, A = {} & A ^ {+ *} && A ^ {*} && A = {} & A && A ^ {*} && A ^ {+ *}, A ^ {*} = {} & A ^ {*} && A && A ^ {+} = {} & A ^ {+} && A && A ^ {*}. End {alignat}}}$

Приведение к эрмитовскому регистру

Вычисление псевдообратной матрицы сводится к ее построению в эрмитовом случае. Это возможно благодаря эквивалентности:

${ displaystyle A ^ {+} = left (A ^ {*} A right) ^ {+} A ^ {*},}$

${ Displaystyle A ^ {+} = A ^ {*} left (AA ^ {*} right) ^ {+},}$

в качестве ${ displaystyle A ^ {*} A}$ и ${ displaystyle AA ^ {*}}$ эрмитские.

Товары

Если ${ displaystyle A in mathbb {K} ^ {m times n}, B in mathbb {K} ^ {n times p}}$, и если

1. ${ displaystyle A}$ имеет ортонормированные столбцы (то есть ${ displaystyle A ^ {*} A = I_ {n}}$), или же
2. ${ displaystyle B}$ имеет ортонормированные строки (то есть ${ displaystyle BB ^ {*} = I_ {n}}$), или же
3. ${ displaystyle A}$ имеет все столбцы линейно независимыми (полный ранг столбца) и ${ displaystyle B}$ имеет все строки линейно независимыми (полный ранг строки), или
4. ${ displaystyle B = A ^ {*}}$ (то есть, ${ displaystyle B}$ является сопряженным транспонированием ${ displaystyle A}$),

тогда

${ displaystyle (AB) ^ {+} = B ^ {+} A ^ {+}.}$

Последнее свойство дает равенства

${ displaystyle { begin {align} left (AA ^ {*} right) ^ {+} & = A ^ {+ *} A ^ {+}, left (A ^ {*} A вправо) ^ {+} & = A ^ {+} A ^ {+ *}. end {align}}}$

NB: равенство ${ displaystyle (AB) ^ {+} = B ^ {+} A ^ {+}}$ в общем случае не выполняется. См. контрпример:

${ displaystyle { Biggl (} { begin {pmatrix} 1 & 1 0 & 0 end {pmatrix}} { begin {pmatrix} 0 & 0 1 & 1 end {pmatrix}} { Biggr)} ^ {+} = { begin {pmatrix} 1 & 1 0 & 0 end {pmatrix}} ^ {+} = { begin {pmatrix} { tfrac {1} {2}} & 0 { tfrac {1} {2}} & 0 end {pmatrix}} quad neq quad { begin {pmatrix} { tfrac {1} {4}} & 0 { tfrac {1} {4}} & 0 end {pmatrix}} = { begin {pmatrix} 0 & { tfrac {1} {2}} 0 & { tfrac {1} {2}} end {pmatrix}} { begin {pmatrix} { tfrac {1} {2 }} & 0 { tfrac {1} {2}} & 0 end {pmatrix}} = { begin {pmatrix} 0 & 0 1 & 1 end {pmatrix}} ^ {+} { begin {pmatrix} 1 & 1 0 & 0 end {pmatrix}} ^ {+}}$

Проекторы

${ Displaystyle P = AA ^ {+}}$ и ${ Displaystyle Q = A ^ {+} A}$ находятся операторы ортогонального проектирования, то есть они эрмитовы (${ Displaystyle P = P ^ {*}}$, ${ displaystyle Q = Q ^ {*}}$) и идемпотентный (${ Displaystyle P ^ {2} = P}$ и ${ displaystyle Q ^ {2} = Q}$). Следующее имеет место:

• ${ Displaystyle PA = AQ = A}$ и ${ displaystyle A ^ {+} P = QA ^ {+} = A ^ {+}}$
• ${ displaystyle P}$ это ортогональный проектор на классифицировать из ${ displaystyle A}$ (что равно ортогональное дополнение ядра ${ displaystyle A ^ {*}}$).
• ${ displaystyle Q}$ ортогональный проектор на диапазон ${ displaystyle A ^ {*}}$ (что равно ортогональному дополнению ядра ${ displaystyle A}$).
• ${ Displaystyle (I-Q) = влево (I-A ^ {+} A вправо)}$ ортогональный проектор на ядро ${ displaystyle A}$.
• ${ Displaystyle (I-P) = влево (I-AA ^ {+} right)}$ ортогональный проектор на ядро ${ displaystyle A ^ {*}}$.^[8]

Последние два свойства подразумевают следующие тождества:

• ${ Displaystyle A , влево (I-A ^ {+} A right) = left (I-AA ^ {+} right) A = 0}$
• ${ Displaystyle A ^ {*} left (I-AA ^ {+} right) = left (I-A ^ {+} A right) A ^ {*} = 0}$

Другое свойство следующее: если ${ Displaystyle А в mathbb {K} ^ {п раз п}}$ является эрмитовым и идемпотентным (истинно тогда и только тогда, когда оно представляет собой ортогональную проекцию), то для любой матрицы ${ displaystyle B in mathbb {K} ^ {m times n}}$ имеет место следующее уравнение:^[10]

${ Displaystyle А (БА) ^ {+} = (БА) ^ {+}}$

Это можно доказать, задав матрицы ${ displaystyle C = BA}$, ${ Displaystyle D = А (ВА) ^ {+}}$, и проверяя, что ${ displaystyle D}$ действительно является псевдообратной для ${ displaystyle C}$ проверив, что определяющие свойства псевдообратной верны, когда ${ displaystyle A}$ эрмитово и идемпотентно.

Из последнего свойства следует, что если ${ Displaystyle А в mathbb {K} ^ {п раз п}}$ эрмитово и идемпотентно для любой матрицы ${ Displaystyle B in mathbb {K} ^ {п раз m}}$

${ Displaystyle (AB) ^ {+} A = (AB) ^ {+}}$

Наконец, если ${ displaystyle A}$ является ортогональной проекционной матрицей, то ее псевдообратная матрица тривиально совпадает с самой матрицей, т. е. ${ Displaystyle А ^ {+} = А}$.

Геометрическая конструкция

Если рассматривать матрицу как линейную карту ${ displaystyle A: K ^ {n} to K ^ {m}}$ над полем ${ displaystyle K}$ тогда ${ displaystyle A ^ {+}: K ^ {m} to K ^ {n}}$ можно разложить следующим образом. Мы пишем ${ displaystyle oplus}$ для прямая сумма, ${ displaystyle perp}$ для ортогональное дополнение, ${ displaystyle operatorname {ker}}$ для ядро карты, и ${ displaystyle operatorname {ran}}$ для изображение карты. Заметь ${ displaystyle K ^ {n} = left ( operatorname {ker} A right) ^ { perp} oplus operatorname {ker} A}$ и ${ displaystyle K ^ {m} = OperatorName {ran} A oplus left ( Operatorname {ran} A right) ^ { perp}}$. Ограничение ${ displaystyle A: left ( operatorname {ker} A right) ^ { perp} to operatorname {ran} A}$ тогда является изоморфизмом. Отсюда следует, что ${ displaystyle A ^ {+}}$ на ${ displaystyle operatorname {ran} A}$ является обратным этому изоморфизму и равен нулю на ${ displaystyle left ( operatorname {ran} A right) ^ { perp}.}$

Другими словами: найти ${ displaystyle A ^ {+} b}$ для данного ${ displaystyle b}$ в ${ displaystyle K ^ {m}}$, первый проект ${ displaystyle b}$ перпендикулярно диапазону ${ displaystyle A}$, найти точку ${ displaystyle p (b)}$ В диапазоне. Затем форма ${ Displaystyle A ^ {- 1} ( {p (b) })}$, то есть найти эти векторы в ${ displaystyle K ^ {n}}$ который ${ displaystyle A}$ отправляет в ${ displaystyle p (b)}$. Это будет аффинное подпространство в ${ displaystyle K ^ {n}}$ параллельно ядру ${ displaystyle A}$. Элемент этого подпространства, имеющий наименьшую длину (то есть ближайший к началу координат), является ответом ${ displaystyle A ^ {+} b}$ мы ищем. Его можно найти, взяв произвольный член ${ Displaystyle A ^ {- 1} ( {p (b) })}$ и проецируя его ортогонально на ортогональное дополнение ядра ${ displaystyle A}$.

Это описание тесно связано с Решение с минимальной нормой линейной системы.

Подпространства

${ displaystyle { begin {align} operatorname {ker} left (A ^ {+} right) & = operatorname {ker} left (A ^ {*} right) operatorname {ran} left (A ^ {+} right) & = operatorname {ran} left (A ^ {*} right) end {выравнивается}}}$

Ограничить отношения

Псевдообратные ограничения:

${ displaystyle A ^ {+} = lim _ { delta searchrow 0} left (A ^ {*} A + delta I right) ^ {- 1} A ^ {*} = lim _ { delta searchrow 0} A ^ {*} left (AA ^ {*} + delta I right) ^ {- 1}}$

(видеть Тихоновская регуляризация ). Эти ограничения существуют, даже если ${ displaystyle left (AA ^ {*} right) ^ {- 1}}$ или же ${ Displaystyle влево (А ^ {*} А вправо) ^ {- 1}}$ не существует.^[8]:263

Непрерывность

В отличие от обычного обращения матриц, процесс взятия псевдообратных непрерывный: если последовательность ${ Displaystyle влево (A_ {п} вправо)}$ сходится к матрице ${ displaystyle A}$ (в максимальная норма или норма Фробениуса, скажем), то ${ Displaystyle (А_ {п}) ^ {+}}$ не нужно сходиться к ${ displaystyle A ^ {+}}$. Однако если все матрицы ${ displaystyle A_ {n}}$ иметь одинаковый ранг, ${ Displaystyle (А_ {п}) ^ {+}}$ сходится к ${ displaystyle A ^ {+}}$.^[11]

Производная

Производная вещественнозначной псевдообратной матрицы, которая имеет постоянный ранг в точке ${ displaystyle x}$ может быть вычислено через производную исходной матрицы:^[12]

${ displaystyle { frac { mathrm {d}} { mathrm {d} x}} A ^ {+} (x) = - A ^ {+} left ({ frac { mathrm {d}}) { mathrm {d} x}} A right) A ^ {+} ~ + ~ A ^ {+} A ^ {+ { text {T}}} left ({ frac { mathrm {d} } { mathrm {d} x}} A ^ { text {T}} right) left (I-AA ^ {+} right) ~ + ~ left (IA ^ {+} A right) left ({ frac { text {d}} {{ text {d}} x}} A ^ { text {T}} right) A ^ {+ { text {T}}} A ^ {+}}$

Примеры

Поскольку для обратимых матриц псевдообратная матрица равна обычной обратной, ниже рассматриваются только примеры необратимых матриц.

• За ${ Displaystyle mathbf {A} = { begin {pmatrix} 0 & 0 0 & 0 end {pmatrix}}, ,}$ псевдообратная ${ displaystyle mathbf {A ^ {+}} = { begin {pmatrix} 0 & 0 0 & 0 end {pmatrix}}.}$ (Обычно псевдообратной нулевой матрицей является ее транспонирование.) Уникальность этой псевдообратной матрицы видна из требования ${ displaystyle A ^ {+} = A ^ {+} AA ^ {+}}$, поскольку умножение на нулевую матрицу всегда приводит к нулевой матрице.

• За ${ Displaystyle mathbf {A} = { begin {pmatrix} 1 & 0 1 & 0 end {pmatrix}}, ,}$ псевдообратная ${ displaystyle mathbf {A ^ {+}} = { begin {pmatrix} { frac {1} {2}} & { frac {1} {2}} 0 & 0 end {pmatrix}}. }$
  В самом деле, ${ displaystyle mathbf {A , A ^ {+}} = { begin {pmatrix} { frac {1} {2}} & { frac {1} {2}} { frac {1 } {2}} & { frac {1} {2}} end {pmatrix}}, ,}$ и поэтому ${ displaystyle mathbf {A , A ^ {+} A} = { begin {pmatrix} 1 & 0 1 & 0 end {pmatrix}} = A.}$
  По аналогии, ${ displaystyle mathbf {A ^ {+} A} = { begin {pmatrix} 1 & 0 0 & 0 end {pmatrix}}, ,}$ и поэтому ${ displaystyle mathbf {A ^ {+} A , A ^ {+}} = { begin {pmatrix} { frac {1} {2}} & { frac {1} {2}} 0 & 0 end {pmatrix}} = A ^ {+}.}$

• За ${ displaystyle mathbf {A} = { begin {pmatrix} 1 & 0 - 1 & 0 end {pmatrix}}, }$ ${ displaystyle mathbf {A ^ {+}} = { begin {pmatrix} { frac {1} {2}} & - { frac {1} {2}} 0 & 0 end {pmatrix}} .}$

• За ${ Displaystyle mathbf {A} = { begin {pmatrix} 1 & 0 2 & 0 end {pmatrix}}, }$ ${ displaystyle mathbf {A ^ {+}} = { begin {pmatrix} { frac {1} {5}} & { frac {2} {5}} 0 & 0 end {pmatrix}}. }$ (Знаменатели ${ displaystyle 5 = 1 ^ {2} + 2 ^ {2}}$.)

• За ${ Displaystyle mathbf {A} = { begin {pmatrix} 1 & 1 1 & 1 end {pmatrix}}, }$ ${ displaystyle mathbf {A ^ {+}} = { begin {pmatrix} { frac {1} {4}} & { frac {1} {4}} { frac {1} {4 }} & { frac {1} {4}} end {pmatrix}}.}$

• За ${ Displaystyle mathbf {A} = { begin {pmatrix} 1 & 0 0 & 1 0 & 1 end {pmatrix}}, ,}$ псевдообратная ${ displaystyle mathbf {A ^ {+}} = { begin {pmatrix} 1 & 0 & 0 0 & { frac {1} {2}} & { frac {1} {2}} end {pmatrix}} .}$
  Для этой матрицы левый обратный существует и, следовательно, равно ${ displaystyle mathbf {A ^ {+}}}$, в самом деле, ${ displaystyle mathbf {A ^ {+} A} = { begin {pmatrix} 1 & 0 0 & 1 end {pmatrix}}.}$

Особые случаи

Скаляры

Также возможно определить псевдообратную форму для скаляров и векторов. Это равносильно обращению с ними как с матрицами. Псевдообратная к скаляру ${ displaystyle x}$ равно нулю, если ${ displaystyle x}$ равен нулю, и величина, обратная ${ displaystyle x}$ иначе:

${ displaystyle x ^ {+} = { begin {cases} 0, & { mbox {if}} x = 0; x ^ {- 1}, & { mbox {else}}. end { случаи}}}$

Векторы

Псевдообратный нулевой вектор (полностью нулевой) - это транспонированный нулевой вектор. Псевдообратное значение ненулевого вектора - это сопряженный транспонированный вектор, деленный на его квадрат величины:

${ displaystyle x ^ {+} = { begin {cases} 0 ^ { mathrm {T}}, & { mbox {if}} x = 0; {x ^ {*} over x ^ { *} x}, & { mbox {иначе}}. end {case}}}$

Линейно независимые столбцы

Если столбцы из ${ displaystyle A}$ находятся линейно независимый (так что ${ Displaystyle м geq п}$), тогда ${ displaystyle A ^ {*} A}$ обратимо. В этом случае явная формула:^[13]

${ displaystyle A ^ {+} = left (A ^ {*} A right) ^ {- 1} A ^ {*}}$.

Следует, что ${ displaystyle A ^ {+}}$ тогда является левым обратным к ${ displaystyle A}$:   ${ displaystyle A ^ {+} A = I_ {n}}$.

Линейно независимые строки

Если ряды из ${ displaystyle A}$ линейно независимы (так что ${ displaystyle m leq n}$), тогда${ displaystyle AA ^ {*}}$ обратимо. В этом случае явная формула:

${ Displaystyle A ^ {+} = A ^ {*} left (AA ^ {*} right) ^ {- 1}}$.

Следует, что ${ displaystyle A ^ {+}}$ это правая инверсия ${ displaystyle A}$:   ${ displaystyle AA ^ {+} = I_ {m}}$.

Ортонормированные столбцы или строки

Это частный случай либо полного ранга столбца, либо полного ранга строки (рассмотренного выше). Если ${ displaystyle A}$ имеет ортонормированные столбцы (${ displaystyle A ^ {*} A = I_ {n}}$) или ортонормированные строки (${ displaystyle AA ^ {*} = I_ {m}}$), тогда:

${ Displaystyle А ^ {+} = А ^ {*}}$.

Ортогональные проекционные матрицы

Если ${ displaystyle A}$ ортогональная проекционная матрица, т. е. ${ displaystyle A = A ^ {*}}$ и ${ displaystyle A ^ {2} = A}$, то псевдообратная матрица тривиально совпадает с самой матрицей:

${ Displaystyle А ^ {+} = А}$.

Циркулянтные матрицы

Для циркулянтная матрица ${ displaystyle C}$, разложение по сингулярным значениям задается преобразование Фурье, то есть сингулярные числа являются коэффициентами Фурье. Позволять ${ Displaystyle { mathcal {F}}}$ быть Матрица дискретного преобразования Фурье (ДПФ), тогда^[14]

${ displaystyle { begin {align} C & = { mathcal {F}} cdot Sigma cdot { mathcal {F}} ^ {*} C ^ {+} & = { mathcal {F} } cdot Sigma ^ {+} cdot { mathcal {F}} ^ {*} конец {выровнено}}}$

Строительство

Разложение по рангу

Позволять ${ Displaystyle г Leq мин (т, п)}$ обозначить классифицировать из ${ Displaystyle А в К ^ {м раз п}}$. потом ${ displaystyle A}$ возможно (ранг) разложен в качестве${ displaystyle A = BC}$ куда ${ displaystyle B in K ^ {m times r}}$ и ${ Displaystyle С в К ^ {г раз п}}$ имеют ранг ${ displaystyle r}$. потом ${ Displaystyle A ^ {+} = C ^ {+} B ^ {+} = C ^ {*} left (CC ^ {*} right) ^ {- 1} left (B ^ {*} B right) ^ {- 1} B ^ {*}}$.

QR-метод

За ${ Displaystyle mathbb {K} in { mathbb {R}, mathbb {C} }}$ вычисление продукта ${ displaystyle AA ^ {*}}$ или же ${ displaystyle A ^ {*} A}$ а их обратные значения на практике часто являются источником ошибок округления чисел и вычислительных затрат. Альтернативный подход с использованием QR-разложение из ${ displaystyle A}$ может использоваться вместо этого.

Рассмотрим случай, когда ${ displaystyle A}$ имеет полный ранг столбца, так что ${ displaystyle A ^ {+} = (A ^ {*} A) ^ {- 1} A ^ {*}}$. Тогда Разложение Холецкого ${ Displaystyle A ^ {*} A = R ^ {*} R}$, куда ${ displaystyle R}$ является верхнетреугольная матрица, может быть использовано. Затем умножение на обратное легко выполняется путем решения системы с несколькими правыми частями,

${ Displaystyle A ^ {+} = (A ^ {*} A) ^ {- 1} A ^ {*} quad Leftrightarrow quad (A ^ {*} A) A ^ {+} = A ^ { *} quad Leftrightarrow quad R ^ {*} RA ^ {+} = A ^ {*}}$

что может быть решено прямая замена с последующим обратная замена.

Разложение Холецкого можно вычислить без формирования ${ displaystyle A ^ {*} A}$ явно, альтернативно используя QR-разложение из ${ displaystyle A = QR}$, куда ${ displaystyle Q}$ имеет ортонормированные столбцы, ${ displaystyle Q ^ {*} Q = I}$, и ${ displaystyle R}$ верхнетреугольный. потом

${ Displaystyle A ^ {*} A , = , (QR) ^ {*} (QR) , = , R ^ {*} Q ^ {*} QR , = , R ^ {*} Р}$,

так ${ displaystyle R}$ фактор Холецкого ${ displaystyle A ^ {*} A}$.

Случай полного ранга строки рассматривается аналогично с использованием формулы ${ displaystyle A ^ {+} = A ^ {*} (AA ^ {*}) ^ {- 1}}$ и используя аналогичный аргумент, поменяв ролями ${ displaystyle A}$ и ${ displaystyle A ^ {*}}$.

Разложение по сингулярным числам (SVD)

Вычислительно простой и точный способ вычисления псевдообратной матрицы - использование разложение по сингулярным числам.^[13][8][15] Если ${ Displaystyle A = U Sigma V ^ {*}}$ является сингулярным разложением ${ displaystyle A}$, тогда ${ Displaystyle A ^ {+} = V Sigma ^ {+} U ^ {*}}$. Для прямоугольная диагональная матрица Такие как ${ displaystyle Sigma}$, мы получаем псевдообратную величину, взяв величину, обратную каждому ненулевому элементу на диагонали, оставляя нули на месте и затем транспонируя матрицу. При численных вычислениях ненулевыми считаются только элементы, превышающие некоторый небольшой допуск, а остальные заменяются нулями. Например, в MATLAB, GNU Octave, или же NumPy функция pinv, допуск принимается равным т = ε⋅max (м, п) ⋅max (Σ), где ε - машина эпсилон.

В вычислительных затратах этого метода преобладают затраты на вычисление SVD, которые в несколько раз выше, чем умножение матрицы на матрицу, даже если современная реализация (например, ЛАПАК ) используется.

Вышеупомянутая процедура показывает, почему взятие псевдообратной матрицы не является непрерывной операцией: если исходная матрица ${ displaystyle A}$ имеет сингулярное значение 0 (диагональный элемент матрицы ${ displaystyle Sigma}$ выше), затем изменив ${ displaystyle A}$ немного может превратить этот ноль в крошечное положительное число, тем самым сильно влияя на псевдообратную матрицу, поскольку теперь мы должны взять обратную величину крошечного числа.

Блочные матрицы

Оптимизированные подходы существуют для вычисления псевдообратных матриц с блочной структурой.

Итерационный метод Бен-Исраэля и Коэна

Другой метод вычисления псевдообратной (см. Инверсия Дразина ) использует рекурсию

${ displaystyle A_ {i + 1} = 2A_ {i} -A_ {i} AA_ {i},}$

которую иногда называют последовательностью сверхмощной мощности. Эта рекурсия дает последовательность, квадратично сходящуюся к псевдообратной к ${ displaystyle A}$ если он запущен соответствующим ${ displaystyle A_ {0}}$ удовлетворение ${ displaystyle A_ {0} A = left (A_ {0} A right) ^ {*}}$. Выбор ${ Displaystyle A_ {0} = альфа A ^ {*}}$ (куда ${ Displaystyle 0 < альфа <2 / sigma _ {1} ^ {2} (А)}$, с ${ Displaystyle sigma _ {1} (А)}$ обозначающее наибольшее сингулярное значение ${ displaystyle A}$) ^[16] утверждалось, что он не может конкурировать с методом, использующим SVD, упомянутым выше, потому что даже для умеренно плохо обусловленных матриц требуется много времени, прежде чем ${ displaystyle A_ {i}}$ входит в область квадратичной сходимости.^[17] Однако если начать с ${ displaystyle A_ {0}}$ уже близко к обратному преобразованию Мура – ​​Пенроуза и ${ displaystyle A_ {0} A = left (A_ {0} A right) ^ {*}}$, Например ${ displaystyle A_ {0}: = left (A ^ {*} A + delta I right) ^ {- 1} A ^ {*}}$, сходимость быстрая (квадратичная).

Обновление псевдообратной

Для случаев, когда ${ displaystyle A}$ имеет полный ранг строки или столбца и обратную матрицу корреляции (${ displaystyle AA ^ {*}}$ за ${ displaystyle A}$ с полным рангом строки или ${ displaystyle A ^ {*} A}$ для полного ранга столбца), псевдообратная для матриц, относящихся к ${ displaystyle A}$ можно вычислить, применяя Формула Шермана – Моррисона – Вудбери для обновления обратной корреляционной матрицы, что может потребовать меньше работы. В частности, если связанная матрица отличается от исходной только измененной, добавленной или удаленной строкой или столбцом, существуют дополнительные алгоритмы, использующие взаимосвязь.^[18][19]

Точно так же можно обновлять коэффициент Холецкого при добавлении строки или столбца без явного создания обратной корреляционной матрицы. Однако обновление псевдообратной матрицы в общем случае недостаточного ранга намного сложнее.^[20][21]

Программные библиотеки

Качественные реализации SVD, QR и обратной подстановки доступны в стандартные библиотеки, Такие как ЛАПАК. Написание собственной реализации SVD - это крупный программный проект, требующий значительных усилий. числовая экспертиза. В особых обстоятельствах, например, параллельные вычисления или же встроенные вычисления однако альтернативные реализации с помощью QR или даже использование явного обратного могут быть предпочтительнее, а пользовательские реализации могут быть неизбежны.

Пакет Python NumPy обеспечивает псевдообратное вычисление через свои функции матрица.I и linalg.pinv; это pinv использует алгоритм на основе SVD. SciPy добавляет функцию scipy.linalg.pinv который использует решатель наименьших квадратов.

Пакет MASS для р обеспечивает вычисление обратной функции Мура – ​​Пенроуза через джинв функция.^[22] В джинв функция вычисляет псевдообратную, используя разложение по сингулярным значениям, предоставляемое svd функция в базовом пакете R. Альтернативой является использование pinv функция доступна в пакете pracma.

В Язык программирования Octave предоставляет псевдообратную функцию через стандартную функцию пакета pinv и pseudo_inverse () метод.

В Юлия (язык программирования), пакет LinearAlgebra стандартной библиотеки предоставляет реализацию обратного преобразования Мура-Пенроуза. pinv () реализуется через разложение по сингулярным числам.^[23]

Приложения

Линейный метод наименьших квадратов

Псевдообратная формула дает наименьших квадратов решение для система линейных уравнений.^[24]За ${ Displaystyle А в mathbb {K} ^ {м раз п}}$, заданной системой линейных уравнений

${ displaystyle Ax = b,}$

в общем, вектор ${ displaystyle x}$ это решает, что система может не существовать, или, если она существует, она не может быть уникальной. Псевдообратная матрица решает проблему наименьших квадратов следующим образом:

• ${ displaystyle forall x in mathbb {K} ^ {n}}$, у нас есть ${ displaystyle | Ax-b | _ {2} geq | Az-b | _ {2}}$ куда ${ displaystyle z = A ^ {+} b}$ и ${ Displaystyle | cdot | _ {2}}$ обозначает Евклидова норма. Это слабое неравенство выполняется с равенством тогда и только тогда, когда ${ displaystyle x = A ^ {+} b + left (I-A ^ {+} A right) w}$ для любого вектора ${ displaystyle w}$; это обеспечивает бесконечное количество решений по минимизации, если только ${ displaystyle A}$ имеет полный ранг столбца, и в этом случае ${ displaystyle left (I-A ^ {+} A right)}$ - нулевая матрица.^[25] Решение с минимальной евклидовой нормой есть ${ displaystyle z.}$^[25]

Этот результат легко распространяется на системы с несколькими правыми частями, если евклидова норма заменяется нормой Фробениуса. Позволять ${ Displaystyle B in mathbb {K} ^ {m times p}}$.

• ${ Displaystyle forall X in mathbb {K} ^ {п раз p}}$, у нас есть ${ Displaystyle | AX-B | _ { mathrm {F}} geq | AZ-B | _ { mathrm {F}}}$ куда ${ Displaystyle Z = A ^ {+} B}$ и ${ Displaystyle | cdot | _ { mathrm {F}}}$ обозначает Норма Фробениуса.

Получение всех решений линейной системы

Если линейная система

${ displaystyle Ax = b}$

есть какие-либо решения, все они даются^[26]

${ displaystyle x = A ^ {+} b + left [I-A ^ {+} A right] w}$

для произвольного вектора ${ displaystyle w}$. Решение (я) существует тогда и только тогда, когда ${ displaystyle AA ^ {+} b = b}$.^[26] В последнем случае решение единственно тогда и только тогда, когда ${ displaystyle A}$ имеет полный ранг столбца, и в этом случае ${ displaystyle left [I-A ^ {+} A right]}$ - нулевая матрица. Если решения существуют, но ${ displaystyle A}$ не имеет полного ранга столбца, то у нас есть неопределенная система, все бесконечное множество решений которого даются этим последним уравнением.

Решение с минимальной нормой линейной системы

Для линейных систем ${ displaystyle Ax = b,}$ с неуникальными решениями (такими как недоопределенные системы), псевдообратная матрица может использоваться для построения решения минимального Евклидова норма${ Displaystyle | х | _ {2}}$ среди всех решений.

• Если ${ displaystyle Ax = b}$ выполнимо, вектор ${ displaystyle z = A ^ {+} b}$ является решением и удовлетворяет ${ Displaystyle | г | _ {2} leq | х | _ {2}}$ для всех решений.

Этот результат легко распространяется на системы с несколькими правыми частями, когда евклидова норма заменяется нормой Фробениуса. Позволять ${ Displaystyle B in mathbb {K} ^ {m times p}}$.

• Если ${ displaystyle AX = B}$ выполнима матрица ${ Displaystyle Z = A ^ {+} B}$ является решением и удовлетворяет ${ Displaystyle | Z | _ { mathrm {F}} leq | X | _ { mathrm {F}}}$ для всех решений.

Номер условия

Используя псевдообратную и матричная норма, можно определить номер условия для любой матрицы:

${ Displaystyle { mbox {cond}} (A) = | A | left | A ^ {+} right |. }$

Большое число обусловленности означает, что проблема нахождения решений методом наименьших квадратов соответствующей системы линейных уравнений плохо обусловлена ​​в том смысле, что небольшие ошибки в элементах ${ displaystyle A}$ может привести к огромным ошибкам при вводе решения.^[27]

Обобщения

Помимо матриц над действительными и комплексными числами, условия выполняются для матриц над бикватернионы, также называемые «сложными кватернионами».^[28]

Чтобы решить более общие задачи наименьших квадратов, можно определить обратные Мура – ​​Пенроуза для всех непрерывных линейных операторов ${ displaystyle A: H_ {1} rightarrow H_ {2}}$ между двумя Гильбертовы пространства ${ displaystyle H_ {1}}$ и ${ displaystyle H_ {2}}$, используя те же четыре условия, что и в нашем определении выше. Оказывается, не всякий линейный непрерывный оператор имеет в этом смысле непрерывный линейный псевдообратный оператор.^[27] Те, которые делают, - это именно те, чей диапазон закрыто в ${ displaystyle H_ {2}}$.

Понятие псевдообратной существует для матриц над произвольным поле оснащен произвольной инволютивный автоморфизм. В этом более общем случае данная матрица не всегда имеет псевдообратную форму. Необходимым и достаточным условием существования псевдообратной матрицы является то, что ${ displaystyle operatorname {rank} (A) = operatorname {rank} (A ^ {*} A) = operatorname {rank} (AA ^ {*})}$ куда ${ displaystyle A ^ {*}}$ обозначает результат применения операции инволюции к транспонированию ${ displaystyle A}$. Когда он существует, он уникален.^[29] Пример: Рассмотрим поле комплексных чисел, снабженное инволюция идентичности (в отличие от инволюции, рассмотренной в другом месте статьи); существуют ли матрицы, не имеющие псевдообратных в этом смысле? Рассмотрим матрицу ${ Displaystyle А = [1, я] ^ {T}}$. Заметьте, что ${ displaystyle operatorname {rank} (AA ^ {T}) = 1}$ пока ${ displaystyle operatorname {rank} (A ^ {T} A) = 0}$. Таким образом, эта матрица не имеет псевдообратной матрицы в этом смысле.

В абстрактная алгебра, обратный Мура – ​​Пенроуза может быть определен на * -регулярная полугруппа. Это абстрактное определение совпадает с определением в линейной алгебре.

Смотрите также

• Доказательства обратного преобразования Мура – ​​Пенроуза.
• Инверсия Дразина
• Матрица шляп
• Обратный элемент
• Линейный метод наименьших квадратов (математика)
• Псевдодетерминант
• Регулярное кольцо фон Неймана

Примечания

Рекомендации

• Бен-Исраэль, Ади; Гревиль, Томас Н. (2003). Обобщенные обратные: теория и приложения (2-е изд.). Нью-Йорк, штат Нью-Йорк: Спрингер. Дои:10.1007 / b97366. ISBN  978-0-387-00293-4.CS1 maint: ref = harv (связь)
• Кэмпбелл, S. L .; Мейер-младший, К. Д. (1991). Обобщенные обращения линейных преобразований.. Дувр. ISBN  978-0-486-66693-8.CS1 maint: ref = harv (связь)
• Накамура, Йошихико (1991). Продвинутая робототехника: резервирование и оптимизация. Эддисон-Уэсли. ISBN  978-0201151985.CS1 maint: ref = harv (связь)
• Рао, Ч. Радхакришна; Митра, Суджит Кумар (1971). Обобщенная обратная матрица и ее приложения. Нью-Йорк: Джон Вили и сыновья. п.240. ISBN  978-0-471-70821-6.CS1 maint: ref = harv (связь)

внешняя ссылка

• Псевдообратная на PlanetMath
• Интерактивная программа и учебник Псевдообратной Мура – ​​Пенроуза
• «Обратное Мура – ​​Пенроуза». PlanetMath.
• Вайсштейн, Эрик В. «Псевдообратная». MathWorld.
• Вайсштейн, Эрик В. "Обратное Мура – ​​Пенроуза". MathWorld.
• Псевдообратная матрица Мура – ​​Пенроуза. Учебный обзор теории
• Онлайн калькулятор обратного преобразования Мура-Пенроуза