Итерация Арнольди - Arnoldi iteration

В числовой линейная алгебра, то Итерация Арнольди является алгоритм собственных значений и важный пример итерационный метод. Арнольди находит приближение к собственные значения и собственные векторы общего (возможно, не-Эрмитский ) матрицы построив ортонормированный базис Крыловское подпространство, что делает его особенно полезным при работе с большими разреженные матрицы.

Метод Арнольди относится к классу алгоритмов линейной алгебры, которые дают частичный результат после небольшого количества итераций, в отличие от так называемых прямые методы которые необходимо завершить, чтобы получить полезные результаты (см., например, Преобразование домохозяина ). Частичным результатом в данном случае являются первые несколько векторов основы, которую строит алгоритм.

Применительно к эрмитовым матрицам он сводится к Алгоритм Ланцоша. Итерация Арнольди была изобретена В. Э. Арнольди в 1951 г.^[1]

Подпространства Крылова и степенная итерация

Интуитивно понятный метод поиска наибольшего (по модулю) собственного значения заданного м × м матрица ${ displaystyle A}$ это итерация мощности: начиная с произвольного инициала вектор брассчитать Ab, А²б, А³б,… Нормализация результата после каждого применения матрицы А.

Эта последовательность сходится к собственный вектор соответствующая собственному значению с наибольшим модулем, ${ displaystyle lambda _ {1}}$. Однако многие потенциально полезные вычисления тратятся впустую из-за использования только конечного результата, ${ displaystyle A ^ {n-1} b}$. Это говорит о том, что вместо этого мы формируем так называемый Матрица Крылова:

${ displaystyle K_ {n} = { begin {bmatrix} b & Ab & A ^ {2} b & cdots & A ^ {n-1} b end {bmatrix}}.}$

Столбцы этой матрицы, как правило, не ортогональный, но мы можем извлечь ортогональный основа, с помощью такого метода, как Ортогонализация Грама – Шмидта. Таким образом, полученный набор векторов является ортогональным базисом Крыловское подпространство, ${ displaystyle { mathcal {K}} _ {n}}$. Можно ожидать, что векторы этого базиса будут охватывать хорошие приближения собственных векторов, соответствующих ${ displaystyle n}$ наибольшие собственные значения по той же причине, что ${ displaystyle A ^ {n-1} b}$ аппроксимирует доминантный собственный вектор.

Итерация Арнольди

Итерация Арнольди использует модифицированный процесс Грама – Шмидта для создания последовательности ортонормированных векторов, q₁, q₂, q₃, …, называется Векторы Арнольди, так что для каждого п, векторы q₁, …, q_п покрывают подпространство Крылова ${ displaystyle { mathcal {K}} _ {n}}$. В явном виде алгоритм выглядит следующим образом:

• Начнем с произвольного вектора q₁ с нормой 1.
• Повторите для k = 2, 3, …
  • ${ displaystyle q_ {k} leftarrow Aq_ {k-1} ,}$
  • за j от 1 до k − 1
    • ${ displaystyle h_ {j, k-1} leftarrow q_ {j} ^ {*} q_ {k} ,}$
    • ${ displaystyle q_ {k} leftarrow q_ {k} -h_ {j, k-1} q_ {j} ,}$
  • ${ Displaystyle ч_ {к, к-1} leftarrow | q_ {к} | ,}$
  • ${ displaystyle q_ {k} leftarrow { frac {q_ {k}} {h_ {k, k-1}}} ,}$

В j-loop проектирует компонент ${ displaystyle q_ {k}}$ в направлениях ${ displaystyle q_ {1}, dots, q_ {k-1}}$. Это обеспечивает ортогональность всех сгенерированных векторов.

Алгоритм не работает, когда q_k - нулевой вектор. Это происходит, когда минимальный многочлен из А имеет степень k. В большинстве приложений итерации Арнольди, включая алгоритм собственных значений ниже и GMRES, алгоритм к этому моменту сошелся.

Каждый шаг k-loop принимает одно матрично-векторное произведение и приблизительно 4мк операции с плавающей запятой.

В языке программирования Python:

импорт тупой в качестве нпdef arnoldi_iteration(А, б, п: int):    "" "Вычисляет базис (n + 1) -подпространства Крылова в A: пространство    натянутое на {b, Ab, ..., A ^ n b}.    Аргументы      A: массив m × m      b: начальный вектор (длина m)      n: размерность подпространства Крылова, должна быть> = 1    Возврат      Q: m x (n + 1) массив, столбцы являются ортонормированным базисом        Крыловское подпространство.      h: (n + 1) x n массив, A на основе Q. Это верхний Hessenberg.     """    м = А.форма[0]    час = нп.нули((п + 1, п))    Q = нп.нули((м, п + 1))    q = б / нп.линалг.норма(б)  # Нормализовать входной вектор    Q[:, 0] = q  # Использовать как первый вектор Крылова    за k в классифицировать(п):        v = А.точка(q)  # Сгенерировать новый вектор кандидата        за j в классифицировать(k):  # Вычесть проекции на предыдущие векторы            час[j, k] = нп.точка(Q[:, j].соединяется(), v)            v = v - час[j, k] * Q[:, j]        час[k + 1, k] = нп.линалг.норма(v)        eps = 1e-12  # Если v короче этого порога, это нулевой вектор        если час[k + 1, k] > eps:  # Добавить полученный вектор в список, если            q = v / час[k + 1, k]  # создается нулевой вектор.            Q[:, k + 1] = q        еще:  # Если это произойдет, прекратите итерацию.            возвращаться Q, час    возвращаться Q, час

Свойства итерации Арнольди

Позволять Q_п обозначить м-к-п матрица, образованная первым п Векторы Арнольди q₁, q₂, …, q_п, и разреши ЧАС_п быть (верхним Hessenberg ) матрица, образованная числами час_j,k вычисляется по алгоритму:

${ displaystyle H_ {n} = Q_ {n} ^ {*} AQ_ {n}. ,}$

Метод ортогонализации должен быть выбран таким образом, чтобы нижние компоненты Арнольди / Крылова удалялись из высших векторов Крылова. В качестве ${ displaystyle Aq_ {i}}$ можно выразить через q₁, …, q_{я + 1} по построению они ортогональны q_{я + 2}, …, q_п,

Тогда у нас есть

${ displaystyle H_ {n} = { begin {bmatrix} h_ {1,1} & h_ {1,2} & h_ {1,3} & cdots & h_ {1, n} h_ {2,1} & h_ {2,2} & h_ {2,3} & cdots & h_ {2, n} 0 & h_ {3,2} & h_ {3,3} & cdots & h_ {3, n} vdots & ddots & ddots & ddots & vdots 0 & cdots & 0 & h_ {n, n-1} & h_ {n, n} end {bmatrix}}.}$

Матрица ЧАС_п можно рассматривать как А в подпространстве ${ displaystyle { mathcal {K}} _ {n}}$ с векторами Арнольди в качестве ортогонального базиса; А ортогонально проецируется на ${ displaystyle { mathcal {K}} _ {n}}$. Матрица ЧАС_п можно охарактеризовать следующим условием оптимальности. В характеристический многочлен из ЧАС_п минимизирует ||п(А)q₁||₂ среди всего монические полиномы степени п. Эта проблема оптимальности имеет единственное решение тогда и только тогда, когда итерация Арнольди не дает сбоев.

Связь между Q матрицы в последующих итерациях имеет вид

${ displaystyle AQ_ {n} = Q_ {n + 1} { tilde {H}} _ {n}}$

куда

${ displaystyle { tilde {H}} _ {n} = { begin {bmatrix} h_ {1,1} & h_ {1,2} & h_ {1,3} & cdots & h_ {1, n} h_ {2,1} & h_ {2,2} & h_ {2,3} & cdots & h_ {2, n} 0 & h_ {3,2} & h_ {3,3} & cdots & h_ {3, n} vdots & ddots & ddots & ddots & vdots vdots && 0 & h_ {n, n-1} & h_ {n, n} 0 & cdots & cdots & 0 & h_ {n + 1, n} end {bmatrix}}}$

является (п+1) -по-п матрица, образованная добавлением дополнительной строки к ЧАС_п.

Нахождение собственных значений с помощью итерации Арнольди

Идея итерации Арнольди как алгоритм собственных значений заключается в вычислении собственных значений в подпространстве Крылова. Собственные значения ЧАС_п называются Собственные значения Ритца. С ЧАС_п является матрицей Хессенберга небольшого размера, ее собственные значения можно эффективно вычислить, например, с помощью QR-алгоритм, или несколько похожий алгоритм Фрэнсиса. Также сам алгоритм Фрэнсиса можно рассматривать как относящийся к степенным итерациям, работающим на вложенном подпространстве Крылова. Фактически, самая основная форма алгоритма Фрэнсиса состоит в том, чтобы выбрать б быть равным Ae₁, и расширение п в полном объеме А. Улучшенные версии включают одну или несколько смен и более высокие степени А можно наносить за один прием.[1]

Это пример Метод Рэлея-Ритца.

На практике часто наблюдается, что некоторые из собственных значений Ритца сходятся к собственным значениям А. С ЧАС_п является п-к-п, у него не больше п собственные значения, а не все собственные значения А можно приблизить. Обычно собственные значения Ритца сходятся к наибольшим собственным значениям А. Чтобы получить наименьшие собственные значения А, обратная (операция) А следует использовать вместо этого. Это может быть связано с характеристикой ЧАС_п как матрица, характеристический многочлен которой минимизирует ||п(А)q₁|| следующим образом. Хороший способ получить п(А) small - выбрать полином п такой, что п(Икс) мало всякий раз, когда Икс является собственным значением А. Следовательно, нули п (и, следовательно, собственные значения Ритца) будут близки к собственным значениям А.

Однако детали еще не до конца изучены. Это контрастирует со случаем, когда А является симметричный. В этой ситуации итерация Арнольди становится Итерация Ланцоша, для которого теория более полная.

Итерация Арнольди, демонстрирующая сходимость значений Ритца (красный) к собственным значениям (черный) матрицы 400x400, составленной из однородных случайных значений в области [-0,5 +0,5]

Неявно перезапускаемый метод Арнольди (IRAM)

Из-за практических соображений хранения общие реализации методов Арнольди обычно перезапускаются после некоторого количества итераций. Одним из основных нововведений в перезапуске стал Лехук и Соренсен, предложившие метод неявно перезапущенного Арнольди.^[2] Они также реализовали алгоритм в свободно доступном программном пакете под названием ARPACK.^[3] Это привело к появлению ряда других вариаций, включая неявно перезапускаемый метод Ланцоша.^[4][5][6] Это также повлияло на то, как анализируются другие перезапускаемые методы.^[7]Теоретические результаты показали, что сходимость улучшается с увеличением размерности подпространства Крылова п. Однако априорное значение п что привело бы к оптимальной сходимости, неизвестно. Недавно появилась стратегия динамического переключения^[8] был предложен, который колеблется размер п перед каждым перезапуском и, таким образом, приводит к увеличению скорости сходимости.

Смотрите также

В обобщенный метод минимальной невязки (GMRES) - метод решения Топор = б на основе итерации Арнольди.

Рекомендации

• В. Э. Арнольди, "Принцип минимизированных итераций при решении матричной проблемы собственных значений", Квартал прикладной математики, том 9, страницы 17–29, 1951.
• Юсеф Саад, Численные методы решения больших задач на собственные значения, Издательство Манчестерского университета, 1992. ISBN  0-7190-3386-1.
• Ллойд Н. Трефетен и Дэвид Бау, III, Числовая линейная алгебра, Общество промышленной и прикладной математики, 1997. ISBN  0-89871-361-7.
• Яшке, Леонхард: Предварительно обусловленные методы Арнольди для систем нелинейных уравнений. (2004). ISBN  2-84976-001-3
• Выполнение: Matlab поставляется со встроенным ARPACK. Как хранимые, так и неявные матрицы можно анализировать с помощью eigs () функция.