Нелинейный метод наименьших квадратов - Non-linear least squares

Часть серии по
Регрессивный анализ
Модели
Линейная регрессия Простая регрессия Полиномиальная регрессия Общая линейная модель
Обобщенная линейная модель Дискретный выбор Биномиальная регрессия Бинарная регрессия Логистическая регрессия Полиномиальный логит Смешанный логит Пробит Полиномиальный пробит Заказал логит Заказал пробит Пуассон
Многоуровневая модель Фиксированные эффекты Случайные эффекты Линейная модель смешанных эффектов Нелинейная модель смешанных эффектов
Нелинейная регрессия Непараметрический Полупараметрический Крепкий Квантиль Изотонический Основные компоненты Наименьший угол Местный Сегментированный
Ошибки в переменных
Оценка
Наименьших квадратов Линейный Нелинейный
Обычный Взвешенный Обобщенный
Частичное Общий Неотрицательный Регрессия хребта Регулярный
Наименьшие абсолютные отклонения Итеративно переназначенный Байесовский Байесовский многомерный
Фон
Проверка регрессии Средний и прогнозируемый ответ Ошибки и остатки Доброту соответствия Студентизованный остаток Теорема Гаусса – Маркова
Математический портал

Нелинейный метод наименьших квадратов это форма наименьших квадратов анализ используется для соответствия набору м наблюдения с моделью, которая нелинейна по п неизвестные параметры (м ≥ п). Он используется в некоторых формах нелинейная регрессия. В основе метода - аппроксимация модели линейной и уточнение параметров последовательными итерациями. Есть много общего с линейный метод наименьших квадратов, но и некоторые значительные различия. В экономической теории нелинейный метод наименьших квадратов применяется в (i) пробит-регрессии, (ii) пороговой регрессии, (iii) гладкой регрессии, (iv) регрессии логистических связей, (v) регрессорах с преобразованием Бокса-Кокса (${ Displaystyle м (х, тета _ {я}) = тета _ {1} + тета _ {2} х ^ {( тета _ {3})}}$).

Теория

Рассмотрим набор ${ displaystyle m}$ точки данных, ${ displaystyle (x_ {1}, y_ {1}), (x_ {2}, y_ {2}), dots, (x_ {m}, y_ {m}),}$ и кривая (модельная функция) ${ Displaystyle у = е (х, { boldsymbol { бета}}),}$ что в дополнение к переменной ${ displaystyle x}$ также зависит от ${ displaystyle n}$ параметры, ${ displaystyle { boldsymbol { beta}} = ( beta _ {1}, beta _ {2}, dots, beta _ {n}),}$ с ${ Displaystyle м geq п.}$ Требуется найти вектор ${ displaystyle { boldsymbol { beta}}}$ таких параметров, что кривая наилучшим образом соответствует заданным данным в смысле наименьших квадратов, то есть сумма квадратов

${ Displaystyle S = сумма _ {я = 1} ^ {m} r_ {я} ^ {2}}$

минимизируется, где остатки (ошибки предсказания в выборке) р_я даны

${ displaystyle r_ {i} = y_ {i} -f (x_ {i}, { boldsymbol { beta}})}$

за ${ Displaystyle я = 1,2, точки, м.}$

В минимум значение S происходит, когда градиент равно нулю. Поскольку модель содержит п параметры есть п уравнения градиента:

${ displaystyle { frac { partial S} { partial beta _ {j}}} = 2 sum _ {i} r_ {i} { frac { partial r_ {i}} { partial beta _ {j}}} = 0 quad (j = 1, ldots, n).}$

В нелинейной системе производные ${ displaystyle { frac { partial r_ {i}} { partial beta _ {j}}}}$ являются функциями как независимой переменной, так и параметров, поэтому в общем случае эти градиентные уравнения не имеют замкнутого решения. Вместо этого для параметров должны быть выбраны начальные значения. Затем параметры уточняются итеративно, то есть значения получаются методом последовательного приближения,

${ Displaystyle beta _ {j} приблизительно beta _ {j} ^ {k + 1} = beta _ {j} ^ {k} + Delta beta _ {j}. ,}$

Здесь, k - номер итерации и вектор приращений, ${ displaystyle Delta { boldsymbol { beta}} ,}$ известен как вектор сдвига. На каждой итерации модель линеаризуется приближением к первому порядку. Полином Тейлора расширение о ${ displaystyle { boldsymbol { beta}} ^ {k} !}$

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) приблизительно f (x_ {i}, { boldsymbol { beta}} ^ {k}) + sum _ {j} { frac { partial f (x_ {i}, { boldsymbol { beta}} ^ {k})} { partial beta _ {j}}} left ( beta _ {j} - beta _ { j} ^ {k} right) = f (x_ {i}, { boldsymbol { beta}} ^ {k}) + sum _ {j} J_ {ij} , Delta beta _ {j }.}$

В Якобиан, J, является функцией констант, независимая переменная и параметры, поэтому он меняется от одной итерации к другой. Таким образом, с точки зрения линеаризованной модели, ${ displaystyle { frac { partial r_ {i}} { partial beta _ {j}}} = - J_ {ij}}$ а остатки равны

${ displaystyle Delta y_ {i} = y_ {i} -f (x_ {i}, { boldsymbol { beta}} ^ {k}).}$

${ displaystyle r_ {i} = y_ {i} -f (x_ {i}, { boldsymbol { beta}}) = left (y_ {i} -f (x_ {i}, { boldsymbol {) beta}} ^ {k}) right) + left (f (x_ {i}, { boldsymbol { beta}} ^ {k}) - f (x_ {i}, { boldsymbol { beta}) }) right) приблизительно Delta y_ {i} - sum _ {s = 1} ^ {n} J_ {is} Delta beta _ {s}.}$

Подставляя эти выражения в уравнения градиента, они становятся

${ displaystyle -2 sum _ {i = 1} ^ {m} J_ {ij} left ( Delta y_ {i} - sum _ {s = 1} ^ {n} J_ {is} Delta beta _ {s} right) = 0,}$

которые при перестановке становятся п совместных линейных уравнений, нормальные уравнения

${ displaystyle sum _ {i = 1} ^ {m} sum _ {s = 1} ^ {n} J_ {ij} J_ {is} Delta beta _ {s} = sum _ {i = 1} ^ {m} J_ {ij} Delta y_ {i} qquad (j = 1, dots, n). ,}$

Нормальные уравнения записываются в матричных обозначениях как

${ displaystyle mathbf { left (J ^ {T} J right) Delta { boldsymbol { beta}} = J ^ {T} Delta y}.}$

Когда наблюдения не являются одинаково надежными, взвешенная сумма квадратов может быть минимизирована,

${ displaystyle S = sum _ {i = 1} ^ {m} W_ {ii} r_ {i} ^ {2}.}$

Каждый элемент диагональ матрица весов W в идеале должно быть равно обратной величине ошибки отклонение измерения.^[1] Тогда нормальные уравнения имеют вид

${ displaystyle mathbf { left (J ^ {T} WJ right) Delta { boldsymbol { beta}} = J ^ {T} W Delta y}.}$

Эти уравнения составляют основу Алгоритм Гаусса – Ньютона для нелинейной задачи наименьших квадратов.

Геометрическая интерпретация

В линейных наименьших квадратах целевая функция, S, это квадратичная функция параметров.

${ displaystyle S = sum _ {i} W_ {ii} left (y_ {i} - sum _ {j} X_ {ij} beta _ {j} right) ^ {2}}$

Когда есть только один параметр, график S по этому параметру будет парабола. При двух и более параметрах контуры S по любой паре параметров будет концентрическим эллипсы (предполагая, что матрица нормальных уравнений ${ displaystyle mathbf {X ^ {T} WX}}$ является положительно определенный ). Минимальные значения параметров находятся в центре эллипсов. Геометрию общей целевой функции можно описать как параболоид эллиптической формы. В NLLSQ целевая функция квадратична по параметрам только в области, близкой к ее минимальному значению, где усеченный ряд Тейлора является хорошим приближением к модели.

${ displaystyle S приблизительно сумма _ {i} W_ {ii} left (y_ {i} - sum _ {j} J_ {ij} beta _ {j} right) ^ {2}}$

Чем больше значения параметров отличаются от своих оптимальных значений, тем больше контуры отклоняются от эллиптической формы. Следствием этого является то, что начальные оценки параметров должны быть как можно ближе к их (неизвестным!) Оптимальным значениям. Это также объясняет, как может возникнуть дивергенция, поскольку алгоритм Гаусса – Ньютона сходится только тогда, когда целевая функция приблизительно квадратична по параметрам.

Вычисление

Оценки начальных параметров

Некоторые проблемы плохой обусловленности и расхождения можно исправить, найдя начальные оценки параметров, близкие к оптимальным значениям. Хороший способ сделать это - компьютерное моделирование. И наблюдаемые, и расчетные данные отображаются на экране. Параметры модели настраиваются вручную до тех пор, пока соответствие между наблюдаемыми и расчетными данными не станет достаточно хорошим. Хотя это будет субъективное суждение, его достаточно, чтобы найти хорошую отправную точку для нелинейного уточнения. Начальные оценки параметров могут быть созданы с помощью преобразований или линеаризации. Более совершенные эволюционные алгоритмы, такие как алгоритм стохастической воронки, могут привести к выпуклому бассейну притяжения, окружающему оптимальные оценки параметров. Было показано, что гибридные алгоритмы, использующие рандомизацию и элитарность, за которыми следуют методы Ньютона, являются полезными и эффективными с точки зрения вычислений.

Решение

Любой метод из описанных ниже можно применить для поиска решения.

Критерии сходимости

Критерий сходимости, основанный на здравом смысле, состоит в том, что сумма квадратов не уменьшается от одной итерации к следующей. Однако этот критерий часто бывает трудно реализовать на практике по разным причинам. Полезный критерий сходимости:

${ displaystyle left | { frac {S ^ {k} -S ^ {k + 1}} {S ^ {k}}} right | <0,0001.}$

Значение 0,0001 несколько произвольно и может нуждаться в изменении. В частности, его может потребоваться увеличить, если экспериментальные ошибки велики. Альтернативный критерий:

${ displaystyle left | { frac { Delta beta _ {j}} { beta _ {j}}} right | <0,001, qquad j = 1, dots, n.}$

Опять же, числовое значение несколько произвольно; 0,001 эквивалентно указанию того, что каждый параметр должен быть уточнен с точностью до 0,1%. Это разумно, когда оно меньше наибольшего относительного стандартного отклонения параметров.

Вычисление якобиана численным приближением

Есть модели, для которых очень сложно или даже невозможно получить аналитические выражения для элементов якобиана. Тогда численное приближение

${ displaystyle { frac { partial f (x_ {i}, { boldsymbol { beta}})} { partial beta _ {j}}} приблизительно { frac { delta f (x_ {i }, { boldsymbol { beta}})} { delta beta _ {j}}}}$

получается путем расчета ${ displaystyle f (x_ {i}, { boldsymbol { beta}}) ,}$ за ${ displaystyle beta _ {j} ,}$ и ${ displaystyle beta _ {j} + delta beta _ {j} ,}$. Приращение,${ displaystyle delta beta _ {j} ,}$, размер следует выбирать так, чтобы числовая производная не подвергалась ошибке аппроксимации из-за слишком большого размера, или округлять ошибка из-за того, что она слишком мала.

Ошибки параметров, доверительные границы, остатки и т. Д.

Некоторая информация приведена в соответствующий раздел на линейный метод наименьших квадратов страница.

Множественные минимумы

Множественные минимумы могут возникать при различных обстоятельствах, некоторые из которых:

• Параметр возводится в степень двойки или более. Например, при подгонке данных к Лоренциан изгиб

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) = { frac { alpha} {1+ left ({ frac { gamma -x_ {i}} { beta}}) right) ^ {2}}}}$

куда ${ displaystyle alpha}$ высота, ${ displaystyle gamma}$ это позиция и ${ displaystyle beta}$ - полуширина на половине высоты, есть два решения для полуширины, ${ displaystyle { hat { beta}}}$ и ${ displaystyle - { hat { beta}}}$ которые дают такое же оптимальное значение для целевой функции.

• Два параметра можно менять местами без изменения значения модели. Простой пример - модель содержит произведение двух параметров, поскольку ${ displaystyle alpha beta}$ даст то же значение, что и ${ displaystyle beta alpha}$.
• Параметр находится в тригонометрической функции, например ${ Displaystyle грех бета ,}$, который имеет одинаковые значения при ${ displaystyle { hat { beta}} + 2n pi}$. Видеть Алгоритм Левенберга – Марквардта для примера.

Не все множественные минимумы имеют равные значения целевой функции. Ложные минимумы, также известные как локальные минимумы, возникают, когда значение целевой функции больше, чем ее значение на так называемом глобальном минимуме. Чтобы быть уверенным, что найденный минимум является глобальным минимумом, уточнение следует начинать с сильно различающихся начальных значений параметров. Когда один и тот же минимум найден независимо от начальной точки, он, скорее всего, будет глобальным минимумом.

Когда существует несколько минимумов, возникает важное последствие: целевая функция будет иметь максимальное значение где-то между двумя минимумами. Матрица нормальных уравнений не является положительно определенной в максимуме целевой функции, так как градиент равен нулю и не существует единственного направления спуска. Уточнение от точки (набора значений параметров), близкой к максимуму, будет плохо обусловлено, и его следует избегать в качестве отправной точки. Например, при подборе лоренцевой матрицы нормальная матрица уравнений не является положительно определенной, если полуширина полосы равна нулю.^[2]

Преобразование к линейной модели

Иногда нелинейную модель можно преобразовать в линейную. Например, когда модель представляет собой простую экспоненциальную функцию,

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) = alpha e ^ { beta x_ {i}}}$

ее можно преобразовать в линейную модель путем логарифмирования.

${ displaystyle log е (x_ {i}, { boldsymbol { beta}}) = log alpha + beta x_ {i}}$

Графически это соответствует работе над полулогарифмический сюжет. Сумма квадратов становится

${ displaystyle S = sum _ {i} ( log y_ {i} - log alpha - beta x_ {i}) ^ {2}. !}$

Этой процедуры следует избегать, если только ошибки не являются мультипликативными и лог-нормально распределенный потому что это может привести к ошибочным результатам. Это происходит из-за того, что независимо от экспериментальных ошибок у может быть, ошибки на войти y разные. Следовательно, при минимизации преобразованной суммы квадратов будут получены разные результаты как для значений параметров, так и для их рассчитанных стандартных отклонений. Однако с мультипликативными ошибками, которые распределены нормально логарифмически, эта процедура дает несмещенные и согласованные оценки параметров.

Другой пример представлен Кинетика Михаэлиса – Ментен, используется для определения двух параметров ${ Displaystyle V _ { max}}$ и ${ displaystyle K_ {m}}$:

${ Displaystyle v = { гидроразрыва {V _ { max} [S]} {K_ {m} + [S]}}}$.

В Заговор Лайнуивера – Берка

${ displaystyle { frac {1} {v}} = { frac {1} {V _ { max}}} + { frac {K_ {m}} {V _ { max} [S]}}}$

из ${ displaystyle { frac {1} {v}}}$ против ${ displaystyle { frac {1} {[S]}}}$ линейна по параметрам ${ displaystyle { frac {1} {V _ { max}}}}$ и ${ displaystyle { frac {K_ {m}} {V _ { max}}}}$, но очень чувствителен к ошибкам данных и сильно склонен к подгонке данных в конкретный диапазон независимой переменной ${ displaystyle [S]}$.

Алгоритмы

Метод Гаусса – Ньютона

Нормальные уравнения

${ displaystyle mathbf { left (J ^ {T} WJ right) Delta { boldsymbol { beta}} = left (J ^ {T} W right) Delta y}}$

может быть решен для ${ displaystyle Delta { boldsymbol { beta}}}$ к Разложение Холецкого, как описано в линейный метод наименьших квадратов. Параметры обновляются итеративно

${ displaystyle { boldsymbol { beta}} ^ {k + 1} = { boldsymbol { beta}} ^ {k} + Delta { boldsymbol { beta}}}$

куда k - номер итерации. Хотя этот метод может быть подходящим для простых моделей, он потерпит неудачу, если произойдет расхождение. Следовательно, защита от расхождения имеет важное значение.

Посменная резка

Если происходит расхождение, простой способ - уменьшить длину вектора сдвига, ${ displaystyle mathbf { Delta beta}}$, дробно, ж

${ displaystyle { boldsymbol { beta}} ^ {k + 1} = { boldsymbol { beta}} ^ {k} + f Delta { boldsymbol { beta}}.}$

Например, длина вектора сдвига может быть последовательно уменьшена вдвое, пока новое значение целевой функции не станет меньше, чем ее значение на последней итерации. Дробь, ж может быть оптимизирован линейный поиск.^[3] Поскольку каждое пробное значение ж требует пересчета целевой функции, поэтому не стоит слишком строго оптимизировать ее значение.

При использовании переключения со сдвигом направление вектора сдвига не изменяется. Это ограничивает применимость метода к ситуациям, когда направление вектора сдвига не сильно отличается от того, что было бы, если бы целевая функция была приблизительно квадратичной по параметрам, ${ displaystyle { boldsymbol { beta}} ^ {k}.}$

Параметр Марквардта

Если происходит расхождение и направление вектора сдвига настолько далеко от его «идеального» направления, что срезание сдвига не очень эффективно, то есть дробь, ж Требуется избежать расхождения очень мало, направление нужно менять. Этого можно добиться, используя Marquardt параметр.^[4] В этом методе модифицируются нормальные уравнения.

${ displaystyle mathbf { left (J ^ {T} WJ + lambda I right) Delta { boldsymbol { beta}} = left (J ^ {T} W right) Delta y}}$

куда ${ displaystyle lambda}$ - параметр Марквардта и я является единичной матрицей. Повышение стоимости ${ displaystyle lambda}$ имеет эффект изменения направления и длины вектора сдвига. Вектор сдвига поворачивается в направлении крутой спуск

когда ${ displaystyle lambda mathbf {I gg {} J ^ {T} WJ}, mathbf { Delta { boldsymbol { beta}}} приблизительно (1 / lambda) mathbf {J ^ { T} W Delta y}.}$

${ Displaystyle mathbf {J ^ {T} W Delta y}}$ - вектор наискорейшего спуска. Так когда ${ displaystyle lambda}$ становится очень большим, вектор сдвига становится малой частью вектора наискорейшего спуска.

Предлагались различные стратегии определения параметра Марквардта. Как и при посменной резке, слишком строго оптимизировать этот параметр расточительно. Напротив, после того, как было найдено значение, которое вызывает уменьшение значения целевой функции, это значение параметра переносится на следующую итерацию, уменьшается, если возможно, или увеличивается, если необходимо. При уменьшении значения параметра Марквардта существует пороговое значение, ниже которого его можно безопасно установить на ноль, то есть продолжить использование немодифицированного метода Гаусса – Ньютона. Значение отсечки может быть установлено равным наименьшему сингулярному значению якобиана.^[5] Граница для этого значения дается ${ displaystyle 1 / { mbox {trace}} mathbf { left (J ^ {T} WJ right) ^ {- 1}}}$.^[6]

QR-разложение

Минимум суммы квадратов может быть найден методом, не предполагающим составления нормальных уравнений. Остатки с линеаризованной моделью можно записать как

${ displaystyle mathbf {r = Delta y-J Delta { boldsymbol { beta}}}.}$

Якобиан подвергается ортогональному разложению; в QR-разложение будет служить для иллюстрации процесса.

${ displaystyle mathbf {J = QR}}$

куда Q является ортогональный ${ displaystyle m times m}$ матрица и р является ${ Displaystyle м раз п}$ матрица, которая разделенный в ${ Displaystyle п раз п}$ блокировать, ${ displaystyle mathbf {R} _ {n}}$, а ${ Displaystyle (м-п) раз п}$ нулевой блок. ${ displaystyle mathbf {R} _ {n}}$ верхнетреугольный.

${ displaystyle mathbf {R} = { begin {bmatrix} mathbf {R} _ {n} mathbf {0} end {bmatrix}}}$

Остаточный вектор умножается слева на ${ displaystyle mathbf {Q} ^ {T}}$.

${ displaystyle mathbf {Q ^ {T} r = Q ^ {T} Delta yR Delta { boldsymbol { beta}}} = { begin {bmatrix} mathbf { left (Q ^ { T} Delta yR Delta { boldsymbol { beta}} right)} _ {n} mathbf { left (Q ^ {T} Delta y right)} _ {mn} end {bmatrix}}}$

Это не влияет на сумму квадратов, поскольку ${ Displaystyle S = mathbf {r ^ {T} QQ ^ {T} r = r ^ {T} r}}$ потому что Q является ортогональный Минимальное значение S достигается, когда верхний блок равен нулю. Следовательно, вектор сдвига находится путем решения

${ displaystyle mathbf {R_ {n} Delta { boldsymbol { beta}} = left (Q ^ {T} Delta y right) _ {n}}. ,}$

Эти уравнения легко решаются как р верхнетреугольный.

Разложение по сингулярным числам

Вариант метода ортогональной декомпозиции включает разложение по сингулярным числам, в котором р диагонализуется дальнейшими ортогональными преобразованиями.

${ Displaystyle mathbf {J = U { boldsymbol { Sigma}} V ^ {T}} ,}$

куда ${ displaystyle mathbf {U}}$ ортогонален, ${ displaystyle { boldsymbol { Sigma}}}$ - диагональная матрица сингулярных чисел и ${ displaystyle mathbf {V}}$ - ортогональная матрица собственных векторов ${ displaystyle mathbf {J ^ {T} J}}$ или, что то же самое, правые сингулярные векторы ${ displaystyle mathbf {J}}$. В этом случае вектор сдвига определяется выражением

${ displaystyle mathbf {{ boldsymbol { Delta}} beta = V { boldsymbol { Sigma}} ^ {- 1} left (U ^ {T} { boldsymbol { Delta}} y вправо)} _ {п}. ,}$

Относительная простота этого выражения очень полезна при теоретическом анализе нелинейных наименьших квадратов. Применение разложения по сингулярным числам подробно обсуждается у Лоусона и Хэнсона.^[5]

Градиентные методы

В научной литературе есть много примеров, когда различные методы использовались для нелинейных задач аппроксимации данных.

• Включение вторых производных в разложение модельной функции в ряд Тейлора. Это Метод Ньютона в оптимизации.

${ displaystyle f (x_ {i}, { boldsymbol { beta}}) = f ^ {k} (x_ {i}, { boldsymbol { beta}}) + sum _ {j} J_ {ij } , Delta beta _ {j} + { frac {1} {2}} sum _ {j} sum _ {k} Delta beta _ {j} , Delta beta _ { k} , H_ {jk _ {(i)}}, H_ {jk _ {(i)}} = { frac { partial ^ {2} f (x_ {i}, { boldsymbol { beta}}) )} { partial beta _ {j} , partial beta _ {k}}}.}$

Матрица ЧАС известен как Матрица Гессе. Хотя эта модель имеет лучшие свойства сходимости вблизи минимума, она намного хуже, когда параметры далеки от своих оптимальных значений. Расчет гессиана усложняет алгоритм. Этот метод не используется повсеместно.

• Метод Дэвидона – Флетчера – Пауэлла. Этот метод, разновидность метода псевдоньютона, аналогичен приведенному выше, но вычисляет гессиан путем последовательного приближения, чтобы избежать использования аналитических выражений для вторых производных.
• Крутой спуск. Хотя уменьшение суммы квадратов гарантируется, когда вектор сдвига указывает в направлении наискорейшего спуска, этот метод часто работает плохо. Когда значения параметров далеки от оптимальных, направление вектора наискорейшего спуска, которое перпендикулярно (перпендикулярно) контурам целевой функции, сильно отличается от направления вектора Гаусса – Ньютона. Это делает расхождение гораздо более вероятным, особенно потому, что минимум вдоль направления наискорейшего спуска может соответствовать небольшой части длины вектора наискорейшего спуска. Когда контуры целевой функции очень эксцентричны из-за высокой корреляции между параметрами, итерации наискорейшего спуска со сдвигом следуют по медленной зигзагообразной траектории к минимуму.
• Поиск сопряженных градиентов. Это улучшенный метод наискорейшего спуска с хорошими теоретическими свойствами сходимости, хотя он может дать сбой на цифровых компьютерах конечной точности даже при использовании для решения квадратичных задач.^[7]

Методы прямого поиска

Методы прямого поиска зависят от оценок целевой функции при различных значениях параметров и вообще не используют производные. Они предлагают альтернативы использованию численных производных в методе Гаусса – Ньютона и градиентных методах.

• Поиск переменных переменных.^[3] Каждый параметр изменяется по очереди путем добавления к нему фиксированного или переменного приращения и сохранения значения, которое приводит к уменьшению суммы квадратов. Этот метод прост и эффективен, когда параметры не сильно коррелированы. Он имеет очень плохие свойства сходимости, но может быть полезен для поиска начальных оценок параметров.
• Поиск Нелдера – Мида (симплексный). А симплекс в этом контексте многогранник из п + 1 вершина в п размеры; треугольник на плоскости, тетраэдр в трехмерном пространстве и так далее. Каждая вершина соответствует значению целевой функции для определенного набора параметров. Форма и размер симплекса регулируются путем изменения параметров таким образом, чтобы значение целевой функции в самой высокой вершине всегда уменьшалось. Хотя сумма квадратов может сначала быстро уменьшаться, она может сходиться к нестационарной точке в квазивыпуклых задачах, на примере М. Дж. Д. Пауэлла.

Более подробные описания этих и других методов доступны в Числовые рецепты вместе с компьютерным кодом на разных языках.

Смотрите также

• Вектор поддержки наименьших квадратов
• Подгонка кривой
• Модель серого ящика
• Нелинейное программирование
• Нелинейная регрессия
• Оптимизация (математика)
• Алгоритм Левенберга – Марквардта

Рекомендации

дальнейшее чтение

• Келли, К. Т. (1999). Итерационные методы оптимизации (PDF). SIAM Frontiers в прикладной математике. № 18. ISBN  0-89871-433-8.
• Струтц, Т. (2016). Подгонка данных и неопределенность: практическое введение в взвешенный метод наименьших квадратов и не только (2-е изд.). Springer Vieweg. ISBN  978-3-658-11455-8.