Минимизация структурных рисков - Structural risk minimization

Минимизация структурных рисков (SRM) индуктивный принцип использования в машинное обучение. Обычно в машинном обучении обобщенная модель должна быть выбрана из конечного набора данных, что приводит к следующей проблеме: переоснащение - модель становится слишком сильно адаптированной к особенностям обучающей выборки и плохо обобщается на новые данные. Принцип SRM решает эту проблему, уравновешивая сложность модели и ее успех в подборе обучающих данных. Этот принцип был впервые изложен в статье 1974 г. Владимир Вапник и Алексей Червоненкис и использует Размер ВК.

На практике минимизация структурных рисков реализуется за счет минимизации ${displaystyle E_ {train} + eta H (W)}$, куда ${displaystyle E_ {train}}$ - ошибка поезда, функция ${displaystyle H (W)}$ называется функцией регуляризации, а ${displaystyle eta}$ является константой. ${displaystyle H (W)}$ выбирается так, что принимает большие значения по параметрам ${displaystyle W}$ которые принадлежат подмножествам большой емкости пространства параметров. Сведение к минимуму ${displaystyle H (W)}$ фактически ограничивает емкость доступных подмножеств пространства параметров, тем самым управляя компромиссом между минимизацией ошибки обучения и минимизацией ожидаемого разрыва между ошибкой обучения и ошибкой теста.^[1]

Проблема SRM может быть сформулирована в терминах данных. Учитывая n точек данных, состоящих из данных x и меток y, цель ${displaystyle J (heta)}$ часто выражается следующим образом:

${displaystyle J (heta) = {frac {1} {2n}} sum _ {i = 1} ^ {n} (h_ {heta} (x ^ {i}) - y ^ {i}) ^ {2} + {frac {lambda} {2}} sum _ {j = 1} ^ {d} heta _ {j} ^ {2}}$

Первый член - это член среднеквадратичной ошибки (MSE) между значением изученной модели, ${displaystyle h_ {heta}}$, а данные метки ${displaystyle y}$. Этот термин - ошибка обучения, ${displaystyle E_ {train}}$, что обсуждалось ранее. Второй член ставит приоритет над весами, чтобы способствовать разреженности и наказывать большие веса. Коэффициент компенсации, ${displaystyle lambda}$, является гиперпараметром, придающим большее или меньшее значение члену регуляризации. Больше ${displaystyle lambda}$ поощряет меньший вес за счет более оптимального MSE и меньшего ${displaystyle lambda}$ ослабляет регуляризацию, позволяя модели соответствовать данным. Обратите внимание, что как ${displaystyle lambda o infty}$ веса становятся равными нулю, и при ${displaystyle lambda o 0}$, модель обычно страдает от переобучения.

Смотрите также

• Теория Вапника – Червоненкиса.
• Опорные векторные машины
• Выбор модели
• Обучение Оккама
• Минимизация эмпирического риска

Рекомендации

внешняя ссылка

• Минимизация структурных рисков на сайте опорных векторных машин.

Этот Информатика статья - это заглушка. Вы можете помочь Википедии расширяя это.