Ленивое обучение - Lazy learning

В машинное обучение, ленивое обучение это метод обучения, в котором обобщение данные обучения теоретически откладывается до тех пор, пока в систему не поступит запрос, в отличие от жадное обучение, где система пытается обобщить обучающие данные перед получением запросов.

Основная мотивация использования ленивого обучения, как в K-ближайшие соседи алгоритм, используемый онлайн системы рекомендаций («люди, которые смотрели / покупали / слушали этот фильм / элемент / мелодию также ...») заключается в том, что набор данных постоянно обновляется новыми записями (например, новые предметы для продажи на Amazon, новые фильмы для просмотра на Netflix, новые клипы на YouTube, новая музыка на Spotify или Pandora). Из-за непрерывного обновления «обучающие данные» станут устаревшими за относительно короткое время, особенно в таких областях, как книги и фильмы, где постоянно публикуются / выпускаются новые бестселлеры или популярные фильмы / музыка. Поэтому о «тренировочной фазе» говорить не приходится.

Ленивые классификаторы наиболее полезны для больших, постоянно изменяющихся наборов данных с небольшим количеством атрибутов, которые обычно запрашиваются. В частности, даже если существует большой набор атрибутов - например, книги имеют год публикации, автора / авторов, издателя, название, издание, ISBN, продажную цену и т. Д. - запросы рекомендаций основываются на гораздо меньшем количестве атрибутов - например, покупка или просмотр данных о совместной встречаемости и пользовательских оценок купленных / просмотренных товаров.

Преимущества

Основное преимущество, полученное при использовании метода ленивого обучения, заключается в том, что целевая функция будет аппроксимирована локально, например, в алгоритм k-ближайшего соседа. Поскольку целевая функция аппроксимируется локально для каждого запроса к системе, системы с отложенным обучением могут одновременно решать несколько проблем и успешно справляться с изменениями в предметной области. В то же время они могут повторно использовать множество теоретических и прикладных результатов моделирования линейной регрессии (особенно ПРЕССА статистика ) и контроль.[1] Говорят, что преимущество этой системы достигается, если прогнозы с использованием одного обучающего набора разрабатываются только для нескольких объектов.[2] Это можно продемонстрировать в случае метода k-NN, который основан на экземплярах, а функция оценивается только локально.[3]

Недостатки

К теоретическим недостаткам ленивого обучения относятся:

  • Требуется большое пространство для хранения всего набора обучающих данных. На практике это не проблема из-за достижений в аппаратном обеспечении и относительно небольшого количества атрибутов (например, таких как частота совпадения), которые необходимо сохранить.
  • В частности, зашумленные обучающие данные излишне увеличивают базу случаев, потому что во время фазы обучения абстракция не выполняется. На практике, как указывалось ранее, ленивое обучение применяется к ситуациям, когда любое обучение, выполняемое заранее, вскоре устаревает из-за изменений в данных. Кроме того, для задач, для которых оптимально ленивое обучение, "зашумленные" данные на самом деле не возникают - покупатель книги либо купил другую книгу, либо нет.
  • Методы ленивого обучения обычно оцениваются медленнее. На практике для очень больших баз данных с высокой нагрузкой параллелизма запросы нет откладывается до фактического времени запроса, но пересчитывается заранее на периодической основе - например, каждую ночь, в ожидании будущих запросов, а ответы сохраняются. Таким образом, в следующий раз, когда будут заданы новые запросы о существующих записях в базе данных, ответы будут просто быстро найдены, вместо того, чтобы вычисляться на лету, что почти наверняка поставило бы многопользовательскую систему с высоким уровнем параллелизма на колени. .
  • Большие данные для обучения также влекут за собой увеличение затрат. В частности, существует фиксированная сумма вычислительных затрат, когда процессор может обрабатывать только ограниченное количество точек обучающих данных.[4]

Существуют стандартные методы повышения эффективности повторных вычислений, чтобы конкретный ответ не пересчитывался, если только данные, влияющие на этот ответ, не изменились (например, новые предметы, новые покупки, новые просмотры). Другими словами, сохраненные ответы обновляются постепенно.

Этот подход, используемый крупными сайтами электронной коммерции или СМИ, уже давно используется в Entrez портал Национальный центр биотехнологической информации (NCBI) для предварительного вычисления сходства между различными элементами в своих больших наборах данных: биологические последовательности, трехмерные структуры белков, аннотации опубликованных статей и т. Д. Поскольку запросы «найти похожие» задаются так часто, NCBI использует высокопараллельное оборудование для выполнения ночной пересчет. Пересчет выполняется только для новых записей в наборах данных по отношению друг к другу и по отношению к существующим записям: сходство между двумя существующими записями не требуется повторно вычислять.

Примеры ленивых методов обучения

  • K-ближайшие соседи, который является частным случаем обучения на основе экземпляров.
  • Локальная регрессия.
  • Ленивый наивный байесовский правила, которые широко используются в коммерческих программах для обнаружения спама. Здесь спамеры становятся умнее и пересматривают свои стратегии рассылки спама, и поэтому правила обучения также должны постоянно обновляться.

Рекомендации

  1. ^ Бонтемпи, Джанлука; Бираттари, Мауро; Берсини, Хьюз (1 января 1999 г.). «Ленивое обучение для локального моделирования и проектирования управления». Международный журнал контроля. 72 (7–8): 643–658. Дои:10.1080/002071799220830.
  2. ^ Саммут, Клод; Уэбб, Джеффри И. (2011). Энциклопедия машинного обучения. Нью-Йорк: Springer Science & Business Media. п. 572. ISBN  9780387307688.
  3. ^ Пал, Саураб (2017-11-02). Приложения интеллектуального анализа данных. Сравнительное исследование для прогнозирования успеваемости учащихся. ГРИН Верлаг. ISBN  9783668561458.
  4. ^ Ага, Дэвид В. (2013). Ленивое обучение. Берлин: Springer Science & Business Media. п. 106. ISBN  9789401720533.