Обучение без учителя - Unsupervised learning

Часть серии по
Машинное обучение
и
сбор данных

Обучение без учителя это тип машинное обучение которая ищет ранее необнаруженные закономерности в наборе данных без ранее существовавших меток и с минимальным контролем человека. В отличие от обучения с учителем, которое обычно использует данные, помеченные людьми, обучение без учителя, также известное как самоорганизация позволяет моделировать плотности вероятности над входами.[1] Он образует одну из трех основных категорий машинного обучения, наряду с под наблюдением и обучение с подкреплением. Полу-контролируемое обучение, родственный вариант, использует контролируемые и неконтролируемые методы.

Два основных метода, используемых в обучении без учителя: главный компонент и кластерный анализ. Кластерный анализ используется в обучении без учителя для группировки или сегментации наборов данных с общими атрибутами, чтобы экстраполировать алгоритмические отношения.[2] Кластерный анализ - это раздел машинное обучение который группирует данные, которые не были маркированный, классифицированные или категоризированные. Вместо того, чтобы реагировать на обратную связь, кластерный анализ выявляет общие черты в данных и реагирует на их наличие или отсутствие в каждой новой части данных. Этот подход помогает обнаруживать аномальные точки данных, которые не попадают ни в одну из групп.

Единственное требование, которое следует называть стратегией обучения без учителя, - это изучить новое пространство признаков, которое отражает характеристики исходного пространства, путем максимизации некоторой целевой функции или минимизации некоторой функции потерь. Следовательно, генерируя ковариационная матрица не обучение без учителя, а принятие собственные векторы ковариационной матрицы происходит потому, что операция разложения собственных значений линейной алгебры максимизирует дисперсию; это известно как анализ главных компонентов.[3] Точно так же выполнение логарифмического преобразования набора данных не является неконтролируемым обучением, но передача входных данных через несколько сигмоидальных функций при минимизации некоторой функции расстояния между сгенерированными и результирующими данными известна как Автоэнкодер.

Центральное применение обучения без учителя находится в области оценка плотности в статистика,[4] хотя обучение без учителя охватывает многие другие области, включающие обобщение и объяснение функций данных. Это можно было бы противопоставить обучению с учителем, сказав, что в то время как обучение с учителем предполагает условное распределение вероятностей при условии на этикетке входных данных; Неконтролируемое обучение предполагает вывод априорная вероятность распределение .

Генеративные состязательные сети также могут использоваться с обучением с учителем, хотя их также можно применять к неконтролируемым методам и методам подкрепления.

Подходы

Некоторые из наиболее распространенных алгоритмов, используемых в обучении без учителя, включают: (1) кластеризацию, (2) обнаружение аномалий, (3) нейронные сети и (4) подходы к изучению моделей со скрытыми переменными. Каждый подход использует несколько следующих методов:

Нейронные сети

Классическим примером обучения без учителя при исследовании нейронных сетей является Дональд Хебб принцип, то есть нейроны, которые срабатывают вместе, соединяются вместе.[7] В Hebbian обучение соединение усиливается независимо от ошибки, но является исключительно функцией совпадения потенциалов действия между двумя нейронами.[8] Аналогичная версия, изменяющая синаптические веса, учитывает время между потенциалами действия (пластичность, зависящая от времени всплеска или STDP). Было высказано предположение, что обучение хебба лежит в основе ряда когнитивных функций, таких как распознавание образов и экспериментальное обучение.

Среди нейронная сеть модели, самоорганизующаяся карта (SOM) и теория адаптивного резонанса (ART) обычно используются в алгоритмах неконтролируемого обучения. SOM - это топографическая организация, в которой близлежащие точки на карте представляют собой входы с аналогичными свойствами. Модель ART позволяет количеству кластеров меняться в зависимости от размера проблемы и позволяет пользователю контролировать степень сходства между членами одних и тех же кластеров с помощью определяемой пользователем константы, называемой параметром бдительности. Сети ART используются для многих задач распознавания образов, таких как автоматическое распознавание цели и обработка сейсмических сигналов.[9]

Метод моментов

Одним из статистических подходов к обучению без учителя является метод моментов. В методе моментов неизвестные параметры (представляющие интерес) в модели связаны с моментами одной или нескольких случайных величин, и, таким образом, эти неизвестные параметры могут быть оценены с учетом моментов. Моменты обычно оцениваются по выборкам эмпирически. Основные моменты - это моменты первого и второго порядка. Для случайного вектора моментом первого порядка является иметь в виду вектор, а момент второго порядка - это ковариационная матрица (когда среднее значение равно нулю). Моменты более высокого порядка обычно представляются с помощью тензоры которые являются обобщением матриц до более высоких порядков в виде многомерных массивов.

В частности, показана эффективность метода моментов при обучении параметров скрытые переменные модели.[10]Модели со скрытыми переменными - это статистические модели, в которых в дополнение к наблюдаемым переменным также существует набор скрытых переменных, которые не наблюдаются. Практическим примером моделей со скрытыми переменными в машинном обучении является тематическое моделирование которая представляет собой статистическую модель для генерации слов (наблюдаемых переменных) в документе на основе темы (скрытой переменной) документа. В тематическом моделировании слова в документе генерируются в соответствии с различными статистическими параметрами при изменении темы документа. Показано, что метод моментов (методы тензорной декомпозиции) последовательно восстанавливает параметры большого класса моделей со скрытыми переменными при некоторых предположениях.[10]

В Алгоритм ожидания – максимизации (EM) также является одним из наиболее практичных методов изучения моделей со скрытыми переменными. Однако он может застрять в локальных оптимумах, и не гарантируется, что алгоритм сойдется к истинным неизвестным параметрам модели. Напротив, для метода моментов глобальная сходимость гарантируется при некоторых условиях.[10]

Смотрите также

Примечания

  1. ^ Хинтон, Джеффри; Сейновски, Терренс (1999). Обучение без учителя: основы нейронных вычислений. MIT Press. ISBN  978-0262581684.
  2. ^ Роман, Виктор (21.04.2019). «Машинное обучение без учителя: кластерный анализ». Середина. Получено 2019-10-01.
  3. ^ Сноу, доктор Дерек (26.03.2020). «Машинное обучение в управлении активами: часть 2: построение портфеля - оптимизация веса». Журнал науки о финансовых данных. Дои:10.3905 / jfds.2020.1.029 (неактивно 10.10.2020). Получено 2020-05-16.CS1 maint: DOI неактивен по состоянию на октябрь 2020 г. (связь)
  4. ^ Джордан, Майкл I .; Епископ, Кристофер М. (2004). "Нейронные сети". В Аллен Б. Такер (ред.). Справочник по информатике, второе издание (раздел VII: Интеллектуальные системы). Бока-Ратон, Флорида: Chapman & Hall / CRC Press LLC. ISBN  1-58488-360-X.
  5. ^ Хасти, Тревор, Роберт Тибширани, Фридман, Джером (2009). Элементы статистического обучения: интеллектуальный анализ данных, вывод и прогнозирование. Нью-Йорк: Спрингер. С. 485–586. ISBN  978-0-387-84857-0.CS1 maint: несколько имен: список авторов (связь)
  6. ^ Гарбаде, д-р Майкл Дж. (12 сентября 2018 г.). «Понимание кластеризации K-средних в машинном обучении». Середина. Получено 2019-10-31.
  7. ^ Buhmann, J .; Кунель, Х. (1992). «Неконтролируемая и контролируемая кластеризация данных с конкурентными нейронными сетями». [Proceedings 1992] Международная объединенная конференция IJCNN по нейронным сетям. 4. IEEE. С. 796–801. Дои:10.1109 / ijcnn.1992.227220. ISBN  0780305590.
  8. ^ Комесана-Кампос, Альберто; Буза-Родригес, Хосе Бенито (июнь 2016 г.). «Применение изучения языка хебби в процессе принятия решений». Журнал интеллектуального производства. 27 (3): 487–506. Дои:10.1007 / s10845-014-0881-z. ISSN  0956-5515.
  9. ^ Карпентер, Г.А. И Гроссберг, С. (1988). «Искусство адаптивного распознавания образов с помощью самоорганизующейся нейронной сети» (PDF). Компьютер. 21 (3): 77–88. Дои:10.1109/2.33.
  10. ^ а б c Анандкумар, Анимашри; Ге, Ронг; Сюй, Даниэль; Какаде, Шам; Телгарский, Матус (2014). "Тензорные разложения для изучения моделей со скрытыми переменными" (PDF). Журнал исследований в области машинного обучения. 15: 2773–2832. arXiv:1210.7559. Bibcode:2012arXiv1210.7559A.

дальнейшее чтение