Адаптация домена - Domain adaptation

Различие между обычными настройками машинного обучения и трансферным обучением, а также позиционирование адаптации предметной области.

Адаптация домена[1][2][3] это поле, связанное с машинное обучение и передача обучения. Этот сценарий возникает, когда мы стремимся изучить из исходного распределения данных хорошо работающую модель на другом (но связанном) целевом распределении данных. Например, одна из задач общего проблема с фильтрацией спама заключается в адаптации модели от одного пользователя (исходное распределение) к новому пользователю, который получает существенно разные электронные письма (целевое распределение). Адаптация домена также оказалась полезной для изучения несвязанных источников.[4]Обратите внимание, что, когда доступно более одного источника распространения, проблема называется адаптацией домена с несколькими источниками.[5]

Обзор

Адаптация домена - это способность применять алгоритм, обученный в одном или нескольких «исходных доменах», к другому (но связанному) «целевому домену». Адаптация предметной области - это подкатегория трансферного обучения. При адаптации домена исходный и целевой домены имеют одинаковые пространство функций (но разные раздачи); Напротив, трансферное обучение включает случаи, когда пространство признаков целевого домена отличается от пространства или пространств исходных объектов.[6]

Сдвиг домена

А сдвиг домена,[7] или распределительный сдвиг,[8] - это изменение в распределении данных между обучающим набором данных алгоритма и набором данных, с которым он сталкивается при развертывании. Эти сдвиги доменов распространены в практических приложениях искусственного интеллекта. Обычные алгоритмы машинного обучения часто плохо адаптируются к сдвигам предметной области. У современного сообщества машинного обучения есть много разных стратегий, чтобы попытаться улучшить адаптацию предметной области.[7]

Примеры

  • Алгоритм, обученный на новостных лентах, возможно, придется адаптировать к новому набору данных биомедицинских документов.[9]
  • Спам-фильтр, обученный определенной группе пользователей электронной почты во время обучения, должен адаптироваться к новому целевому пользователю при развертывании.[10]
  • Применение диагностических алгоритмов ИИ, обученных на маркированных данных, связанных с предыдущими заболеваниями, к новым немаркированным данным, связанным с COVID-19 пандемия.[11]
  • Внезапные изменения в обществе, такие как вспышка пандемии, могут представлять собой сдвиг в предметной области и приводить к сбою алгоритмов машинного обучения, обученных на уже устаревших данных о потребителях, и необходимости вмешательства.[12][13]

Другие приложения включают обнаружение локализации Wi-Fi и многие аспекты компьютерное зрение.[6]

Формализация

Позволять будет пространство ввода (или пространство описания) и пусть пространство вывода (или пространство метки). Цель алгоритма машинного обучения - изучить математическую модель (гипотезу). возможность прикрепить этикетку от к примеру из . Эта модель изучена на обучающей выборке. .

Обычно в контролируемое обучение (без адаптации предметной области), мы предполагаем, что примеры нарисованы i.i.d. из раздачи поддержки (неизвестно и зафиксировано). Тогда цель - узнать (от ) таким образом, чтобы он допускал наименьшее возможное количество ошибок для маркировки новых примеров, поступающих из дистрибутива. .

Основное различие между обучением с учителем и адаптацией предметной области заключается в том, что в последней ситуации мы изучаем два разных (но связанных) распределения. и на [нужна цитата ]. Тогда задача адаптации предметной области состоит из передачи знаний из исходного домена. к целевому . Цель состоит в том, чтобы научиться (из меченых или немаркированных образцов, поступающих из двух доменов), так что он дает как можно меньше ошибок в целевом домене [нужна цитата ].

Основная проблема заключается в следующем: если модель извлекается из исходного домена, какова ее способность правильно маркировать данные, поступающие из целевого домена?

Различные типы адаптации домена

Есть несколько контекстов адаптации домена. Они различаются информацией, учитываемой для целевой задачи.

  1. В неконтролируемая адаптация домена: обучающая выборка содержит набор помеченных исходных примеров, набор немаркированных исходных примеров и набор немаркированных целевых примеров.
  2. В полууправляемая адаптация домена: в этой ситуации мы также рассматриваем «небольшой» набор помеченных целевых примеров.
  3. В адаптация контролируемого домена: все рассмотренные примеры должны быть помечены.

Четыре алгоритмических принципа

Алгоритмы повторного взвешивания

Задача состоит в том, чтобы повторно взвесить исходную маркированную выборку, чтобы она «выглядела» как целевая выборка (с точки зрения рассматриваемой меры ошибки).[14][15]

Итерационные алгоритмы

Метод адаптации состоит в итеративном "автоматическом пометке" целевых примеров. Принцип прост:

  1. модель изучается из помеченных примеров;
  2. автоматически помечает некоторые целевые примеры;
  3. новая модель узнается из новых помеченных примеров.

Обратите внимание, что существуют и другие итерационные подходы, но для них обычно требуются примеры с маркировкой цели.[16][17]

Поиск общего представительского пространства

Цель состоит в том, чтобы найти или построить общее пространство представления для двух областей. Цель состоит в том, чтобы получить пространство, в котором домены расположены близко друг к другу, при сохранении хороших характеристик задачи маркировки источников. Этого можно достичь за счет использования Состязательное машинное обучение методы, при которых рекомендуется, чтобы представления функций из образцов в разных областях были неразличимы.[18][19]

Иерархическая байесовская модель

Цель - построить байесовскую иерархическую модель. , которая по сути является факторизационной моделью для подсчетов , чтобы получить зависящие от домена скрытые представления, учитывающие как доменные, так и глобально общие латентные факторы.[4]

использованная литература

  1. ^ Редько, Евгений; Морвант, Эмили; Хабрард, Амори; Себбан, Марк; Беннани, Юнес (2019). Достижения в теории адаптации предметной области. ISTE Press - Elsevier. п. 187. ISBN  9781785482366.
  2. ^ Уздечка, Джон С .; Кокс, Стивен Дж (1990). «RecNorm: одновременная нормализация и классификация, применяемые к распознаванию речи» (PDF). Конференция по системам обработки нейронной информации (NIPS). С. 234–240.
  3. ^ Бен-Давид, Шай; Блитцер, Джон; Краммер, Коби; Кулеша, Алекс; Перейра, Фернандо; Вортман Воган, Дженнифер (2010). «Теория обучения из разных областей» (PDF). Машинное обучение. 79 (1–2): 151–175. Дои:10.1007 / s10994-009-5152-4.
  4. ^ а б Хаджирамезанали, Эхсан; Сиамак Замани Дадане; Кербалайгарах, Алиреза; Чжоу, Минъюань; Цянь, Сяонин (2018). «Байесовское многодоменное обучение для обнаружения подтипа рака на основе данных секвенирования следующего поколения». arXiv:1810.09433 [stat.ML ].
  5. ^ Краммер, Коби; Кирнс, Майкл; Вортман, Дженифер (2008). «Обучение из разных источников» (PDF). Журнал исследований в области машинного обучения. 9: 1757–1774.
  6. ^ а б Сунь, Шилян; Ши, Хунлей; У Юаньбинь (июль 2015 г.). «Обзор адаптации домена с несколькими источниками». Информационное слияние. 24: 84–92. Дои:10.1016 / j.inffus.2014.12.003.
  7. ^ а б Сун, Баочен, Цзяши Фэн и Кейт Саенко. «Возвращение удручающе простой адаптации домена». На Тридцатой конференции AAAI по искусственному интеллекту. 2016 г.
  8. ^ Амодеи, Дарио, Крис Олах, Якоб Стейнхардт, Пол Кристиано, Джон Шульман и Дэн Мане. «Конкретные проблемы безопасности ИИ». Препринт arXiv arXiv: 1606.06565 (2016).
  9. ^ Доме III, Хэл. «Удивительно простая адаптация домена». Препринт arXiv arXiv: 0907.1815 (2009).
  10. ^ Бен-Давид, Шай, Джон Блитцер, Коби Краммер и Фернандо Перейра. «Анализ представлений для адаптации предметной области». В достижениях в системах обработки нейронной информации, стр. 137-144. 2007 г.
  11. ^ Ху, Ипэн; Иаков, Иосиф; Паркер, Джеффри Дж. М .; Хоукс, Дэвид Дж .; Херст, Джон Р .; Стоянов, Данаил (июнь 2020 г.). «Проблемы развертывания моделей искусственного интеллекта в условиях быстро развивающейся пандемии». Природа Машинный интеллект. 2 (6): 298–300. Дои:10.1038 / с42256-020-0185-2. ISSN  2522-5839.
  12. ^ Мэтьюз, Дилан (26 марта 2019 г.). «ИИ-катастрофа не будет похожа на Терминатора. Она будет более жуткой». Vox. Получено 21 июн 2020.
  13. ^ «Наше странное поведение во время пандемии противоречит моделям ИИ». Обзор технологий MIT. 11 мая 2020. Получено 21 июн 2020.
  14. ^ Хуанг, Цзяюань; Смола, Александр Дж .; Греттон, Артур; Borgwardt, Karster M .; Шёлкопф, Бернхард (2006). «Коррекция смещения выборки с помощью немаркированных данных» (PDF). Конференция по системам обработки нейронной информации (NIPS). С. 601–608.
  15. ^ Симодаира, Хидетоши (2000). «Улучшение прогнозного вывода при ковариатном сдвиге путем взвешивания функции логарифмического правдоподобия». Журнал статистического планирования и вывода. 90 (2): 227–244. Дои:10.1016 / S0378-3758 (00) 00115-4.
  16. ^ Arief-Ang, I.B .; Salim, F.D .; Гамильтон, М. (8 ноября 2017 г.). DA-HOC: адаптация полууправляемой области для прогнозирования занятости помещения с использованием данных датчика CO2. 4-я Международная конференция ACM по системам для энергоэффективных построенных сред (BuildSys). Делфт, Нидерланды. С. 1–10. Дои:10.1145/3137133.3137146. ISBN  978-1-4503-5544-5.
  17. ^ Arief-Ang, I.B .; Гамильтон, М .; Салим, Ф.Д. (2018-12-01). «Масштабируемое прогнозирование занятости комнаты с переносимым разложением временного ряда данных датчика CO2». Транзакции ACM в сенсорных сетях. 14 (3–4): 21:1–21:28. Дои:10.1145/3217214.
  18. ^ Ганин, Ярослав; Устинова Евгения; Аджакан, Хана; Жермен, Паскаль; Ларошель, Хьюго; Лавиолетт, Франсуа; Маршан, Марио; Лемпицкий, Виктор (2016). "Предметно-состязательное обучение нейронных сетей" (PDF). Журнал исследований в области машинного обучения. 17: 1–35.
  19. ^ Хаджирамезанали, Эхсан; Сиамак Замани Дадане; Кербалайгарах, Алиреза; Чжоу, Минъюань; Цянь, Сяонин (2017). «Решение проблемы изменения внешнего вида в уличной робототехнике с помощью состязательной адаптации домена». arXiv:1703.01461 [cs.RO ].