Объяснимый искусственный интеллект - Explainable artificial intelligence

Объяснимый ИИ (XAI) относится к методам и техникам применения искусственный интеллект технология (AI), так что результаты решения могут быть поняты людьми. Это контрастирует с концепцией "черный ящик «в машинном обучении, где даже их дизайнеры не могут объяснить, почему ИИ принял конкретное решение.[1] XAI может быть реализацией социальной право на объяснение.[2] XAI актуален, даже если нет юридических прав или нормативных требований - например, XAI может улучшить Пользовательский опыт продукта или услуги, помогая конечным пользователям поверить в то, что ИИ принимает правильные решения.

Техническая проблема объяснения решений ИИ иногда известна как проблема интерпретируемости.[3] Еще одно соображение инфо-ожирение (перегрузка информации), таким образом, полная прозрачность не всегда возможно или даже необходимо. Однако следует избегать упрощения за счет введения пользователей в заблуждение, чтобы повысить доверие или скрыть нежелательные атрибуты системы, допуская компромисс между интерпретируемостью и полнотой объяснения.[4]

Системы искусственного интеллекта оптимизируют поведение, чтобы удовлетворить математически заданную целевую систему, выбранную разработчиками системы, например команду «максимизировать точность оценивая, насколько положительно обзоры фильмов входят в набор тестовых данных ". ИИ может изучить полезные общие правила из набора тестов, такие как" обзоры, содержащие слово "ужасно", скорее всего, будут отрицательными ". Однако он также может узнать несоответствующие правила, такие как" обзоры, содержащие 'Дэниел Дэй-Льюис «обычно положительные»; такие правила могут быть нежелательными, если считается, что они не могут быть обобщены за пределами набора тестов, или если люди считают правило «мошенничеством» или «несправедливым». Человек может проверять правила в XAI, чтобы получить представление о том, насколько вероятно, что система будет обобщать будущие реальные данные вне тестового набора.[3]

Цели

Сотрудничество между агенты В данном случае алгоритмы и люди зависят от доверия. Если люди принимают алгоритмические предписания, им нужно доверять им. Неполнота формализации критериев доверия является препятствием для простых подходов к оптимизации. По этой причине интерпретируемость и объяснимость позиционируются как промежуточные цели для проверки других критериев.[5]

Системы искусственного интеллекта иногда изучают нежелательные уловки, которые выполняют оптимальную работу по удовлетворению явных заранее запрограммированных целей на данных обучения, но которые не отражают сложные неявные желания разработчиков человеческих систем. Например, система 2017 г. распознавание изображений научились «жульничать», ища метку авторского права, которая была связана с изображениями лошадей, вместо того, чтобы научиться определять, была ли лошадь на самом деле изображена.[1] В другой системе 2017 г. контролируемое обучение ИИ, которому было поручено захватывать предметы в виртуальном мире, научился жульничать, помещая свой манипулятор между объектом и зрителем таким образом, чтобы он ложно цеплялся за объект.[6][7]

Один проект прозрачности, DARPA Программа XAI направлена ​​на создание моделей «стеклянных ящиков», которые можно объяснить «человеком в цикле», без значительного ущерба для производительности ИИ. Пользователи-люди должны быть в состоянии понять познание ИИ (как в режиме реального времени, так и постфактум) и уметь определять, когда следует доверять ИИ, а когда - не доверять.[8][9] Другие приложения XAI: извлечение знаний из моделей черного ящика и сравнения моделей.[10] Термин «стеклянный ящик» также использовался для систем, которые отслеживают входы и выходы системы, с целью проверки приверженности системы этическим и социально-правовым ценностям и, следовательно, предоставления объяснений, основанных на ценностях.[11] Более того, этим же термином был назван голосовой помощник, который в качестве объяснения производит контрфактические утверждения.[12]

История и методы

В 1970–1990-х годах системы символического мышления, такие как МИЦИН,[13] ГИДОН,[14] СОФИ,[15] и ПРОТО[16][17] были исследованы, которые могут представлять, рассуждать и объяснять их рассуждения в диагностических, учебных целях или в целях машинного обучения (обучения на основе объяснений). MYCIN, разработанный в начале 1970-х годов как исследовательский прототип для диагностики бактериемия инфекции кровотока, можно объяснить [18] какие из его закодированных вручную правил способствовали постановке диагноза в конкретном случае. Исследования в интеллектуальные системы обучения разработанные системы, такие как SOPHIE, которые могут действовать как «эксперт по формулировке», объясняя стратегию решения проблем на уровне, понятном учащемуся, чтобы они знали, что делать дальше. Например, SOPHIE могла бы объяснить качественные причины устранения неисправностей электроники, даже если в конечном итоге полагалась на СПЕЦИЯ схемотехнический симулятор. Точно так же GUIDON добавил правила обучения, чтобы дополнить правила уровня домена MYCIN, чтобы он мог объяснить стратегию медицинской диагностики. Символические подходы к машинному обучению, особенно те, которые основаны на обучении на основе объяснений, такие как PROTOS, явно полагались на представления объяснений, как для объяснения своих действий, так и для получения новых знаний.

В 1980-х - начале 1990-х годов были разработаны системы поддержания истины (TMS), чтобы расширить возможности причинно-следственных, основанных на правилах и логических систем вывода.[19]:360–362 TMS действует для явного отслеживания альтернативных линий рассуждений, обоснований выводов и линий рассуждений, которые приводят к противоречиям, позволяя будущим рассуждениям избежать этих тупиков. Чтобы предоставить объяснение, они прослеживают рассуждения от выводов до предположений с помощью операций с правилами или логических выводов, позволяя генерировать объяснения из следов рассуждений. В качестве примера рассмотрим основанного на правилах решателя проблем с несколькими правилами о Сократе, который делает вывод, что он умер от яда:

Просто проследив структуру зависимости, решатель проблемы может построить следующее объяснение: «Сократ умер, потому что был смертным и пил яд, и все смертные умирают, когда пьют яд. Сократ был смертным, потому что он был человеком, а все люди смертны. Сократ пил яд, потому что он придерживался диссидентских убеждений, правительство было консервативным, а те, кто придерживался консервативных диссидентских убеждений при консервативных правительствах, должны пить яд ».[20]:164–165

К 1990-м годам исследователи также начали изучать возможность значимого извлечения правил, не кодируемых вручную, генерируемых непрозрачными обученными нейронными сетями.[21] Исследователи в клинической экспертные системы Создавая поддержку принятия решений на основе нейронных сетей, врачи стремились разработать динамические объяснения, которые позволят этим технологиям стать более надежными и надежными на практике.[2] В 2010-х годах общественные опасения по поводу расовой и иной предвзятости при использовании ИИ для вынесения решений по уголовным делам и выяснения кредитоспособности могли привести к увеличению спроса на прозрачный искусственный интеллект.[1] В результате многие ученые и организации разрабатывают инструменты, помогающие обнаруживать предвзятость в своих системах.[22]

Марвин Мински и др. поднял вопрос о том, что ИИ может функционировать как форма наблюдения, с предвзятостью, присущей слежке, предлагая HI (гуманистический интеллект) как способ создания более справедливого и сбалансированного ИИ, работающего по принципу «человек в контуре».[23]

Современные сложные методы ИИ, такие как глубокое обучение а генетические алгоритмы по своей природе непрозрачны.[24] Для решения этой проблемы было разработано множество новых методов, позволяющих сделать новые модели более объяснимыми и интерпретируемыми.[25][26][27][28][29] Это включает в себя множество методов, таких как послойное распространение релевантности (LRP), метод определения того, какие функции в конкретном входном векторе вносят наибольший вклад в выходные данные нейронной сети.[30][31][32] Для объяснения одного конкретного прогноза, сделанного с помощью (нелинейной) модели черного ящика, были разработаны другие методы, цель которых называется «локальной интерпретируемостью».[33][34][35][36][37][38] Стоит отметить, что простое перенесение концепций локальной интерпретируемости в удаленный контекст (где модель черного ящика выполняется третьей стороной) в настоящее время изучается.[39][40]

Кроме того, была проведена работа над деревьями решений и байесовскими сетями, которые более прозрачны для проверки.[41] В 2018 г. междисциплинарная конференция под названием FAT * (справедливость, подотчетность и прозрачность) была создана для изучения прозрачности и объяснимости в контексте социотехнических систем, многие из которых включают искусственный интеллект.[42][43][44]

Регулирование

Поскольку регулирующие органы, официальные органы и обычные пользователи становятся зависимыми от динамических систем на основе ИИ, для процессов принятия решений потребуется более четкая подотчетность, чтобы обеспечить доверие и прозрачность. Свидетельство того, что это требование набирает обороты, можно увидеть с запуском первой глобальной конференции, посвященной исключительно этой развивающейся дисциплине, Международной совместной конференции по искусственному интеллекту: семинар по объяснимому искусственному интеллекту (XAI).[45]

Европейский Союз представил право на объяснение в Общее право на защиту данных (GDPR) как попытка справиться с потенциальными проблемами, вытекающими из растущей важности алгоритмов. Внедрение постановления началось в 2018 году. Однако право на объяснение в GDPR распространяется только на локальный аспект интерпретируемости. В Соединенных Штатах страховые компании обязаны объяснять свои решения о ставках и покрытии.[46]

Секторов

XAI был исследован во многих секторах, в том числе:

Рекомендации

  1. ^ а б c Образец, Ян (5 ноября 2017 г.). «Компьютер говорит нет: почему так важно сделать ИИ справедливым, подотчетным и прозрачным». хранитель. Получено 30 января 2018.
  2. ^ а б Эдвардс, Лилиан; Вил, Майкл (2017). «Раб алгоритма? Почему« право на объяснение », вероятно, не то средство, которое вы ищете». Duke Law and Technology Review. 16: 18. SSRN  2972855.
  3. ^ а б «Как ИИ-детективы открывают черный ящик глубокого обучения». Наука. 5 июля 2017 г.. Получено 30 января 2018..
  4. ^ Gilpin, Leilani H .; Бау, Дэвид; Юань, Бен З .; Баджва, Аиша; Спектр, Майкл; Кагал, Лалана (31.05.2018). «Объяснение объяснений: обзор интерпретируемости машинного обучения». arXiv:1806.00069 [stat.AI ].
  5. ^ Досилович, Филип; Брчич, Марио; Хлупич, Никица (25.05.2018). «Объяснимый искусственный интеллект: исследование» (PDF). MIPRO 2018 - Материалы 41-й Международной конвенции. MIPRO 2018. Опатия, Хорватия. С. 210–215. Дои:10.23919 / MIPRO.2018.8400040.
  6. ^ «DeepMind предлагает простые тесты, которые могут предотвратить апокалипсис Илона Маска». Bloomberg.com. 11 декабря 2017 г.. Получено 30 января 2018.
  7. ^ "Учиться на предпочтениях человека". Блог OpenAI. 13 июня 2017 г.. Получено 30 января 2018.
  8. ^ «Объясняемый искусственный интеллект (XAI)». DARPA. DARPA. Получено 17 июля 2017.
  9. ^ Хольцингер, Андреас; Пласс, Маркус; Хольцингер, Катарина; Крисан, Глория Серасела; Pintea, Camelia-M .; Паладе, Василий (2017-08-03). «Интерактивный подход к машинному обучению в стеклянной коробке для решения NP-сложных задач с участием человека в цикле». arXiv:1708.01104 [cs.AI ].
  10. ^ Биецек, Пшемыслав (23 июня 2018 г.). «DALEX: объяснители сложных прогнозных моделей». Журнал исследований в области машинного обучения. 19: 1–5. arXiv:1806.08915. Bibcode:2018arXiv180608915B.
  11. ^ Алер Тубелла, Андреа; Теодору, Андреас; Дигнум, Франк; Дигнум, Вирджиния (2019). Управление через Glass-Box: установление прозрачных моральных границ для поведения ИИ. Калифорния: Международные совместные конференции по организации искусственного интеллекта. Дои:10.24963 / ijcai.2019 / 802. ISBN  978-0-9992411-4-1.
  12. ^ Сокол, Кацпер; Флак, Питер (2018). «Стеклянный ящик: объяснение решений ИИ с помощью контрфактических утверждений посредством разговора с виртуальным помощником с поддержкой голоса». Материалы двадцать седьмой международной совместной конференции по искусственному интеллекту. С. 5868–5870. Дои:10.24963 / ijcai.2018 / 865. ISBN  9780999241127.
  13. ^ Fagan, L.M .; Shortliffe, E. H .; Бьюкенен, Б. Г. (1980). «Компьютерное принятие медицинских решений: от MYCIN к VM». Automedica. 3 (2): 97–108.
  14. ^ Кланси, Уильям (1987). Репетиторство на основе знаний: программа GUIDON. Кембридж, Массачусетс: MIT Press.
  15. ^ Браун, Джон С .; Burton, R. R .; Де Клир, Йохан (1982). «Педагогический, естественный язык и методы инженерии знаний в SOPHIE I, II и III». Интеллектуальные системы обучения. Академическая пресса. ISBN  0-12-648680-8.
  16. ^ Барейсс, Рэй; Портер, Брюс; Вейр, Крейг; Холте, Роберт (1990). "Protos: Ученик, основанный на образцах". Машинное обучение. 3. Морган Кауфманн Паблишерс Инк., Стр. 112–139. ISBN  1-55860-119-8.
  17. ^ Барейсс, Рэй. Приобретение знаний на основе образцов: единый подход к представлению концепций, классификации и обучению. Перспективы искусственного интеллекта.
  18. ^ Ван Лент, М .; Фишер, В .; Манкузо, М. (июль 2004 г.). «Объяснимая система искусственного интеллекта для тактического поведения небольших подразделений». Труды Национальной конференции по искусственному интеллекту. Сан-Хосе, Калифорния: AAAI Press. С. 900–907. ISBN  0262511835.
  19. ^ Рассел, Стюарт; Норвиг, Питер (2003). Искусственный интеллект: современный подход. Серия Prentice Hall по искусственному интеллекту (второе изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall, Pearson Education. ISBN  0-13-790395-2.
  20. ^ Форбус, Кеннет; Де Клир, Йохан (1993). Создание решателей проблем. Кембридж, Массачусетс: MIT Press. ISBN  0-262-06157-0.
  21. ^ Tickle, A. B .; Andrews, R .; Golea, M .; Дидерих, Дж. (Ноябрь 1998 г.). «Правда станет известна: направления и проблемы в извлечении знаний, встроенных в обученные искусственные нейронные сети». IEEE-транзакции в нейронных сетях. 9 (6): 1057–1068. Дои:10.1109/72.728352. ISSN  1045-9227. PMID  18255792.
  22. ^ «Accenture представляет инструмент, который поможет компаниям обеспечить справедливый ИИ». Bloomberg.com. Июнь 2018 г.. Получено 5 августа 2018.
  23. ^ Мински и др., "Общество интеллектуального наблюдения" IEEE ISTAS2013, страницы 13-17.
  24. ^ Мукерджи, Сиддхартха (27 марта 2017 г.). "А.И. против М.Д." Житель Нью-Йорка. Получено 30 января 2018.
  25. ^ «Интерпретируемые нейронные сети на основе непрерывнозначной логики и многокритериальных операторов принятия решений». Системы, основанные на знаниях. 199: 105972. 2020-07-08. Дои:10.1016 / j.knosys.2020.105972. ISSN  0950-7051.
  26. ^ Липтон, Захари К. (2016-06-10). «Мифы модельной интерпретируемости». arXiv:1606.03490 [cs.LG ].
  27. ^ Мердок, У. Джеймс; Сингх, Чандан; Кумбиер, Карл; Аббаси-Асл, Реза; Ю, Бин (14.01.2019). «Интерпретируемое машинное обучение: определения, методы и приложения». Труды Национальной академии наук Соединенных Штатов Америки. 116 (44): 22071–22080. arXiv:1901.04592. Bibcode:2019arXiv190104592M. Дои:10.1073 / pnas.1900654116. ЧВК  6825274. PMID  31619572.
  28. ^ Доши-Велес, Финал; Ким, Бин (2017-02-27). «На пути к строгой науке интерпретируемого машинного обучения». arXiv:1702.08608 [stat.ML ].
  29. ^ Абдоллахи, Бенуш и Ольфа Насрауи. (2016). «Объяснимые машины Больцмана с ограничениями для совместной фильтрации». arXiv:1606.07129 [stat.ML ].CS1 maint: несколько имен: список авторов (связь)
  30. ^ Шиблер, Дэн (2017-04-16). «Понимание нейронных сетей с послойным распространением релевантности и глубоких рядов Тейлора». Дэн Шиблер. Получено 2017-11-03.
  31. ^ Бах, Себастьян; Биндер, Александр; Монтавон, Грегуар; Клаушен, Фредерик; Мюллер, Клаус-Роберт; Самек, Войцех (10.07.2015). Суарес, Оскар Дениз (ред.). «О пиксельном объяснении решений нелинейного классификатора путем послойного распространения релевантности». PLOS ONE. 10 (7): e0130140. Bibcode:2015PLoSO..1030140B. Дои:10.1371 / journal.pone.0130140. ISSN  1932-6203. ЧВК  4498753. PMID  26161953.
  32. ^ Образец, Ян (5 ноября 2017 г.). «Компьютер говорит нет: почему так важно сделать ИИ справедливым, подотчетным и прозрачным». хранитель. Получено 5 августа 2018.
  33. ^ Мартенс, Дэвид; Провост, Фостер (2014). «Объяснение классификации документов на основе данных» (PDF). MIS Quarterly. 38: 73–99. Дои:10.25300 / MISQ / 2014 / 38.1.04.
  34. ^ ""Почему я должен вам доверять? »| Материалы 22-й Международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных». Дои:10.1145/2939672.2939778. S2CID  13029170. Цитировать журнал требует | журнал = (помощь)
  35. ^ Лундберг, Скотт М; Ли, Су-Ин (2017), Гайон, И .; Люксбург, Вашингтон; Bengio, S .; Уоллах, Х. (ред.), «Единый подход к интерпретации предсказаний модели» (PDF), Достижения в системах обработки нейронной информации 30, Curran Associates, Inc., стр. 4765–4774, arXiv:1705.07874, Bibcode:2017arXiv170507874L, получено 2020-03-13
  36. ^ Картер, Брэндон; Мюллер, Йонас; Джайн, Сиддхартха; Гиффорд, Дэвид (2019-04-11). «Что заставило вас сделать это? Понимание решений черного ящика с достаточным количеством входных подмножеств». 22-я Международная конференция по искусственному интеллекту и статистике: 567–576.
  37. ^ Шрикумар, Аванти; Гринсайд, Пейтон; Кундаже, Аншул (17.07.2017). «Изучение важных функций путем распространения различий в активации». Международная конференция по машинному обучению: 3145–3153.
  38. ^ «Аксиоматическая атрибуция для глубоких сетей | Труды 34-й Международной конференции по машинному обучению - Том 70». dl.acm.org. Получено 2020-03-13.
  39. ^ Айводжи, Ульрих; Араи, Хироми; Фортино, Оливье; Гамбс, Себастьен; Хара, Сатоши; Тэпп, Ален (24.05.2019). «Fairwashing: риск рационализации». Международная конференция по машинному обучению. PMLR: 161–170.
  40. ^ Ле Меррер, Эрван; Тредан, Жиль (сентябрь 2020 г.). «Удаленная объяснимость сталкивается с проблемой вышибалы». Природа Машинный интеллект. 2 (9): 529–539. Дои:10.1038 / с42256-020-0216-з. ISSN  2522-5839.
  41. ^ Бостром, Н., Юдковский, Э. (2014). Этика искусственного интеллекта. Кембриджский справочник по искусственному интеллекту, 316-334.
  42. ^ говорит Шарлотта Ланкастер (2018-10-04). «Что такое искусственный интеллект | Объяснение искусственного интеллекта». Эдурека. Получено 2020-09-14.
  43. ^ «FAT * Конференция».
  44. ^ «Компьютерные программы распознают белых мужчин лучше, чем черных женщин». Экономист. 2018. Получено 5 августа 2018.
  45. ^ «Семинар IJCAI 2017 по объяснимому искусственному интеллекту (XAI)» (PDF). Earthlink. IJCAI. Получено 17 июля 2017.
  46. ^ Кан, Джереми (12 декабря 2018 г.). «Искусственный интеллект должен кое-что объяснить». Bloomberg Businessweek. Получено 17 декабря 2018.
  47. ^ «Программа НАСА 'Evolutionary' автоматически проектирует антенну». НАСА. НАСА. Получено 17 июля 2017.
  48. ^ «Флэш-крах: влияние высокочастотной торговли на электронный рынок» (PDF). CFTC. CFTC. Получено 17 июля 2017.
  49. ^ Вен, Стивен Ф; Представители, Дженна; Кай, Джо; Гарибальди, Джонатан М; Куреши, Надим (2017). «Может ли машинное обучение улучшить прогнозирование риска сердечно-сосудистых заболеваний с использованием стандартных клинических данных?». PLOS ONE. 12 (4): e0174944. Bibcode:2017PLoSO..1274944W. Дои:10.1371 / journal.pone.0174944. ЧВК  5380334. PMID  28376093.
  50. ^ Хольцингер, Андреас; Биманн, Крис; Pattichis, Constantinos S .; Келл, Дуглас Б. (28 декабря 2017 г.). «Что нам нужно для создания объяснимых систем искусственного интеллекта для медицины?». arXiv:1712.09923 [cs.AI ].
  51. ^ «Tesla заявляет, что« не имеет возможности узнать », использовался ли автопилот во время катастрофы в Китае». Хранитель. 2016-09-14. Получено 17 июля 2017.
  52. ^ Абрамс, Рэйчел; Курц, Анналин (июль 2016 г.). "Джошуа Браун, погибший в автокатастрофе, испытал пределы своей Tesla". Нью-Йорк Таймс. Получено 17 июля 2017.
  53. ^ Олаге, Густаво (2011). «Эволюционно-компьютерная разработка операторов изображений, которые обнаруживают точки интереса с помощью генетического программирования ☆». Вычисления изображений и зрения. Эльзевир. 29 (7): 484–498. Дои:10.1016 / j.imavis.2011.03.004.
  54. ^ Куреши, М. Атиф; Грин, Дерек (2018-06-04). «EVE: объяснимая техника встраивания на основе векторов с использованием Википедии». Журнал интеллектуальных информационных систем. 53: 137–165. arXiv:1702.06891. Дои:10.1007 / s10844-018-0511-х. ISSN  0925-9902. S2CID  10656055.

внешняя ссылка