Состязательное машинное обучение - Adversarial machine learning

Не путать с Генеративная состязательная сеть.

Состязательное машинное обучение это машинное обучение метод, который пытается обмануть модели, вводя ложные данные.[1][2][3] Наиболее частая причина - сбой в модели машинного обучения.

Большинство методов машинного обучения были разработаны для работы с конкретными наборами задач, в которых данные обучения и тестирования генерируются из одного и того же статистического распределения (IID ). Когда эти модели применяются в реальном мире, злоумышленники могут предоставить данные, которые нарушают это статистическое предположение. Эти данные могут быть организованы для использования конкретных уязвимостей и компрометации результатов.[3][4]

История

В Снежная авария (1992) автор предложил сценарии технологии, уязвимой для враждебной атаки. В Нулевая история (2010), персонаж надевает футболку, украшенную таким образом, что он становится невидимым для электронного наблюдения.[5]

В 2004 году Нилеш Далви и другие отметили, что линейные классификаторы используется в спам-фильтры может быть побежден простым "уклонение атаки, "поскольку спамеры вставляли" хорошие слова "в свои спам-сообщения (примерно в 2007 году некоторые спамеры добавляли случайный шум к нечетким словам в" графическом спаме ", чтобы победить OCR В 2006 году Марко Баррено и другие опубликовали статью «Может ли машинное обучение быть безопасным?», в которой излагается широкая систематика атак. Еще в 2013 году многие исследователи продолжали надеяться, что нелинейные классификаторы (такие как опорные векторные машины и нейронные сети ) могут быть устойчивы к противникам. В 2012, глубокие нейронные сети стали преобладать проблемы компьютерного зрения; Начиная с 2014 года, Кристиан Сегеди и другие продемонстрировали, что злоумышленники могут обмануть глубокие нейронные сети.[6]

Недавно было замечено, что враждебные атаки труднее производить в практическом мире из-за различных ограничений среды, которые нивелируют эффект шума.[7][8] Например, любое небольшое вращение или слабое освещение на состязательном изображении может разрушить состязательность.

Примеры

Примеры включают атаки в фильтрация спама, где спам-сообщения маскируются из-за неправильного написания «плохих» слов или вставки «хороших» слов;[9][10] атаки в компьютерная безопасность, например, обфускация вредоносного кода в сетевые пакеты или ввести в заблуждение обнаружение подписи; атаки при биометрическом распознавании, при которых поддельные биометрические характеристики могут быть использованы для выдачи себя за законного пользователя;[11] или поставить под угрозу галереи пользовательских шаблонов, которые со временем адаптируются к обновленным характеристикам.

Исследователи показали, что, изменив только один пиксель, можно обмануть алгоритмы глубокого обучения.[12][13] Другие 3-D печать игрушечная черепаха с текстурой, созданной для обнаружения объектов Google AI классифицируйте его как винтовку независимо от угла обзора черепахи.[14] Для создания черепахи потребовалась только недорогая коммерчески доступная технология 3-D печати.[15]

Было показано, что изображение собаки, созданное с помощью машин, выглядело как кошка как для компьютеров, так и для людей.[16] В исследовании 2019 года сообщалось, что люди могут догадываться, как машины будут классифицировать состязательные изображения.[17] Исследователи обнаружили методы возмущения появления знака остановки, так что автономное транспортное средство классифицировало его как знак слияния или ограничения скорости.[3][18][19]

McAfee атаковали Тесла бывший Mobileye система, обманом заставив ее проехать на 50 миль в час сверх установленной скорости, просто добавив двухдюймовую полосу черной ленты к знаку ограничения скорости.[20][21]

Состязательные узоры на очках или одежде, предназначенные для введения в заблуждение систем распознавания лиц или считывателей автомобильных номеров, привели к появлению нишевой индустрии «стелс-стритвира».[22]

Состязательная атака на нейронную сеть может позволить злоумышленнику внедрить алгоритмы в целевую систему.[23] Исследователи также могут создавать состязательные аудиовходы, чтобы замаскировать команды интеллектуальным помощникам в безобидном звуке.[24]

Алгоритмы кластеризации используются в приложениях безопасности. Вредоносное ПО и Компьютерный вирус Анализ направлен на выявление семейств вредоносных программ и создание конкретных сигнатур обнаружения.[25][26]

Методы атаки

Таксономия

Атаки на (контролируемые) алгоритмы машинного обучения классифицированы по трем основным направлениям:[27] влияние на классификатор, нарушения безопасности и их специфику.

  • Влияние классификатора: атака может повлиять на классификатор, нарушив фазу классификации. Этому может предшествовать фаза исследования для выявления уязвимостей. Возможности злоумышленника могут быть ограничены наличием ограничений на манипулирование данными.[28]
  • Нарушение безопасности: атака может предоставить вредоносные данные, которые классифицируются как легитимные. Вредоносные данные, предоставленные во время обучения, могут привести к тому, что законные данные будут отклонены после обучения.
  • Специфика: целевая атака пытается разрешить конкретное вторжение / нарушение. В качестве альтернативы неизбирательное нападение создает общий хаос.

Эта таксономия была расширена до более полной модели угроз, которая позволяет делать явные предположения о цели противника, знании атакуемой системы, возможности манипулировать входными данными / компонентами системы и о стратегии атаки.[29][30] Два основных сценария атаки:

Стратегии

Уклонение

Атаки уклонения[29][30][31] являются наиболее распространенным типом атак. Например, спамеры и хакеры часто пытаются избежать обнаружения, запутывая содержимое спам-писем и вредоносное ПО. Образцы изменены, чтобы избежать обнаружения; то есть быть классифицированным как законное. Это не связано с влиянием на данные обучения. Ярким примером уклонения является спам на основе изображений в котором содержимое спама встроено в прикрепленное изображение, чтобы избежать анализа текста фильтрами защиты от спама. Другой пример уклонения - атаки с использованием спуфинга на системы биометрической проверки.[11]

Отравление

Отравление - это состязательное заражение обучающих данных. Системы машинного обучения можно повторно обучать, используя данные, собранные во время работы. Например, системы обнаружения вторжений (IDS) часто переобучаются с использованием таких данных. Злоумышленник может отравить эти данные, внедрив вредоносные образцы во время работы, которые впоследствии нарушат переобучение.[29][30][27][32][33][34]

Кража модели

Кража модели (также называемая извлечением модели) включает в себя злоумышленник, исследующий систему машинного обучения черного ящика, чтобы либо восстановить модель, либо извлечь данные, на которых она была обучена.[35] Это может вызвать проблемы, если данные обучения или сама модель являются конфиденциальными и конфиденциальными. Например, модель кражи может быть использована для извлечения проприетарной модели торговли акциями, которую злоумышленник может затем использовать для собственной финансовой выгоды.

Конкретные типы атак

Существует большое количество различных атак, которые могут быть использованы против систем машинного обучения. Многие из них работают на обоих глубокое обучение системы, а также традиционные модели машинного обучения, такие как SVM[36] и линейная регрессия.[37] Примеры этих типов атак высокого уровня включают:

  • Состязательные примеры[38]
  • Троянские атаки / атаки через бэкдор[39]
  • Модель инверсии[40]
  • Вывод о членстве [41]

Состязательные примеры

Состязательные примеры относятся к специально созданным входным данным, которые спроектированы так, чтобы выглядеть «нормально» для людей, но вызывают неправильную классификацию модели машинного обучения. Часто для выявления ошибочной классификации используется форма специально разработанного «шума». Ниже приведены некоторые современные методы создания состязательных примеров из литературы (далеко не полный список).

  • Метод быстрого градиентного знака (FGSM)[42]
  • Прогнозируемый градиентный спуск (PGD)[43]
  • Карлини и Вагнер (C&W) атакуют[44]
  • Состязательная патч-атака[45]

Защиты

Концептуальное представление проактивной гонки вооружений[30][26]

Исследователи предложили многоэтапный подход к защите машинного обучения.[6]

  • Моделирование угроз - формализовать цели и возможности злоумышленников по отношению к целевой системе.
  • Моделирование атаки - формализуйте проблему оптимизации, которую злоумышленник пытается решить, в соответствии с возможными стратегиями атаки.
  • Оценка воздействия атаки
  • Дизайн противодействия
  • Обнаружение шума (для атаки на основе уклонения)[46]

Механизмы

Был предложен ряд механизмов защиты от уклонения, отравления и атак на конфиденциальность, в том числе:

  • Алгоритмы безопасного обучения[10][47][48]
  • Системы множественных классификаторов[9][49]
  • Написанные AI алгоритмы.[23]
  • ИИ, исследующие тренировочную среду; например, при распознавании изображений - активная навигация в трехмерной среде вместо пассивного сканирования фиксированного набора 2D-изображений.[23]
  • Обучение с сохранением конфиденциальности[30][50]
  • Лестничный алгоритм для Kaggle -стильные соревнования
  • Теоретико-игровые модели[51][52][53]
  • Очистка данных обучения
  • Состязательная подготовка[54]
  • Алгоритмы обнаружения бэкдора[55]

Программного обеспечения

Доступные программные библиотеки, в основном для тестирования и исследований.

  • AdversariaLib - включает реализацию атак уклонения
  • AdLib - Библиотека Python с интерфейсом в стиле scikit, которая включает в себя реализации ряда опубликованных атак уклонения и защиты.
  • AlfaSVMLib - Состязательные атаки с переворотом меток на машины опорных векторов[56]
  • Отравляющие атаки на машины опорных векторов, и Атаки на алгоритмы кластеризации
  • глубокое проникновение - Metasploit для глубокого обучения, который в настоящее время атакует глубокие нейронные сети с использованием Тензорфлоу.[57] Эта структура в настоящее время обновляется для обеспечения совместимости с последними версиями Python.
  • Cleverhans - Библиотека Tensorflow для тестирования существующих моделей глубокого обучения и известных атак
  • дурак - Библиотека Python для создания состязательных примеров, реализует несколько атак
  • SecML - Библиотека Python для безопасного и понятного машинного обучения - включает реализацию широкого спектра алгоритмов машинного обучения и атак, поддержку плотных и разреженных данных, многопроцессорность, инструменты визуализации.
  • TrojAI - Библиотека Python для создания масштабных моделей с бэкдором и троянами для исследования обнаружения троянов
  • Инструментарий состязательной устойчивости (ART) - Библиотека Python для безопасности машинного обучения
  • Advertorch - Набор инструментов Python для исследования состязательной устойчивости, основные функции которого реализованы в PyTorch

Смотрите также

Рекомендации

  1. ^ Кианпур, Мазахер; Вэнь, Шао-Фан (2020). «Временные атаки на машинное обучение: современное состояние». Интеллектуальные системы и приложения. Достижения в интеллектуальных системах и вычислениях. 1037. С. 111–125. Дои:10.1007/978-3-030-29516-5_10. ISBN  978-3-030-29515-8.
  2. ^ Бенджио, Сами; Гудфеллоу, Ян Дж .; Куракин, Алексей (2017). «Масштабное состязательное машинное обучение». Google AI. arXiv:1611.01236. Bibcode:2016arXiv161101236K. Получено 2018-12-13.
  3. ^ а б c Лим, Хейзел Си Мин; Taeihagh, Араз (2019). «Принятие алгоритмических решений в AV: понимание этических и технических проблем для умных городов». Устойчивость. 11 (20): 5791. arXiv:1910.13122. Bibcode:2019arXiv191013122L. Дои:10.3390 / su11205791. S2CID  204951009.
  4. ^ Гудфеллоу, Ян; Макдэниел, Патрик; Папернот, Николас (25 июня 2018 г.). «Сделать машинное обучение устойчивым к злоумышленникам». Коммуникации ACM. 61 (7): 56–66. Дои:10.1145/3134599. ISSN  0001-0782. Получено 2018-12-13.CS1 maint: ref = harv (ссылка на сайт)
  5. ^ Винсент, Джеймс (12 апреля 2017 г.). «Магический ИИ: это оптические иллюзии, которые обманывают, обманывают и сбивают с толку компьютеры». Грани. Получено 27 марта 2020.
  6. ^ а б Бигджо, Баттиста; Роли, Фабио (декабрь 2018 г.). «Дикие шаблоны: десять лет после появления враждебного машинного обучения». Распознавание образов. 84: 317–331. arXiv:1712.03141. Дои:10.1016 / j.patcog.2018.07.023. S2CID  207324435.
  7. ^ Куракин, Алексей; Гудфеллоу, Ян; Бенджио, Сами (2016). «Противоречивые примеры в физическом мире». arXiv:1607.02533 [cs.CV ].
  8. ^ Гупта, Кишор Датта, Дипанкар Дасгупта и Захид Ахтар. «Вопросы применимости состязательных атак, основанных на уклонении, и методов смягчения». Серия симпозиумов IEEE 2020 по вычислительному интеллекту (SSCI). 2020.
  9. ^ а б Бигджо, Баттиста; Фумера, Джорджио; Роли, Фабио (2010). «Множественные системы классификаторов для создания надежных классификаторов в агрессивной среде». Международный журнал машинного обучения и кибернетики. 1 (1–4): 27–41. Дои:10.1007 / s13042-010-0007-7. ISSN  1868-8071. S2CID  8729381.
  10. ^ а б Брюкнер, Михаэль; Канцов, Кристиан; Схеффер, Тобиас (2012). «Статические предсказательные игры для состязательных задач обучения» (PDF). Журнал исследований в области машинного обучения. 13 (Сен): 2617–2654. ISSN  1533-7928.
  11. ^ а б Родригес, Рикардо Н .; Линг, Ли Луан; Говиндараджу, Вену (1 июня 2009 г.). «Устойчивость методов мультимодального биометрического слияния к атакам с подделкой» (PDF). Журнал визуальных языков и вычислений. 20 (3): 169–179. Дои:10.1016 / j.jvlc.2009.01.010. ISSN  1045-926X.
  12. ^ Су, Цзявэй; Варгас, Данило Васконселлос; Сакураи, Коити (2019). «Атака одним пикселем для обмана глубоких нейронных сетей». IEEE Transactions по эволюционным вычислениям. 23 (5): 828–841. arXiv:1710.08864. Дои:10.1109 / TEVC.2019.2890858. S2CID  2698863.
  13. ^ Су, Цзявэй; Варгас, Данило Васконселлос; Сакураи, Коити (октябрь 2019 г.). «Атака одним пикселем для обмана глубоких нейронных сетей». IEEE Transactions по эволюционным вычислениям. 23 (5): 828–841. arXiv:1710.08864. Дои:10.1109 / TEVC.2019.2890858. ISSN  1941-0026. S2CID  2698863.
  14. ^ "Изменение одного пикселя дурачит программы AI". Новости BBC. 3 ноября 2017 г.. Получено 12 февраля 2018.
  15. ^ Аталые, Аниш; Энгстрем, Логан; Ильяс, Андрей; Квок, Кевин (2017). «Синтез надежных примеров противоборства». arXiv:1707.07397 [cs.CV ].
  16. ^ «У ИИ есть проблема с галлюцинациями, которую трудно исправить». ПРОВОДНОЙ. 2018. Получено 10 марта 2018.
  17. ^ Чжоу, Чжэнлун; Файерстоун, Чаз (2019). «Люди могут расшифровать изображения враждебных сторон». Nature Communications. 10: 1334. arXiv:1809.04120. Bibcode:2019NatCo..10.1334Z. Дои:10.1038 / s41467-019-08931-6. PMID  30902973.
  18. ^ Джайн, Анант (09.02.2019). «Взлом нейронных сетей с помощью состязательных атак - к науке о данных». Средняя. Получено 2019-07-15.
  19. ^ Акерман, Эван (2017-08-04). «Незначительные модификации уличных знаков могут полностью обмануть алгоритмы машинного обучения». IEEE Spectrum: Новости технологий, инженерии и науки. Получено 2019-07-15.
  20. ^ "Крошечный кусок ленты обманом заставил Тесла разогнаться до 50 миль в час". Проводной. 2020. Получено 11 марта 2020.
  21. ^ «Взлом модели ADAS для создания более безопасных дорог для автономных транспортных средств». Блоги McAfee. 2020-02-19. Получено 2020-03-11.
  22. ^ Сибрук, Джон (2020). «Одежда для эпохи слежки». Житель Нью-Йорка. Получено 5 апреля 2020.
  23. ^ а б c Небеса, Дуглас (октябрь 2019 г.). «Почему ИИ с глубоким обучением так легко обмануть». Природа. 574 (7777): 163–166. Bibcode:2019Натура.574..163H. Дои:10.1038 / d41586-019-03013-5. PMID  31597977.
  24. ^ Хатсон, Мэтью (10 мая 2019 г.). «ИИ теперь может защищаться от вредоносных сообщений, скрытых в речи». Природа. Дои:10.1038 / d41586-019-01510-1. PMID  32385365.
  25. ^ Д. Б. Скилликорн. «Открытие состязательного знания». Интеллектуальные системы IEEE, 24: 54–61, 2009.
  26. ^ а б Б. Бигджо, Г. Фумера и Ф. Роли. "Атакуют системы распознавания образов: проблемы проектирования и исследования ". Int'l J. Patt. Recogn. Artif. Intell., 28 (7): 1460002, 2014.
  27. ^ а б Баррено, Марко; Нельсон, Блейн; Джозеф, Энтони Д .; Тайгар, Дж. Д. (2010). «Безопасность машинного обучения» (PDF). Машинное обучение. 81 (2): 121–148. Дои:10.1007 / s10994-010-5188-5. S2CID  2304759.
  28. ^ Сикос, Лесли Ф. (2019). ИИ в кибербезопасности. Справочная библиотека интеллектуальных систем. 151. Чам: Спрингер. п. 50. Дои:10.1007/978-3-319-98842-9. ISBN  978-3-319-98841-2.
  29. ^ а б c Б. Бигджо, Г. Фумера и Ф. Роли. "Оценка безопасности атакованных классификаторов образов В архиве 2018-05-18 в Wayback Machine ". IEEE Transactions on Knowledge and Data Engineering, 26 (4): 984–996, 2014.
  30. ^ а б c d е Бигджо, Баттиста; Корона, Игино; Нельсон, Блейн; Рубинштейн, Бенджамин И. П .; Майорка, Давиде; Фумера, Джорджио; Джачинто, Джорджио; Роли, Фабио (2014). «Оценка безопасности машин опорных векторов в агрессивных средах». Приложения опорных векторов. Издательство Springer International. С. 105–153. arXiv:1401.7727. Дои:10.1007/978-3-319-02300-7_4. ISBN  978-3-319-02300-7. S2CID  18666561.
  31. ^ Б. Нельсон, Б. И. Рубинштейн, Л. Хуанг, А. Д. Джозеф, С. Дж. Ли, С. Рао и Дж. Д. Тайгар. "Стратегии запросов для обхода классификаторов, вызывающих выпуклость ". J. Mach. Learn. Res., 13: 1293–1332, 2012
  32. ^ Б. Биггио, Б. Нельсон, П. Ласков. "Поддержка векторных машин под состязательным шумом лейбла ". In Journal of Machine Learning Research - Proc. 3 Asian Conf. Machine Learning, volume 20, pp. 97–112, 2011.
  33. ^ М. Клофт и П. Ласков. "Анализ безопасности обнаружения аномалий центра тяжести онлайн ". Journal of Machine Learning Research, 13: 3647–3690, 2012.
  34. ^ Моисеев, Илья (2019-07-15). «Отравляющие атаки на машинное обучение - к науке о данных». Средняя. Получено 2019-07-15.
  35. ^ «Как украсть современные системы НЛП с тарабарщиной?». cleverhans-blog. 2020-04-06. Получено 2020-10-15.
  36. ^ Бигджо, Баттиста; Нельсон, Блейн; Ласков, Павел (25.03.2013). «Отравляющие атаки на машины опорных векторов». arXiv:1206.6389 [cs.LG ].
  37. ^ Ягельский, Мэтью; Опря, Алина; Бигджо, Баттиста; Лю, Чанг; Нита-Ротару, Кристина; Ли, Бо (май 2018 г.). «Манипулирование машинным обучением: отравляющие атаки и контрмеры для регрессионного обучения». Симпозиум IEEE 2018 по безопасности и конфиденциальности (SP). IEEE: 19–35. arXiv:1804.00308. Дои:10.1109 / sp.2018.00057. ISBN  978-1-5386-4353-2. S2CID  4551073.
  38. ^ «Атака машинного обучения на примерах противоборства». OpenAI. 2017-02-24. Получено 2020-10-15.
  39. ^ Гу, Тяньюй; Долан-Гавитт, Брендан; Гарг, Сиддхарт (11 марта 2019 г.). «Плохие сети: выявление уязвимостей в цепочке поставок модели машинного обучения». arXiv:1708.06733 [cs.CR ].
  40. ^ Вил, Майкл; Биннс, Рувим; Эдвардс, Лилиан (28.11.2018). «Запоминающие алгоритмы: атаки с инверсией модели и закон о защите данных». Философские труды. Серия A, математические, физические и инженерные науки. 376 (2133). arXiv:1807.04644. Bibcode:2018RSPTA.37680083V. Дои:10.1098 / rsta.2018.0083. ISSN  1364-503X. ЧВК  6191664. PMID  30322998.
  41. ^ Шокри, Реза; Стронати, Марко; Песня, Цунчжэн; Шматиков, Виталий (31.03.2017). «Атаки на определение членства в моделях машинного обучения». arXiv:1610.05820 [cs.CR ].
  42. ^ Гудфеллоу, Ян Дж .; Шленс, Джонатон; Сегеди, Кристиан (2015-03-20). «Объяснение и использование примеров противоборства». arXiv: 1412.6572 [cs, stat].
  43. ^ Мадри, Александр; Макелов, Александр; Шмидт, Людвиг; Ципрас, Димитрис; Влада, Адриан (2019-09-04). «На пути к моделям глубокого обучения, устойчивым к атакам противника». arXiv: 1706.06083 [cs, stat].
  44. ^ Карлини, Николас; Вагнер, Давид (2017-03-22). «К оценке устойчивости нейронных сетей». arXiv: 1608.04644 [cs].
  45. ^ Браун, Том Б .; Мане, Одуванчик; Рой, Аурко; Абади, Мартин; Гилмер, Джастин (2018-05-16). "Состязательный патч". arXiv: 1712.09665 [cs].
  46. ^ Кишор Датта Гупта; Ахтар, Захид; Дасгупта, Дипанкар (2020). «Определение последовательности методов обработки изображений (IPT) для обнаружения состязательных атак». arXiv:2007.00337 [cs.CV ].
  47. ^ О. Декель, О. Шамир, Л. Сяо. "Учимся классифицировать отсутствующие и поврежденные функции ". Машинное обучение, 81: 149–178, 2010.
  48. ^ Лю, Вэй; Чавла, Санджай (2010). «Разработка состязательных паттернов за счет упорядоченной минимизации потерь» (PDF). Машинное обучение. 81: 69–83. Дои:10.1007 / s10994-010-5199-2. S2CID  17497168.
  49. ^ Б. Бигджо, Г. Фумера и Ф. Роли. "Избегайте сложных систем с несколькими классификаторами В О. Окуне и Дж. Валентини, редакторах, контролируемые и неконтролируемые методы ансамбля и их приложения, том 245 исследований в области вычислительного интеллекта, страницы 15–38. Springer Berlin / Heidelberg, 2009.
  50. ^ Б. И. П. Рубинштейн, П. Л. Бартлетт, Л. Хуанг, Н. Тафт. "Обучение в большом функциональном пространстве: механизмы сохранения конфиденциальности для svm-обучения ". Journal of Privacy and Confidentiality, 4 (1): 65–100, 2012.
  51. ^ М. Кантарджоглу, Б. Си, К. Клифтон. «Оценка классификатора и выбор атрибутов против активных противников». Данные Мин. Знай. Discov., 22: 291–335, январь 2011.
  52. ^ Чивукула, Аниш; Ян, Синхао; Лю, Вэй; Чжу, Тяньцин; Чжоу, Ванлей (2020). «Теоретико-игровое состязательное глубокое обучение с различными противниками». IEEE Transactions по разработке знаний и данных: 1. Дои:10.1109 / TKDE.2020.2972320. ISSN  1558-2191.
  53. ^ Чивукула, Аниш Сриваллабх; Лю, Вэй (2019). «Состязательные модели глубокого обучения с множеством противников». IEEE Transactions по разработке знаний и данных. 31 (6): 1066–1079. Дои:10.1109 / TKDE.2018.2851247. ISSN  1558-2191. S2CID  67024195.
  54. ^ Гудфеллоу, Ян Дж .; Шленс, Джонатон; Сегеди, Кристиан (2015-03-20). «Объяснение и использование состязательных примеров». arXiv:1412.6572 [stat.ML ].
  55. ^ «Трояй». www.iarpa.gov. Получено 2020-10-14.
  56. ^ Х. Сяо, Б. Биггио, Б. Нельсон, Х. Сяо, К. Эккерт и Ф. Роли. "Поддержка машин-переносчиков при заражении злонамеренных этикеток ". Нейрокомпьютеры, специальный выпуск о достижениях в обучении с помощью шума этикеток, в прессе.
  57. ^ "cchio / deep-pwning". GitHub. Получено 2016-08-08.

внешняя ссылка