Вычислительные инструменты для искусственного интеллекта - Computational tools for artificial intelligence

В этой статье обсуждаются вычислительные инструменты, используемые в искусственный интеллект.

Поиск и оптимизация

Основные статьи: Алгоритм поиска, Математическая оптимизация, и Эволюционные вычисления

Многие проблемы в искусственном интеллекте могут быть решены теоретически путем интеллектуального поиска множества возможных решений:[1] Рассуждение можно свести к поиску. Например, логическое доказательство можно рассматривать как поиск пути, ведущего от предпосылки к выводы, где каждый шаг представляет собой применение правило вывода.[2] Планирование алгоритмы ищут в деревьях целей и подцелей, пытаясь найти путь к целевой цели, процесс, называемый анализ средств и целей.[3] Робототехника использование алгоритмов движения конечностей и хватания предметов местные поиски в конфигурационное пространство.[4] Много обучение алгоритмы используют алгоритмы поиска на основе оптимизация.

Простой исчерпывающий поиск[5] редко бывает достаточно для решения большинства реальных проблем: пространство поиска (количество мест для поиска) быстро увеличивается до астрономические числа. Результатом является поиск, который слишком медленно или никогда не завершается. Решение многих проблем - использовать "эвристика "или" эмпирические правила ", которые отдают предпочтение вариантам в пользу тех, которые с большей вероятностью достигнут цели, и делают это за меньшее количество шагов. В некоторых поисковых методологиях эвристика также может служить для полного исключения некоторых вариантов, которые вряд ли приведут к цели. (называется "обрезка то дерево поиска "). Эвристика предоставить программе «наилучшее предположение» о пути, на котором лежит решение.[6][7] Эвристика ограничивает поиск решений меньшим размером выборки.[8]

В 1990-е годы на первый план вышел совсем другой вид поиска, основанный на математической теории оптимизация. Для многих проблем можно начать поиск с некоторой формы предположения, а затем постепенно уточнять предположение, пока больше не удастся выполнить уточнения. Эти алгоритмы можно представить как слепые. скалолазание: мы начинаем поиск со случайной точки на ландшафте, а затем, скачками или шагами, продолжаем продвигать нашу догадку вверх, пока не достигнем вершины. Другие алгоритмы оптимизации: имитация отжига, поиск луча и случайная оптимизация.[9]

А рой частиц ища глобальный минимум

Эволюционные вычисления использует форму оптимизации поиска. Например, они могут начать с популяции организмов (предположений), а затем позволить им мутировать и рекомбинировать, выбор только сильнейшие выживут в каждом поколении (уточнение предположений). Классический эволюционные алгоритмы включают генетические алгоритмы, программирование экспрессии генов, и генетическое программирование.[10]*[11][12][13] В качестве альтернативы процессы распределенного поиска могут координироваться через рой интеллект алгоритмы. В поиске используются два популярных алгоритма роя: оптимизация роя частиц (вдохновленный птицей стекаться ) и оптимизация колонии муравьев (вдохновленный следы муравьев ).[14][15]

Логика

Основные статьи: Логическое программирование и Автоматизированное рассуждение

Логика[16][17] используется для представления знаний и решения проблем, но может применяться и к другим проблемам. Например, спутник алгоритм использует логику для планирование[18] и индуктивное логическое программирование это метод для обучение.[19]

В исследованиях ИИ используется несколько различных форм логики. Логика высказываний[20] вовлекает функции истины например, «или» и «не». Логика первого порядка[21][17] добавляет кванторы и предикаты, и может выражать факты об объектах, их свойствах и отношениях друг с другом. Теория нечетких множеств присваивает «степень истины» (от 0 до 1) расплывчатым утверждениям, таким как «Алиса старая» (или богатая, или высокая, или голодная), которые слишком лингвистически неточны, чтобы быть полностью истинными или ложными. Нечеткая логика успешно используется в Системы управления чтобы позволить экспертам вносить расплывчатые правила, такие как «если вы находитесь близко к станции назначения и двигаетесь быстро, увеличивайте тормозное давление поезда»; затем эти расплывчатые правила могут быть численно уточнены в системе. Нечеткая логика плохо масштабируется в базах знаний; многие исследователи искусственного интеллекта сомневаются в обоснованности цепочки выводов нечеткой логики.[а][23][24]

Логика по умолчанию, немонотонная логика и ограничение[25] - это формы логики, предназначенные для помощи в рассуждениях по умолчанию и проблема квалификации. Несколько расширений логики были разработаны для обработки определенных областей знания, такие как: логика описания;[26] ситуационное исчисление, исчисление событий и свободный расчет (для отображения событий и времени);[27] причинное исчисление;[28] исчисление убеждений (пересмотр убеждений);[29] и модальная логика.[30] Также были разработаны логики для моделирования противоречивых или непоследовательных утверждений, возникающих в многоагентных системах, например: паранепротиворечивая логика.

Вероятностные методы для неопределенных рассуждений

Основные статьи: Байесовская сеть, Скрытая марковская модель, Фильтр Калмана, Фильтр твердых частиц, Теория принятия решений, и Теория полезности
Ожидание-максимизация кластеризация Старый Верный Данные об извержении начинаются со случайного предположения, но затем успешно сходятся в точной кластеризации двух физически различных режимов извержения.

Многие проблемы в ИИ (в рассуждениях, планировании, обучении, восприятии и робототехнике) требуют, чтобы агент работал с неполной или неопределенной информацией. Исследователи искусственного интеллекта разработали ряд мощных инструментов для решения этих проблем, используя методы из вероятность теория и экономика.[31][17]

Байесовские сети[32] - это очень общий инструмент, который можно использовать для решения различных задач: рассуждения (с помощью Байесовский вывод алгоритм),[33] обучение (с использованием алгоритм максимизации ожидания ),[b][35] планирование (с помощью сети принятия решений )[36] и восприятие (с помощью динамические байесовские сети ).[37] Вероятностные алгоритмы также могут использоваться для фильтрации, прогнозирования, сглаживания и поиска объяснений для потоков данных, помогая восприятие системы для анализа процессов, которые происходят во времени (например, скрытые марковские модели или Фильтры Калмана ).[37] По сравнению с символической логикой, формальный байесовский вывод требует больших вычислительных ресурсов. Чтобы вывод был податливым, большинство наблюдений должны быть условно независимый друг друга. Сложные графики с ромбами или другими «петлями» (ненаправленные циклы ) может потребоваться сложный метод, такой как Цепь Маркова Монте-Карло, который распространяет ансамбль случайные пешеходы по всей байесовской сети и пытается приблизиться к оценке условных вероятностей. Байесовские сети используются на Xbox Live оценивать и сравнивать игроков; победы и поражения являются «свидетельством» того, насколько хорош игрок[нужна цитата ]. AdSense использует байесовскую сеть с более чем 300 миллионами ребер, чтобы узнать, какую рекламу показывать.[34]:Глава 6

Ключевым понятием экономической науки является "полезность ": мера того, насколько что-то ценно для интеллектуального агента. Были разработаны точные математические инструменты, которые анализируют, как агент может делать выбор и планировать, используя теория принятия решений, анализ решений, [38] и теория информационной ценности.[39] Эти инструменты включают такие модели, как Марковские процессы принятия решений,[40] динамичный сети принятия решений,[37] теория игры и конструкция механизма.[41]

Классификаторы и статистические методы обучения

Основные статьи: Классификатор (математика), Статистическая классификация, и Машинное обучение

Простейшие приложения ИИ можно разделить на два типа: классификаторы («если блестит, то ромб») и контроллеры («если блестит, то поднимай»). Однако контроллеры также классифицируют условия, прежде чем делать выводы, и поэтому классификация составляет центральную часть многих систем ИИ. Классификаторы это функции, которые используют сопоставление с образцом для определения ближайшего совпадения. Их можно настраивать по примерам, что делает их очень привлекательными для использования в AI. Эти примеры известны как наблюдения или закономерности. При обучении с учителем каждый паттерн принадлежит определенному предопределенному классу. Класс - это решение, которое нужно принять. Все наблюдения в сочетании с их метками классов известны как набор данных. Когда получено новое наблюдение, оно классифицируется на основе предыдущего опыта.[42]

Классификатор можно обучить разными способами; есть много статистических и машинное обучение подходы. В Древо решений[43] пожалуй, наиболее широко используемый алгоритм машинного обучения.[34]:88 Другими широко используемыми классификаторами являются нейронная сеть,[44] алгоритм k-ближайшего соседа,[c][45] методы ядра такой как Машина опорных векторов (SVM),[d][46] Модель гауссовой смеси,[47] и чрезвычайно популярный наивный байесовский классификатор.[e][48] Производительность классификатора сильно зависит от характеристик данных, которые необходимо классифицировать, таких как размер набора данных, распределение выборок по классам, размерность и уровень шума. Классификаторы на основе моделей работают хорошо, если предполагаемая модель очень хорошо подходит для фактических данных. В противном случае, если нет подходящей модели и если единственной проблемой является точность (а не скорость или масштабируемость), общепринято считать, что дискриминативные классификаторы (особенно SVM) имеют тенденцию быть более точными, чем классификаторы на основе моделей, такие как «наивный байесовский» по большинству практических наборов данных.[49][50]

Искусственные нейронные сети

Основные статьи: Искусственная нейронная сеть и Коннекционизм
Нейронная сеть - это взаимосвязанная группа узлов, подобная обширной сети нейроны в человеческий мозг.

Нейронные сети были вдохновлены архитектурой нейронов человеческого мозга. Простой «нейрон» N принимает входные данные от других нейронов, каждый из которых при активации (или «срабатывании») передает взвешенный «голос» за или против того, N должен сам активироваться. Для обучения требуется алгоритм для корректировки этих весов на основе данных обучения; один простой алгоритм (получивший название "огонь вместе, провод вместе ") заключается в увеличении веса между двумя подключенными нейронами, когда активация одного вызывает успешную активацию другого. Нейронная сеть формирует" концепции ", которые распределяются между подсетью общих[f] нейроны, которые стремятся срабатывать вместе; понятие, означающее «нога», может быть объединено с подсетью, означающей «ступня», которая включает звук для «ступни». Нейроны обладают непрерывным спектром активации; Кроме того, нейроны могут обрабатывать входные данные нелинейным образом, а не просто взвешивать голоса. Современные нейронные сети могут изучать как непрерывные функции, так и, что удивительно, цифровые логические операции. Первые успехи нейронных сетей включали предсказание фондового рынка и (в 1995 г.) в основном беспилотного автомобиля.[г][34]:Глава 4 В 2010-х годах достижения в области нейронных сетей с использованием глубокого обучения привели к тому, что ИИ вошел в широкое общественное сознание и способствовал огромному увеличению корпоративных расходов на ИИ; например, связанные с ИИ M&A в 2017 году было более чем в 25 раз больше, чем в 2015 году.[51][52]

Изучение не обучения искусственные нейронные сети[44] началось за десять лет до того, как была основана область исследований искусственного интеллекта, в работе Уолтер Питтс и Уоррен Маккаллач. Фрэнк Розенблатт изобрел перцептрон, обучающая сеть с одним слоем, похожая на старую концепцию линейная регрессия. Среди первых пионеров также Алексей Григорьевич Ивахненко, Теуво Кохонен, Стивен Гроссберг, Кунихико Фукусима, Кристоф фон дер Мальсбург, Дэвид Уиллшоу, Сюн-Ичи Амари, Бернард Видроу, Джон Хопфилд, Эдуардо Р. Каяниелло, и другие[нужна цитата ].

Основные категории сетей - ациклические или нейронные сети с прямой связью (где сигнал проходит только в одном направлении) и повторяющиеся нейронные сети (которые обеспечивают обратную связь и краткосрочную память о предыдущих входных событиях). Среди самых популярных сетей прямого распространения: перцептроны, многослойные перцептроны и радиально-базисные сети.[53] Нейронные сети могут быть применены к проблеме интеллектуальное управление (для робототехники) или обучение, используя такие приемы, как Hebbian обучение («огонь вместе, соединяем вместе»), GMDH или соревновательное обучение.[54]

Сегодня нейронные сети часто обучаются обратное распространение алгоритм, который существует с 1970 года как обратный режим автоматическая дифференциация опубликовано Сеппо Линнаинмаа,[55][56] и был представлен нейронным сетям Пол Вербос.[57][58][59]

Иерархическая временная память - это подход, моделирующий некоторые структурные и алгоритмические свойства неокортекс.[60]

Подводя итог, большинство нейронных сетей используют некоторую форму градиентный спуск на созданной вручную нейронной топологии. Однако некоторые исследовательские группы, такие как Убер, аргументируйте это просто нейроэволюция для изменения новых топологий нейронных сетей и весов может быть конкурентоспособным со сложными подходами градиентного спуска[нужна цитата ]. Одно из преимуществ нейроэволюции состоит в том, что она менее подвержена попаданию в «тупики».[61]

Глубокие нейронные сети с прямой связью

Основная статья: Глубокое обучение

Глубокое обучение это использование искусственные нейронные сети которые имеют несколько слоев нейронов между входами и выходами сети. Глубокое обучение изменило многие важные области искусственного интеллекта[Зачем? ], в том числе компьютерное зрение, распознавание речи, обработка естественного языка и другие.[62][63][64]

Согласно одному обзору,[65] выражение «Глубокое обучение» было введено в машинное обучение сообщество Рина Дечтер в 1986 г.[66] и получил поддержку после того, как Игорь Айзенберг и его коллеги представили его искусственные нейронные сети в 2000 г.[67] Первые функциональные сети глубокого обучения были опубликованы Алексей Григорьевич Ивахненко и В. Г. Лапа в 1965 г.[68][страница нужна ] Эти сети обучаются по одному уровню за раз. Статья Ивахненко 1971 г.[69] описывает изучение глубокого многослойного перцептрона с прямой связью с восемью слоями, который уже намного глубже, чем многие более поздние сети. В 2006 году публикация Джеффри Хинтон а Руслан Салахутдинов представил еще один способ многослойной предтренировки. нейронные сети с прямой связью (FNN) по одному слою за раз, рассматривая каждый слой по очереди как без присмотра ограниченная машина Больцмана, затем используя под наблюдением обратное распространение для точной настройки.[70] Подобно мелким искусственным нейронным сетям, глубокие нейронные сети могут моделировать сложные нелинейные отношения.

Глубокое обучение часто использует сверточные нейронные сети (CNN), происхождение которых можно проследить до Неокогнитрон представлен Кунихико Фукусима в 1980 г.[71] В 1989 г. Янн ЛеКун и коллеги применили обратное распространение к такой архитектуре. В начале 2000-х годов в промышленных приложениях CNN уже обрабатывали от 10% до 20% всех чеков, выписанных в США.[72] С 2011 года быстрые реализации CNN на графических процессорах выиграли множество конкурсов по распознаванию визуальных образов.[64]

CNN с 12 сверточными слоями использовались с обучение с подкреплением от Deepmind "AlphaGo Ли ", программа, которая побила вершину Идти чемпион 2016 года.[73]

Глубокие рекуррентные нейронные сети

Основная статья: Рекуррентные нейронные сети

Вначале глубокое обучение также применялось к последовательному обучению с повторяющиеся нейронные сети (RNN)[74] которые теоретически являются полными по Тьюрингу[75] и может запускать произвольные программы для обработки произвольных последовательностей входных данных. Глубина RNN не ограничена и зависит от длины ее входной последовательности; таким образом, RNN - это пример глубокого обучения.[64] RNN могут быть обучены градиентный спуск[76][77][78] но страдают от проблема исчезающего градиента.[62][79] В 1992 году было показано, что неконтролируемое предварительное обучение стека повторяющиеся нейронные сети может ускорить последующее контролируемое обучение глубоких последовательных задач.[80]

Многочисленные исследователи теперь используют варианты повторяющейся сетевой сети глубокого обучения, называемой долговременная кратковременная память (LSTM), опубликованная Hochreiter & Schmidhuber в 1997 году.[81] LSTM часто обучается Коннекционистская временная классификация (СТС).[82] В Google, Microsoft и Baidu такой подход произвел революцию распознавание речи.[83][84][85] Например, в 2015 году производительность распознавания речи Google резко выросла на 49% благодаря обученному CTC LSTM, который теперь доступен через Гугл голос миллиардам пользователей смартфонов.[86] Google также использовал LSTM для улучшения машинного перевода,[87] Языковое моделирование[88] и многоязычная обработка языков.[89] LSTM в сочетании с CNN также улучшил автоматические подписи к изображениям.[90] и множество других приложений.

Оценка прогресса

Дальнейшая информация: Прогресс в искусственном интеллекте и Конкурсы и призы по искусственному интеллекту

ИИ, как электричество или паровой двигатель, является технологией общего назначения. Нет единого мнения о том, как охарактеризовать, в каких задачах ИИ стремится преуспеть.[91] Хотя такие проекты, как AlphaZero преуспели в создании собственных знаний с нуля, многие другие проекты машинного обучения требуют больших наборов обучающих данных.[92][93] Исследователь Эндрю Нг предположил в качестве «весьма несовершенного практического правила», что «почти все, что обычный человек может сделать менее чем за одну секунду мысленного мышления, мы, вероятно, сможем сейчас или в ближайшем будущем автоматизировать с помощью ИИ».[94] Парадокс Моравца предполагает, что ИИ отстает от людей в выполнении многих задач, которые человеческий мозг специально развил, чтобы выполнять хорошо.[95]

Игры являются широко разрекламированным эталоном для оценки прогресса. AlphaGo Примерно в 2016 году эра классических настольных игр подошла к концу. Игры несовершенного знания ставят перед ИИ новые задачи. теория игры.[96][97] Киберспорт такие как Стар Крафт продолжать предоставлять дополнительные общедоступные тесты.[98][99] Множество конкурсов и призов, таких как Imagenet Challenge, продвигайте исследования в области искусственного интеллекта. Наиболее распространенные области конкуренции включают в себя общий машинный интеллект, диалоговое поведение, интеллектуальный анализ данных, роботизированные машины, и робот-футбол, а также обычные игры.[100]

«Игра в имитацию» (интерпретация 1950 г. Тест Тьюринга который оценивает, может ли компьютер имитировать человека) в настоящее время считается слишком уязвимым, чтобы быть значимым эталоном.[101] Производным от теста Тьюринга является полностью автоматизированный общедоступный тест Тьюринга, позволяющий отличить компьютеры и людей друг от друга (CAPTCHA ). Как следует из названия, это помогает определить, что пользователь - это реальный человек, а не компьютер, изображающий человека. В отличие от стандартного теста Тьюринга, CAPTCHA вводится машиной и нацелен на человека, в отличие от того, чтобы вводить человек и нацелен на машину. Компьютер просит пользователя пройти простой тест, а затем выставляет оценку за этот тест. Компьютеры не могут решить проблему, поэтому правильные решения считаются результатом сдачи теста. Распространенным типом CAPTCHA является тест, требующий ввода искаженных букв, цифр или символов, которые появляются на изображении, не поддающемся расшифровке компьютером.[102]

Предлагаемые тесты «универсального интеллекта» нацелены на сравнение того, насколько хорошо машины, люди и даже животные, не относящиеся к человеческому роду, справляются с наборами задач, которые являются максимально общими. В крайнем случае, набор тестов может содержать все возможные проблемы, взвешенные по Колмогоровская сложность; К сожалению, в этих наборах задач, как правило, преобладают скудные упражнения на сопоставление с образцом, когда настроенный ИИ может легко превзойти человеческий уровень производительности.[103][104][105][106]

Аппаратные улучшения

С 2010-х годов достижения как в алгоритмах машинного обучения, так и в компьютерном оборудовании привели к появлению более эффективных методов обучения глубоких нейронных сетей, которые содержат много уровней нелинейных скрытых единиц и очень большой выходной слой.[107] К 2019 году графические процессоры (GPU ), часто с улучшениями, специфичными для ИИ, вытеснили ЦП как доминирующий метод обучения крупномасштабного коммерческого облачного ИИ.[108] OpenAI оценил аппаратные вычисления, используемые в крупнейших проектах глубокого обучения от AlexNet (2012) до AlphaZero (2017), и обнаружил, что объем требуемых вычислений увеличился в 300000 раз, а линия тренда на время удвоения составила 3,4 месяца.[109][110]

Заметки

  1. ^ «Существует много различных типов неопределенности, неясности и незнания ... [Мы] независимо подтверждаем неадекватность систем для рассуждений о неопределенности, которая распространяет числовые факторы, согласно только тем, какие связки появляются в утверждениях».[22]
  2. ^ Максимизация ожиданий, один из самых популярных алгоритмов в машинном обучении, позволяет кластеризовать при наличии неизвестных скрытые переменные[34]:210
  3. ^ Самый широко используемый аналоговый ИИ до середины 1990-х гг.[34]:187
  4. ^ SVM вытеснил k-ближайшего соседа в 1990-е годы[34]:188
  5. ^ Наивный Байес, как сообщается, является «наиболее широко используемым учеником» в Google, отчасти благодаря его масштабируемости.[34]:152
  6. ^ Каждый отдельный нейрон, вероятно, будет участвовать более чем в одной концепции.
  7. ^ Рулевое управление 1995 года "Никаких рук через Америку «потребовалось» всего несколько человеческих передач ».

использованная литература

  1. ^ Алгоритмы поиска:
  2. ^ Прямая цепочка, обратная цепочка, Роговые оговорки, и логический вывод как поиск:
  3. ^ Поиск в пространстве состояний и планирование:
  4. ^ Перемещение и конфигурационное пространство:
  5. ^ Неинформированные поиски (поиск в ширину, поиск в глубину и вообще поиск в пространстве состояний ):
  6. ^ Эвристический или информированный поиск (например, жадный лучший первый и А * ):
  7. ^ Пул, Дэвид; Макворт, Алан (2017). Искусственный интеллект: основы вычислительных агентов (2-е изд.). Издательство Кембриджского университета. Раздел 3.6. ISBN  978-1-107-19539-4.CS1 maint: ref = harv (ссылка на сайт)
  8. ^ Текучи, Георге (март – апрель 2012 г.). "Искусственный интеллект". Междисциплинарные обзоры Wiley: вычислительная статистика. 4 (2): 168–180. Дои:10.1002 / wics.200.CS1 maint: ref = harv (ссылка на сайт)
  9. ^ Оптимизация поиски:
  10. ^ Генетическое программирование и генетические алгоритмы:
  11. ^ Голландия, Джон Х. (1975). Адаптация в естественных и искусственных системах. Пресса Мичиганского университета. ISBN  978-0-262-58111-0.CS1 maint: ref = harv (ссылка на сайт)
  12. ^ Коза, Джон Р. (1992). Генетическое программирование (О программировании компьютеров посредством естественного отбора). MIT Press. Bibcode:1992gppc.book ..... K. ISBN  978-0-262-11170-6.CS1 maint: ref = harv (ссылка на сайт)
  13. ^ Poli, R .; Langdon, W. B .; Макфи, Н. Ф. (2008). Полевое руководство по генетическому программированию. Lulu.com. ISBN  978-1-4092-0073-4 - через gp-field-guide.org.uk.CS1 maint: ref = harv (ссылка на сайт)
  14. ^ Искусственная жизнь и обучение на основе общества:
  15. ^ Дэниел Меркл; Мартин Миддендорф (2013). «Рой интеллект». В Burke, Edmund K .; Кендалл, Грэм (ред.). Методологии поиска: вводные руководства по методам оптимизации и поддержки принятия решений. Springer Science & Business Media. ISBN  978-1-4614-6940-7.
  16. ^ Логика:
  17. ^ а б c «Система классификации вычислений ACM: искусственный интеллект». ACM. 1998. ~ I.2.3 и ~ I.2.4. Архивировано из оригинал 12 октября 2007 г.. Получено 30 августа 2007.
  18. ^ Satplan:
  19. ^ Обучение на основе объяснений, обучение на основе релевантности, индуктивное логическое программирование, аргументация по делу:
  20. ^ Логика высказываний:
  21. ^ Логика первого порядка и такие функции, как равенство:
  22. ^ Элкан, Чарльз (1994). «Парадоксальный успех нечеткой логики». Эксперт IEEE. 9 (4): 3–49. CiteSeerX  10.1.1.100.8402. Дои:10.1109/64.336150.
  23. ^ Нечеткая логика:
  24. ^ «Что такое« нечеткая логика »? Существуют ли компьютеры, которые по своей природе нечеткие и не применяют обычную двоичную логику?». Scientific American. Получено 5 мая 2018.
  25. ^ Обоснование по умолчанию и логика по умолчанию, немонотонная логика, ограничение, предположение о закрытом мире, похищение (Пул и другие. относит похищение к категории «аргументов по умолчанию». Люгер и другие. помещает это в "неопределенные рассуждения"):
  26. ^ Представляющие категории и отношения: Семантические сети, логика описания, наследство (в том числе кадры и скрипты ):
  27. ^ Отображение событий и времени:Ситуационное исчисление, исчисление событий, свободный расчет (включая решение проблема с рамой ):
  28. ^ Причинное исчисление:
  29. ^ «Исчисление убеждений и неопределенные рассуждения», Йен-Дэ Ся
  30. ^ Представление знаний о знаниях: исчисление убеждений, модальная логика:
  31. ^ Стохастические методы для неопределенных рассуждений:
  32. ^ Байесовские сети:
  33. ^ Байесовский вывод алгоритм:
  34. ^ а б c d е ж г Домингос, Педро (2015). Главный алгоритм: как поиски совершенной обучающей машины переделают наш мир. Основные книги. ISBN  978-0-465-06192-1.CS1 maint: ref = harv (ссылка на сайт)
  35. ^ Байесовское обучение и алгоритм максимизации ожидания:
  36. ^ Байесовская теория принятия решений и байесовский сети принятия решений:
  37. ^ а б c Стохастические временные модели:Динамические байесовские сети:Скрытая марковская модель:Фильтры Калмана:
  38. ^ теория принятия решений и анализ решений:
  39. ^ Теория информационной ценности:
  40. ^ Марковские процессы принятия решений и динамичный сети принятия решений:
  41. ^ Теория игры и конструкция механизма:
  42. ^ Статистические методы обучения и классификаторы:
  43. ^ Древо решений:
  44. ^ а б Нейронные сети и коннекционизм:
  45. ^ Алгоритм K-ближайшего соседа:
  46. ^ методы ядра такой как Машина опорных векторов:
  47. ^ Модель гауссовой смеси:
  48. ^ Наивный байесовский классификатор:
  49. ^ ван дер Вальт, Кристиан; Бернар, Этьен (2006). «Характеристики данных, определяющие эффективность классификатора» (PDF). Архивировано из оригинал (PDF) 25 марта 2009 г.. Получено 5 августа 2009.CS1 maint: ref = harv (ссылка на сайт)
  50. ^ Рассел, Стюарт Дж.; Норвиг, Питер (2009). Искусственный интеллект: современный подход (3-е изд.). Река Аппер Сэдл, Нью-Джерси: Prentice Hall. 18.12: Учимся на примерах: резюме. ISBN  978-0-13-604259-4.CS1 maint: ref = harv (ссылка на сайт)
  51. ^ «Почему глубокое обучение внезапно меняет вашу жизнь». Удача. 2016. Получено 12 марта 2018.
  52. ^ "Google лидирует в гонке за господство над искусственным интеллектом". Экономист. 2017. Получено 12 марта 2018.
  53. ^ Нейронные сети с прямой связью, перцептроны и радиально-базисные сети:
  54. ^ Конкурсное обучение, Hebbian совпадение обучения, Сети Хопфилда и аттракторные сети:
  55. ^ Сеппо Линнаинмаа (1970). Представление совокупной ошибки округления алгоритма в виде разложения Тейлора локальных ошибок округления. Магистерская работа (на финском языке), Univ. Хельсинки, 6–7.
  56. ^ Гриванк, Андреас (2012). Кто изобрел обратный способ дифференциации ?. Истории оптимизации, Documenta Matematica, Extra Volume ISMP (2012), 389–400.
  57. ^ Пол Вербос, «За пределами регрессии: новые инструменты для прогнозирования и анализа в поведенческих науках», Кандидатская диссертация, Гарвардский университет, 1974.
  58. ^ Пол Вербос (1982). Применение достижений в нелинейном анализе чувствительности. В Системном моделировании и оптимизации (стр. 762–770). Springer Berlin Heidelberg. онлайн В архиве 14 апреля 2016 г. Wayback Machine
  59. ^ Обратное распространение:
  60. ^ Хокинс, Джефф; Блейксли, Сандра (2005). Об интеллекте. Нью-Йорк, Нью-Йорк: Книги Сов. ISBN  978-0-8050-7853-4.CS1 maint: ref = harv (ссылка на сайт)
  61. ^ «Искусственный интеллект может« развиваться »для решения проблем». Наука | AAAS. 10 января 2018 г.. Получено 7 февраля 2018.
  62. ^ а б Ян Гудфеллоу, Йошуа Бенжио и Аарон Курвиль (2016). Глубокое обучение. MIT Press. онлайн В архиве 16 апреля 2016 г. Wayback Machine
  63. ^ Hinton, G .; Deng, L .; Ю, Д .; Dahl, G .; Мохамед, А .; Jaitly, N .; Старший, А .; Vanhoucke, V .; Nguyen, P .; Sainath, T .; Кингсбери, Б. (2012). «Глубокие нейронные сети для акустического моделирования в распознавании речи - общие взгляды четырех исследовательских групп». Журнал IEEE Signal Processing Magazine. 29 (6): 82–97. Bibcode:2012ISPM ... 29 ... 82H. Дои:10.1109 / msp.2012.2205597.
  64. ^ а б c Шмидхубер, Дж. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети. 61: 85–117. arXiv:1404.7828. Дои:10.1016 / j.neunet.2014.09.003. PMID  25462637.
  65. ^ Шмидхубер, Юрген (2015). «Глубокое обучение». Scholarpedia. 10 (11): 32832. Bibcode:2015SchpJ..1032832S. Дои:10.4249 / scholarpedia.32832.
  66. ^ Рина Дечтер (1986). Обучение в поисках проблем удовлетворения ограничений. Калифорнийский университет, факультет компьютерных наук, лаборатория когнитивных систем.онлайн В архиве 19 апреля 2016 г. Wayback Machine
  67. ^ Игорь Айзенберг, Наум Н. Айзенберг, Джоос П.Л. Вандевалле (2000). Многозначные и универсальные бинарные нейроны: теория, обучение и приложения. Springer Science & Business Media.
  68. ^ Ивахненко, Алексей (1965). Кибернетические устройства прогнозирования. Киев: Наукова думка.
  69. ^ Ивахненко, А. Г. (1971). «Полиномиальная теория сложных систем». IEEE Transactions по системам, человеку и кибернетике (4): 364–378. Дои:10.1109 / TSMC.1971.4308320. S2CID  17606980.
  70. ^ Хинтон, Г. Э. (2007). «Изучение нескольких уровней представления». Тенденции в когнитивных науках. 11 (10): 428–434. Дои:10.1016 / j.tics.2007.09.004. PMID  17921042.CS1 maint: ref = harv (ссылка на сайт)
  71. ^ Фукусима, К. (1980). «Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, не зависящего от изменения положения». Биологическая кибернетика. 36 (4): 193–202. Дои:10.1007 / bf00344251. PMID  7370364.
  72. ^ Янн ЛеКун (2016). Слайды по глубокому обучению онлайн В архиве 23 апреля 2016 г. Wayback Machine
  73. ^ Сильвер, Дэвид; Шриттвизер, Джулиан; Симонян, Карен; Антоноглоу, Иоаннис; Хуанг, Аджа; Гез, Артур; Хуберт, Томас; Бейкер, Лукас; Лай, Мэтью; Болтон, Адриан; Чен, Юйтянь; Лилликрап, Тимоти; Фан, Хуэй; Сифре, Лоран; Дрише, Джордж ван ден; Грэпель, Тор; Хассабис, Демис (19 октября 2017 г.). «Освоение игры в го без человеческого знания» (PDF). Природа. 550 (7676): 354–359. Bibcode:2017Натура.550..354С. Дои:10.1038 / природа24270. ISSN  0028-0836. PMID  29052630. AlphaGo Lee ... 12 сверточных слоевзакрытый доступ
  74. ^ Рекуррентные нейронные сети, Сети хопфилда:
  75. ^ Hyötyniemi, Heikki (1996). «Машины Тьюринга - это рекуррентные нейронные сети». Труды STeP '96 / Публикации Финского общества искусственного интеллекта: 13–24.
  76. ^ П. Дж. Вербос. Обобщение обратного распространения ошибки применительно к повторяющейся модели рынка газа » Нейронные сети 1, 1988.
  77. ^ А. Дж. Робинсон и Ф. Фолсайд. Сеть динамического распространения ошибок, управляемая коммунальными предприятиями. Технический отчет CUED / F-INFENG / TR.1, инженерный факультет Кембриджского университета, 1987 г.
  78. ^ Р. Дж. Уильямс и Д. Ципсер. Алгоритмы обучения на основе градиентов для рекуррентных сетей и их вычислительная сложность. В обратном распространении: теория, архитектура и приложения. Хиллсдейл, Нью-Джерси: Эрлбаум, 1994.
  79. ^ Зепп Хохрайтер (1991), Untersuchungen zu Dynamischen Neuronalen Netzen В архиве 6 марта 2015 г. Wayback Machine, Дипломная работа. Institut f. Informatik, Technische Univ. Мюнхен. Советник: Я. Шмидхубер.
  80. ^ Шмидхубер, Дж. (1992). «Изучение сложных, расширенных последовательностей с использованием принципа сжатия истории». Нейронные вычисления. 4 (2): 234–242. CiteSeerX  10.1.1.49.3934. Дои:10.1162 / neco.1992.4.2.234.
  81. ^ Хохрайтер, Зепп; и Шмидхубер, Юрген; Долговременная кратковременная память, Neural Computing, 9 (8): 1735–1780, 1997.
  82. ^ Алекс Грейвс, Сантьяго Фернандес, Фаустино Гомес и Юрген Шмидхубер (2006). Временная классификация коннекционистов: маркировка несегментированных данных последовательностей с помощью повторяющихся нейронных сетей. Материалы ICML'06. С. 369–376.
  83. ^ Ханнун, Авни; Кейс, Карл; Каспер, Джаред; Катандзаро, Брайан; Диамос, Грег; Эльзен, Эрих; Пренгер, Райан; Сатиш, Санджив; Сенгупта, Шубхо; Коутс, Адам; Нг, Эндрю Ю. (2014). «Глубокая речь: масштабирование сквозного распознавания речи». arXiv:1412.5567 [cs.CL ].
  84. ^ Хасим Сак, Эндрю Старший и Франсуаза Бофэ (2014). Рекуррентные архитектуры нейронных сетей с долговременной краткосрочной памятью для крупномасштабного акустического моделирования. Труды Interspeech 2014.
  85. ^ Ли, Сянган; У, Xihong (2015). «Построение глубоких рекуррентных нейронных сетей на основе кратковременной памяти для распознавания речи с большим словарным запасом». arXiv:1410.4281 [cs.CL ].
  86. ^ Хашим Сак, Эндрю Старший, Канишка Рао, Франсуаза Бофейс и Йохан Шалквик (сентябрь 2015 г.): Голосовой поиск Google: быстрее и точнее. В архиве 9 марта 2016 г. Wayback Machine
  87. ^ Суцкевер Илья; Виньялс, Ориол; Ле, Куок В. (2014). «Последовательность для последовательного обучения с помощью нейронных сетей». arXiv:1409.3215 [cs.CL ].
  88. ^ Юзефович, Рафаль; Виньялс, Ориол; Шустер, Майк; Шазир, Ноам; Ву, Юнхуэй (2016). «Изучение границ языкового моделирования». arXiv:1602.02410 [cs.CL ].
  89. ^ Гиллик, Дэн; Бранк, Клифф; Виньялс, Ориол; Субраманья, Амарнаг (2015). «Многоязычная обработка байтов». arXiv:1512.00103 [cs.CL ].
  90. ^ Виньялс, Ориол; Тошев Александр; Бенджио, Сами; Эрхан, Думитру (2015). «Покажи и расскажи: генератор заголовков нейронных изображений». arXiv:1411.4555 [cs.CV ].
  91. ^ Бриньолфссон, Эрик; Митчелл, Том (22 декабря 2017 г.). «Что может машинное обучение? Последствия для персонала». Наука. С. 1530–1534. Bibcode:2017Научный ... 358.1530B. Дои:10.1126 / science.aap8062. Получено 7 мая 2018.
  92. ^ Образец, Ян (18 октября 2017 г.). "'Он сам способен создавать знания »: Google представляет искусственный интеллект, который учится сам по себе». хранитель. Получено 7 мая 2018.
  93. ^ «Революция искусственного интеллекта в науке». Наука | AAAS. 5 июля 2017 г.. Получено 7 мая 2018.
  94. ^ «Будет ли ваша работа существовать через 10 лет, когда появятся роботы?». Южно-Китайская утренняя почта. 2017. Получено 7 мая 2018.
  95. ^ «Мебель ИКЕА и пределы искусственного интеллекта». Экономист. 2018. Получено 24 апреля 2018.
  96. ^ Боровец, Трейси Лиен, Стивен (2016). «AlphaGo превосходит чемпиона по игре в го в мире искусственного интеллекта». latimes.com. Получено 7 мая 2018.
  97. ^ Браун, Ноам; Сандхольм, Туомас (26 января 2018 г.). «Сверхчеловеческий ИИ для безлимитного хедз-ап покера: Libratus превосходит лучших профессионалов». Наука. С. 418–424. Дои:10.1126 / science.aao1733. Получено 7 мая 2018.
  98. ^ Онтанон, Сантьяго; Synnaeve, Габриэль; Уриарте, Альберто; Ричу, Флориан; Черчилль, Дэвид; Прейс, Майк (декабрь 2013 г.). «Обзор исследований ИИ и конкуренции в стратегических играх в реальном времени в StarCraft». IEEE Transactions по вычислительному интеллекту и искусственному интеллекту в играх. 5 (4): 293–311. CiteSeerX  10.1.1.406.2524. Дои:10.1109 / TCIAIG.2013.2286295.
  99. ^ «Facebook незаметно вступает в войну StarCraft за ботов с ИИ и проигрывает». ПРОВОДНОЙ. 2017. Получено 7 мая 2018.
  100. ^ "ILSVRC2017". image-net.org. Получено 2018-11-06.
  101. ^ Шеник, Карисса; Кларк, Питер; Тафьорд, Ойвинд; Терни, Питер; Эциони, Орен (23 августа 2017 г.). «Выход за рамки теста Тьюринга с научным вызовом Аллена AI». Коммуникации ACM. 60 (9): 60–64. arXiv:1604.04315. Дои:10.1145/3122814.
  102. ^ О'Брайен, Джеймс; Маракас, Джордж (2011). Информационные системы управления (10-е изд.). Макгроу-Хилл / Ирвин. ISBN  978-0-07-337681-3.CS1 maint: ref = harv (ссылка на сайт)
  103. ^ Эрнандес-Оралло, Хосе (2000). «За пределами теста Тьюринга». Журнал логики, языка и информации. 9 (4): 447–466. Дои:10.1023 / А: 1008367325700.CS1 maint: ref = harv (ссылка на сайт)
  104. ^ Dowe, D. L .; Хайек, А. Р. (1997). «Вычислительное расширение теста Тьюринга». Труды 4-й конференции Австралазийского общества когнитивных наук. Архивировано из оригинал 28 июня 2011 г.CS1 maint: ref = harv (ссылка на сайт)
  105. ^ Hernandez-Orallo, J .; Доу, Д. Л. (2010). «Измерение универсального интеллекта: на пути к проверке интеллекта в любое время». Искусственный интеллект. 174 (18): 1508–1539. CiteSeerX  10.1.1.295.9079. Дои:10.1016 / j.artint.2010.09.006.CS1 maint: ref = harv (ссылка на сайт)
  106. ^ Эрнандес-Оралло, Хосе; Доу, Дэвид Л .; Эрнандес-Льореда, М. Виктория (март 2014 г.). «Универсальная психометрия: измерение когнитивных способностей в машинном царстве». Исследование когнитивных систем. 27: 50–74. Дои:10.1016 / j.cogsys.2013.06.001. HDL:10251/50244.
  107. ^ Research, AI (23 октября 2015 г.). «Глубокие нейронные сети для акустического моделирования в распознавании речи». airesearch.com. Получено 23 октября 2015.
  108. ^ «Графические процессоры продолжают доминировать на рынке ускорителей искусственного интеллекта». Информационная неделя. Декабрь 2019 г.. Получено 11 июн 2020.
  109. ^ Рэй, Тирнан (2019). «ИИ меняет всю природу вычислений». ZDNet. Получено 11 июн 2020.
  110. ^ «ИИ и вычисления». OpenAI. 16 мая 2018. Получено 11 июн 2020.

Источники