Темный лес - Darkforest

Эта статья о компьютерной программе Go-play от Facebook. Для использования в других целях см. Темный лес.

Темный лес это компьютер идти программа разработана Facebook, на основе глубокое обучение методы с использованием сверточная нейронная сеть. Его обновленная версия Darkfores2 сочетает в себе методы своего предшественника с Поиск в дереве Монте-Карло.[1][2] MCTS эффективно использует методы поиска по дереву, обычно используемые в компьютерных шахматных программах, и рандомизирует их.[3] С обновлением система получила название Darkfmcts3.[4]

Darkforest имеет такую ​​же силу, как и такие программы, как CrazyStone и дзен.[5] Он был протестирован на профессиональном игроке в 2016 году. Кубок УЭК. Google с AlphaGo Программа выиграла у профессионального игрока в октябре 2015 года, используя аналогичную комбинацию приемов.[6]

Темный лес назван в честь Лю Цысинь научно-фантастический роман Темный лес.[7]

Фон

Соревнование с ведущими игроками в древней игре го было долгосрочной целью искусственного интеллекта. Иди высоко фактор ветвления делает традиционные методы поиска неэффективными даже на новейшем оборудовании, а Go функция оценки может кардинально измениться одним изменением камня. Однако при использовании Deep Сверточная нейронная сеть предназначен для долгосрочных прогнозов, Темный лес смог существенно улучшить процент побед ботов по сравнению с более традиционными Поиск по дереву Монте-Карло основанные подходы.

совпадения

Против игроков-людей, Darkfores2 достигает стабильного 3-й рейтинг на KGS Go Сервер, что примерно соответствует продвинутому игроку-любителю. Однако после добавления Поиск по дереву Монте-Карло к Darkfores2 создать гораздо более сильного игрока по имени darkfmcts3, он может достичь 5d рейтинг на сервере KGS Go.

Против другого ИИ

darkfmcts3 находится на одном уровне с самыми современными ИИ Go, такими как Zen, DolBaram и Безумный камень но отстает от AlphaGo.[8] Занял 3 место в Январь 2016 Турнир по ботам KGS против других ИИ го.

Освещение новостей

После Google с AlphaGo выиграл у Фань Хуэй в 2015 г. Facebook обнародовала проекты своего ИИ, выпустив код DarkForest с открытым исходным кодом, а также набирала сотрудников для усиления своей команды инженеров ИИ.[3]

Стиль игры

Темный лес использует нейронную сеть для сортировки 10100 позиции на доске и найдите самый мощный следующий ход.[9] Однако одни нейронные сети не могут сравниться с уровнем хороших игроков-любителей или лучшими поисковыми движками Go, и поэтому Darkfores2 сочетает нейросетевой подход с поисковой машиной. База данных из 250 000 реальных игр в го была использована при разработке Темный лес, из которых 220 000 используются в качестве обучающей выборки, а остальные используются для проверки способности нейронной сети предсказывать следующие ходы в реальных играх. Это позволяет Darkforest точно оценивать глобальное состояние игрового поля, но локальная тактика по-прежнему оставляет желать лучшего. Поисковые системы имеют плохую глобальную оценку, но хороши в локальной тактике. Объединить эти два подхода сложно, поскольку поисковые системы работают намного быстрее, чем нейронные сети, и эта проблема была решена в Darkfores2 путем запуска процессов параллельно с частым обменом данными между ними.[9]

Обычные стратегии

В го обычно играют путем анализа положения камней на доске. Некоторые продвинутые игроки описывают это как подсознательную игру. В отличие от шахмат и шашек, где игроки ИИ могут просто смотреть дальше вперед на ходы, чем игроки-люди, но с каждым раундом Го, имеющим в среднем 250 возможных ходов, такой подход неэффективен. Вместо этого нейронные сети копируют человеческую игру, тренируя системы ИИ на изображениях успешных ходов, ИИ может эффективно научиться интерпретировать, как выглядит доска, как это делают многие гроссмейстеры.[10] В ноябре 2015 года Facebook продемонстрировал комбинацию MCTS с нейронными сетями, которые играли в стиле, который «чувствовал себя человеком».[10]

Недостатки

Было отмечено, что в стиле игры Darkforest все еще есть недостатки. Иногда бот играет тенуки («двигаться куда-нибудь») бессмысленно, когда требуются локальные мощные ходы. Когда бот проигрывает, он показывает типичное поведение MCTS, он делает плохие ходы и проигрывает больше. Команда Facebook AI признала, что это области для дальнейшего улучшения.[11]

Архитектура программы

Семья Темный лес компьютерные программы основаны на сверточные нейронные сети.[3] Последние достижения в Darkfmcts3 комбинированные сверточные нейронные сети с более традиционными Поиск в дереве Монте-Карло.[3] Darkfmcts3 - самая продвинутая версия Darkforest, которая сочетает в себе самую передовую архитектуру сверточной нейронной сети Facebook от Darkfores2 с Поиск в дереве Монте-Карло.

Darkfmcts3 полагается на сверточные нейронные сети который предсказывает следующие k ходов на основе текущего состояния игры. Он рассматривает плату как изображение 19x19 с несколькими каналами. Каждый канал представляет отдельный аспект информации о доске в зависимости от конкретного стиля игры. Для стандартного и расширенного воспроизведения имеется 21 и 25 различных каналов соответственно. В стандартной игре каждый игрок свободы представлены в виде шести бинарных каналов или плоскостей. Соответствующая плоскость истинна, если игроку доступны одна, две, три или более свободы. Ко (т.е. недопустимые ходы) представлены в виде одной бинарной плоскости. Размещение камней для каждого противника и пустые позиции на доске представлены в виде трех бинарных плоскостей, а время, прошедшее с момента размещения камня, представлено как действительные числа на двух плоскостях, по одному для каждого игрока. Наконец, ранг противников представлен девятью бинарными плоскостями, где, если все они верны, игрок находится на 9-м уровне, если 8 - на истинном, на 8-м уровне и так далее. Расширенная игра дополнительно учитывает границу (двоичную плоскость, которая истинна на границе), маску положения (представленную как расстояние от центра доски, т. Е. , куда - действительное число в позиции), и территория каждого игрока (двоичная, в зависимости от того, к какому игроку ближе локация).

Darkfmct3 использует 12-слойную полную сверточную сеть с шириной 384 узла без разделения веса или объединения. За каждым сверточным слоем следует выпрямленный линейный блок, популярная функция активации для глубоких нейронных сетей.[12] Ключевым нововведением Darkfmct3 по сравнению с предыдущими подходами является то, что он использует только один функция softmax прогнозировать следующий ход, что позволяет уменьшить общее количество параметров.[3] Darkfmct3 был обучен на 300 случайно выбранных играх из набора эмпирических данных, представляющих различные этапы игры. Скорость обучения определялась ванилью. стохастический градиентный спуск.

Darkfmct3 синхронно соединяет сверточную нейронную сеть с Поиск в дереве Монте-Карло. Поскольку сверточная нейронная сеть требует больших вычислительных затрат, поиск по дереву Монте-Карло фокусирует вычисления на наиболее вероятных траекториях игрового процесса. Запуская нейронную сеть синхронно с поиском по дереву Монте-Карло, можно гарантировать, что каждый узел расширяется за счет перемещений, предсказываемых нейронной сетью.

Сравнение с другими системами

Darkfores2 удары Темный лес, его предшественник, работающий только с нейронными сетями, примерно в 90% случаев, и Pachi, одна из лучших поисковых систем, примерно в 95% случаев.[9] На Кю рейтинговая система, Darkforest имеет 1-2d уровень. Darkfores2 достигает стабильного 3-го уровня на сервере KGS Go в качестве рейтингового бота.[1] С добавленным Поиск в дереве Монте-Карло, Darkfmcts3 с 5000 развертываний превосходит Пачи с 10 тыс. развертываний во всех 250 играх; с развертыванием 75k он достигает стабильного уровня 5d на сервере KGS, наравне с современными ИИ Go (например, Zen, DolBaram, CrazyStone); с 110 тыс. выкаток, он занял 3-е место в январском турнире KGS Go.[4]

Смотрите также

Рекомендации

  1. ^ а б Тиан, Юаньдун; Чжу, Ян (2015). «Лучший компьютерный игрок с нейронной сетью и долгосрочным прогнозированием». arXiv:1511.06410v1 [cs.LG ].
  2. ^ "Как исследователи искусственного интеллекта Facebook создали революционный движок Go". Обзор технологий MIT. 4 декабря 2015 г.. Получено 2016-02-03.
  3. ^ а б c d е «Facebook AI Go Player становится умнее с нейронной сетью и долгосрочным прогнозом, чтобы справиться с самой сложной игрой в мире». Tech Times. 2016-01-28. Получено 2016-04-24.
  4. ^ а б «Игрок в го с искусственным интеллектом от Facebook становится умнее». VentureBeat. 27 января 2016 г.. Получено 2016-04-24.
  5. ^ «Лекция Стрейчи - доктор Демис Хассабис Оксфордского университета в прямом эфире».
  6. ^ 90210, HAL (28 января 2016 г.). "Нет, вперед: Facebook не удалось испортить большой день Google AI". Хранитель. ISSN  0261-3077. Получено 2016-02-01.CS1 maint: числовые имена: список авторов (связь)
  7. ^ "FB 围棋 项目 负责 人 谈 人机 大战" [Менеджер проекта FB Go обсуждает противостояние человека и машины] (на китайском языке). Tencent. 2016-03-01.
  8. ^ Сильвер, Дэвид; Хуанг, Аджа; Мэддисон, Крис Дж .; Гез, Артур; Сифре, Лоран; Дрише, Джордж ван ден; Шриттвизер, Джулиан; Антоноглоу, Иоаннис; Паннеершелвам, Веда; Ланкто, Марк; Дилеман, Сандер; Греве, Доминик; Нхам, Джон; Кальхбреннер, Нал; Суцкевер Илья; Лилликрап, Тимоти; Лич, Мадлен; Кавукчуоглу, Корай; Грэпель, Тор; Хассабис, Демис (28 января 2016 г.). «Освоение игры го с глубокими нейронными сетями и поиском по дереву». Природа. 529 (7587): 484–489. Bibcode:2016Натура.529..484S. Дои:10.1038 / природа16961. ISSN  0028-0836. PMID  26819042.закрытый доступ
  9. ^ а б c "Как исследователи искусственного интеллекта Facebook создали революционный движок Go". Обзор технологий MIT. Получено 2016-04-24.
  10. ^ а б Мец, Кейд (7 декабря 2015 г.). «Google и Facebook соревнуются, чтобы решить древнюю игру, связанную с искусственным интеллектом». ПРОВОДНОЙ. Получено 2016-04-24.
  11. ^ Келион, Лев (27 января 2016 г.). «Facebook обучает ИИ побеждать людей в настольной игре го - BBC News». Новости BBC. Получено 2016-04-24.
  12. ^ ЛеКун, Янн; Бенхио, Йошуа; Хинтон, Джеффри (27 мая 2015 г.). «Глубокое обучение». Природа. 521 (7553): 436–444. Bibcode:2015Натура.521..436L. Дои:10.1038 / природа14539. PMID  26017442.

внешняя ссылка