Премия Лебнера - Loebner Prize

В Премия Лебнера это ежегодный конкурс в искусственный интеллект который присуждает призы компьютерные программы считается судьями наиболее похожим на человека. Формат конкурса - стандартный. Тест Тьюринга. В каждом раунде судья-человек одновременно ведет текстовые беседы с компьютерной программой и человеком через компьютер. Основываясь на ответах, судья должен решить, что есть что.

Конкурс был запущен в 1990 г. Хью Лёбнер в сочетании с Кембриджский центр поведенческих исследований, Массачусетс, Соединенные Штаты. С 2014 г.[1] это было организовано AISB в Bletchley Park.[2]Это также было связано с Университет Флиндерса, Дартмутский колледж, то Научный музей в Лондон, Университет Ридинга и Ольстерский университет, Маги Кампус, Дерри, Город культуры Великобритании В 2004 и 2005 годах он проходил в квартире Лебнера в г. Нью-Йорк. В области искусственного интеллекта премия Лебнера вызывает споры; самый выдающийся критик, Марвин Мински, назвал это рекламным ходом, который никуда не годится.[3]

В 2019 году изменился формат конкурса. Судейской коллегии больше не будет. Вместо этого чат-боты будут оцениваться публикой, и не будет конкурентов-людей. [4]

Призы

Первоначально 2000 долларов были присуждены за самую человечную программу конкурса. Премия составила 3000 долларов в 2005 году и 2250 долларов в 2006 году. В 2008 году было присуждено 3000 долларов.

Кроме того, есть два разовых приза, которые никогда не присуждались. 25000 долларов предлагается за первую программу, которую судьи не могут отличить от реального человека и которая может убедить судей в том, что человек - это компьютерная программа. 100000 долларов - это награда за первую программу, которую судьи не могут отличить от реального человека в тесте Тьюринга, который включает расшифровку и понимание текста, визуального и слухового ввода. Как только это будет достигнуто, ежегодный конкурс закончится.

Правила и ограничения конкуренции

Правила менялись с годами, и в ранних соревнованиях использовались тесты Тьюринга с ограниченным разговором.[5] но с 1995 года обсуждение ведется неограниченно.

Для трех работ в 2007 году Роберт Медекса, Ноа Дункан и Ролло Карпентер,[6] Некоторые базовые «контрольные вопросы» были использованы спонсором для оценки состояния технологии. Сюда входили простые вопросы о времени, раунде конкурса и т. Д .; общие знания («Для чего нужен молоток?»); сравнения («Что быстрее, поезд или самолет?»); и вопросы, демонстрирующие память на предыдущие части того же разговора. «Все существительные, прилагательные и глаголы будут взяты из словаря, подходящего для детей и подростков младше 12 лет». Для того, чтобы заявки были приняты, не нужно было «разумно» отвечать на вопросы.

Впервые в 2008 году спонсор позволил ввести предварительную фазу конкурса, открыв конкурс для ранее запрещенных веб-заявок, оцениваемых множеством приглашенных следователей. В доступных правилах не указывается, как выбираются или инструктируются следователи. У дознавателей (которые оценивают системы) ограничено время: 5 минут на объект на соревнованиях 2003 года, 20+ на пару в соревнованиях 2004–2007 годов, 5 минут на проведение. одновременный разговоры с человеком и программой в 2008-2009 годах увеличились до 25 минут одновременного разговора с 2010 года.

Критика

Приз уже давно презирается специалистами в этой области,[7] по целому ряду причин.

Многие считают это рекламным ходом.[8][9] Марвин Мински язвительно предложил «приз» любому, кто сможет остановить соревнование. Лёбнер ответил, в шутку заметив, что предложение Мински приза, чтобы остановить соревнование, фактически сделало его одним из спонсоров.[10]

Правила соревнований побуждают плохо квалифицированных судей выносить быстрые решения. Взаимодействие между судьями и участниками изначально было очень коротким, например, фактически 2,5 минуты допроса, что позволило задать только несколько вопросов.[8] Изначально допрос ограничивался «причудливой беседой»,[7] домен, подходящий для стандартных трюков с чат-ботом.[11]

Участники соревнований не стремятся к пониманию или разведке, а прибегают к основным ELIZA стилевые приемы,[8][12] успешные участники находят обман, и притворство вознаграждается.[13]

Отчетность о ежегодном конкурсе часто сбивает с толку имитационный тест с умом,[14] типичным примером является введение Брайана Кристиана в его статью «Разум против машины» в The Atlantic, март 2011 г.,[15] заявляя, что "в гонке за создание компьютеров, которые может думать как люди, испытательной площадкой является тест Тьюринга ».

Конкурсы

2006

В 2006 году конкурс был организован Тим Чайлд (Генеральный директор Televirtual) и Хума Шах.[16][17] 30 августа были объявлены четыре финалиста:

  • Ролло Карпентер
  • Ричард Черчилль и Мари-Клэр Дженкинс
  • Ной Дункан
  • Роберт Медексза

Конкурс прошел 17 сентября в театре VR, кампус Torrington Place в г. Университетский колледж Лондона. В состав судей входили Университет Рединга. кибернетика профессор, Кевин Уорвик, профессор искусственного интеллекта Джон Барнден (специалист по исследованию метафор в Бирмингемский университет ), адвокат Виктория Батлер-Коул и журналист Грэм Дункан-Роу. Об опыте последнего на мероприятии можно прочитать в статье в Обзор технологий.[18][19] Победителем стала «Жанна» по версии Jabberwacky, оба созданы Ролло Карпентером.

2007

Конкурс 2007 года прошел 21 октября в Нью-Йорке. Судьи были: Информатика профессор Расс Эбботт, профессор философии Хартри Филд, доцент психологии Клейтон Кертис и преподаватель английского языка Скотт Хатчинс.[20]

Ни один бот не прошел тест Тьюринга, но судьи оценили трех участников следующим образом:

  • 1-е место: Роберт Медекса, создатель Ultra Hal
  • 2-й: Ной Дункан, частный вход, создатель Cletus
  • 3-е место: Ролло Карпентер из Icogno, создатель Jabberwacky

Победитель получил 2250 долларов и годовую медаль. Вторые места получили по 250 долларов.

2008

Соревнование 2008 года было организовано профессором Кевином Уорвиком, координировалось Хумой Шахом и проводилось 12 октября в Университете Рединга. Великобритания.[21] После тестирования более чем сотней судей на предварительном этапе, в июне и июле 2008 года, шесть финалистов были отобраны из тринадцати первоначальных участников - искусственные разговорные сущности (ACE). В финале вышли пятеро приглашенных:

В финале каждому судье было дано пять минут для одновременного разговора на разделенном экране с двумя скрытыми объектами. Эльбот[22] искусственных растворов[23] выиграл бронзовую награду премии Лебнера 2008 года за самый человекоподобный искусственная разговорная сущность, обманывая трех из двенадцати судей, допрашивающих ее (в сравнении с людьми), заставляя их поверить в то, что это был человек. Это очень близко к 30%, традиционно необходимым для того, чтобы считать, что программа действительно прошла тест Тьюринга. Юджин Густман[24] и Ultra Hal[25] оба обманули одного судью, что это был человек.

Уилл Павия, журналист Времена, написал о своем опыте; судья финала Лёбнера, его обманули Эльбот и Юджин.[26] Кевин Уорвик и Хума Шах сообщили о параллельных парах тестов Тьюринга.[27]

2009

Конкурс на премию Лебнера 2009 года прошел 6 сентября 2009 года в г. Брайтон Центр, Брайтон Великобритания в связи с конференцией Interspeech 2009. Сумма приза на 2009 год составила 3000 долларов.

Поступающие были Дэвид Леви, Ролло Карпентер и Мохан Эмбар, которые финишировали в таком порядке.

Писатель Брайан Кристиан участвовал в конкурсе на премию Лебнера 2009 года как единомышленник и описал свой опыт участия в конкурсе в своей книге. Самый человеческий человек.

2010

Конкурс на премию Лёбнера 2010 года прошел 23 октября в г. Калифорнийский государственный университет, Лос-Анджелес. Соревнования 2010 года стали 20-м проведением конкурса. Победителем стал Брюс Уилкокс с Сюзетт.

2011

Конкурс на премию Лёбнера 2011 года прошел 19 октября в Эксетерский университет, Девон, Объединенное Королевство. Сумма приза на 2011 год составила 4000 долларов.

Четыре финалиста и их болтуны были Брюс Уилкокс (Розетта), Адина Миньогна (Зои), Мохан Эмбар (Чип Вивант) и Рон Ли (наставник), которые финишировали в указанном порядке.

В том же году была добавлена ​​коллегия младших судей, а именно Жан-Поль Асталь-Стейн, Уильям Данн, Сэм Кит и Кирилл Джердев. Результаты юношеского конкурса заметно отличались от основного конкурса: болтовни Tutor и Zoe заняли первое место, а Chip Vivant и Rosette заняли третье и четвертое места соответственно.

2012

Конкурс на премию Лёбнера 2012 года прошел 15 мая в г. Bletchley Park в Блетчли, Бакингемшир, Англия, в честь Алан Тьюринг столетние торжества. Сумма приза на 2012 год составила 5000 долларов. Организатором аранжировки выступил Дэвид Леви, получивший премию Лебнера в 1997 и 2009 годах.

Четыре финалиста и их болтуны были Мохан Эмбар (Чип Вивант), Брюс Уилкокс (Анджела), Дэниел Берк (Адам), М. Аллан (Лингу), которые финишировали в указанном порядке.

В том же году команда факультета информатики Университета Эксетера (Эд Кидвелл, Макс Дупенуа и Кент МакКлимонт) провела первую в истории прямую трансляцию этих бесед в Интернете.[28]

2013

Конкурс на премию Лёбнера 2013 года проводился впервые на о. Ирландия, 14 сентября в Ольстерский университет, Колледж Маги, Дерри, Северная Ирландия, ВЕЛИКОБРИТАНИЯ.

Четыре финалиста и их чат-боты - это Стив Уорсвик (Мицуку), доктор Рон Ли (наставник), Брюс Уилкокс (Роуз) и Брайан Ригсби (Изар), которые финишировали в указанном порядке.

Судьи были профессором Роджер Шэнк (Сократическое искусство), профессор Ноэль Шарки (Шеффилдский университет ), Профессор Минхуа (Юнис) Ма (Университет Хаддерсфилда, тогда Университет Глазго ) и профессор Майк МакТир (Ольстерский университет ).

На конкурсе Junior Loebner Prize 2013 года чат-боты Mitsuku и Tutor разделили первое место, а Роуз и Изар заняли 3-е и 4-е места соответственно.

2014

Соревнование на призы Лебнера 2014 года проходило в Блетчли-парке, Англия, в субботу, 15 ноября 2014 года. Мероприятие было снято в прямом эфире Sky News. Приглашенным судьей был телеведущий и телеведущий Джеймс Мэй.

После 2 часов судейства победителем был признан «Роза» Брюса Уилкокса. Брюс получит чек на 4000 долларов и бронзовую медаль. Ранги были следующими:

Роза - ранг 1 (4000 долларов и бронзовая медаль); Изар - Ранг 2.25 (1500 $); Uberbot - 3,25 ранга (1000 $); и Mitsuku - 3,5 ранга (500 долларов).

Судьи: доктор Ян Хокинг, писатель и старший преподаватель психологии колледжа Крайст-Черч, Кентербери; Д-р Гита Куадри-Мостефауи, преподаватель компьютерных наук и технологий, Университет Бедфордшира; Г-н Джеймс Мэй, телеведущий и телеведущий; и доктор Пол Сант, декан UCMK, Университет Бедфордшира.

2015

В конкурсе на премию Лебнера 2015 года снова выиграла «Роза» Брюса Уилкокса.[29]

Судьями были Джейкоб Аарон, репортер по физическим наукам New Scientist; Рори Селлан-Джонс, технологический корреспондент BBC; Бретт Марти, кинорежиссер и фотограф; Ариадна Тампион, писатель.

2016

Премия Лебнера 2016 года была проведена в Блетчли-парке 17 сентября 2016 года. После 2 часов судейства были объявлены окончательные результаты. Ранги были следующими:

  • 1-е место: Mitsuku[30]
  • 2 место: Репетитор
  • 3 место: Роза

Победители

Официальный список победителей.[31]

ГодПобедительПрограмма
1991Джозеф Вайнтрауб«Причудливый разговор»[32] (ПК терапевт )[33]
1992Джозеф ВайнтраубПК терапевт
1993Джозеф ВайнтраубПК терапевт
1994Томас УэленЧАЕВЫЕ
1995Джозеф ВайнтраубПК терапевт
1996Джейсон ХатченсHeX
1997Дэвид ЛевиConverse
1998Робби ГарнерАльберт Один
1999Робби ГарнерАльберт Один
2000Ричард УоллесИскусственный лингвистический Интернет-компьютерный объект (A.L.I.C.E.)
2001Ричард УоллесИскусственный лингвистический Интернет-компьютерный объект (A.L.I.C.E.)
2002Кевин КопплЭлла
2003Юрген ПирнерДжаббервок
2004Ричард УоллесИскусственный лингвистический Интернет-компьютерный объект (A.L.I.C.E.)
2005Ролло КарпентерДжордж (Джабберваки)
2006Ролло КарпентерДжоан (Джабберваки)
2007Роберт МедексзаУльтра Хэл
2008Фред РобертсЭльбот
2009Дэвид ЛевиСделай намного больше
2010Брюс УилкоксСюзетта
2011Брюс УилкоксРозетка[34]
2012Мохан ЭмбарЧип Вивант[35]
2013Стив УорсвикMitsuku[30]
2014Брюс УилкоксРоза
2015Брюс УилкоксРоза
2016Стив УорсвикMitsuku[30]
2017Стив УорсвикMitsuku[30]
2018Стив УорсвикMitsuku[30]
2019Стив УорсвикMitsuku[30]

Смотрите также

Рекомендации

  1. ^ [1], Приз Лебнера, соревнование по тесту Тьюринга в Блетчли-парке - блог Exeter, Проверено 8 декабря 2014 г.
  2. ^ Премия Лебнера, Веб-сайт AISB, Дата обращения 23 января 2018.
  3. ^ Искусственная глупость, Salon.com, 16 февраля 2003 г.
  4. ^ Уэйкфилд, Джейн (14 сентября 2019 г.). «Любители, соревнующиеся за то, чтобы сделать ИИ человеком». Новости BBC. Получено 23 июля 2020.
  5. ^ ""Машины, которые думают ", 4 сезон, серия 3". Scientific American Frontiers. Производственная компания Chedd-Angier. 1993–1994 гг. PBS. В архиве с оригинала 2006 года.
  6. ^ 17-я ежегодная премия Лебнера в области искусственного интеллекта 21 октября 2007 г., Нью-Йорк
  7. ^ а б Пауэрс, Дэвид. «Полный тест Тьюринга и премия Лебнера». Получено 29 мая 2016.
  8. ^ а б c Флориди, Лучано; Таддео, Мариаросария; Турилли, Маттео (2009). «Имитационная игра Тьюринга: по-прежнему невыполнимая задача для всех машин и некоторых судей - оценка конкурса Лебнера 2008 года». Умы и машины. 19 (19): 145–150. CiteSeerX  10.1.1.672.7417. Дои:10.1007 / s11023-008-9130-6.
  9. ^ Сундман, Джон. «Искусственная глупость». Салон. Архивировано из оригинал на 2012-07-20. Получено 29 мая 2016.
  10. ^ Минский, Марвин. "Объявление об аннулировании ежегодной премии Мински Лебнера за 1995 год". Получено 29 мая 2016.
  11. ^ Фишер, Ричард (16 мая 2012 г.). «Чат-боты не убеждают, несмотря на выигрыш приза Лебнера». Новый ученый. Получено 29 мая 2016.
  12. ^ Серк, ЗЛинда. "Может ли компьютер думать?". BBC. Получено 29 мая 2016.
  13. ^ Стивенс, Кеннет Р. «Что нам рассказал конкурс Лебнера о системах Conversant Systems?» (PDF). www.behavior.org. Operant WebSites, Inc. Получено 29 мая 2016.
  14. ^ Флориди, Лучано (25 января 2016). «Людям нечего бояться интеллектуальных машин». Financial Times. Получено 29 мая 2016.
  15. ^ Кристиан, Брайан. «Разум против машины» (Март 2011 г.). Атлантический океан. Получено 29 мая 2016.
  16. ^ Информация о премии Лебнера 2006 г.
  17. ^ Лобнер 2006
  18. ^ Как быть человеком, Обзор технологий, 20 сентября 2006 г.
  19. ^ Премия Лебнера , loebner.net
  20. ^ 17-я ежегодная премия Лебнера в области искусственного интеллекта, loebner.net
  21. ^ 18-я ежегодная премия Лебнера в области искусственного интеллекта 12 октября 2008 г. Университет Рединга, Рединг, Великобритания
  22. ^ Эльбот
  23. ^ Искусственные решения
  24. ^ "Евгений Густман". Архивировано из оригинал на 2017-06-17. Получено 2008-10-21.
  25. ^ Ультра Хэл
  26. ^ Машина побеждает человека на массовом тесте Тьюринга
  27. ^ параллельные парные тесты Тьюринга
  28. ^ "Интернет-трансляция премии Лебнера 2012". Архивировано из оригинал 18 мая 2012 г.. Получено 15 мая 2012.
  29. ^ «Чат-бот Rose выиграл приз Loebner за искусственный интеллект в 2015 году». BBC. Получено 29 мая 2016.
  30. ^ а б c d е ж «Чат-бот Mitsuku».
  31. ^ Лауреаты премии Лебнера, AISB - Общество изучения искусственного интеллекта и моделирования поведения
  32. ^ ""Машины, которые думают ", сезон 2, серия 5". Scientific American Frontiers. Производственная компания Chedd-Angier. 1991–1992 гг. PBS. В архиве с оригинала 2006 года.
  33. ^ http://loebner.net/Prizef/weintraub-bio.html
  34. ^ "Прочтите о розетке, удостоенной премии Лебнера - чат-боте Брюса Уилкокса". Архивировано из оригинал 15 мая 2013 г.. Получено 29 октября 2011.
  35. ^ "Чип Вивант - Мохан Эмбар".

внешняя ссылка