Взгляды Хуберта Дрейфуса на искусственный интеллект - Википедия - Hubert Dreyfuss views on artificial intelligence

Обложка книги в мягкой обложке 1979 г.

Хуберт Дрейфус был критиком искусственный интеллект исследование. В серии статей и книг, в том числе Алхимия и ИИ (1965), Чего не умеют компьютеры (1972; 1979; 1992 ) и Разум важнее машины (1986), он представил пессимистическую оценку прогресса ИИ и критику философских основ этой области. Возражения Дрейфуса обсуждаются в большинстве предисловий к философия искусственного интеллекта, включая Рассел и Норвиг (2003), стандартный учебник ИИ, и в Страх (2007), обзор современной философии.[1]

Дрейфус утверждал, что человеческий интеллект и опыт зависят в первую очередь от бессознательных процессов, а не от сознательных. символический манипуляции, и что эти бессознательные навыки никогда не могут быть полностью зафиксированы в формальных правилах. Его критика была основана на идеях современных континентальные философы Такие как Мерло-Понти и Хайдеггер, и был направлен на первую волну исследований ИИ, в которых использовался высокий уровень формальные символы представлять реальность и пытался свести интеллект к манипуляции с символами.

Когда идеи Дрейфуса были впервые представлены в середине 1960-х годов, они были встречены насмешками и откровенной враждебностью.[2][3] К 1980-м годам, однако, многие из его взглядов были заново открыты исследователями, работающими в робототехника и новое поле коннекционизм —Подходы теперь называются "субсимволический "потому что они избегают акцента ранних исследований ИИ на символах высокого уровня. В 21 веке на основе статистики подходы к машинное обучение смоделировать способ, которым мозг использует бессознательный процесс для восприятия, выявления аномалий и быстрого принятия решений. Эти методы очень успешны и в настоящее время широко используются как в промышленности, так и в академических кругах. Историк и исследователь ИИ Даниэль Кревье пишет: «Время доказало точность и проницательность некоторых комментариев Дрейфуса».[4] В 2007 году Дрейфус сказал: «Я полагаю, что выиграл, и все кончено - они сдались».[5]

Критика Дрейфуса

Грандиозные обещания искусственного интеллекта

В Алхимия и ИИ (1965) и Чего не умеют компьютеры (1972), Дрейфус резюмировал история искусственного интеллекта и высмеивал необузданный оптимизм, который пронизывал эту область. Например, Герберт А. Саймон, после успеха его программы Решение общих проблем (1957), предсказал, что к 1967 году:[6]

  1. Компьютер стал бы чемпионом мира по шахматам.
  2. Компьютер обнаружит и докажет новую важную математическую теорему.
  3. Большинство теорий в психологии принимает форму компьютерных программ.

Пресса сообщала об этих прогнозах в ярких сообщениях о скором появлении машинного интеллекта.

Дрейфус считал такой оптимизм совершенно необоснованным. Он считал, что они основаны на ложных предположениях о природе человеческого интеллекта. Памела МакКордак объясняет позицию Дрейфуса:

[A] Большое недоразумение объясняет общественное заблуждение относительно мыслящих машин, недоразумение, совершаемое нереалистичными заявлениями исследователей в области ИИ, утверждениями о том, что мыслящие машины уже здесь или, по крайней мере, не за горами.[7]

Эти прогнозы были основаны на успехе модели разума «обработки информации», сформулированной Ньюэллом и Саймоном в их работе. гипотеза системы физических символов, а позже расширился до философской позиции, известной как вычислитель философами, такими как Джерри Фодор и Хилари Патнэм.[8] Полагая, что они успешно смоделировали основной процесс человеческого мышления с помощью простых программ, казалось, что до создания полностью интеллектуальных машин был короткий шаг. Однако Дрейфус утверждал, что философия, особенно Философия 20 века, обнаружил серьезные проблемы с этой точкой зрения обработки информации. Согласно современной философии разум - это не что иное, как цифровой компьютер.[7]

Четыре предположения Дрейфуса об исследованиях искусственного интеллекта

В Алхимия и ИИ и Чего не умеют компьютерыДрейфус выделил четыре философских предположения, которые поддерживали веру ранних исследователей ИИ в то, что человеческий интеллект зависит от манипулирования символами.[9] «В каждом случае, - пишет Дрейфус, - это предположение принимается работниками [AI] как аксиома, гарантирующая результаты, тогда как на самом деле это одна из гипотез, которая должна быть проверена успехом такой работы».[10]

Биологическое предположение
Мозг обрабатывает информацию дискретными действиями с помощью некоего биологического эквивалента переключателей включения / выключения.

В первые дни исследования неврология, ученые поняли, что нейроны стрелять импульсами "все или ничего". Несколько исследователей, таких как Уолтер Питтс и Уоррен МакКаллох, утверждал, что нейроны функционируют аналогично тому, как Логическая логика ворота работают, и поэтому их можно имитировать с помощью электронных схем на уровне нейрона.[11]Когда в начале 50-х годов стали широко использоваться цифровые компьютеры, этот аргумент был расширен и позволил предположить, что мозг был огромным система физических символов, манипулируя двоичными символами нуля и единицы. Дрейфус смог опровергнуть биологическое предположение, сославшись на исследования в неврология Это предполагает, что действие и время срабатывания нейронов имеют аналоговые компоненты.[12] Но Даниэль Кревье отмечает, что «немногие все еще придерживались этой веры в начале 1970-х, и никто не возражал против Дрейфуса» по поводу биологического допущения.[13]

Психологическое предположение
Разум можно рассматривать как устройство, работающее с битами информации в соответствии с формальными правилами.

Он опроверг это предположение, показав, что многое из того, что мы «знаем» о мире, состоит из сложных отношения или же тенденции которые заставляют нас склоняться к одной интерпретации над другой. Он утверждал, что даже когда мы используем явные символы, мы используем их на бессознательном фоне здравый смысл и что без этого фона наши символы перестают что-либо значить. Этот фон, по мнению Дрейфуса, не реализовывался в индивидуальном мозге как явные индивидуальные символы с явными индивидуальными значениями.

Эпистемологическое предположение
Все знания можно формализовать.

Это касается философской проблемы эпистемология, или изучение знание. Даже если мы согласимся с тем, что психологическое предположение неверно, исследователи ИИ все равно могут спорить (как основатель ИИ Джон Маккарти имеет), что машина для обработки символов может представлять все знания, независимо от того, одинаково ли люди представляют знания. Дрейфус утверждал, что это предположение необоснованно, поскольку большая часть человеческих знаний не является символической.

Онтологическое допущение
Мир состоит из независимых фактов, которые можно представить независимыми символами.

Дрейфус также выявил более тонкое представление о мире. Исследователи искусственного интеллекта (а также футуристы и писатели-фантасты) часто предполагают, что формальным научным знаниям нет предела, поскольку они полагают, что любое явление во Вселенной можно описать символами или научными теориями. Это предполагает, что все, что существуют можно понимать как объекты, свойства объектов, классы объектов, отношения объектов и так далее: именно те вещи, которые можно описать логикой, языком и математикой. Изучение бытия или существования называется онтология, и так Дрейфус называет это онтологическим предположением. Если это неверно, тогда возникают сомнения в том, что мы можем в конечном итоге знать и какие интеллектуальные машины в конечном итоге смогут помочь нам в этом.

Знание-хау против знания-то: примат интуиции

В Разум важнее машины (1986), написанные в период расцвета экспертные системы, Дрейфус проанализировал разницу между человеческим опытом и программами, которые претендовали на его получение. Это расширило идеи из Чего не умеют компьютеры, где он привел аналогичный аргумент, критикуя "когнитивное моделирование "школа исследований искусственного интеллекта, практикуемая Аллен Ньюэлл и Герберт А. Саймон в 1960-е гг.

Дрейфус утверждал, что решение человеческих проблем и опыт зависят от нашего фонового восприятия контекста, того, что является важным и интересным в данной ситуации, а не от процесса поиска комбинаций возможностей, чтобы найти то, что нам нужно. Дрейфус описал бы это в 1986 году как разницу между «знанием того» и «знанием-хау», основываясь на Хайдеггер отличие под рукой и готовый к употреблению.[14]

Знание - это наша осознанная способность к пошаговому решению проблем. Мы используем эти навыки, когда сталкиваемся с трудной проблемой, которая требует от нас остановиться, сделать шаг назад и поискать идеи по очереди. В такие моменты идеи становятся очень точными и простыми: они становятся контекстными символами, которыми мы манипулируем с помощью логики и языка. Это навыки, которые Newell и Саймон продемонстрировал с помощью психологических экспериментов и компьютерных программ. Дрейфус согласился, что их программы адекватно имитируют навыки, которые он называет «знанием этого».

С другой стороны, ноу-хау - это то, как мы обычно справляемся с вещами. Мы совершаем действия, вообще не используя сознательные символические рассуждения, например, когда мы узнаем лицо, заставляем себя работать или находим правильные слова. Кажется, мы просто переходим к соответствующему ответу, не рассматривая никаких альтернатив. В этом суть опыта, утверждал Дрейфус: когда наша интуиция натренирована до такой степени, что мы забываем правила, просто «оцениваем ситуацию» и реагируем.

Согласно Дрейфусу, человеческое восприятие ситуации основано на наших целях, нашем теле и нашей культуре - всей нашей бессознательной интуиции, взглядах и знаниях о мире. Этот «контекст» или «фон» (связанный с Хайдеггер с Dasein ) - это форма знания, которая хранится в нашем мозгу не символически, а каким-то образом интуитивно. Это влияет на то, что мы замечаем и чего не замечаем, что мы ожидаем и какие возможности мы не рассматриваем: мы различаем то, что является важным и несущественным. Несущественные вещи относятся к нашему «второстепенному сознанию» (заимствуя фразу из Уильям Джеймс ): миллионы вещей, о которых мы знаем, но на самом деле мы не думаем прямо сейчас.

Дрейфус не верит, что программы искусственного интеллекта в том виде, в каком они были реализованы в 70-х и 80-х годах, могли бы уловить этот «фон» или быстро решить проблемы, которые он позволяет. Он утверждал, что наше бессознательное знание может никогда быть захваченным символически. Если ИИ не мог найти способ решить эти проблемы, то он был обречен на провал, упражнение в «лазании по деревьям, глядя на луну».[15]

История

Дрейфус начал формулировать свою критику в начале 1960-х годов, когда он был профессором в Массачусетский технологический институт, затем рассадник исследований искусственного интеллекта. Его первая публикация на эту тему - возражение на полстраницы против выступления, сделанного Герберт А. Саймон весной 1961 г.[16] Дрейфуса, как философа, особенно беспокоило то, что исследователи ИИ, казалось, считали, что они находятся на грани решения многих давних философских проблем в течение нескольких лет с помощью компьютеров.

Алхимия и искусственный интеллект

В 1965 году Дрейфус был принят на работу (вместе с братом Стюарт Дрейфус 'помощь) от Пол Армер провести лето в RAND Corporation в Санта-Монике, где он писал Алхимия и искусственный интеллект, первый залп его атаки. Армер думал, что нанимает беспристрастного критика, и был удивлен, когда Дрейфус выпустил резкую бумагу, призванную разрушить основы поля. (Армер заявил, что ему ничего не было известно о предыдущей публикации Дрейфуса.) Армер отложил ее публикацию, но в конце концов понял, что «то, что она пришла к выводу, который вам не нравится, не является причиной не публиковать ее».[17] В конце концов он вышел как RAND Memo и вскоре стал бестселлером.[18]

В статье резко высмеиваются исследования ИИ, сравнивая их с алхимия: ошибочная попытка заменить металлы на золото, основанная на теоретической основе, которая была не более чем мифологией и принятием желаемого за действительное.[19] Он высмеивал грандиозные прогнозы ведущих исследователей ИИ, предсказывая, что существуют пределы, за которыми ИИ не сможет развиваться, и давая понять, что эти пределы скоро будут достигнуты.[20]

Реакция

По словам Памелы МакКордак, газета «вызвала бурю негодования».[21] Ответ сообщества ИИ был насмешливым и личным. Сеймур Пейперт отклонил одну треть газеты как «сплетню» и заявил, что каждая цитата была намеренно вырвана из контекста.[22] Герберт А. Саймон обвинил Дрейфуса в том, что он играет в «политику», чтобы присвоить своим идеям престижное имя RAND. Саймон сказал: «Что меня возмущает по этому поводу, так это имя RAND, прикрепленное к этому мусору».[23]

Дрейфус, преподававший в Массачусетский технологический институт, вспоминает, что его коллеги, работающие в AI, «не осмелились быть замеченными за обедом со мной».[24] Йозеф Вайценбаум, автор ELIZA, почувствовал, как его коллеги обращаются с Дрейфус было непрофессионально и по-детски. Хотя он был откровенным критиком позиции Дрейфуса, он вспоминает: «Я стал единственным членом сообщества ИИ, которого видели обедающим с Дрейфусом. И я сознательно дал понять, что их позиция - не способ обращения с человеком».[25]

Статья была предметом короткометражного Житель Нью-Йорка журнал от 11 июня 1966 года. В статье упоминалось утверждение Дрейфуса о том, что, хотя компьютеры могут играть в шашки, ни один компьютер еще не может играть приличную партию в шахматы. Он с ироничным юмором (как и Дрейфус) сообщил о победе десятилетнего ребенка над ведущей шахматной программой с «даже большим, чем его обычное самодовольство».[20]

В надежде восстановить репутацию ИИ, Сеймур Пейперт устроил шахматный матч между Дрейфусом и Ричард Гринблатт с Mac Взлом программа. Дрейфус проиграл, к большому удовлетворению Паперта.[26] An Ассоциация вычислительной техники бюллетень[27] использовал заголовок:

«Десятилетний ребенок может победить машину - Дрейфус: Но машина может победить Дрейфуса"[28]

Дрейфус жаловался в печати, что не сказал, что компьютер никогда играть в шахматы, в которые Герберт А. Саймон ответил: "Вы должны признать, что некоторые из тех, кого укусила ваша острозубая проза, вероятно, в силу своей человеческой слабости, откусят назад ... Могу ли я быть настолько смелым, чтобы предположить, что вы вполне можете начать охлаждение ... - восстановление чувства юмора - хороший первый шаг ».[29]

Подтвержден

К началу 1990-х годов некоторые радикальные взгляды Дрейфуса стали общепринятыми.

Неудачные прогнозы. Как и предполагал Дрейфус, грандиозные предсказания первых исследователей ИИ не сбылись. Полностью интеллектуальные машины (теперь известные как "сильный ИИ ") не появился в середине 1970-х, как предсказывалось. HAL 9000 (чьи способности к естественному языку, восприятию и решению проблем были основаны на советах и ​​мнениях Марвин Мински ) не появлялись в 2001 году. «Исследователям искусственного интеллекта, - пишет Николас Ферн, - явно нужно кое-что объяснить».[30] Сегодня исследователи гораздо более неохотно делают прогнозы, которые были сделаны в первые дни. (Хотя некоторые футуристы, например Рэй Курцвейл, по-прежнему испытывают такой же оптимизм.)

Биологическое предположение, хотя это было обычным явлением в 40-х и начале 50-х годов, большинство исследователей ИИ уже не предполагали, что к моменту публикации Дрейфус Чего не умеют компьютеры.[13] Хотя многие по-прежнему утверждают, что необходимо реконструировать мозг, моделируя действие нейронов (таких как Рэй Курцвейл[31] или же Джефф Хокинс[32]), они не предполагают, что нейроны по сути являются цифровыми, а скорее, что действие аналоговых нейронов может моделироваться цифровыми машинами с разумным уровнем точности.[31] (Алан Тьюринг сделал то же наблюдение еще в 1950 г.)[33]

Психологическое предположение и бессознательные навыки. Многие исследователи ИИ согласились с тем, что человеческое мышление не состоит в основном из манипуляции символами высокого уровня. Фактически, с тех пор, как Дрейфус впервые опубликовал свою критику в 60-х годах, исследования ИИ в целом отошли от манипулирования символами высокого уровня или "ГОФАИ "в сторону новых моделей, которые предназначены для съемки большего количества наших без сознания рассуждения. Даниэль Кревье пишет, что к 1993 году, в отличие от 1965 года, исследователи искусственного интеллекта «больше не делали психологических предположений»,[13] и продолжил движение без него.

В 80-е годы эти новые "субсимволический "подходы включали:

  • Вычислительный интеллект парадигмы, такие как нейронные сети, эволюционные алгоритмы и так далее, в основном направлены на моделирование бессознательного мышления. Сам Дрейфус согласен с тем, что эти субсимволические методы могут улавливать те «тенденции» и «отношения», которые он считает необходимыми для интеллекта и опыта.[34]
  • Исследования в здравый смысл был сосредоточен на воспроизведении «фона» или контекста знаний.
  • Робототехника исследователи любят Ганс Моравец и Родни Брукс были одними из первых, кто осознал, что вскрыть бессознательные навыки будет труднее всего. (Видеть Парадокс Моравца.) Брукс возглавил движение в конце 80-х, которое прямо нацелилось на использование высокоуровневых символов, называемых Nouvelle AI. В расположенный движение в робототехника исследование пытается уловить наши бессознательные навыки восприятия и внимания.[35]

В 1990-е годы и в первые десятилетия 21 века статистические подходы к машинному обучению использовали методы, связанные с экономикой и статистикой, чтобы позволить машинам «гадать» - делать неточные, вероятностные решения и прогнозы, основанные на опыте и знаниях. Эти программы моделируют то, как наши бессознательные инстинкты способны воспринимать, замечать аномалии и делать быстрые суждения, подобно тому, что Дрейфус называл «анализом ситуации и реагированием», но здесь «ситуация» состоит из огромных объемов числовых данных. Эти методы очень успешны и в настоящее время широко используются как в промышленности, так и в академических кругах.

Это исследование продолжалось без какой-либо прямой связи с работой Дрейфуса.[36]

Знание-как и знание-то. Исследования в области психологии и экономики показали, что предположение Дрейфуса (и Хайдеггера) о природе решения человеческих проблем было по сути правильным. Даниэль Канеманн и Амос Тверски собрали огромное количество неопровержимых доказательств того, что люди используют два очень разных метода для решения проблем, которые они назвали «система 1» и «система 2». Первая система, также известная как адаптивное бессознательное, быстро, интуитивно понятно и бессознательно. Система 2 медленная, логичная и продуманная. Их исследования собраны в книге Мышление, быстро и медленно и вдохновил Малькольм Гладуэлл популярная книга Мигать. Как и в случае с ИИ, это исследование было полностью независимым как от Дрейфуса, так и от Хайдеггера.[36]

Игнорируется

Хотя очевидно, что исследования ИИ пришли к согласию с Дрейфусом, МакКордак утверждал, что «у меня такое впечатление, что этот прогресс был постепенным, в ответ на жесткие данные проблемы и ничем не обязан Дрейфусу».[36]

Сообщество ИИ, за некоторыми исключениями, предпочло не отвечать Дрейфусу напрямую. «Он слишком глуп, чтобы воспринимать всерьез», - сказала Памеле МакКордак исследователь.[29] Марвин Мински сказал о Дрейфусе (и других критических замечаниях, исходящих от философия ), что «они неправильно понимают, и их следует игнорировать».[37] Когда Дрейфус расширился Алхимия и ИИ до длины книги и опубликовал ее как Чего не умеют компьютеры в 1972 году никто из сообщества ИИ не ответил (за исключением нескольких критических обзоров). МакКордак спрашивает: «Если Дрейфус настолько заблуждается, почему люди, занимающиеся искусственным интеллектом, не приложили больше усилий, чтобы ему опровергнуть?»[29]

Частично проблема заключалась в своего рода философии, которую Дрейфус использовал в своей критике. Дрейфус был экспертом в современные европейские философы (подобно Хайдеггер и Мерло-Понти ).[38] Напротив, исследователи ИИ 1960-х годов основывали свое понимание человеческого разума на инженерных принципах и эффективных методах решения проблем, связанных с Наука управления. На фундаментальном уровне они говорили на другом языке. Эдвард Фейгенбаум жаловался: "Что он нам предлагает? Феноменология! Этот комок пуха. Эта сладкая вата! "[39] В 1965 году был слишком большой разрыв между европейской философией и искусственный интеллект, пробел, который с тех пор был заполнен наука о мышлении, коннекционизм и робототехника исследование. Пройдет много лет, прежде чем исследователи искусственного интеллекта смогут заняться проблемами, важными для континентальной философии, такими как расположение, воплощение, восприятие и гештальт.

Другая проблема заключалась в том, что он утверждал (или, казалось, утверждал), что ИИ никогда уметь отражать человеческую способность понимать контекст, ситуацию или цель в форме правил. Но, как Питер Норвиг и Стюарт Рассел позже объяснил бы), аргумент такой формы не может быть выигран: просто потому, что невозможно вообразить формальные правила, управляющие человеческим интеллектом и опытом, это не означает, что таких правил не существует. Они цитируют Алан Тьюринг Ответ на все аргументы аналогичен Дрейфусу:

«мы не можем так легко убедить себя в отсутствии полных законов поведения ... Единственный известный нам способ найти такие законы - это научное наблюдение, и мы, конечно, не знаем никаких обстоятельств, при которых мы могли бы сказать:« Мы провели достаточно исследований. . Нет таких законов ».[40][41]

Дрейфус не ожидал, что исследователи ИИ осознают свою ошибку и начнут работать над новыми решениями, отойдя от символических методов, которые критиковал Дрейфус. В 1965 году он не предполагал, что когда-нибудь будут созданы такие программы, поэтому утверждал, что ИИ невозможен. В 1965 году исследователи ИИ не предполагали, что такие программы необходимы, поэтому они заявили, что ИИ почти завершен. Оба были неправы.

Более серьезной проблемой было впечатление, что критика Дрейфуса была неисправимо враждебной. МакКордак писал: «Его насмешка была настолько провокационной, что он оттолкнул всех, кого мог просветить. И это жаль».[36] Даниэль Кревье заявил, что «время доказало точность и проницательность некоторых комментариев Дрейфуса. Если бы он сформулировал их менее агрессивно, конструктивные действия, которые они предлагали, могли бы быть предприняты гораздо раньше».[4]

Смотрите также

Примечания

  1. ^ Дрейфус был одним из немногих ученых, не занимающихся компьютерными технологиями, попросившим дать комментарий в опросе IEEE о величайших противоречиях в области ИИ. (Hearst et al. 2000 г. )
  2. ^ МакКордак 2004 С. 211–243.
  3. ^ Crevier 1993 С. 120–132.
  4. ^ а б Crevier 1993, п. 125.
  5. ^ Цитируется в Страх 2007, п. 51
  6. ^ Ньюэлл и Саймон 1963.
  7. ^ а б МакКордак 2004, п. 212.
  8. ^ Хорст 2005.
  9. ^ МакКордак 2004, п. 211.
  10. ^ Дрейфус 1979, п. 157.
  11. ^ МакКордак 2004, стр. 51–57, 88–94; Crevier 1993, п. 30; Рассел и Норвиг, 2003 г., п. 15–16
  12. ^ Дрейфус 1992 С. 158–62.
  13. ^ а б c Crevier 1993, п. 126.
  14. ^ Дрейфус и Дрейфус 1986 и увидеть От Сократа к экспертным системам. Терминология «ноу-хау» / «знание-то» была введена в 1950-х годах философом Гилберт Райл.
  15. ^ Дрейфус 1992, п. 119.
  16. ^ МакКордак 2004, п. 225.
  17. ^ Пол Армер, цитируется в МакКордак (2004), п. 226)
  18. ^ МакКордак 2004, п. 225-227.
  19. ^ МакКордак 2004, п. 238.
  20. ^ а б МакКордак 2004, п. 230.
  21. ^ МакКордак 2004 С. 227–228.
  22. ^ МакКордак 2004, п. 228.
  23. ^ Цитируется в МакКордак (2004), п. 226)
  24. ^ Цитируется в Crevier 1993, п. 122
  25. ^ Йозеф Вайценбаум, цитируется в Crevier 1993, п. 123.
  26. ^ МакКордак 2004, п. 230-232.
  27. ^ Бюллетень предназначался для Специальной группы по искусственному интеллекту. (ACM SIGART).
  28. ^ Цитируется в МакКордак (2004), п. 232)
  29. ^ а б c МакКордак 2004, п. 233.
  30. ^ Страх 2007, п. 40.
  31. ^ а б Курцвейл 2005.
  32. ^ Хокинс и Блейксли 2005.
  33. ^ Тьюринг 1950 в разделе «(7) Аргумент непрерывности нервной системы».
  34. ^ Дрейфус 1992, стр. xiv-xvi.
  35. ^ Видеть Брукс 1990 или же Моравец 1988
  36. ^ а б c d МакКордак 2004, п. 236.
  37. ^ Crevier 1993, п. 143.
  38. ^ МакКордак 2004, п. 213.
  39. ^ Цитируется в МакКордак (2004), стр. 229–230).
  40. ^ Тьюринг 1950 в разделе «(8) Аргумент от неформального поведения»
  41. ^ Рассел и Норвиг, 2003 г., п. 950-51.

Рекомендации