Понимание естественного языка - Википедия - Natural-language understanding

Понимание естественного языка (NLU) или же перевод на естественный язык (NLI)[1] это подтема обработка естественного языка в искусственный интеллект что имеет дело с машиной Понимание прочитанного. Понимание естественного языка считается AI-жесткий проблема.[2]

Эта область представляет значительный коммерческий интерес из-за ее применения в автоматическое рассуждение,[3] машинный перевод,[4] ответ на вопрос,[5] сбор новостей, категоризация текста, голосовая активация, архивирование и крупномасштабные Анализ содержания.

История

Программа УЧЕНИК, написанный в 1964 г. Дэниел Боброу для его докторской диссертации в Массачусетский технологический институт это одна из самых ранних известных попыток понимания естественного языка компьютером.[6][7][8][9][10] Восемь лет спустя Джон Маккарти ввел термин искусственный интеллект, Диссертация Боброу ( Ввод на естественном языке для компьютерной системы решения проблем) показал, как компьютер может понимать простой ввод естественного языка для решения задач алгебры.

Год спустя, в 1965 г., Йозеф Вайценбаум в MIT написал ELIZA, интерактивная программа, которая ведет диалог на английском языке на любую тему, самой популярной из которых является психотерапия. ELIZA работала путем простого синтаксического анализа и замены ключевых слов на стандартные фразы, а Вайценбаум обошел проблему предоставления программе база данных реальных знаний или богатого лексикон. Тем не менее, ELIZA приобрела удивительную популярность как игрушечный проект и может рассматриваться как очень ранний предшественник текущих коммерческих систем, таких как те, которые используются Ask.com.[11]

В 1969 г. Роджер Шэнк в Стэндфордский Университет представил концептуальная теория зависимости для понимания естественного языка.[12] На эту модель частично повлияла работа Сидней Лэмб, широко использовалась учениками Шенка в Йельский университет, Такие как Роберт Виленски, Венди Ленерт, и Джанет Колоднер.

В 1970 г. Уильям А. Вудс представил расширенная переходная сеть (ATN) для представления ввода на естественном языке.[13] Вместо правила структуры фраз ATN использовали эквивалентный набор конечные автоматы которые были вызваны рекурсивно. ATN и их более общий формат, называемый «обобщенные ATN», продолжали использоваться в течение ряда лет.

В 1971 г. Терри Виноград закончил писать ШРДЛУ защитил кандидатскую диссертацию в Массачусетском технологическом институте. SHRDLU мог понимать простые английские предложения в ограниченном мире детских кубиков, чтобы управлять роботизированной рукой для перемещения предметов. Успешная демонстрация SHRDLU дала значительный импульс для продолжения исследований в этой области.[14][15] Виноград продолжал оказывать большое влияние в этой области с публикацией своей книги. Язык как познавательный процесс.[16] В Стэнфорде Виноград позже стал советником Ларри Пейдж, который стал соучредителем Google.

В 1970-х и 1980-х годах группа обработки естественного языка в SRI International продолжение исследований и разработок в этой области. На основе исследования был предпринят ряд коммерческих усилий, например, в 1982 г. Гэри Хендрикс сформированный Symantec Corporation первоначально как компания по разработке интерфейса на естественном языке для запросов к базе данных на персональных компьютерах. Однако с появлением управляемой мышью графический пользовательский интерфейс Symantec изменила направление. Примерно в то же время были начаты и другие коммерческие проекты, например, Ларри Р. Харрис из Корпорации искусственного интеллекта и Роджер Шэнк и его ученики из Корпорации когнитивных систем.[17][18] В 1983 году Майкл Дайер разработал в Йельском университете систему BORIS, которая имела сходство с работами Роджера Шенка и У. Г. Ленерта.[19]

В третьем тысячелетии появились системы, использующие машинное обучение для классификации текста, такие как IBM Watson. Тем не менее, обсуждается, насколько "понимание" таких систем демонстрирует, например в соответствии с Джон Сирл, Ватсон даже не понял вопросов.[20]

Джон Болл, учёный-когнитивист и изобретатель теории Патома поддерживает эту оценку. Обработка естественного языка широко используется в приложениях для повышения производительности труда людей в сфере обслуживания и электронной коммерции, но это в значительной степени стало возможным за счет сужения области применения приложения. Есть тысячи способов запросить что-то на человеческом языке, что по-прежнему не поддается традиционной обработке естественного языка. «Вести содержательный разговор с машинами возможно только тогда, когда мы сопоставим каждое слово с правильным значением на основе значений других слов в предложении - точно так же, как трехлетний ребенок без догадок» Патом Теория

Объем и контекст

Общий термин «понимание естественного языка» может применяться к разнообразному набору компьютерных приложений, начиная от небольших, относительно простых задач, таких как отправка коротких команд до роботы, до очень сложных задач, таких как полное понимание газетных статей или отрывков стихов. Многие реальные приложения находятся между двумя крайностями, например классификация текста для автоматического анализа писем и их маршрутизации в подходящий отдел в корпорации не требуется глубокого понимания текста,[21] но он должен иметь дело с гораздо более обширным словарным запасом и более разнообразным синтаксисом, чем управление простыми запросами к таблицам базы данных с фиксированными схемами.

На протяжении многих лет различные попытки обработки естественного языка или По-английски Предложения, представленные компьютерам, имеют разную степень сложности. Некоторые попытки не привели к созданию систем с глубоким пониманием, но повысили удобство использования системы в целом. Например, Уэйн Рэтлифф первоначально разработал Вулкан программа с англоязычным синтаксисом для имитации англоязычного компьютера в Звездный путь. Вулкан позже стал dBase система, простой в использовании синтаксис которой положил начало индустрии баз данных для персональных компьютеров.[22][23] Системы с простой в использовании или Английский как синтаксис, однако, сильно отличается от систем, которые используют богатый лексикон и включать внутреннее представление (часто как логика первого порядка ) семантики предложений естественного языка.

Следовательно, широта и глубина «понимания», к которому стремится система, определяют как сложность системы (и предполагаемые проблемы), так и типы приложений, с которыми она может иметь дело. «Широта» системы измеряется размерами ее словарного запаса и грамматики. «Глубина» измеряется степенью, в которой его понимание приближается к уровню свободного носителя языка. В самом узком и мелком, По-английски интерпретаторы команд требуют минимальной сложности, но имеют небольшой набор приложений. Узкие, но глубокие системы исследуют и моделируют механизмы понимания,[24] но они все еще имеют ограниченное применение. Системы, которые пытаются понять содержание документа, такого как выпуск новостей, помимо простого сопоставления ключевых слов, и оценить его пригодность для пользователя, шире и требуют значительной сложности.[25] но они все еще несколько неглубокие. Системы, которые одновременно являются очень широкими и очень глубокими, выходят за рамки современного уровня техники.

Компоненты и архитектура

Независимо от используемого подхода, большинство систем с пониманием естественного языка имеют некоторые общие компоненты. Системе нужен лексикон языка и парсер и грамматика правила разбиения предложений на внутреннее представление. Построение богатого лексикона с подходящей онтология требует значительных усилий, например, то Wordnet лексика требовала многих человеко-лет усилий.[26]

Система также нуждается в теории от семантика чтобы направлять понимание. Возможности интерпретации системы понимания языка зависят от семантической теории, которую она использует. Конкурирующие семантические теории языка имеют определенные компромиссы в их пригодности в качестве основы автоматизированной семантической интерпретации.[27] Они варьируются от наивная семантика или же стохастический семантический анализ к использованию прагматика извлекать значение из контекста.[28][29][30] Семантические парсеры преобразовывать тексты на естественном языке в формальные смысловые представления.[31]

Продвинутые приложения понимания естественного языка также пытаются включить логические вывод в их рамках. Обычно это достигается отображением производного значения в набор утверждений в логика предикатов, затем используя логическая дедукция сделать выводы. Поэтому системы, основанные на функциональных языках, таких как Лисп необходимо включать подсистему для представления логических утверждений, в то время как логико-ориентированные системы, например, использующие язык Пролог обычно полагаются на расширение встроенной структуры логического представления.[32][33]

Управление контекст в понимании естественного языка может представлять особые проблемы. Большое количество примеров и контрпримеров привело к множеству подходов к формальному моделированию контекста, каждый из которых имеет свои сильные и слабые стороны.[34][35]

Смотрите также

Примечания

  1. ^ Семаан, П. (2012). Генерация естественного языка: обзор. Журнал компьютерных наук и исследований (JCSCR) -ISSN, 50-57
  2. ^ Роман В. Ямпольский. Тест Тьюринга как определяющий признак AI-полноты. В области искусственного интеллекта, эволюционных вычислений и метаэвристики (AIECM) - по стопам Алана Тьюринга. Синь-Шэ Ян (Ред.). С. 3-17. (Глава 1). Спрингер, Лондон. 2013. http://cecs.louisville.edu/ry/TuringTestasaDefiningFeature04270003.pdf
  3. ^ Ван Хармелен, Франк, Владимир Лифшиц и Брюс Портер, ред. Справочник по представлению знаний. Vol. 1. Elsevier, 2008.
  4. ^ Машери, Клаус, Франц Йозеф Оч и Герман Ней. "Понимание естественного языка с помощью статистического машинного перевода. »Седьмая Европейская конференция по речевой коммуникации и технологиям. 2001.
  5. ^ Хиршман, Линетт и Роберт Гайзаускас. "Ответы на вопросы на естественном языке: взгляд отсюда. "Инженерия естественного языка 7.4 (2001): 275-300.
  6. ^ Американская ассоциация искусственного интеллекта Краткая история ИИ [1]
  7. ^ Дэниел Боброу кандидатская диссертация Ввод на естественном языке для компьютерной системы решения проблем.
  8. ^ Машины, которые думают Памела МакКордак, 2004 г. ISBN  1-56881-205-1 стр. 286
  9. ^ Рассел, Стюарт Дж .; Норвиг, Питер (2003), Искусственный интеллект: современный подход Прентис Холл, ISBN  0-13-790395-2, http://aima.cs.berkeley.edu/, п. 19
  10. ^ Стиль логотипа компьютерных наук: помимо программирования Брайан Харви 1997 ISBN  0-262-58150-7 стр. 278
  11. ^ Вайценбаум, Джозеф (1976). Компьютерная мощь и человеческий разум: от суждения к расчету В. Х. Фриман и компания. ISBN  0-7167-0463-3 страницы 188-189
  12. ^ Роджер Шэнк, 1969, Парсер концептуальных зависимостей для естественного языка Труды конференции 1969 года по компьютерной лингвистике, Санг-Сэби, Швеция, страницы 1-3
  13. ^ Вудс, Уильям А. (1970). "Переходные сетевые грамматики для анализа естественного языка". Сообщения ACM 13 (10): 591–606 [2]
  14. ^ Искусственный интеллект: важные концепции, Том 1 Рональда Крисли, Сандер Бегер 2000 ISBN  0-415-19332-X стр.89
  15. ^ Страница SHRDLU Терри Винограда в Стэнфорде ШРДЛУ
  16. ^ Виноград, Терри (1983), Язык как познавательный процесс, Аддисон – Уэсли, Ридинг, Массачусетс.
  17. ^ Ларри Р. Харрис, Исследования в Корпорации искусственного интеллекта. Бюллетень ACM SIGART, выпуск 79, январь 1982 г. [3]
  18. ^ Рассуждения изнутри Кристофер К. Рисбек, Роджер С. Шэнк 1989 ISBN  0-89859-767-6 стр. xiii
  19. ^ В глубоком понимании: модель интегрированного процесса для понимания повествования.. Майкл г. Дайер. MIT Press. ISBN  0-262-04073-5
  20. ^ Сирл, Джон (23 февраля 2011 г.). "Уотсон не знает, что выиграл на" Jeopardy! "'". Wall Street Journal.
  21. ^ Подход к иерархической категоризации электронной почты Пэйфэн Ли и др. в Обработка естественного языка и информационные системы под редакцией Зубида Кедад, Надира Ламмари, 2007 г. ISBN  3-540-73350-7
  22. ^ InfoWorld, 13 ноября 1989 г., стр. 144
  23. ^ InfoWorld, 19 апреля 1984 г., стр. 71
  24. ^ Построение рабочих моделей полного понимания естественного языка в ограниченных прагматических областях Джеймс Мейсон, 2010 г. [4]
  25. ^ Майнинг в Интернете: открытие знаний из гипертекстовых данных Автор Soumen Chakrabarti 2002 ISBN  1-55860-754-4 стр. 289
  26. ^ Г. А. Миллер, Р. Беквит, К. Д. Феллбаум, Д. Гросс, К. Миллер. 1990 г. WordNet: онлайн-лексическая база данных. Int. J. Lexicograph. 3, 4, с. 235-244.
  27. ^ Использование компьютеров в лингвистике: практическое руководство Автор: Джон Лоулер, Хелен Аристар Драй 198 ISBN  0-415-16792-2 стр. 209
  28. ^ Наивная семантика для понимания естественного языка Кэтлин Дальгрен, 1988 ISBN  0-89838-287-4
  29. ^ Стохастический семантический анализ Вольфганг Минкер, Алекс Вайбель, Джозеф Мариани 1999 ISBN  0-7923-8571-3
  30. ^ Прагматика и понимание естественного языка Джорджии М. Грин 1996 ISBN  0-8058-2166-X
  31. ^ Вонг, Юк Ва и Раймонд Дж. Муни. "Обучение семантическому синтаксическому анализу с помощью статистического машинного перевода. »Труды основной конференции по технологиям человеческого языка Североамериканского отделения Ассоциации компьютерной лингвистики. Ассоциация компьютерной лингвистики, 2006.
  32. ^ Программисты на прологе с обработкой естественного языка М. Ковингтон, 1994 ISBN  0-13-629478-2
  33. ^ Обработка естественного языка в Прологе Джеральд Газдар, Кристофер С. Меллиш 1989 ISBN  0-201-18053-7
  34. ^ Понимание понимания языка Эшвин Рам, Кеннет Мурман, 1999 ISBN  0-262-18192-4 стр. 111
  35. ^ Формальные аспекты контекста Пьер Бонзон и др., 2000 ISBN  0-7923-6350-7
  36. ^ Программирование с использованием естественного языка действительно работает - блог Wolfram
  37. ^ Ван Валин младший, Роберт Д. «От НЛП к НЛУ» (PDF).
  38. ^ Болл, Джон. "Многоязычный NLU от Pat Inc". Pat.ai.