Распределительная семантика - Distributional semantics

Распределительная семантика - это область исследований, которая разрабатывает и изучает теории и методы количественной оценки и категоризации семантического сходства между языковыми элементами на основе их свойств распределения в больших выборках языковых данных. Основную идею распределительной семантики можно свести к так называемому Распространение гипотеза: лингвистические элементы с похожим распределением имеют схожие значения.

Распределительная гипотеза

В распределительная гипотеза в лингвистика происходит из семантическая теория использования языка, то есть слова, которые используются и встречаются в одном и том же контексты имеют тенденцию иметь сходные значения.[1]

Основная идея о том, что "слово характеризует компания, которую оно составляет", была популяризирована Ферт в 1950-е гг.[2]

Гипотеза распределения является основой для статистическая семантика. Хотя гипотеза распределения возникла в лингвистике,[3] сейчас это привлекает внимание в наука о мышлении особенно в отношении контекста использования слова.[4]

В последние годы гипотеза распределения легла в основу теории обобщение на основе сходства в изучении языка: идея о том, что дети могут понять, как использовать слова, с которыми они редко встречались раньше, путем обобщения их использования на основе распределения похожих слов.[5][6]

Гипотеза распределения предполагает, что чем больше семантически схожи два слова, тем более схожими по распределению они будут в свою очередь, и, следовательно, тем больше они будут иметь тенденцию встречаться в схожих лингвистических контекстах.

Независимо от того, выполняется ли это предположение, имеет большое значение как для нехватка данных проблема компьютерного моделирования,[7] и по вопросу о том, как дети могут так быстро изучать язык при относительно скудных знаниях (это также известно как проблема бедность стимула ).

Распределительное семантическое моделирование в векторных пространствах

Распределительная семантика способствует использованию линейной алгебры в качестве вычислительного инструмента и представительной основы. Основной подход заключается в сборе распределительной информации в многомерных векторах и определении распределительного / семантического сходства с точки зрения векторного сходства.[8] В зависимости от того, какой тип распределительной информации используется для сбора векторов, можно выделить различные виды сходства: актуальный сходства могут быть извлечены путем заполнения векторов информацией о том, в каких текстовых областях встречаются языковые элементы; парадигматический сходства могут быть извлечены путем заполнения векторов информацией о том, с какими другими языковыми элементами эти элементы сочетаются. Обратите внимание, что последний тип векторов также может использоваться для извлечения синтагматический сходства, глядя на отдельные компоненты вектора.

Основная идея корреляции между распределительным и семантическим сходством может быть операционализирована множеством различных способов. Существует множество вычислительных моделей, реализующих семантику распределения, в том числе латентно-семантический анализ (LSA),[9][10] Гиперпространственный аналог языка (HAL), модели на основе синтаксиса или зависимостей,[11] случайное индексирование, семантическое сворачивание[12] и различные варианты тематическая модель.[13]

Семантические модели распределения различаются в первую очередь по следующим параметрам:

Распределительные семантические модели, использующие лингвистические элементы в качестве контекста, также называются пространство слов или векторные модели пространства.[15][16]

За пределами лексической семантики

В то время как распределительная семантика обычно применялась к лексическим элементам - словам и многословным терминам - со значительным успехом, не в последнюю очередь благодаря ее применимости в качестве входного слоя для нейронных моделей глубокого обучения, лексическая семантика, то есть значение слов, будет только несут часть семантики всего высказывания. Значение предложения, например «Тигры любят кроликов»., можно лишь частично понять, изучив значение трех лексических единиц, из которых он состоит. Распределительную семантику можно напрямую расширить, чтобы охватить более крупные лингвистические элементы, такие как конструкции, с элементами, не являющимися экземплярами, и без них, но некоторые из базовых допущений модели необходимо несколько скорректировать. Строительная грамматика и его формулировка лексико-синтаксического континуума предлагает один подход для включения более сложных конструкций в распределительную семантическую модель, и некоторые эксперименты были реализованы с использованием подхода случайного индексирования.[17]

Композиционно-распределительно-семантический модели расширяют семантические модели распределения с помощью явных семантических функций, которые используют синтаксически основанные правила для объединения семантики участвующих лексических единиц в композиционная модель для характеристики семантики целых фраз или предложений. Были изучены различные подходы к композиции, включая нейронные модели, и они обсуждаются на известных семинарах, таких как SemEval.[18]

Приложения

Распределительные семантические модели успешно применяются для решения следующих задач:

Программного обеспечения

Смотрите также

Люди

Рекомендации

  1. ^ Харрис 1954
  2. ^ Ферт 1957
  3. ^ Сальгрен 2008
  4. ^ Макдональд и Рамскар 2001
  5. ^ Глейтман 2002
  6. ^ Ярлетт 2008
  7. ^ Wishart, Ryder и Prokopis Prokopidis. «Эксперименты по тематическому моделированию на эллинистических корпусах». В Материалы семинара по корпусам в цифровых гуманитарных науках 17, 39–47. Блумингтон, IN: Материалы семинара CEUR, 2017, Интернет: https://pdfs.semanticscholar.org/bd71/ab40960e481006117bafd0ae952d3e8d1f66.pdf.
  8. ^ Ригер 1991
  9. ^ Deerwester et al. 1990 г.
  10. ^ Ландауэр, Томас К .; Дюмэ, Сьюзен Т. (1997). «Решение проблемы Платона: теория скрытого семантического анализа приобретения, индукции и представления знаний». Психологический обзор. 104 (2): 211–240. Дои:10.1037 / 0033-295x.104.2.211. ISSN  1939-1471.
  11. ^ Падо и Лапата 2007
  12. ^ Де Соуза Уэббер, Франциско (2015). «Теория семантического сворачивания и ее применение в семантическом снятии отпечатков пальцев». arXiv:1511.08855 [cs.AI ].
  13. ^ Джордан, Майкл I .; Ng, Andrew Y .; Блей, Дэвид М. (2003). «Скрытое размещение Дирихле». Журнал исследований в области машинного обучения. 3 (Янв): 993–1022. ISSN  1533-7928.
  14. ^ Церковь, Кеннет Уорд; Хэнкс, Патрик (1989). «Нормы словесных ассоциаций, взаимная информация и лексикография». Труды 27-го Ежегодного собрания Ассоциации компьютерной лингвистики -. Морристаун, Нью-Джерси, США: Ассоциация компьютерной лингвистики: 76–83. Дои:10.3115/981623.981633.
  15. ^ Schütze 1993
  16. ^ Сальгрен 2006
  17. ^ Карлгрен, Юсси; Канерва, Пентти (2019). «Многомерные распределенные семантические пространства для высказываний». Инженерия естественного языка. 25 (4): 503–517. Дои:10.1017 / S1351324919000226. Получено 2020-04-13.
  18. ^ «СемЭваль-2014, Задание 1».

Источники

внешняя ссылка