Лексическая подстановка - Википедия - Lexical substitution

Лексическая подстановка это задача определения замены слова в контексте предложения. Например, учитывая следующий текст: «После матч, восполнить любой остающийся дефицит жидкости, чтобы предотвратить хроническое обезвоживание на протяжении всего турнира », заменяющий игра может быть дан.

Лексическая подстановка строго связана с значение смысла слова (WSD), поскольку оба стремятся определить смысл слова. Однако, хотя WSD состоит из автоматического назначения соответствующих смысл из набора фиксированного смысла лексическая замена не накладывает никаких ограничений на то, какую замену выбрать в качестве лучшего представителя слова в контексте. Не предписывая перечень, лексическая замена решает проблему детализации смысловых различий и обеспечивает равные условия для автоматических систем, которые автоматически приобретают значения слов (задача, называемая Индукция смысла слов ).

Оценка

Для оценки автоматических систем на лексическую подстановку на базе Семевал-2007 оценочный конкурс, проведенный в Прага в 2007 году. Семевал-2010 также состоялась задача по межъязыковой лексической замене.

Скип-грамм модель

Модель skip-gram переносит слова с похожими значениями в векторное пространство (набор объектов, которые можно складывать вместе и умножать на числа), которые находятся близко друг к другу в N-измерениях (список элементов). Разнообразие нейронные сети (компьютерная система, созданная по образцу человеческого мозга) формируются вместе в результате взаимосвязанных векторов и сетей. Все это происходит в измерениях словаря, созданного в сети.^[1]Модель использовалась в алгоритмах автоматизации и прогнозирования лексической замены. Один из таких алгоритмов, разработанный Ореном Меламудом, Омером Леви и Идо Даганом, использует модель скип-грамм для поиска вектора для каждого слова и его синонимов. Затем он вычисляет косинусное расстояние между векторами, чтобы определить, какие слова будут лучшими заменами.^[2]

Пример

В предложении вроде «Собака шла в быстром темпе» каждое слово имеет определенный вектор по отношению к другому. Вектор для «The» будет [1,0,0,0,0,0,0], потому что 1 - это словарь слов, а 0 - слова, окружающие этот словарь, которые создают вектор.

Смотрите также

Библиография

Д. Маккарти, Р. Навильи. Задание на лексическую замену английского языка. Языковые ресурсы и оценка, 43 (2), Springer, 2009, стр. 139–159.
Д. Маккарти, Р. Навильи. СемЭваль-2007 Задание 10: Задание на лексическую замену английского языка. Proc. семинара Семевал-2007 (СЕМЕВАЛ), на 45-м ежегодном собрании Ассоциации компьютерной лингвистики (ACL 2007), Прага, Чешская Республика, 23–24 июня 2007 г., стр. 48–53.
Д. Маккарти. Лексическая подстановка как задача для оценки WSD. В материалах семинара ACL по устранению неоднозначности смысла слова: недавние успехи и будущие направления, Филадельфия, США, 2002, стр. 109–115.
Р. Навильи. Устранение неоднозначности смысла слов: обзор, ACM Computing Surveys, 41 (2), 2009, стр. 1–69.