Алгоритм Леска - Lesk algorithm

В Алгоритм Леска классический алгоритм для значение смысла слова представлен Майкл Э. Леск в 1986 г.^[1]

Обзор

Алгоритм Леска основан на предположении, что слова в данной «окрестности» (фрагмент текста) будут иметь тенденцию разделять общую тему. Упрощенная версия алгоритма Леска заключается в сравнении словарного определения неоднозначного слова с терминами, содержащимися в его окрестности. Версии адаптированы для использования WordNet.^[2] Реализация может выглядеть так:

1. для каждого смысла устраняемого слова следует подсчитать количество слов, которые находятся как в окрестности этого слова, так и в словарном определении этого значения
2. смысл, который следует выбрать, - это смысл, имеющий наибольшее число этого счетчика

Часто используемый пример, иллюстрирующий этот алгоритм, - это контекст «сосновая шишка». Используются следующие словарные определения:

СОСНА 1. виды вечнозеленых деревьев с игольчатыми листьями2. угасать из-за горя или болезни

КОНУС 1. твердое тело, сужающееся до точки2. что-то этой формы, твердое или полое3. плоды некоторых вечнозеленых деревьев

Как видно, лучшее пересечение - Сосна №1 ⋂ Конус №3 = 2.

Упрощенный алгоритм Леска

В упрощенном алгоритме Леска^[3] Правильное значение каждого слова в данном контексте определяется индивидуально путем определения значения, которое больше всего перекрывается между его словарным определением и данным контекстом. Вместо одновременного определения значений всех слов в данном контексте этот подход рассматривает каждое слово индивидуально, независимо от значений других слов, встречающихся в том же контексте.

"Сравнительная оценка, проведенная Василеску и др. (2004)^[4] показал, что упрощенный алгоритм Леска может значительно превзойти исходное определение алгоритма как по точности, так и по эффективности. Оценивая алгоритмы устранения неоднозначности на данных Senseval-2 English all words, они измеряют точность 58% с использованием упрощенного алгоритма Леска по сравнению с только 42% в исходном алгоритме.

Примечание: Василеску и др. реализация рассматривает стратегию возврата слов, не охваченных алгоритмом, состоящую из наиболее частого смысла, определенного в WordNet. Это означает, что слова, все возможные значения которых приводят к нулевому совпадению с текущим контекстом или с другими определениями слов, по умолчанию получают в WordNet значение номер один ".^[5]

Упрощенный алгоритм LESK с умным значением слова по умолчанию (Василеску и др., 2004)^[6]

функция УПРОЩЕННЫЙ ЛЕСК (слово, предложение) возвращается в лучшем смысле слова best-sense <- наиболее частое значение слова макс-перекрытие <- 0 context <- набор слов в предложении для каждого смысл в смыслы слова делать подпись <- набор слов в глоссах и примеры смысла перекрывать <- COMPUTEOVERLAP (подпись, контекст) если перекрытие> максимальное перекрытие тогда max-overlap <- перекрытие лучший смысл <- смысл конец возвращаться (здравый смысл)

Функция COMPUTEOVERLAP возвращает количество общих слов между двумя наборами, игнорируя функциональные слова или другие слова в стоп-списке. Исходный алгоритм Леска определяет контекст более сложным образом.

Критика и другие методы, основанные на Леске

К сожалению, подход Леска очень чувствителен к точным формулировкам определений, поэтому отсутствие определенного слова может радикально изменить результаты. Далее алгоритм определяет совпадения только между толкованиями рассматриваемых смыслов. Это существенное ограничение, поскольку словарные глоссы, как правило, довольно короткие и не обеспечивают достаточного словарного запаса, чтобы связать тонкие смысловые различия.

Появилось много работ, предлагающих различные модификации этого алгоритма. Эти работы используют другие ресурсы для анализа (тезаурусы, словари синонимов или морфологические и синтаксические модели): например, они могут использовать такую ​​информацию, как синонимы, различные производные или слова из определений слов из определений.^[7]

Есть много исследований, касающихся Леска и его расширений:^[8]

• Уилкс и Стивенсон, 1998, 1999;
• Махеш и др., 1997;
• Cowie et al., 1992;
• Яровский, 1992;
• Пок и Катлетт, 1988;
• Килгаррифф и Розенсвейг, 2000;
• Квонг, 2001;
• Nastase and Szpakowicz, 2001;
• Гельбух, Сидоров, 2004.

Варианты Леска

• Оригинальный Lesk (Леск, 1986)
• Адаптированный / расширенный Lesk (Банерджи и Педерсон, 2002/2003): В адаптивном алгоритме lesk создается вектор слов, соответствующий каждому слову содержания в глоссах сети слов. Объединение слов связанных понятий в WordNet можно использовать для увеличения этого вектора. Вектор содержит количество совпадений слов, которые одновременно встречаются со словом w в большом корпусе. Добавление всех векторов слов для всех слов содержания в его глянец создает вектор блеска g для концепции. Родство определяется путем сравнения вектора блеска с использованием меры косинусного сходства.^[9]

Смотрите также

• Устранение неоднозначности смысла слов

Рекомендации