Языковая модель - Language model

Статистический языковая модель это распределение вероятностей над последовательностями слов. Учитывая такую ​​последовательность, скажем, длины м, он присваивает вероятность ${ Displaystyle P (ш_ {1}, ldots, ш_ {м})}$ ко всей последовательности.

Языковая модель обеспечивает контекст чтобы различать слова и фразы, которые звучат одинаково. Например, в Американский английский, фразы «распознавать речь» и «разрушить хороший пляж» звучат одинаково, но означают разные вещи.

Редкость данных - серьезная проблема при построении языковых моделей. При обучении не наблюдаются наиболее возможные последовательности слов. Одно из решений - сделать предположение, что вероятность слова зависит только от предыдущего п слова. Это известно как п-грамма модель или модель юниграммы, когда п = 1. Модель униграммы также известна как мешок слов модель.

Оценка относительная вероятность разных фраз полезно во многих обработка естественного языка приложения, особенно те, которые генерируют текст в качестве вывода. Языковое моделирование используется в распознавание речи,^[1] машинный перевод,^[2] тегирование части речи, разбор,^[2] Оптическое распознавание символов, распознавание почерка,^[3] поиск информации и другие приложения.

При распознавании речи звуки сопоставляются с последовательностями слов. Неясности легче разрешить, если данные из языковой модели интегрированы с моделью произношения и акустическая модель.

Языковые модели используются при поиске информации в модель вероятности запроса. Там с каждым документ в коллекции. Документы ранжируются по вероятности запроса. Q в языковой модели документа ${ displaystyle M_ {d}}$: ${ displaystyle P (Q mid M_ {d})}$. Обычно униграмма Для этого используется языковая модель.

Типы моделей

Юниграмма

Модель униграммы можно рассматривать как комбинацию нескольких однозначных конечные автоматы.^[4] Он разделяет вероятности различных терминов в контексте, например из

${ Displaystyle P (t_ {1} t_ {2} t_ {3}) = P (t_ {1}) P (t_ {2} mid t_ {1}) P (t_ {3} mid t_ {1 } t_ {2})}$

к

${ displaystyle P _ { text {uni}} (t_ {1} t_ {2} t_ {3}) = P (t_ {1}) P (t_ {2}) P (t_ {3}).}$

В этой модели вероятность каждого слова зависит только от собственной вероятности этого слова в документе, поэтому в качестве единиц у нас есть только конечные автоматы с одним состоянием. Сам автомат имеет распределение вероятностей по всему словарю модели, в сумме равное 1. Ниже приведена иллюстрация униграммы модели документа.

${ displaystyle sum _ { text {термин в документе}} P ({ text {term}}) = 1}$

Вероятность, сгенерированная для конкретного запроса, рассчитывается как

${ Displaystyle P ({ text {query}}) = prod _ { text {термин в запросе}} P ({ text {term}})}$

В разных документах есть модели униграмм с разной вероятностью попадания в них слов. Распределения вероятностей из разных документов используются для генерации вероятностей попадания для каждого запроса. Документы можно ранжировать по запросу по вероятностям. Пример юниграммных моделей двух документов:

В контексте поиска информации модели языка униграммы часто сглаживаются, чтобы избежать случаев, когда п(term) = 0. Общий подход заключается в создании модели максимального правдоподобия для всей коллекции и линейно интерполировать модель сбора с моделью максимального правдоподобия для каждого документа для сглаживания модели.^[5]

п-грамма

В п-грамма, вероятность ${ Displaystyle P (w_ {1}, ldots, w_ {m})}$ соблюдения приговора ${ displaystyle w_ {1}, ldots, w_ {m}}$ аппроксимируется как

${ Displaystyle P (w_ {1}, ldots, w_ {m}) = prod _ {i = 1} ^ {m} P (w_ {i} mid w_ {1}, ldots, w_ {i -1}) приблизительно prod _ {i = 1} ^ {m} P (w_ {i} mid w_ {i- (n-1)}, ldots, w_ {i-1})}$

Предполагается, что вероятность наблюдения я^th слово ш_я в контексте истории предыдущего я - 1 слово может быть приблизительно выражено вероятностью его наблюдения в сокращенной контекстной истории предыдущего п - 1 слово (п^th порядок Марковская собственность ).

Условную вероятность можно рассчитать из п-грамма модели частота подсчетов:

${ Displaystyle P (w_ {i} mid w_ {i- (n-1)}, ldots, w_ {i-1}) = { frac { mathrm {count} (w_ {i- (n- 1)}, ldots, w_ {i-1}, w_ {i})} { mathrm {count} (w_ {i- (n-1)}, ldots, w_ {i-1})}} }$

Условия биграмма и триграмма языковые модели обозначают п-грамма модели с п = 2 и п = 3 соответственно.^[6]

Обычно пВероятности модели -грамма не выводятся непосредственно из подсчета частот, потому что модели, полученные таким образом, имеют серьезные проблемы при столкновении с любыми п-граммы, которые раньше явно не видели. Вместо этого необходима некоторая форма сглаживания, приписывающая часть полной вероятностной массы невидимым словам или п-граммы. Используются различные методы, от простого сглаживания "добавить один" (присвоить счетчику 1 невидимому п-граммы, как малоинформативный приор ) к более сложным моделям, таким как Дисконтирование Гуд-Тьюринга или же отстающие модели.

Двунаправленный

Двунаправленное представление зависит как от пре-, так и от пост-контекста (например, слов) на всех уровнях.^[7]

Пример

В биграмме (п = 2) языковая модель, вероятность предложения Я видел красный дом аппроксимируется как

${ displaystyle P ({ text {I, saw, the, красный, дом}}) приблизительно P ({ text {I}} mid langle s rangle) P ({ text {saw}} mid { text {I}}) P ({ text {the}} mid { text {saw}}) P ({ text {red}} mid { text {the}}) P ({ text {house}} mid { text {red}}) P ( langle / s rangle mid { text {house}})}$

тогда как в триграмме (п = 3) языковая модель, приближение

${ Displaystyle P ({ text {I, пила, красный, дом}}) приблизительно P ({ text {I}} mid langle s rangle, langle s rangle) P ({ текст {saw}} mid langle s rangle, I) P ({ text {the}} mid { text {I, saw}}) P ({ text {red}} mid { text {увидел, the}}) P ({ text {house}} mid { text {the, red}}) P ( langle / s rangle mid { text {red, house}})}$

Обратите внимание, что контекст первого п – 1 п-gram заполнен маркерами начала предложения, обычно обозначаемыми .

Кроме того, без маркера конца предложения вероятность грамматической последовательности *Я видел всегда будет выше, чем в более длинном предложении Я видел красный дом.

Экспоненциальный

Максимальная энтропия языковые модели кодируют отношения между словом и историей n-граммов с помощью функций функций. Уравнение

${ Displaystyle P (w_ {m} | w_ {1}, ldots, w_ {m-1}) = { frac {1} {Z (w_ {1}, ldots, w_ {m-1}) }} exp (a ^ {T} f (w_ {1}, ldots, w_ {m}))}$

куда ${ Displaystyle Z (ш_ {1}, ldots, ш_ {м-1})}$ это функция распределения, ${ displaystyle a}$ - вектор параметров, а ${ displaystyle f (w_ {1}, ldots, w_ {m})}$ это функция функции. В простейшем случае функция признака - это просто индикатор наличия определенной n-граммы. Полезно использовать предварительный ${ displaystyle a}$ или некоторая форма регуляризации.

Лог-билинейная модель - еще один пример экспоненциальной языковой модели.

Нейронная сеть

Модели нейронного языка (или модели языка непрерывного пространства) использовать непрерывные представления или вложения слов делать свои прогнозы.^[8] В этих моделях используются Нейронные сети.

Вложения в непрерывное пространство помогают уменьшить проклятие размерности в языковом моделировании: по мере обучения языковых моделей на все более крупных текстах количество уникальных слов (словарный запас) увеличивается.^[а] Количество возможных последовательностей слов увеличивается экспоненциально с размером словаря, вызывая проблему разреженности данных из-за экспоненциально большого количества последовательностей. Таким образом, статистика необходима для правильной оценки вероятностей. Нейронные сети избегают этой проблемы, представляя слова в распределен способом, как нелинейные комбинации весов в нейронной сети.^[9] Альтернативное описание состоит в том, что нейронная сеть приближает функцию языка. Архитектура нейронной сети может быть прямая связь или же повторяющийся, и хотя первое проще, второе более распространено.^{[пример необходим ][нужна цитата ]}

Обычно языковые модели нейронных сетей конструируются и обучаются как вероятностные классификаторы которые учатся предсказывать распределение вероятностей

${ displaystyle P (w_ {t} | mathrm {context}) , forall t in V}$.

То есть сеть обучена предсказывать распределение вероятностей по словарю с учетом некоторого лингвистического контекста. Это делается с использованием стандартных алгоритмов обучения нейронной сети, таких как стохастический градиентный спуск с обратное распространение.^[9] Контекст может быть окном фиксированного размера из предыдущих слов, чтобы сеть предсказывала

${ Displaystyle P (ш_ {т} | ш_ {т-к}, точки, ш_ {т-1})}$

из вектор признаков представляющий предыдущий k слова.^[9] Другой вариант - использовать «будущие» слова, а также «прошлые» слова в качестве признаков, чтобы предполагаемая вероятность

${ Displaystyle P (ш_ {т} | ш_ {т-к}, точки, ш_ {т-1}, ш_ {т + 1}, точки, ш_ {т + к})}$.

Это называется мешок слов модель. Когда векторы признаков поскольку слова в контексте объединяются посредством непрерывной операции, эта модель называется архитектурой непрерывного мешка слов (CBOW).^[10]

Третий вариант, который тренируется медленнее, чем CBOW, но работает немного лучше, - это обратить предыдущую проблему и заставить нейронную сеть изучать контекст по заданному слову.^[10] Более формально, учитывая последовательность обучающих слов ${ displaystyle w_ {1}, w_ {2}, w_ {3}, dots, w_ {T}}$, можно максимизировать среднюю логарифмическую вероятность

${ displaystyle { frac {1} {T}} sum _ {t = 1} ^ {T} sum _ {- k leq j leq k, j neq 0} log P (w_ {t + j} | w_ {t})}$

куда k, размер обучающего контекста, может быть функцией центрального слова ${ displaystyle w_ {t}}$. Это называется скип-грамм языковая модель.^[11] Модели мешков слов и скипграмм являются основой word2vec программа.^[12]

Вместо использования языковых моделей нейронных сетей для получения фактических вероятностей обычно вместо этого используют распределенное представление, закодированное в «скрытых» слоях сети, в качестве представления слов; каждое слово затем отображается на п-мерный действительный вектор, называемый вложение слов, куда п - это размер слоя непосредственно перед выходным слоем. Репрезентации в моделях скип-грамм имеют отличительную особенность, состоящую в том, что они моделируют семантические отношения между словами как линейные комбинации, захватив форму композиционность. Например, в некоторых таких моделях, если v это функция, которая отображает слово ш к его п-d векторное представление, тогда

${ Displaystyle v ( mathrm {король}) -v ( mathrm {мужской}) + v ( mathrm {женский}) приблизительно v ( mathrm {королева})}$

где ≈ уточняется за счет того, что его правая часть должна быть ближайший сосед значения левой части.^[10][11]

Другой

Позиционная языковая модель^[13] оценивает вероятность того, что заданные слова встречаются в тексте рядом друг с другом, не обязательно непосредственно рядом. Точно так же и модели-мешки с концепциями^[14] использовать семантику, связанную с выражениями из нескольких слов, такими как buy_christmas_present, даже когда они используются в насыщенных информацией предложениях вроде «сегодня я купил много очень хороших рождественских подарков».

Несмотря на ограниченные успехи в использовании нейронных сетей,^[15] авторы признают потребность в других методах моделирования жестовых языков.

Контрольные точки