Биграмма - Bigram

А биграмма или биграмма представляет собой последовательность двух соседних элементов из нить из жетоны, которые обычно представляют собой буквы, слоги или слова. Биграмма - это п-грамма за п= 2. Частотное распределение каждой биграммы в строке обычно используется для простого статистического анализа текста во многих приложениях, в том числе в вычислительной лингвистике, криптографии, распознавании речи и т. Д.

Гаппи биграммы или пропуск биграмм пары слов, которые допускают пропуски (возможно, избегая соединяющих слов или позволяя имитировать зависимости, как в грамматика зависимостей ).

Биграммы заглавных слов представляют собой биграммы с пропусками с явным отношением зависимости.

Подробности

Биграммы помогают обеспечить условную вероятность токена с учетом предыдущего токена, когда отношение условная возможность применяется:

То есть вероятность токена учитывая предыдущий токен равняется вероятности их биграммы или одновременному появлению двух токенов , деленное на вероятность предыдущего токена.

Приложения

Биграммы используются в наиболее успешных языковые модели за распознавание речи.[1] Они являются частным случаем N-грамм.

Частотные атаки Bigram могут использоваться в криптография решать криптограммы. Видеть частотный анализ.

Частота биграмм - один из подходов к статистическая идентификация языка.

Некоторые мероприятия в логология или развлекательная лингвистика использует биграммы. К ним относятся попытки найти английские слова, начинающиеся со всех возможных биграмм,[2] или слова, содержащие строку повторяющихся биграмм, например логотип.[3]

Частота биграмм в английском языке

Частота наиболее распространенных буквенных биграмм в небольшом корпусе английского языка:[4]

th 1,52 en 0,55 нг 0,18 e 1,28 ed 0,53 0,16 дюйма от 0,94 до 0,52 al 0,09er 0,94 it 0,50 de 0,09an 0,82 или 0,50 se 0,08re 0,68 ea 0,47 le 0,08 и 0,63 hi 0,46 sa 0,06 при 0,59 составляет 0,46 si 0,05 на 0,57 или 0,43 ar 0,04nt 0,56 ti 0,34 ve 0,04ha 0,56 as 0,33 ra 0,04es 0,56 te 0,27 ld 0,02st 0,55 et 0,19 ur 0,02

Доступны полные биграммные частоты для большего корпуса.[5][6]

Смотрите также

Рекомендации

  1. ^ Коллинз, Майкл Джон (1996-06-24). «Новый статистический анализатор на основе лексических зависимостей биграмм». Материалы 34-го ежегодного собрания Ассоциации компьютерной лингвистики -. Ассоциация компьютерной лингвистики. С. 184–191. arXiv:cmp-lg / 9605012. Дои:10.3115/981863.981888. Получено 2018-10-09.
  2. ^ Коэн, Филип М. (1975). «Начальные биграммы». Word Ways. 8 (2). Получено 11 сентября 2016.
  3. ^ Корбин, Кайл (1989). «Двойные, тройные и четверные биграммы». Word Ways. 22 (3). Получено 11 сентября 2016.
  4. ^ Проект Cornell Math Explorer - Шифры замещения
  5. ^ Джонс, Майкл Н; Д. Дж. К. Мьюхорт (август 2004 г.). "Чувствительность к регистру букв и биграмм в больших английских корпусах". Методы, инструменты и компьютеры исследования поведения. 36 (3): 388–396. Дои:10.3758 / bf03195586. ISSN  0743-3808. PMID  15641428.
  6. ^ "Частота английских букв: пересмотр Майзнера или ETAOIN SRHLDCU". norvig.com. Получено 2019-10-28.