Последовательности элементов в компьютерной лингвистике
Шесть n -грамм, часто встречающихся в заголовках публикаций о коронавирусной болезни 2019 года (COVID-19), по состоянию на 7 мая 2020 г.
N - грамма — это последовательность из n смежных символов в определенном порядке. Символами могут быть n смежных букв (включая знаки препинания и пробелы), слоги или редко целые слова, найденные в наборе языковых данных; или смежные фонемы, извлеченные из набора данных записей речи, или смежные пары оснований, извлеченные из генома. Они собираются из текстового корпуса или речевого корпуса . Если используются латинские числовые префиксы , то n -грамм размера 1 называется «униграммой», размера 2 — « биграммой » (или, реже, «диграммой») и т. д. Если вместо латинских дополнительно используются английские количественные числительные , то они называются «четырехграммовыми», «пятиграммовыми» и т. д. Аналогично, используя греческие числовые префиксы, такие как «мономер», «димер», «тример», «тетрамер», «пентамер» и т. д., или английские количественные числительные, «одномер», «двухмер», «трехмер» и т. д. используются в вычислительной биологии для полимеров или олигомеров известного размера, называемых k- мерами . Когда элементы являются словами, n -граммы также могут называться шинглами . [1]
В контексте обработки естественного языка (NLP) использование n -грамм позволяет моделям «мешка слов» улавливать такую информацию, как порядок слов, что было бы невозможно в традиционной настройке «мешка слов».
Примеры
(Шеннон 1951) [2] обсуждали n -граммные модели английского языка. Например:
3-граммовая модель характера (случайный розыгрыш на основе вероятностей каждой триграммы): в нет ист лат сыворотка кратикт фруэр бирс гроцид понденом демонстраций ретагина есть региациона кре
Модель 2-граммового слова (случайный выбор слов с учетом их вероятностей перехода): голова и фронтальная атака на английского писателя, что характер этой точки, следовательно, является еще одним методом для букв, что время того, кто когда-либо сказал проблему для неожиданного
На рисунке 1 показано несколько примеров последовательностей и соответствующие им 1-граммовые, 2-граммовые и 3-граммовые последовательности.
Вот еще примеры: это 3-граммы и 4-граммы на уровне слов (и количество раз, когда они встречаются) из корпуса n -грамм Google. [3]
^ Бродер, Андрей З.; Глассман, Стивен К.; Манассе, Марк С.; Цвейг, Джеффри (1997). «Синтаксическая кластеризация сети». Компьютерные сети и системы ISDN . 29 (8): 1157–1166. doi :10.1016/s0169-7552(97)00031-7. S2CID 9022773.
^ Шеннон, Клод Э. «Избыточность английского языка». Кибернетика; Труды 7-й конференции, Нью-Йорк: Фонд Джозайи Мэйси-младшего . 1951.
^ Франц, Алекс; Брантс, Торстен (2006). «Все наши N-граммы принадлежат вам». Блог Google Research . Архивировано из оригинала 17 октября 2006 года . Получено 16 декабря 2011 года .
Дальнейшее чтение
Мэннинг, Кристофер Д.; Шютце, Хинрих; Основы статистической обработки естественного языка , MIT Press: 1999, ISBN 0-262-13360-1
Уайт, Оуэн; Даннинг, Тед; Саттон, Грейнджер; Адамс, Марк; Вентер, Дж. Крейг; Филдс, Крис (1993). «Алгоритм контроля качества для проектов по секвенированию ДНК». Nucleic Acids Research . 21 (16): 3829–3838. doi :10.1093/nar/21.16.3829. PMC 309901 . PMID 8367301.
Дамеро, Фредерик Дж.; Марковские модели и лингвистическая теория , Мутон, Гаага, 1971
Фигероа, Алехандро; Аткинсон, Джон (2012). «Контекстные языковые модели для ранжирования ответов на вопросы по определению естественного языка». Computational Intelligence . 28 (4): 528–548. doi :10.1111/j.1467-8640.2012.00426.x. S2CID 27378409.
Брокардо, Марсело Луис; Траоре, Исса; Саад, Шериф; Вунганг, Исаак (2013). Проверка авторства коротких сообщений с использованием стилометрии. Международная конференция IEEE по компьютерным, информационным и телекоммуникационным системам (CITS).
