Обработка естественного языка

Область лингвистики и информатики

Обработка естественного языка ( НЛП ) является междисциплинарной областью информатики и лингвистики . В первую очередь речь идет о предоставлении компьютерам возможности поддерживать человеческий язык и манипулировать им. Он включает в себя обработку наборов данных естественного языка , таких как текстовые или речевые корпуса, с использованием либо основанных на правилах, либо вероятностных (т. е. статистических, а в последнее время и основанных на нейронных сетях) подходов машинного обучения . Целью является компьютер, способный «понимать» содержимое документов, включая контекстуальные нюансы языка внутри них. Затем технология может точно извлекать информацию и идеи, содержащиеся в документах, а также классифицировать и систематизировать сами документы.

Проблемы обработки естественного языка часто связаны с распознаванием речи , пониманием естественного языка и созданием естественного языка .

История

Обработка естественного языка берет свое начало в 1950-х годах. Уже в 1950 году Алан Тьюринг опубликовал статью под названием « Вычислительная техника и интеллект », в которой предложил то, что сейчас называется тестом Тьюринга , в качестве критерия интеллекта, хотя в то время это не было сформулировано как проблема, отдельная от искусственного интеллекта. Предлагаемый тест включает в себя задачу, предполагающую автоматическую интерпретацию и генерацию естественного языка.

Символическое НЛП (1950-е – начало 1990-х годов)

Идея символического НЛП хорошо выражена в эксперименте Джона Сирла в китайской комнате : имея набор правил (например, китайский разговорник с вопросами и соответствующими ответами), компьютер имитирует понимание естественного языка (или другие задачи НЛП) путем применяя эти правила к данным, с которыми он сталкивается.

• 1950-е : Джорджтаунский эксперимент 1954 года включал полностью автоматический перевод более шестидесяти русских предложений на английский язык. Авторы утверждали, что через три-пять лет машинный перевод станет решенной проблемой. ^[1] Однако реальный прогресс был гораздо медленнее, и после отчета ALPAC в 1966 году, в котором было установлено, что десятилетние исследования не оправдали ожиданий, финансирование машинного перевода было резко сокращено. В Америке проводилось мало дальнейших исследований в области машинного перевода (хотя некоторые исследования продолжались и в других местах, например, в Японии и Европе ^[2] ) до конца 1980-х годов, когда были разработаны первые статистические системы машинного перевода .
• 1960-е : Некоторыми особенно успешными системами обработки естественного языка, разработанными в 1960-х годах, были SHRDLU , система естественного языка, работающая в ограниченных « блочных мирах » с ограниченным словарным запасом, и ELIZA , симуляция роджерианского психотерапевта , написанная Джозефом Вайзенбаумом между 1964 и 1966 годами. Не используя почти никакой информации о человеческих мыслях и эмоциях, ELIZA иногда обеспечивала поразительно человеческое взаимодействие. Когда «пациент» выходит за пределы очень небольшой базы знаний, ELIZA может дать общий ответ, например, отвечая на вопрос «У меня болит голова» вопросом «Почему вы говорите, что у вас болит голова?». Успешная работа Росса Куиллиана над естественным языком была продемонстрирована со словарным запасом всего в двадцать слов, потому что это было все, что в то время помещалось в памяти компьютера. ^[3]

• 1970-е : В 1970-е годы многие программисты начали писать «концептуальные онтологии », которые структурировали информацию реального мира в понятные компьютеру данные. Примерами являются MARGIE (Schank, 1975), SAM (Cullingford, 1978), PAM (Wilensky, 1978), TaleSpin (Meehan, 1976), QUALM (Lehnert, 1977), Politics (Carbonell, 1979) и Plot Units (Lehnert 1981). ). За это время были написаны первые чат-боты (например, PARRY ).
• 1980-е : 1980-е и начало 1990-х годов отмечают расцвет символических методов в НЛП. Области внимания того времени включали исследования по синтаксическому анализу на основе правил (например, разработка HPSG как вычислительной операционализации генеративной грамматики ), морфологии (например, двухуровневая морфология ^[4] ), семантики (например, алгоритм Леска ), справочных материалов. (например, в рамках теории центрирования ^[5] ) и других областей понимания естественного языка (например, в теории риторической структуры ). Были продолжены и другие направления исследований, например, разработка чат-ботов с Racter и Jabberwacky . Важным событием (которое в конечном итоге привело к статистическому повороту в 1990-х годах) стало возрастание важности количественной оценки в этот период. ^[6]

Статистическое НЛП (1990–2010-е годы)

Вплоть до 1980-х годов большинство систем обработки естественного языка основывались на сложных наборах рукописных правил. Однако начиная с конца 1980-х годов произошла революция в обработке естественного языка с появлением алгоритмов машинного обучения для обработки языка. Это произошло как из-за постоянного увеличения вычислительной мощности (см. закон Мура ), так и из-за постепенного уменьшения доминирования теорий Хомского в лингвистике (например, трансформационной грамматики ), чьи теоретические основы не одобряли тот вид корпусной лингвистики , который лежит в основе подхода машинного обучения. к языковой обработке. ^[7]

• 1990-е годы : Многие заметные ранние успехи статистических методов в НЛП произошли в области машинного перевода , особенно благодаря работе в IBM Research, такой как модели выравнивания IBM . Эти системы смогли воспользоваться преимуществами существующих многоязычных текстовых корпусов , которые были созданы Парламентом Канады и Европейским Союзом в результате принятия законов, требующих перевода всех правительственных процедур на все официальные языки соответствующих систем управления. Однако большинство других систем зависело от корпусов, специально разработанных для задач, реализуемых этими системами, что было (и часто остается) основным ограничением успеха этих систем. В результате большое количество исследований было посвящено методам более эффективного обучения на ограниченных объемах данных.
• 2000-е : С ростом Интернета с середины 1990-х годов становится доступным все больше объемов необработанных (неаннотированных) языковых данных. Таким образом, исследования все больше сосредотачиваются на алгоритмах обучения без учителя и с полуконтролем . Такие алгоритмы могут учиться на данных, которые не были вручную аннотированы желаемыми ответами, или на комбинации аннотированных и неаннотированных данных. Как правило, эта задача намного сложнее, чем обучение с учителем , и обычно дает менее точные результаты для заданного объема входных данных. Однако существует огромное количество доступных неаннотированных данных (включая, среди прочего, весь контент Всемирной паутины ), которые часто могут компенсировать худшие результаты, если используемый алгоритм имеет достаточно низкую временную сложность , чтобы быть практичным.

Нейронное НЛП (настоящее время)

В 2003 году модель n-грамм слов , на тот момент лучший статистический алгоритм, уступила место многослойному перцептрону (с одним скрытым слоем и длиной контекста в несколько слов, обученному на 14 миллионах слов с использованием кластера ЦП в моделирование языка ) Йошуа Бенджио с соавторами. ^[8]

В 2010 году Томаш Миколов (тогда аспирант Технологического университета Брно ) с соавторами применил простую рекуррентную нейронную сеть с одним скрытым слоем для моделирования языка, ^[9] и в последующие годы продолжил разработку Word2vec . В 2010-х годах методы машинного обучения в стиле репрезентативных нейронных сетей (с множеством скрытых слоев) получили широкое распространение в обработке естественного языка. Эта популярность частично объяснялась шквалом результатов, показывающих, что такие методы ^{[10] [11]} могут достигать самых современных результатов во многих задачах естественного языка, например, при моделировании языка ^[12] и синтаксическом анализе. ^{[13] [14]} Это становится все более важным в медицине и здравоохранении , где НЛП помогает анализировать записи и тексты в электронных медицинских записях , которые в противном случае были бы недоступны для изучения при стремлении улучшить уход ^[15] или защитить конфиденциальность пациентов. ^[16]

Подходы: символические, статистические, нейронные сети.

Символический подход, то есть ручное кодирование набора правил для манипулирования символами в сочетании с поиском по словарю, исторически был первым подходом, используемым как ИИ в целом, так и НЛП в частности: ^{[17] [18]} например, написание грамматик или разработка эвристических правил для стемминга .

С другой стороны, подходы машинного обучения , включающие как статистические, так и нейронные сети, имеют множество преимуществ перед символическим подходом:

• Как статистические методы, так и методы нейронных сетей могут больше сосредоточиться на наиболее распространенных случаях, извлеченных из корпуса текстов, тогда как подход, основанный на правилах, должен в равной степени предоставлять правила как для редких, так и для распространенных случаев.

• языковые модели , созданные с помощью статистических методов или методов нейронных сетей, более устойчивы как к незнакомым (например, содержащим слова или структуры, которые раньше не встречались), так и к ошибочным входным данным (например, со словами с ошибками или случайно пропущенными словами) по сравнению с обычными моделями. основанные на них системы, производство которых также является более дорогостоящим.

• чем больше такая (вероятностная) языковая модель, тем точнее она становится, в отличие от систем, основанных на правилах, которые могут добиться точности только за счет увеличения количества и сложности правил, что приводит к проблемам неразрешимости .

Хотя системы управления символами, основанные на правилах, все еще использовались в 2020 году, они по большей части устарели с появлением LLM в 2023 году.

До этого широко использовались:

• когда объем обучающих данных недостаточен для успешного применения методов машинного обучения, например, для машинного перевода языков с низкими ресурсами, таких как предоставляемые системой Apertium ,
• для предварительной обработки в конвейерах NLP, например, токенизации или
• для постобработки и преобразования выходных данных конвейеров НЛП, например, для извлечения знаний из синтаксического анализа.

Статистический подход

В конце 1980-х и середине 1990-х годов статистический подход закончил период зимы ИИ , вызванный неэффективностью подходов, основанных на правилах. ^{[19] [20]}

Самые ранние деревья решений , создающие системы жестких правил «если-то» , все еще были очень похожи на старые подходы, основанные на правилах. Только введение скрытых моделей Маркова, применяемых к маркировке частей речи, объявило о конце старого подхода, основанного на правилах.

Нейронные сети

Основным недостатком статистических методов является то, что они требуют тщательного проектирования признаков . С 2015 года ^[21] статистический подход был заменен подходом нейронных сетей , использующим встраивание слов для определения семантических свойств слов.

Промежуточные задачи (например, разметка частей речи и анализ зависимостей) больше не нужны.

Нейронный машинный перевод , основанный на недавно изобретенных преобразованиях последовательностей , сделал устаревшими промежуточные этапы, такие как выравнивание слов, ранее необходимые для статистического машинного перевода .

Общие задачи НЛП

Ниже приводится список некоторых из наиболее часто исследуемых задач обработки естественного языка. Некоторые из этих задач имеют прямое практическое применение, тогда как другие чаще служат подзадачами, которые используются для решения более крупных задач.

Хотя задачи обработки естественного языка тесно переплетены, для удобства их можно разделить на категории. Грубое разделение приведено ниже.

Обработка текста и речи

Оптическое распознавание символов (OCR)

По изображению, представляющему печатный текст, определите соответствующий текст.

Распознавание речи

По звуковому фрагменту говорящего человека или людей определите текстовое представление речи. Это противоположность преобразования текста в речь и является одной из чрезвычайно сложных проблем, в просторечии называемых « ИИ-полным » (см. выше). В естественной речи пауз между последовательными словами почти нет, поэтому сегментация речи является необходимой подзадачой распознавания речи (см. ниже). В большинстве разговорных языков звуки, обозначающие последовательные буквы, сливаются друг с другом в процессе, называемом коартикуляцией , поэтому преобразование аналогового сигнала в дискретные символы может быть очень трудным процессом. Кроме того, учитывая, что слова на одном и том же языке произносятся людьми с разными акцентами, программное обеспечение для распознавания речи должно быть в состоянии распознавать широкий спектр входных данных как идентичных друг другу с точки зрения их текстового эквивалента.

Сегментация речи

Учитывая аудиоклип, в котором разговаривает человек или люди, разделите его на слова. Подзадача распознавания речи , обычно группируемая с ней.

Текст в речь

Учитывая текст, преобразуйте эти единицы и создайте устное представление. Преобразование текста в речь можно использовать для помощи людям с нарушениями зрения. ^[22]

Сегментация слов ( токенизация )

Разделите кусок непрерывного текста на отдельные слова. Для такого языка, как английский , это довольно тривиально, поскольку слова обычно разделяются пробелами. Однако некоторые письменные языки, такие как китайский , японский и тайский , не обозначают границы слов таким образом, и в этих языках сегментация текста является важной задачей, требующей знания словарного запаса и морфологии слов на языке. Иногда этот процесс также используется в таких случаях, как создание пакета слов (BOW) при интеллектуальном анализе данных.

Морфологический анализ

Лемматизация

Задача удалить только флективные окончания и вернуть базовую словарную форму слова, также известную как лемма. Лемматизация — еще один метод приведения слов к их нормализованной форме. Но в этом случае преобразование фактически использует словарь для преобразования слов в их фактическую форму. ^[23]

Морфологическая сегментация

Разделите слова на отдельные морфемы и определите класс морфем. Сложность этой задачи во многом зависит от сложности морфологии ( т . е . структуры слов) рассматриваемого языка. В английском языке довольно простая морфология, особенно флективная морфология , и поэтому часто можно полностью игнорировать эту задачу и просто моделировать все возможные формы слова (например, «открыть, открывает, открылось, открытие») как отдельные слова. Однако в таких языках, как турецкий или мейтей , индийский язык с высокой степенью агглютинации , такой подход невозможен, поскольку каждая словарная статья имеет тысячи возможных словоформ. ^[24]

Маркировка частей речи

Учитывая предложение, определите часть речи (ЧС) для каждого слова. Многие слова, особенно распространенные, могут служить несколькими частями речи. Например, «книга» может быть существительным («книга на столе») или глаголом («заказать рейс»); «набор» может быть существительным, глаголом или прилагательным ; и «out» может быть любой из как минимум пяти разных частей речи.

Стемминг

Процесс приведения измененных (или иногда производных) слов к базовой форме (например, «закрыть» будет корнем слов «закрытый», «замыкающий», «закрытый», «ближе» и т. д.). Стемминг дает те же результаты, что и лемматизация, но делает это на основе правил, а не словаря.

Синтаксический анализ

Грамматическое введение ^[25]

Создайте формальную грамматику , описывающую синтаксис языка.

Нарушение предложения (также известное как « устранение неоднозначности границ предложения »)

По куску текста найдите границы предложения. Границы предложений часто отмечаются точками или другими знаками препинания , но эти же символы могут служить и другим целям (например, для обозначения сокращений ).

Разбор

Определите дерево разбора (грамматического анализа) данного предложения. Грамматика естественных языков неоднозначна , и типичные предложения имеют множество возможных анализов : что, возможно, удивительно, для типичного предложения могут быть тысячи потенциальных анализов (большинство из которых покажутся человеку совершенно бессмысленными) . Существует два основных типа анализа: анализ зависимостей и анализ групп . Анализ зависимостей фокусируется на отношениях между словами в предложении (маркировка таких вещей, как первичные объекты и предикаты), тогда как анализ групп сосредоточен на построении дерева синтаксического анализа с использованием вероятностной бесконтекстной грамматики (PCFG) (см. также стохастическую грамматику ).

Лексическая семантика (отдельных слов в контексте)

Лексическая семантика

Каково вычислительное значение отдельных слов в контексте?

Дистрибутивная семантика

Как мы можем изучить семантические представления данных?

Распознавание названного объекта (NER)

Учитывая поток текста, определите, какие элементы в текстовом сопоставляются с именами собственными, например людьми или местами, и каков тип каждого такого имени (например, человек, местоположение, организация). Хотя использование заглавных букв может помочь в распознавании именованных объектов на таких языках, как английский, эта информация не может помочь в определении типа именованного объекта и в любом случае часто бывает неточной или недостаточной. Например, первая буква предложения также пишется с заглавной буквы, а именованные объекты часто охватывают несколько слов, только некоторые из которых пишутся с заглавной буквы. Более того, многие другие языки с незападным письмом (например, китайский или арабский ) вообще не имеют заглавной буквы, и даже языки с заглавной буквой могут не всегда использовать ее для различения имен. Например, в немецком языке все существительные пишутся с заглавной буквы , независимо от того, являются ли они именами, а во французском и испанском языках имена, служащие прилагательными , не пишутся с заглавной буквы . Другое название этой задачи — классификация токенов. ^[26]

Анализ настроений (см. также Мультимодальный анализ настроений )

Извлекайте субъективную информацию, как правило, из набора документов, часто используя онлайн-обзоры для определения «полярности» относительно конкретных объектов. Это особенно полезно для выявления тенденций общественного мнения в социальных сетях, для маркетинга.

Извлечение терминологии

Целью извлечения терминологии является автоматическое извлечение соответствующих терминов из данного корпуса.

Разрешение смысловой неоднозначности (WSD)

Многие слова имеют более одного значения ; мы должны выбрать значение, которое имеет наибольший смысл в контексте. Для решения этой задачи нам обычно дают список слов и связанных с ними значений слов, например, из словаря или онлайн-ресурса, такого как WordNet .

Связывание объектов

Многие слова — обычно имена собственные — относятся к именованным объектам ; здесь нам нужно выбрать объект (известное лицо, место, компанию и т. д.), на который ссылаются в контексте.

Реляционная семантика (семантика отдельных предложений)

Извлечение отношений

Учитывая фрагмент текста, определите отношения между названными объектами (например, кто на ком состоит в браке).

Семантический анализ

Учитывая фрагмент текста (обычно предложение), создайте формальное представление его семантики либо в виде графа (например, при анализе AMR ), либо в соответствии с логическим формализмом (например, при анализе DRT ). Эта задача обычно включает в себя аспекты нескольких более элементарных задач НЛП из семантики (например, разметку семантических ролей, устранение смысловой неоднозначности слов) и может быть расширена, включив в нее полноценный анализ дискурса (например, анализ дискурса, кореферентность; см. Понимание естественного языка ниже). .

Маркировка семантических ролей (см. также неявную маркировку семантических ролей ниже)

Учитывая одно предложение, определите и устраните неоднозначность семантических предикатов (например, глагольных фреймов ), затем идентифицируйте и классифицируйте элементы фрейма ( семантические роли ).

Дискурс (семантика за пределами отдельных предложений)

Разрешение кореферента

Учитывая предложение или более крупный фрагмент текста, определите, какие слова («упоминания») относятся к одним и тем же объектам («сущностям»). Разрешение анафоры является конкретным примером этой задачи и конкретно связано с сопоставлением местоимений с существительными или именами, к которым они относятся. Более общая задача разрешения кореференции также включает в себя выявление так называемых «мостовых отношений», включающих ссылающиеся выражения . Например, в таком предложении, как «Он вошел в дом Джона через парадную дверь», «парадная дверь» является референтным выражением, а связующим отношением, которое необходимо выявить, является тот факт, что дверь, о которой идет речь, является входной дверью дома Джона. дом (а не какое-то другое строение, о котором также можно было бы упомянуть).

Анализ речи

В эту рубрику входит несколько взаимосвязанных задач. Одной из задач является синтаксический анализ дискурса, т. е. выявление дискурсивной структуры связанного текста, т. е. характера дискурсивных отношений между предложениями (например, разработка, объяснение, контраст). Другая возможная задача — распознавание и классификация речевых актов в фрагменте текста (например, вопрос «да–нет», содержательный вопрос, высказывание, утверждение и т. д.).

Неявная семантическая маркировка ролей

Учитывая одно предложение, определите и устраните неоднозначность семантических предикатов (например, вербальных фреймов ) и их явных семантических ролей в текущем предложении (см. раздел «Разметка семантических ролей» выше). Затем определите семантические роли, которые явно не реализованы в текущем предложении, классифицируйте их на аргументы, которые явно реализованы в другом месте текста, и те, которые не указаны, и разрешите первые в отношении локального текста. Тесно связанной задачей является нулевое разрешение анафоры, т. е. распространение разрешения кореферентности на языки, поддерживающие удаление .

Распознавание текстового следствия

Учитывая два фрагмента текста, определите, влечет ли истинность одного из других, влечет за собой отрицание другого или позволяет другому быть истинным или ложным. ^[27]

Сегментация и распознавание тем

Дан фрагмент текста, разделите его на сегменты, каждый из которых посвящен определенной теме, и определите тему сегмента.

Добыча аргументов

Целью интеллектуального анализа аргументов является автоматическое извлечение и идентификация аргументативных структур из текста на естественном языке с помощью компьютерных программ. ^[28] Такие аргументативные структуры включают в себя предпосылку, выводы, схему аргументации и отношения между основным и второстепенным аргументом или основным и контраргументом в дискурсе. ^{[29] [30]}

Приложения НЛП более высокого уровня

Автоматическое реферирование (суммирование текста)

Создайте удобочитаемое резюме фрагмента текста. Часто используется для краткого изложения текста известного типа, например исследовательских работ, статей в финансовом разделе газеты.

Исправление грамматических ошибок

Обнаружение и исправление грамматических ошибок включает в себя широкий спектр проблем на всех уровнях лингвистического анализа (фонология/орфография, морфология, синтаксис, семантика, прагматика). Исправление грамматических ошибок имеет большое значение, поскольку оно затрагивает сотни миллионов людей, которые используют или изучают английский как второй язык. ^{Таким образом , с 2011 года над ним} решается ряд общих ^задач . как и GPT-2 , теперь (2019 г.) это можно считать в значительной степени решенной проблемой и продается в различных коммерческих приложениях.

Машинный перевод (МП)

Автоматически переводите текст с одного человеческого языка на другой. Это одна из самых сложных проблем, и она принадлежит к классу проблем, в просторечии называемых « ИИ-полными », т.е. требующих всех различных типов знаний, которыми обладают люди (грамматика, семантика, факты о реальном мире и т. д.). .) правильно решить.

Понимание естественного языка (NLU)

Преобразуйте фрагменты текста в более формальные представления, такие как логические структуры первого порядка , которыми легче манипулировать компьютерным программам. Понимание естественного языка включает в себя идентификацию предполагаемой семантики из множества возможных семантик, которые могут быть получены из выражения естественного языка, которое обычно принимает форму организованных обозначений понятий естественного языка. Внедрение и создание языковой метамодели и онтологии являются эффективными, однако эмпирическими решениями. Для построения основы формализации семантики ожидается явная формализация семантики естественного языка без путаницы с неявными предположениями, такими как предположение закрытого мира (CWA) против предположения открытого мира или субъективное Да/Нет против объективного Истина/Ложь. . ^[34]

Поколение естественного языка (NLG):

Преобразуйте информацию из компьютерных баз данных или семантических намерений в читаемый человеческий язык.

Генерация книг

Создание полноценных книг — это не задача НЛП, а расширение генерации естественного языка и других задач НЛП. Первая книга, созданная компьютером, была создана с помощью системы, основанной на правилах, в 1984 году (Рактер, Борода полицейского наполовину построена ). ^[35] Первая опубликованная работа нейронной сети была опубликована в 2018 году 1 «Дорога» , позиционируемая как роман, содержит шестьдесят миллионов слов. Обе эти системы по своей сути представляют собой сложные, но бессмысленные (свободные от семантики) языковые модели . Первая научная книга, созданная машиной, была опубликована в 2019 году (Beta Writer, Lithium-Ion Batteries , Springer, Cham). ^[36] В отличие от Racter и 1 The Road , это основано на фактических знаниях и основано на обобщении текста.

Документ ИИ

Платформа Document AI основана на технологии NLP, позволяя пользователям, не имеющим опыта работы с искусственным интеллектом, машинным обучением или NLP, быстро обучить компьютер извлекать конкретные данные, которые им нужны, из различных типов документов. Document AI на основе NLP позволяет нетехническим командам быстро получать доступ к информации, скрытой в документах, например юристам, бизнес-аналитикам и бухгалтерам. ^[37]

Управление диалогом

Компьютерные системы, предназначенные для общения с человеком.

Ответ на вопрос

Дан вопрос, заданный на человеческом языке, определите на него ответ. Типичные вопросы имеют конкретный правильный ответ (например, «Какая столица Канады?»), но иногда рассматриваются и открытые вопросы (например, «В чем смысл жизни?»).

Генерация текста в изображение

Учитывая описание изображения, сгенерируйте изображение, соответствующее описанию. ^[38]

Генерация текста в сцене

Учитывая описание сцены, создайте 3D-модель сцены. ^{[39] [40]}

Преобразование текста в видео

Учитывая описание видео, создайте видео, соответствующее описанию. ^{[41] [42]}

Общие тенденции и (возможные) будущие направления

Основываясь на давних тенденциях в этой области, можно экстраполировать будущие направления НЛП. По состоянию на 2020 год среди тем давней серии общих задач CoNLL можно наблюдать три тенденции: ^[43]

• Интерес ко все более абстрактным, «когнитивным» аспектам естественного языка (1999–2001: поверхностный анализ, 2002–03: распознавание именованных объектов, 2006–09/2017–18: синтаксис зависимостей, 2004–05/2008–09 разметка семантических ролей, 2011–12 кореференция, 2015–16: разбор дискурса, 2019: семантический анализ).
• Растущий интерес к многоязычию и, потенциально, мультимодальности (английский с 1999 года; испанский, голландский с 2002 года; немецкий с 2003 года; болгарский, датский, японский, португальский, словенский, шведский, турецкий с 2006 года; баскский, каталанский, китайский, греческий, венгерский). , итальянский, турецкий с 2007 г.; чешский с 2009 г.; арабский с 2012 г.; 2017 г.: более 40 языков; 2018 г.: более 60/100 языков)
• Устранение символических представлений (методы, основанные на правилах, а не контролируемые или слабоконтролируемые, обучение представлению и сквозные системы)

Познание

Большинство приложений НЛП более высокого уровня включают в себя аспекты, которые имитируют разумное поведение и очевидное понимание естественного языка. В более широком смысле, техническая операционализация все более продвинутых аспектов когнитивного поведения представляет собой одну из траекторий развития НЛП (см. тенденции среди общих задач CoNLL выше).

Познание относится к «мысленному действию или процессу приобретения знаний и понимания посредством мысли, опыта и чувств». ^[44] Когнитивная наука — это междисциплинарное научное исследование разума и его процессов. ^[45] Когнитивная лингвистика — это междисциплинарная отрасль лингвистики, сочетающая в себе знания и исследования психологии и лингвистики. ^[46] Особенно в эпоху символического НЛП область компьютерной лингвистики поддерживала прочные связи с когнитивными исследованиями.

В качестве примера Джордж Лакофф предлагает методологию построения алгоритмов обработки естественного языка (НЛП) с точки зрения когнитивной науки, а также результаты когнитивной лингвистики ^[47] с двумя определяющими аспектами:

1. Примените теорию концептуальной метафоры , которую Лакофф объяснил как «понимание одной идеи через другую», которое дает представление о намерении автора. ^[48] ​​Например, рассмотрим английское слово big . При использовании в сравнении («Это большое дерево») намерение автора состоит в том, чтобы подразумевать, что это дерево физически велико по сравнению с другими деревьями или опытом автора. При метафорическом использовании («Завтра большой день») намерение автора подразумевает важность . Намерение, лежащее в основе других использований, например, «Она большой человек», останется несколько двусмысленным как для человека, так и для когнитивного алгоритма НЛП без дополнительной информации.
2. Присвойте относительные меры значения слову, фразе, предложению или фрагменту текста на основе информации, представленной до и после анализируемого фрагмента текста, например, с помощью вероятностной контекстно-свободной грамматики (PCFG). Математическое уравнение для таких алгоритмов представлено в патенте США 9269353: ^[49]

${\displaystyle {RMM(token_{N})}={PMM(token_{N})}\times {\frac {1}{2d}}\left(\sum _{i=-d}^{d}{((PMM(token_{N})}\times {PF(token_{N-i},token_{N},token_{N+i}))_{i}}\right)}$

Где

RMM — это относительная мера значения.

токен — это любой блок текста, предложения, фразы или слова.

N — количество анализируемых токенов

ПММ — это вероятная мера значения, основанная на корпусе.

d — ненулевое положение токена в последовательности из N токенов .

PF - функция вероятности, специфичная для языка.

Связи с когнитивной лингвистикой являются частью исторического наследия НЛП, но после статистического поворота 1990-х годов к ним стали обращаться реже. Тем не менее, подходы к разработке когнитивных моделей с целью создания технически реализуемых структур использовались в контексте различных структур, например, когнитивной грамматики, ^[50] функциональной грамматики, ^[51] строительной грамматики, ^[52] компьютерной психолингвистики и когнитивной нейробиологии (например, ACT-R ), однако, с ограниченным пониманием основного направления НЛП (что измеряется присутствием на крупных конференциях [ ^53] ACL ). Совсем недавно идеи когнитивного НЛП были возрождены как подход к достижению объяснимости , например, в рамках понятия «когнитивный ИИ». ^[54] Аналогичным образом, идеи когнитивного НЛП присущи нейронным моделям, мультимодальному НЛП (хотя и редко выражаются в явном виде) ^[55] и разработкам в области искусственного интеллекта , в частности инструментам и технологиям, использующим подходы больших языковых моделей ^[56] и новым направлениям в области искусственного общего интеллекта. на основе принципа свободной энергии ^[57] британского нейробиолога и теоретика из Университетского колледжа Лондона Карла Дж. Фристона .

Смотрите также

• 1 Дорога
• Программное обеспечение для обнаружения искусственного интеллекта
• Автоматизированная оценка эссе
• Биомедицинский анализ текста
• Обработка сложных терминов
• Компьютерная лингвистика
• Компьютерное рецензирование
• Контролируемый естественный язык
• Глубокое обучение
• Глубокая лингвистическая обработка
• Дистрибутивная семантика
• Пособие для чтения на иностранном языке
• Помощник для письма на иностранном языке
• Извлечение информации
• Поиск информации
• Языковые и коммуникационные технологии
• Языковая модель
• Языковые технологии
• Скрытая семантическая индексация
• Мультиагентная система
• Идентификация на родном языке
• Программирование на естественном языке
• Понимание естественного языка
• Поиск на естественном языке
• Схема обработки естественного языка
• Расширение запроса
• Понимание запроса
• Реификация (лингвистика)
• Обработка речи
• Системы разговорного диалога
• Проверка текста
• Упрощение текста
• Трансформатор (модель машинного обучения)
• Истинный корпус
• Ответ на вопрос
• Word2vec

Рекомендации

1. Хатчинс, Дж. (2005). «Кратко об истории машинного перевода» (PDF) .^{[ самостоятельный источник ]}
2. «ALPAC: (печально) знаменитый отчет», Джон Хатчинс, MT News International, вып. 14 июня 1996 г., стр. 9–12.
3. Crevier 1993, стр. 146–148 , см. также Buchanan 2005, p. 56 : «Ранние программы обязательно были ограничены размером и скоростью памяти»Ошибка harvnb: нет цели: CITEREFCrevier1993 ( справка )Ошибка harvnb: нет цели: CITEREFBuchanan2005 ( справка )
4. Коскенниеми, Киммо (1983), Двухуровневая морфология: общая вычислительная модель распознавания и производства словоформ (PDF) , Департамент общей лингвистики, Хельсинкский университет.
5. Джоши, А.К., и Вайнштейн, С. (1981, август). Контроль вывода: роль некоторых аспектов центрирования структуры дискурса. В IJCAI (стр. 385–387).
6. Гуида, Г.; Маури, Г. (июль 1986 г.). «Оценка систем обработки естественного языка: проблемы и подходы». Труды IEEE . 74 (7): 1026–1035. дои : 10.1109/PROC.1986.13580. ISSN  1558-2256. S2CID  30688575.
7. Лингвистика Хомского поощряет исследование « крайних случаев », которые подчеркивают пределы ее теоретических моделей (сравнимых с патологическими явлениями в математике), обычно создаваемых с помощью мысленных экспериментов , а не систематического исследования типичных явлений, которые происходят в реальных данных. как это имеет место в корпусной лингвистике . Создание и использование таких массивов реальных данных является фундаментальной частью алгоритмов машинного обучения для обработки естественного языка. Кроме того, теоретические основы лингвистики Хомского, такие как так называемый аргумент « бедности стимула », предполагают, что общие алгоритмы обучения, которые обычно используются в машинном обучении, не могут быть успешными при обработке языка. В результате парадигма Хомского не поощряла применение таких моделей к обработке языка.
8. Бенджио, Йошуа; Дюшарм, Режан; Винсент, Паскаль; Джанвин, Кристиан (1 марта 2003 г.). «Нейронно-вероятностная языковая модель». Журнал исследований машинного обучения . 3 : 1137–1155 - через цифровую библиотеку ACM.
9. Миколов, Томаш; Карафиат, Мартин; Бургет, Лукаш; Черноцкий, Ян; Худанпур, Санджив (26 сентября 2010 г.). «Языковая модель на основе рекуррентной нейронной сети» (PDF) . Интерспич 2010 . стр. 1045–1048. дои : 10.21437/Interspeech.2010-343. S2CID  17048224. {{cite book}}: |journal=игнорируется ( помощь )
10. Гольдберг, Йоав (2016). «Букварь по моделям нейронных сетей для обработки естественного языка». Журнал исследований искусственного интеллекта . 57 : 345–420. arXiv : 1807.10854 . дои : 10.1613/jair.4992. S2CID  8273530.
11. Гудфеллоу, Ян; Бенджио, Йошуа; Курвиль, Аарон (2016). Глубокое обучение. МТИ Пресс.
12. Йозефович, Рафаль; Виньялс, Ориол; Шустер, Майк; Шазир, Ноам; Ву, Юнхуэй (2016). Исследование пределов языкового моделирования . arXiv : 1602.02410 . Бибкод : 2016arXiv160202410J.
13. Чхве, До Кук; Чарняк, Евгений. «Парсинг как моделирование языка». Эмнлп 2016 . Архивировано из оригинала 23 октября 2018 г. Проверено 22 октября 2018 г.
14. Виньялс, Ориол; и другие. (2014). «Грамматика как иностранный язык» (PDF) . Нипс2015 . arXiv : 1412.7449 . Бибкод : 2014arXiv1412.7449V.
15. Турчин, Александр; Флорес Буйлес, Луиза Ф. (19 марта 2021 г.). «Использование обработки естественного языка для измерения и улучшения качества лечения диабета: систематический обзор». Журнал науки и технологий о диабете . 15 (3): 553–560. дои : 10.1177/19322968211000831. ISSN  1932-2968. ПМК 8120048 . ПМИД  33736486. 
16. Ли, Дженнифер; Ян, Сэмюэл; Холланд-Холл, Синтия; Сезгин, Эмре; Гилл, Манжот; Линвуд, Саймон; Хуан, Юнги; Хоффман, Джеффри (10 июня 2022 г.). «Распространенность деликатных терминов в клинических записях с использованием методов обработки естественного языка: наблюдательное исследование». ЖМИР Медицинская информатика . 10 (6): e38482. дои : 10.2196/38482 . ISSN  2291-9694. ПМЦ 9233261 . ПМИД  35687381. 
17. Виноград, Терри (1971). Процедуры как представление данных в компьютерной программе для понимания естественного языка (Диссертация).
18. Шанк, Роджер С.; Абельсон, Роберт П. (1977). Сценарии, планы, цели и понимание: исследование структур человеческого знания . Хиллсдейл: Эрлбаум. ISBN 0-470-99033-3.
19. Марк Джонсон. Как статистическая революция меняет (компьютерную) лингвистику. Материалы семинара EACL 2009 г. по взаимодействию лингвистики и компьютерной лингвистики.
20. Филип Резник. Четыре революции. Языковой журнал, 5 февраля 2011 г.
21. Сочер, Ричард. «Учебное пособие по глубокому обучению для NLP-ACL 2012». www.socher.org . Проверено 17 августа 2020 г.Это было первое руководство по глубокому обучению на ACL 2012, которое вызвало как интерес, так и (на тот момент) скептицизм большинства участников. До этого нейронное обучение в основном отвергалось из-за отсутствия статистической интерпретируемости. До 2015 года глубокое обучение превратилось в основную основу НЛП. [Ссылка не работает, попробуйте http://web.stanford.edu/class/cs224n/]
22. Йи, Чукай; Тиан, Инли (2012), «Вспомогательное чтение текста на сложном фоне для слепых», Анализ и распознавание документов с помощью камеры , Конспекты лекций по информатике, Springer Berlin Heidelberg, vol. 7139, стр. 15–28, CiteSeerX 10.1.1.668.869 , doi : 10.1007/978-3-642-29364-1_2, ISBN  9783642293634
23. «Что такое обработка естественного языка? Введение в НЛП в машинном обучении». ГьянСету! . 06.12.2020 . Проверено 9 января 2021 г.
24. Кишорджит, Н.; Видья, Радж РК.; Нирмал, Ю.; Шиваджи, Б. (2012). «Идентификация морфемы манипури» (PDF) . Материалы 3-го семинара по обработке естественного языка Южной и Юго-Восточной Азии (SANLP) . COLING 2012, Мумбаи, декабрь 2012 г.: 95–108.{{cite journal}}: CS1 maint: местоположение ( ссылка )
25. Кляйн, Дэн; Мэннинг, Кристофер Д. (2002). «Индукция грамматики естественного языка с использованием модели составляющего контекста» (PDF) . Достижения в области нейронных систем обработки информации .
26. Кариампужа, Уильям; Алия, Джоконда; Цюй, Сью; Санджак, Джалеал; Мате, Эви; Сид, Эрик; Шатлен, Хейли; Ядо, Арджун; Сюй, Яньцзи; Чжу, Цянь (2023). «Точное извлечение информации для масштабной эпидемиологии редких заболеваний». Журнал трансляционной медицины . 21 (1): 157. doi : 10.1186/s12967-023-04011-y . ПМЦ 9972634 . ПМИД  36855134. 
27. PASCAL Распознавание проблемы текстового следования (RTE-7) https://tac.nist.gov//2011/RTE/
28. Липпи, Марко; Торрони, Паоло (20 апреля 2016 г.). «Анализ аргументации: современное состояние и новые тенденции». Транзакции ACM по Интернет-технологиям . 16 (2): 1–25. дои : 10.1145/2850417. hdl : 11585/523460 . ISSN  1533-5399. S2CID  9561587.
29. «Анализ аргументов - Учебное пособие IJCAI2016» . www.i3s.unice.fr . Проверено 9 марта 2021 г.
30. «Подходы НЛП к вычислительной аргументации – ACL 2016, Берлин» . Проверено 9 марта 2021 г.
31. Администрация. «Центр языковых технологий (CLT)». Университет Маккуори . Проверено 11 января 2021 г.
32. «Общая задача: исправление грамматических ошибок» . www.comp.nus.edu.sg. _ Проверено 11 января 2021 г.
33. «Общая задача: исправление грамматических ошибок» . www.comp.nus.edu.sg. _ Проверено 11 января 2021 г.
34. Дуань, Юконг; Круз, Кристоф (2011). «Формализация семантики естественного языка посредством концептуализации из существования». Международный журнал инноваций, менеджмента и технологий . 2 (1): 37–42. Архивировано из оригинала 9 октября 2011 г.
35. "UBUWEB :: Рактер" . www.ubu.com . Проверено 17 августа 2020 г.
36. Писатель, Бета (2019). Литий-ионные аккумуляторы . дои : 10.1007/978-3-030-16800-1. ISBN 978-3-030-16799-8. S2CID  155818532.
37. «Документ, посвященный ИИ в Google Cloud (Cloud Next '19) - YouTube» . www.youtube.com . Архивировано из оригинала 30 октября 2021 г. Проверено 11 января 2021 г.
38. Робертсон, Ади (6 апреля 2022 г.). «Генератор изображений DALL-E AI от OpenAI теперь также может редактировать изображения». Грань . Проверено 7 июня 2022 г.
39. "Стэнфордская группа обработки естественного языка" . nlp.stanford.edu . Проверено 7 июня 2022 г.
40. Койн, Боб; Спроат, Ричард (1 августа 2001 г.). «СловаГлаз». Материалы 28-й ежегодной конференции «Компьютерная графика и интерактивные технологии» . СИГРАФ '01. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 487–496. дои : 10.1145/383259.383316. ISBN 978-1-58113-374-5. S2CID  3842372.
41. «Google объявляет о достижениях искусственного интеллекта в области преобразования текста в видео, языкового перевода и многого другого» . ВенчурБит . 02.11.2022 . Проверено 9 ноября 2022 г.
42. Винсент, Джеймс (29 сентября 2022 г.). «Новый искусственный генератор текста в видео от Meta похож на DALL-E для видео». Грань . Проверено 9 ноября 2022 г.
43. «Предыдущие общие задачи | CoNLL» . www.conll.org . Проверено 11 января 2021 г.
44. «Познание». Лексико . Издательство Оксфордского университета и словарь.com . Архивировано из оригинала 15 июля 2020 года . Проверено 6 мая 2020 г.
45. «Спросите учёного-когнитивиста». Американская федерация учителей . 8 августа 2014 г. Когнитивная наука — это междисциплинарная область исследований лингвистики, психологии, нейробиологии, философии, информатики и антропологии, которые стремятся понять разум.
46. Робинсон, Питер (2008). Справочник по когнитивной лингвистике и овладению вторым языком . Рутледж. стр. 3–8. ISBN 978-0-805-85352-0.
47. Лакофф, Джордж (1999). Философия во плоти: воплощенный разум и его вызов западной философии; Приложение: Нейронная теория языковой парадигмы . Основные книги Нью-Йорка. стр. 569–583. ISBN 978-0-465-05674-3.
48. Штраус, Клаудия (1999). Когнитивная теория культурного значения . Издательство Кембриджского университета. стр. 156–164. ISBN 978-0-521-59541-4.
49. Патент США 9269353. 
50. «Универсальная концептуальная когнитивная аннотация (UCCA)» . Универсальная концептуальная когнитивная аннотация (UCCA) . Проверено 11 января 2021 г.
51. Родригес, ФК, и Майрал-Усон, Р. (2016). Построение вычислительной грамматики RRG. Ономазеин , (34), 86–117.
52. «Грамматика гибкого построения - полностью работоспособная система обработки строительных грамматик» . Проверено 11 января 2021 г.
53. «Портал для членов ACL | Портал для членов Ассоциации компьютерной лингвистики» . www.aclweb.org . Проверено 11 января 2021 г.
54. «Часки и правила». W3C . Проверено 11 января 2021 г.
55. Сочер, Ричард; Карпаты, Андрей; Ле, Куок В.; Мэннинг, Кристофер Д.; Нг, Эндрю Ю. (2014). «Обоснованная композиционная семантика для поиска и описания изображений с помощью предложений». Труды Ассоциации компьютерной лингвистики . 2 : 207–218. дои : 10.1162/tacl_a_00177 . S2CID  2317858.
56. Дасгупта, Ишита; Лампинен, Эндрю К.; Чан, Стефани Сай; Кресвелл, Антония; Кумаран, Дхаршан; Макклелланд, Джеймс Л.; Хилл, Феликс (2022). «Языковые модели демонстрируют влияние человеческого содержания на мышление, Дасгупта, Лампинен и др.». arXiv : 2207.07051 [cs.CL].
57. Фристон, Карл Дж. (2022). Активный вывод: принцип свободной энергии в разуме, мозге и поведении; Глава 4. Генеративные модели активного вывода . Массачусетский технологический институт Пресс. ISBN 978-0-262-36997-8.

дальнейшее чтение

• Бейтс, М. (1995). «Модели понимания естественного языка». Труды Национальной академии наук Соединенных Штатов Америки . 92 (22): 9977–9982. Бибкод : 1995PNAS...92.9977B. дои : 10.1073/pnas.92.22.9977 . ПМК  40721 . ПМИД  7479812.
• Стивен Берд, Юэн Кляйн и Эдвард Лопер (2009). Обработка естественного языка с помощью Python . О'Рейли Медиа. ISBN 978-0-596-51649-9 . 
• Кенна Хьюз-Каслберри, «Загадка-загадка убийства: литературная загадка «Челюсть Каина », которая десятилетиями ставила людей в тупик, раскрывает ограничения алгоритмов обработки естественного языка», Scientific American , vol. 329, нет. 4 (ноябрь 2023 г.), стр. 81–82. «Это соревнование по расследованию убийств показало, что, хотя модели НЛП ( обработки естественного языка ) способны на невероятные подвиги, их способности очень сильно ограничены объемом контекста , который они получают. Это [...] может вызвать [трудности] для исследователей». которые надеются использовать их для таких вещей, как анализ древних языков . В некоторых случаях существует мало исторических записей о давно исчезнувших цивилизациях , которые могли бы служить учебными данными для этой цели». (стр. 82.)
• Дэниел Джурафски и Джеймс Х. Мартин (2008). Обработка речи и языка , 2-е издание. Пирсон Прентис Холл. ISBN 978-0-13-187321-6 . 
• Мохамед Закария Курди (2016). Обработка естественного языка и компьютерная лингвистика: речь, морфология и синтаксис , Том 1. ISTE-Wiley. ISBN 978-1848218482 . 
• Мохамед Закария Курди (2017). Обработка естественного языка и компьютерная лингвистика: семантика, дискурс и приложения , Том 2. ISTE-Wiley. ISBN 978-1848219212 . 
• Кристофер Д. Мэннинг, Прабхакар Рагхаван и Хинрих Шютце (2008). Введение в поиск информации . Издательство Кембриджского университета. ISBN 978-0-521-86571-5 . Официальные версии в формате html и pdf доступны бесплатно. 
• Кристофер Д. Мэннинг и Хинрих Шютце (1999). Основы статистической обработки естественного языка . Массачусетский технологический институт Пресс. ISBN 978-0-262-13360-9 . 
• Дэвид М.В. Пауэрс и Кристофер Ч.Р. Терк (1989). Машинное обучение естественного языка . Спрингер-Верлаг. ISBN 978-0-387-19557-5 . 

Внешние ссылки

• СМИ, связанные с обработкой естественного языка, на Викискладе?