Машинный перевод — это использование вычислительных методов для перевода текста или речи с одного языка на другой, включая контекстные, идиоматические и прагматические нюансы обоих языков.
Ранние подходы были в основном основаны на правилах или статистических . С тех пор эти методы были заменены нейронным машинным переводом [1] и большими языковыми моделями . [2]
Истоки машинного перевода можно проследить до работы Аль-Кинди , арабского криптографа девятого века , который разработал методы системного языкового перевода, включая криптоанализ , частотный анализ , вероятность и статистику , которые используются в современном машинном переводе. [3] Идея машинного перевода появилась позже, в 17 веке. В 1629 году Рене Декарт предложил универсальный язык, в котором эквивалентные идеи на разных языках разделяли один символ. [4]
Идея использования цифровых компьютеров для перевода естественных языков была предложена еще в 1947 году англичанином AD Booth [5] и Уорреном Уивером из Фонда Рокфеллера в том же году. «Меморандум, написанный Уорреном Уивером в 1949 году, является, пожалуй, самой влиятельной публикацией на самых ранних этапах машинного перевода». [6] [7] За ним последовали и другие. В 1954 году на машине APEXC в Биркбек-колледже ( Лондонский университет ) была проведена демонстрация элементарного перевода с английского на французский. В то время было опубликовано несколько статей на эту тему и даже статьи в популярных журналах (например, статья Клива и Захарова в сентябрьском выпуске Wireless World за 1955 год ). Аналогичное приложение, также впервые примененное в Биркбек-колледже в то время, было чтением и составлением текстов Брайля с помощью компьютера.
Первый исследователь в этой области, Иегошуа Бар-Хиллел , начал свои исследования в Массачусетском технологическом институте (1951). Исследовательская группа по МТ Джорджтаунского университета под руководством профессора Майкла Заречнака последовала за ним (1951) с публичной демонстрацией своей экспериментальной системы Джорджтаун-IBM в 1954 году. Исследовательские программы МТ появились в Японии [8] [9] и России (1955), а первая конференция по МТ прошла в Лондоне (1956). [10] [11]
Дэвид Г. Хейс «писал о компьютерной обработке языка еще в 1957 году» и «был руководителем проекта по компьютерной лингвистике в RAND с 1955 по 1968 год». [12]
Исследователи продолжали присоединяться к этой области, когда в США была создана Ассоциация машинного перевода и компьютерной лингвистики (1962), а Национальная академия наук сформировала Консультативный комитет по автоматической обработке языка (ALPAC) для изучения МП (1964). Однако реальный прогресс был гораздо медленнее, и после отчета ALPAC (1966), в котором было установлено, что десятилетние исследования не оправдали ожиданий, финансирование было значительно сокращено. [13] Согласно отчету 1972 года директора по оборонным исследованиям и инжинирингу (DDR&E), осуществимость крупномасштабного МП была восстановлена благодаря успеху системы МП Logos при переводе военных руководств на вьетнамский язык во время этого конфликта.
Французский текстильный институт также использовал машинный перевод для перевода отрывков с французского, английского, немецкого и испанского языков и на них (1970 г.); Университет имени Бригама Янга начал проект по переводу мормонских текстов с помощью автоматизированного перевода (1971 г.).
SYSTRAN , которая «была пионером в этой области по контрактам с правительством США» [14] в 1960-х годах, использовалась Xerox для перевода технических руководств (1978). Начиная с конца 1980-х годов, по мере того как вычислительная мощность увеличивалась и становилась менее дорогой, все больший интерес проявлялся к статистическим моделям для машинного перевода . MT стал более популярным после появления компьютеров. [15] Первая система внедрения SYSTRAN была реализована в 1988 году онлайн-службой французской почтовой службы под названием Minitel. [16] Были также запущены различные компании по компьютерному переводу, включая Trados (1984), которая была первой, кто разработал и продал технологию Translation Memory (1989), хотя это не то же самое, что MT. Первая коммерческая система MT для русского / английского / немецкого-украинского языков была разработана в Харьковском государственном университете (1991).
К 1998 году «всего за 29,95 долларов» можно было «купить программу для перевода в одном направлении между английским и одним из основных европейских языков по вашему выбору» для работы на ПК. [14]
МП в Интернете начался с SYSTRAN, предлагавшего бесплатный перевод небольших текстов (1996), а затем предоставлявшего его через AltaVista Babelfish, [14] который набирал 500 000 запросов в день (1997). [17] Вторым бесплатным сервисом перевода в Интернете был GlobaLink от Lernout & Hauspie . [14] Atlantic Magazine писал в 1998 году, что «Babelfish от Systran и Comprende от GlobaLink» справились с «Don't stake on it» с «компетентной работой». [18]
Франц Йозеф Ох (будущий глава отдела развития переводов в Google) выиграл конкурс DARPA по скоростному машинному переводу (2003). [19] Другие инновации того времени включали MOSES, открытый исходный код статистического движка машинного перевода (2007), службу перевода текстов/SMS для мобильных телефонов в Японии (2008) и мобильный телефон со встроенной функцией перевода речи для английского, японского и китайского языков (2009). В 2012 году Google объявила, что Google Translate переводит примерно столько текста, сколько хватило бы для заполнения 1 миллиона книг за один день.
До появления методов глубокого обучения статистические методы требовали множества правил, сопровождаемых морфологическими , синтаксическими и семантическими аннотациями.
Подход машинного перевода на основе правил использовался в основном при создании словарей и грамматических программ. Его самым большим недостатком было то, что все должно было быть сделано явным: орфографические вариации и ошибочный ввод должны были стать частью анализатора исходного языка, чтобы с ними справиться, а правила лексического выбора должны были быть написаны для всех случаев неоднозначности.
Машинный перевод на основе переноса был похож на межъязыковой машинный перевод в том, что он создавал перевод из промежуточного представления, которое имитировало смысл исходного предложения. В отличие от межъязыкового машинного перевода, он частично зависел от языковой пары, задействованной в переводе.
Межъязыковой машинный перевод был одним из примеров подходов машинного перевода на основе правил. В этом подходе исходный язык, т. е. текст, который нужно было перевести, был преобразован в межъязыковой язык, т. е. в «языково-нейтральное» представление, которое не зависит от какого-либо языка. Затем целевой язык был сгенерирован из интерлингвы . Единственной межъязыковой системой машинного перевода, которая была введена в эксплуатацию на коммерческом уровне, была система KANT (Nyberg and Mitamura, 1992), которая была разработана для перевода технического английского языка Caterpillar (CTE) на другие языки.
Машинный перевод использует метод, основанный на словарных записях, что означает, что слова были переведены так, как они были записаны в словаре.
Статистический машинный перевод пытался генерировать переводы, используя статистические методы , основанные на двуязычных текстовых корпусах, таких как корпус Canadian Hansard , англо-французский отчет канадского парламента и EUROPARL , отчет Европейского парламента . Там, где такие корпуса были доступны, были достигнуты хорошие результаты при переводе похожих текстов, но такие корпуса были редки для многих языковых пар. Первым программным обеспечением для статистического машинного перевода была CANDIDE от IBM . В 2005 году Google улучшила свои внутренние возможности перевода, используя около 200 миллиардов слов из материалов Организации Объединенных Наций для обучения своей системы; точность перевода улучшилась. [20]
Самым большим недостатком SMT была его зависимость от огромного количества параллельных текстов, проблемы с языками со сложной морфологией (особенно при переводе на такие языки) и неспособность исправлять ошибки, возникающие в отдельных элементах.
Некоторая работа была проделана в использовании многопараллельных корпусов , то есть текстового блока, который был переведен на 3 или более языков. Используя эти методы, текст, который был переведен на 2 или более языков, может быть использован в комбинации для обеспечения более точного перевода на третий язык по сравнению с тем, если бы использовался только один из этих исходных языков. [21] [22] [23]
Подход к машинному переводу на основе глубокого обучения , нейронный машинный перевод, достиг быстрого прогресса в последние годы. Однако, в настоящее время консенсус заключается в том, что так называемый достигнутый человеческий паритет не является реальным, поскольку он полностью основан на ограниченных доменах, языковых парах и определенных тестовых показателях [24] , т. е. ему не хватает статистической значимости. [25]
Переводы с помощью нейронных инструментов машинного перевода, таких как DeepL Translator , которые, как считается, обычно обеспечивают наилучшие результаты машинного перевода по состоянию на 2022 год, как правило, по-прежнему требуют постредактирования человеком. [26] [27] [28]
Вместо обучения специализированных моделей перевода на параллельных наборах данных можно также напрямую побуждать генеративные большие языковые модели , такие как GPT, переводить текст. [29] [30] [31] Этот подход считается многообещающим, [32] но он все еще более ресурсоемкий, чем специализированные модели перевода.
Исследования с использованием человеческой оценки (например, профессиональных литературных переводчиков или людей-читателей) систематически выявляли различные проблемы с последними передовыми результатами МП. [31] К распространенным проблемам относится перевод неоднозначных частей, правильный перевод которых требует семантической языковой обработки или контекста, подобной здравому смыслу. [31] Также могут быть ошибки в исходных текстах, отсутствовать высококачественные обучающие данные, а серьезность частоты нескольких типов проблем не может быть снижена с помощью методов, используемых на сегодняшний день, что требует определенного уровня активного участия человека.
Разрешение неоднозначности словесного смысла касается поиска подходящего перевода, когда слово может иметь более одного значения. Впервые эта проблема была поднята в 1950-х годах Иегошуа Бар-Хиллелем . [33] Он указал, что без «универсальной энциклопедии» машина никогда не сможет различать два значения слова. [34] Сегодня существует множество подходов, разработанных для решения этой проблемы. Их можно приблизительно разделить на «поверхностные» подходы и «глубокие» подходы.
Поверхностные подходы не предполагают знания текста. Они просто применяют статистические методы к словам, окружающим неоднозначное слово. Глубокие подходы предполагают всестороннее знание слова. До сих пор поверхностные подходы были более успешными. [35]
Клод Пирон , опытный переводчик Организации Объединенных Наций и Всемирной организации здравоохранения , писал, что машинный перевод в лучшем случае автоматизирует простую часть работы переводчика; более сложная и трудоемкая часть обычно включает в себя проведение обширных исследований для устранения двусмысленностей в исходном тексте , которые требуют разрешения грамматических и лексических требований целевого языка :
Почему переводчику нужен целый рабочий день, чтобы перевести пять страниц, а не час или два? ..... Около 90% среднего текста соответствует этим простым условиям. Но, к сожалению, есть и другие 10%. Именно эта часть требует шесть [еще] часов работы. Есть неясности, которые нужно разрешить. Например, автор исходного текста, австралийский врач, привел пример эпидемии, которая была объявлена во время Второй мировой войны в «японском лагере военнопленных». Говорил ли он об американском лагере с японскими военнопленными или о японском лагере с американскими военнопленными? В английском языке есть два смысла. Поэтому необходимо провести исследование, может быть, в объеме телефонного звонка в Австралию. [36]
Идеальный глубокий подход потребовал бы, чтобы программное обеспечение для перевода само провело все необходимые исследования для такого рода устранения неоднозначности; но это потребовало бы более высокой степени ИИ, чем достигнуто до сих пор. Поверхностный подход, который просто угадывал бы смысл двусмысленной английской фразы, которую упоминает Пирон (возможно, на основе того, какой тип лагеря для военнопленных чаще упоминается в данном корпусе), имел бы разумные шансы довольно часто ошибаться. Поверхностный подход, который подразумевает «спросить пользователя о каждой двусмысленности», по оценке Пирона, автоматизировал бы только около 25% работы профессионального переводчика, оставив более сложные 75% для человека.
Одной из главных ловушек машинного перевода является его неспособность переводить нестандартный язык с той же точностью, что и стандартный язык. Эвристический или статистический машинный перевод принимает входные данные из различных источников в стандартной форме языка. Перевод на основе правил по своей природе не включает в себя общие нестандартные использования. Это приводит к ошибкам при переводе с разговорного источника или на разговорный язык. Ограничения на перевод с разговорной речи представляют проблемы при использовании машинного перевода на мобильных устройствах.
В извлечении информации именованные сущности в узком смысле относятся к конкретным или абстрактным сущностям в реальном мире, таким как люди, организации, компании и места, имеющие собственное имя: Джордж Вашингтон, Чикаго, Microsoft. Это также относится к выражениям времени, пространства и количества, таким как 1 июля 2011 г., 500 долларов.
В предложении «Смит — президент Fabrionix» и Смит , и Fabrionix — именованные сущности, и могут быть дополнительно уточнены с помощью имени или другой информации; «президент» — нет, поскольку Смит мог ранее занимать другую должность в Fabrionix, например, вице-президент. Термин « жесткий десигнатор» определяет эти использования для анализа в статистическом машинном переводе.
Сначала в тексте должны быть идентифицированы именованные сущности; в противном случае они могут быть ошибочно переведены как нарицательные имена, что, скорее всего, не повлияет на рейтинг перевода BLEU , но изменит читаемость текста человеком. [37] Они могут быть исключены из выходного перевода, что также повлияет на читаемость и посыл текста.
Транслитерация включает в себя поиск букв в целевом языке, которые наиболее точно соответствуют названию на исходном языке. Однако это иногда упоминается как ухудшающее качество перевода. [38] Для «Southern California» первое слово должно быть переведено напрямую, а второе слово должно быть транслитерировано. Машины часто транслитерируют оба, поскольку они рассматривают их как единое целое. Такие слова трудно обрабатывать машинным переводчикам, даже тем, у которых есть компонент транслитерации.
Использование списка «непереводимых» слов, имеющего ту же конечную цель — транслитерацию, а не перевод. [39] по-прежнему опирается на правильную идентификацию названных сущностей.
Третий подход — это модель на основе классов. Именованные сущности заменяются токеном, представляющим их «класс»; «Тед» и «Эрика» будут заменены токеном класса «человек». Тогда статистическое распределение и использование имен людей в целом можно анализировать вместо того, чтобы рассматривать распределения «Тед» и «Эрика» по отдельности, так что вероятность данного имени в определенном языке не повлияет на назначенную вероятность перевода. Исследование Стэнфорда по улучшению этой области перевода дает примеры того, что разные вероятности будут назначены для «Дэвид идет на прогулку» и «Анкит идет на прогулку» для английского языка как целевого языка из-за разного количества вхождений каждого имени в обучающих данных. Разочаровывающим результатом того же исследования Стэнфорда (и других попыток улучшить перевод распознавания имен) является то, что во многих случаях снижение оценок BLEU для перевода будет результатом включения методов для перевода именованных сущностей. [39]
Хотя ни одна система не обеспечивает идеала полностью автоматического высококачественного машинного перевода неограниченного текста, многие полностью автоматизированные системы выдают приемлемый результат. [40] [41] [42] Качество машинного перевода существенно улучшается, если область ограничена и контролируется. [43] Это позволяет использовать машинный перевод в качестве инструмента для ускорения и упрощения переводов, а также для создания несовершенных, но полезных недорогих или специальных переводов.
Приложения для машинного перевода также были выпущены для большинства мобильных устройств, включая мобильные телефоны, карманные компьютеры, КПК и т. д. Благодаря своей портативности такие инструменты стали называться мобильными инструментами перевода, позволяющими налаживать деловые связи между партнерами, говорящими на разных языках, или облегчающими как изучение иностранных языков, так и самостоятельные поездки в зарубежные страны без необходимости посредничества человека-переводчика.
Например, приложение Google Translate позволяет иностранцам быстро переводить текст в их окружении с помощью дополненной реальности , используя камеру смартфона, которая накладывает переведенный текст на текст. [44] Оно также может распознавать речь , а затем переводить ее. [45]
Несмотря на присущие им ограничения, программы MT используются во всем мире. Вероятно, крупнейшим институциональным пользователем является Европейская комиссия . В 2012 году с целью замены MT на основе правил на более новый, статистический MT@EC Европейская комиссия выделила 3,072 млн евро (через свою программу ISA). [46]
Машинный перевод также использовался для перевода статей Википедии и может сыграть большую роль в создании, обновлении, расширении и общем улучшении статей в будущем, особенно по мере того, как возможности МП могут улучшиться. Существует «инструмент перевода контента», который позволяет редакторам легче переводить статьи на несколько выбранных языков. [47] [48] [49] Считается, что статьи на английском языке обычно более полны и менее предвзяты, чем их непереведенные эквиваленты на других языках. [50] По состоянию на 2022 год в английской Википедии более 6,5 миллионов статей, в то время как в немецкой и шведской Википедиях всего более 2,5 миллионов статей, [51] каждая из них зачастую гораздо менее полна.
После террористических атак в западных странах, включая 11 сентября , США и их союзники были больше всего заинтересованы в разработке программ машинного перевода на арабский язык , а также в переводе языков пушту и дари . [ требуется ссылка ] В рамках этих языков основное внимание уделяется ключевым фразам и быстрой коммуникации между военнослужащими и гражданскими лицами с помощью приложений для мобильных телефонов. [52] Управление технологий обработки информации в DARPA организовало такие программы, как TIDES и переводчик Babylon . ВВС США заключили контракт на 1 миллион долларов на разработку технологии языкового перевода. [53]
Значительный рост популярности социальных сетей в Интернете в последние годы создал еще одну нишу для применения программного обеспечения для машинного перевода — в таких утилитах, как Facebook , или клиентах мгновенного обмена сообщениями, таких как Skype , Google Talk , MSN Messenger и т. д., — что позволяет пользователям, говорящим на разных языках, общаться друг с другом.
Lineage W приобрела популярность в Японии благодаря функциям машинного перевода, позволяющим игрокам из разных стран общаться. [54]
Несмотря на то, что в 1966 году Консультативный комитет по автоматизированной обработке языка, созданный правительством США, назвал его недостойным конкурентом человеческому переводу, [55] качество машинного перевода в настоящее время улучшено до такого уровня, что его применение в онлайн-сотрудничестве и в медицинской сфере изучается. Применение этой технологии в медицинских учреждениях, где отсутствуют переводчики-люди, является еще одной темой исследования, но трудности возникают из-за важности точных переводов в медицинских диагнозах. [56]
Исследователи предупреждают, что использование машинного перевода в медицине может привести к неправильному переводу, что может быть опасно в критических ситуациях. [57] [58] Машинный перевод может облегчить врачам общение с пациентами в повседневной деятельности, но рекомендуется использовать машинный перевод только в случае отсутствия других альтернатив, а переведенные медицинские тексты должны проверяться переводчиками-людьми на точность. [59] [60]
Юридический язык представляет собой значительную проблему для инструментов машинного перевода из-за его точной природы и нетипичного использования обычных слов. По этой причине были разработаны специализированные алгоритмы для использования в юридических контекстах. [61] Из-за риска неправильных переводов, возникающих из-за машинных переводчиков, исследователи рекомендуют, чтобы машинные переводы проверялись переводчиками-людьми на точность, а некоторые суды запрещают его использование в официальных разбирательствах . [62]
Использование машинного перевода в юриспруденции вызвало обеспокоенность по поводу ошибок перевода и конфиденциальности клиентов . Юристы, которые используют бесплатные инструменты перевода, такие как Google Translate, могут случайно нарушить конфиденциальность клиентов, раскрывая личную информацию поставщикам инструментов перевода. [61] Кроме того, были высказаны аргументы о том, что согласие на полицейский обыск, полученное с помощью машинного перевода, является недействительным, при этом разные суды выносят разные вердикты относительно того, являются ли эти аргументы обоснованными. [57]
Достижения в области сверточных нейронных сетей в последние годы и машинного перевода с низкими ресурсами (когда для обучения доступен лишь очень ограниченный объем данных и примеров) сделали возможным машинный перевод для древних языков, таких как аккадский и его диалекты вавилонский и ассирийский. [63]
На оценку систем машинного перевода влияет множество факторов. К этим факторам относятся предполагаемое использование перевода, характер программного обеспечения машинного перевода и характер процесса перевода.
Разные программы могут хорошо работать для разных целей. Например, статистический машинный перевод (SMT) обычно превосходит машинный перевод на основе примеров (EBMT), но исследователи обнаружили, что при оценке перевода с английского на французский EBMT работает лучше. [64] Та же концепция применима к техническим документам, которые легче перевести с помощью SMT из-за их формального языка.
Однако в некоторых приложениях, например, описаниях продуктов, написанных на контролируемом языке , система машинного перевода на основе словаря выдала удовлетворительные переводы, не требующие вмешательства человека, за исключением проверки качества. [65]
Существуют различные средства оценки качества вывода систем машинного перевода. Самым старым является использование человеческих судей [66] для оценки качества перевода. Несмотря на то, что человеческая оценка занимает много времени, она по-прежнему является самым надежным методом сравнения различных систем, таких как основанные на правилах и статистические системы. [67] Автоматизированные средства оценки включают BLEU , NIST , METEOR и LEPOR . [68]
Полагаясь исключительно на неотредактированный машинный перевод, мы игнорируем тот факт, что общение на человеческом языке встроено в контекст и что человеку нужно понять контекст исходного текста с разумной степенью вероятности. Конечно, верно, что даже чисто человеческие переводы подвержены ошибкам. Поэтому, чтобы гарантировать, что машинный перевод будет полезен человеку и что будет достигнуто качество перевода, пригодное для публикации, такие переводы должны быть проверены и отредактированы человеком. [69] Покойный Клод Пирон писал, что машинный перевод в лучшем случае автоматизирует легкую часть работы переводчика; более сложная и трудоемкая часть обычно включает в себя проведение обширных исследований для разрешения двусмысленностей в исходном тексте , которые требуют разрешения грамматических и лексических требований целевого языка. Такие исследования являются необходимой прелюдией к предварительному редактированию, необходимому для обеспечения ввода для программного обеспечения машинного перевода таким образом, чтобы вывод не был бессмысленным . [70]
Помимо проблем устранения неоднозначности, снижение точности может происходить из-за различных уровней обучающих данных для программ машинного перевода. Как основанный на примерах, так и статистический машинный перевод опираются на огромный массив реальных примеров предложений в качестве основы для перевода, и когда анализируется слишком много или слишком мало предложений, точность оказывается под угрозой. Исследователи обнаружили, что когда программа обучается на 203 529 парах предложений, точность фактически снижается. [64] Оптимальный уровень обучающих данных, по-видимому, составляет чуть более 100 000 предложений, возможно, потому что по мере увеличения обучающих данных увеличивается и количество возможных предложений, что затрудняет поиск точного соответствия переводу.
Недостатки машинного перевода были отмечены из-за их развлекательной ценности . Два видео, загруженных на YouTube в апреле 2017 года, включают два японских символа хираганыえぐ ( e и gu ), которые многократно вставляются в Google Translate, в результате чего переводы быстро деградируют до бессмысленных фраз, таких как «DECEARING EGG» и «Deep-sea squeeze trees», которые затем читаются все более абсурдными голосами; [71] [72] полная версия видео в настоящее время имеет 6,9 миллионов просмотров по состоянию на март 2022 года. [73][обновлять]
В начале 2000-х годов возможности машинного перевода между устным и жестовым языками были существенно ограничены. Было распространено мнение, что глухие люди могут пользоваться традиционными переводчиками. Однако ударение, интонация, высота тона и время передаются в устных языках по-разному по сравнению с жестовыми языками. Поэтому глухой человек может неправильно истолковать или запутаться в значении письменного текста, основанного на устном языке. [74]
Исследователи Чжао и др. (2000) разработали прототип под названием TEAM (перевод с английского на ASL машиной), который выполнял переводы с английского на американский язык жестов (ASL). Программа сначала анализировала синтаксические, грамматические и морфологические аспекты английского текста. После этого шага программа обращалась к синтезатору жестов, который действовал как словарь для ASL. Этот синтезатор содержал процесс, которому необходимо следовать для завершения знаков ASL, а также значения этих знаков. После того, как весь текст был проанализирован и знаки, необходимые для завершения перевода, были найдены в синтезаторе, появлялся сгенерированный компьютером человек и использовал ASL для жестов английского текста для пользователя. [74]
Только оригинальные работы подлежат защите авторских прав , поэтому некоторые ученые утверждают, что результаты машинного перевода не подлежат защите авторских прав, поскольку машинный перевод не предполагает творчества . [ 75] Авторские права, о которых идет речь, касаются производной работы ; автор оригинальной работы на языке оригинала не теряет своих прав при переводе работы: переводчик должен иметь разрешение на публикацию перевода. [ требуется ссылка ]
わが国では1956年、当時の電気試験所が英和翻訳専用機「ヤマト」を実験している。この機械は1962年頃には中学1年の教科書で90点以上の能力に達したと報告されている。(перевод (с помощью Google Translate ): In 1959 г. Япония, Национальный институт передовой промышленной науки и технологии (AIST) провел испытания надлежащей англо-японской переводческой машины Yamato , которая в 1964 г. сообщила, что достигла уровня мощности, превышающего оценку в 90 баллов по учебнику для младших классов. Привет, школа.)
писал о компьютерной обработке языка еще в 1957 г. . был руководителем проекта по компьютерной лингвистике в RAND с 1955 по 1968 г.
{{cite book}}
: CS1 maint: местоположение отсутствует издатель ( ссылка ) CS1 maint: другие ( ссылка ){{cite report}}
: CS1 maint: несколько имен: список авторов ( ссылка )