Статистический машинный перевод ( SMT ) представлял собой подход к машинному переводу , который заменил предыдущий подход, основанный на правилах, поскольку он требовал явного описания каждого лингвистического правила, что было дорогостоящим и часто не распространялось на другие языки. С 2003 года статистический подход постепенно вытесняется подходом нейронных сетей, основанным на глубоком обучении .
Первые идеи статистического машинного перевода были предложены Уорреном Уивером в 1949 году [1] , включая идеи применения теории информации Клода Шеннона . Статистический машинный перевод был вновь представлен в конце 1980-х и начале 1990-х годов исследователями из Исследовательского центра Томаса Дж. Уотсона компании IBM [2] [3] [4]
Идея статистического машинного перевода исходит из теории информации . Документ переводится в соответствии с распределением вероятности того, что строка на целевом языке (например, английском) является переводом строки на исходном языке (например, французском).
К проблеме моделирования распределения вероятностей подходили разными способами. Одним из подходов, который хорошо подходит для компьютерной реализации, является применение теоремы Байеса , то есть , где модель перевода — это вероятность того, что исходная строка является переводом целевой строки, а языковая модель — это вероятность увидеть эту строку целевого языка. . Эта декомпозиция привлекательна, поскольку она разбивает проблему на две подзадачи. Поиск лучшего перевода осуществляется путем выбора того, который дает наибольшую вероятность:
Для строгой реализации этого пришлось бы выполнить исчерпывающий поиск, просматривая все строки на родном языке. Эффективное выполнение поиска — это работа декодера машинного перевода , который использует чужую строку, эвристику и другие методы для ограничения пространства поиска и в то же время сохраняет приемлемое качество. Этот компромисс между качеством и использованием времени также можно найти в распознавании речи .
Поскольку системы перевода не могли хранить все собственные строки и их переводы, документ обычно переводился предложение за предложением, но даже этого было недостаточно. Языковые модели обычно аппроксимировались сглаженными n -граммными моделями , и аналогичные подходы применялись к моделям перевода, но возникла дополнительная сложность из-за разной длины предложений и порядка слов в языках.
Модели статистического перевода изначально были основаны на словах (модели 1–5 из модели IBM Hidden Markov от Стефана Фогеля [5] и модель 6 от Франца-Йозефа Оха [6] ), но значительный прогресс был достигнут с введением моделей, основанных на фразах . [7] Более поздние работы включали синтаксические или квазисинтаксические структуры. [8]
Наиболее часто упоминаемыми преимуществами статистического машинного перевода по сравнению с подходом, основанным на правилах, были:
При переводе на основе фраз цель заключалась в том, чтобы уменьшить ограничения перевода на основе слов путем перевода целых последовательностей слов, длина которых может различаться. Последовательности слов назывались блоками или фразами, однако, как правило, это были не лингвистические фразы , а фраземы , найденные статистическими методами из корпусов. Показано, что ограничение фраз лингвистическими словосочетаниями (синтаксически мотивированными группами слов, см. синтаксические категории ) снижает качество перевода. [10]
Выбранные фразы далее сопоставлялись один к одному на основе таблицы перевода фраз, и их можно было переупорядочить. Эту таблицу можно изучить на основе выравнивания слов или непосредственно из параллельного корпуса. Вторая модель обучалась с использованием алгоритма максимизации ожидания , аналогично словесной модели IBM . [11]
Синтаксический перевод был основан на идее перевода синтаксических единиц, а не отдельных слов или строк слов (как в MT на основе фраз), то есть (частичных) деревьев разбора предложений/высказываний. [12] До 1990-х годов, с появлением мощных стохастических анализаторов , статистический аналог старой идеи синтаксического перевода не получил распространения. Примеры этого подхода включали MT на основе DOP и более поздние синхронные контекстно-свободные грамматики .
Иерархический фразовый перевод сочетает в себе фразовый и синтаксический подходы к переводу. В нем использовались синхронные бесконтекстные грамматические правила, но грамматики могли быть построены путем расширения методов фразового перевода без ссылки на лингвистически мотивированные синтаксические составляющие. Эта идея была впервые представлена в системе Иеро Чанга (2005). [8]
Проблемы, которые не решил статистический машинный перевод, включали:
Параллельно корпусы отдельных предложений на одном языке могут быть переведены в несколько предложений на другом языке и наоборот. [12] Длинные предложения можно разбивать, короткие — объединять. Есть даже некоторые языки, в которых используются системы письма без четкого указания конца предложения (например, тайский). Выравнивание предложений можно выполнить с помощью алгоритма выравнивания Гейла-Черча . С помощью этой и других математических моделей возможен эффективный поиск и извлечение выравнивания предложений с наивысшей оценкой.
Выравнивание предложений обычно либо обеспечивается корпусом, либо получается с помощью вышеупомянутого алгоритма выравнивания Гейла-Черча . Однако, чтобы изучить, например, модель перевода, нам нужно знать, какие слова совпадают в паре предложений «источник-цель». IBM -модели или HMM-подход были попытками решить эту проблему.
Функциональные слова, не имеющие четкого эквивалента в целевом языке, стали еще одной проблемой для статистических моделей. Например, при переводе с английского на немецкий предложения «Джон здесь не живет» слово «здесь» не имеет четкого соответствия в переведенном предложении «Джон wohnt hier nicht». С помощью логических рассуждений его можно сопоставить со словами «wohnt» (поскольку в английском языке оно содержит грамматическую информацию для слова «live») или «nicht» (поскольку оно появляется в предложении только потому, что оно отрицается) или может быть невыровненный. [11]
Примером такой аномалии было то, что фраза «Я сел на поезд в Берлин» была неправильно переведена как «Я сел на поезд в Париж» из-за статистического обилия слов «поезд в Париж» в обучающем наборе.
В зависимости от используемых корпусов идиомы нельзя было перевести «идиоматически». Например, при использовании канадского Хансарда в качестве двуязычного корпуса слово «слушай» почти всегда переводилось как «Браво!» поскольку в парламенте «Слушайте, слушайте!» становится «Браво!». [13]
Эта проблема связана с выравниванием слов, поскольку в очень специфических контекстах идиоматическое выражение совпадает со словами, что приводит к идиоматическому выражению того же значения на целевом языке. Однако это маловероятно, поскольку выравнивание обычно не работает ни в каких других контекстах. По этой причине идиомы могли быть подвергнуты только фразовому выравниванию, так как их нельзя было разложить дальше без потери своего смысла. Эта проблема была специфична для словесного перевода. [11]
Порядок слов в языках различается. Некоторую классификацию можно провести, назвав типичный порядок субъекта (S), глагола (V) и объекта (O) в предложении, и можно говорить, например, о языках SVO или VSO. Существуют также дополнительные различия в порядке слов, например, где расположены определители существительных или где одни и те же слова используются в качестве вопроса или утверждения.
При распознавании речи речевой сигнал и соответствующее текстовое представление могут быть сопоставлены друг с другом блоками по порядку. Это не всегда происходит с одним и тем же текстом на двух языках. В SMT машинный переводчик может обрабатывать только небольшие последовательности слов, и разработчик программы должен учитывать порядок слов. Попытки найти решение включали модели переупорядочения, в которых распределение изменений местоположения для каждого элемента перевода угадывается на основе выровненного битекста. Различные изменения местоположения можно ранжировать с помощью языковой модели и выбрать лучшее.
Системы SMT обычно хранят разные формы слов в виде отдельных символов, не имеющих никакой связи друг с другом, а формы слов или фразы, которых не было в обучающих данных, не могут быть переведены. Это может быть связано с отсутствием обучающих данных, изменениями в человеческой среде, где используется система, или различиями в морфологии.
