Количественная сравнительная лингвистика — это использование количественного анализа применительно к сравнительной лингвистике . Примеры включают статистические области лексикостатистики и глоттохронологии , а также заимствование филогенетики из биологии.
Статистические методы используются с целью количественного анализа в сравнительном языкознании уже более века. В 1950-х годах появился список Сводеша : стандартизированный набор лексических понятий , встречающихся в большинстве языков в виде слов или фраз, которые позволяют эмпирически сравнивать и противопоставлять два или более языков.
Вероятно, первое опубликованное количественное историческое лингвистическое исследование было проведено Сапиром в 1916 году [1] , а Кребер и Кретьен в 1937 году [2] исследовали девять индоевропейских (IE) языков, используя 74 морфологических и фонологических признака (расширенных в 1939 году за счет включения хеттского языка). ). Росс [3] в 1950 г. провел исследование теоретической основы таких исследований. Сводеш, используя списки слов, разработал лексикостатистику и глоттохронологию в серии статей [4], опубликованных в начале 1950-х годов, но эти методы подверглись широкой критике [5], хотя некоторые из критических замечаний были сочтены неоправданными другими учеными. Эмблтон опубликовал книгу «Статистика в исторической лингвистике» в 1986 году, в которой были рассмотрены предыдущие работы и расширен глоттохронологический метод. Дайен, Краскал и Блэк провели исследование лексикостатистического метода на большой базе данных IE в 1992 году. [6]
В 1990-е годы возобновился интерес к этой теме, основанный на применении методов вычислительной филогенетики и кладистики . В таких проектах часто участвовали ученые-лингвисты и коллеги, обладающие опытом в области информатики и/или биологической антропологии . Эти проекты часто стремились создать оптимальное филогенетическое дерево (или сеть), чтобы представить гипотезу об эволюционном происхождении и, возможно, о его языковых контактах. Пионерами в этих методах были основатели CPHL: вычислительная филогенетика в исторической лингвистике (проект CPHL): Дональд Ринг , Тэнди Уорноу , Луай Нахле и Стивен Н. Эванс .
В середине 1990-х годов группа из Пенсильванского университета компьютеризировала сравнительный метод и использовала другую базу данных IE с 20 древними языками. [7] В области биологии затем было разработано несколько программ, которые могли найти применение в исторической лингвистике. В частности, группа из Оклендского университета разработала метод, который позволил получить спорные старые даты для языков IE. [8] В августе 1999 года состоялась конференция «Временная глубина в исторической лингвистике», на которой обсуждались многие применения количественных методов. [9] Впоследствии было опубликовано множество статей об исследованиях различных языковых групп, а также сравнении методов.
Больше внимания средств массовой информации было привлечено в 2003 году после публикации антропологами Расселом Греем и Квентином Аткинсоном краткого исследования индоевропейских языков в природе . Грей и Аткинсон попытались количественно оценить в вероятностном смысле возраст и родство современных индоевропейских языков, а иногда и предшествующих протоязыков.
Материалы влиятельной конференции 2004 года « Филогенетические методы и предыстория языков» были опубликованы в 2006 году под редакцией Питера Форстера и Колина Ренфрю .
Компьютерный филогенетический анализ был проведен для:
Стандартным методом оценки языковых взаимоотношений стал сравнительный метод . Однако это имеет ряд ограничений. Не весь лингвистический материал подходит в качестве входных данных, и существуют проблемы лингвистических уровней, на которых работает метод. Реконструированные языки идеализированы, и разные ученые могут дать разные результаты. Языковые генеалогические древа часто используются в сочетании с этим методом, и из данных необходимо исключить «заимствования», что затруднительно, когда заимствования происходят внутри семьи. Часто утверждают, что метод ограничен во времени, в течение которого он может работать. Метод сложен в применении, и независимых испытаний не существует. [28] Таким образом, были найдены альтернативные методы, которые имеют формализованный метод, количественно определяют отношения и могут быть проверены.
Цель сравнительной исторической лингвистики — выявить случаи генетического родства между языками. [29] Этапы количественного анализа заключаются в следующем: (i) разработать процедуру, основанную на теоретических основаниях, на конкретной модели или на прошлом опыте и т. д. (ii) проверить процедуру, применив ее к некоторым данным, где существует большое количество данных. совокупность лингвистических мнений для сравнения (это может привести к пересмотру процедуры этапа (i) или, в крайнем случае, к полному отказу от нее) (iii) применить процедуру к данным, по которым лингвистические заключения еще не были получены, не еще прочно укоренились или, возможно, даже находятся в конфликте. [30]
Применение филогенетических методов к языкам — это многоэтапный процесс: (а) этап кодирования — переход от реальных языков к некоторому выражению отношений между ними в виде числовых или государственных данных, чтобы эти данные затем можно было использовать в качестве входных данных. к филогенетическим методам (б) стадия представления - применение филогенетических методов для извлечения из этих числовых данных и/или данных о состоянии сигнала, который преобразуется в некоторую полезную форму представления, обычно двумерную графическую форму, такую как деревья или сети, которые синтезируют и " свернуть» то, что часто представляет собой очень сложные многомерные отношения в сигнале (c) этап интерпретации — оценка этих древовидных и сетевых представлений, чтобы извлечь из них то, что они на самом деле означают для реальных языков и их отношений во времени. [31]
Результатом количественного историко-лингвистического анализа обычно является дерево или сетевая диаграмма. Это позволяет отображать сводную визуализацию выходных данных, но не является полным результатом. Дерево — это связный ациклический граф, состоящий из набора вершин (также называемых «узлами») и набора ребер («ветвей»), каждое из которых соединяет пару вершин. [32] Внутренний узел представляет лингвистического предка в филогенетическом дереве или сети. Каждый язык представлен путем, пути показывают различные состояния по мере его развития. Между каждой парой вершин есть только один путь. Некорневые деревья отображают взаимосвязь между входными данными без предположений об их происхождении. Корневое дерево явно идентифицирует общего предка, часто указывая направление эволюции или включая «внешнюю группу», которая, как известно, имеет лишь отдаленное отношение к набору классифицируемых языков. Большинство деревьев являются бинарными, то есть у родителя есть два потомка. Дерево всегда можно создать, даже если это не всегда уместно. Другой вид дерева основан только на языковых сходствах/различиях. В этом случае внутренние узлы графа не представляют предков, а вводятся для обозначения конфликта между различными разбиениями («биразделениями») при анализе данных. «Фенетическое расстояние» — это сумма весов (часто представленных в виде длин) на пути между языками. Иногда делается дополнительное предположение, что эти внутренние узлы действительно представляют предков.
Когда языки сходятся, обычно посредством заимствования слов, более подходящей является сетевая модель. Появятся дополнительные края, отражающие двойное происхождение языка. Эти ребра будут двунаправленными, если оба языка заимствуют друг друга. Таким образом, дерево представляет собой простую сеть, однако существует множество других типов сетей. Филогенетическая сеть — это сеть, в которой таксоны представлены узлами, а их эволюционные отношения представлены ветвями. [33] Другой тип основан на расщеплении и представляет собой комбинаторное обобщение расщепленного дерева. Данный набор разбиений может иметь более одного представления, поэтому внутренние узлы не могут быть предками и являются лишь «неявным» представлением эволюционной истории в отличие от «явного» представления филогенетических сетей. В разделенной сети лихорадочное расстояние — это кратчайший путь между двумя языками. Еще одним типом является ретикулярная сеть, которая демонстрирует несовместимость (например, из-за контакта), поскольку ретикуляции и ее внутренние узлы действительно представляют предков. Сеть также может быть построена путем добавления в дерево контактных ребер. Последний основной тип — это консенсусная сеть, сформированная из деревьев. Эти деревья могут быть результатом бутстреп-анализа или выборок из апостериорного распределения.
Изменения в языках происходят постоянно, но обычно не с постоянной скоростью, [34] и их кумулятивный эффект приводит к расколу на диалекты, языки и языковые семьи. Обычно считается, что морфология меняется медленнее, а фонология быстрее всего. По мере того, как происходят изменения, остается все меньше и меньше свидетельств исходного языка. Наконец, может произойти потеря каких-либо доказательств родства. Изменения одного типа могут не влиять на другие типы, например, изменения звука не влияют на узнаваемость. В отличие от биологии нельзя предполагать, что все языки имеют общее происхождение и необходимо установить родство. При моделировании для простоты часто предполагается, что персонажи изменяются независимо, но это может быть не так. Помимо заимствований, возможны также семантические сдвиги и полиморфизм.
Анализ можно проводить по «характерам» языков или по «расстояниям» языков. В первом случае входные данные для классификации языков обычно принимают форму матрицы данных, где строки соответствуют различным анализируемым языкам, а столбцы соответствуют различным функциям или символам, с помощью которых может быть описан каждый язык. Эти признаки относятся к двум типам родственных или типологических данных. Символы могут принимать одну или несколько форм (гомоплазия) и могут быть лексическими, морфологическими или фонологическими. Родственные слова — это морфемы (лексические или грамматические) или более крупные конструкции. Типологические символы могут происходить из любой части грамматики или лексики. Если в данных имеются пробелы, их необходимо закодировать.
В дополнение к исходной базе данных (непроверенных) данных во многих исследованиях формируются подгруппы для конкретных целей (проверенные данные).
В лексикостатистике признаками являются значения слов, точнее семантические слоты. Таким образом, записи матрицы представляют собой серию пояснений. Согласно первоначальной задумке Сводеша, нужно было выбрать единственное наиболее распространенное слово для обозначения слота, что может быть трудным и субъективным из-за семантического сдвига. Более поздние методы могут позволить включить более одного значения.
Некоторые методы позволяют накладывать ограничения на географию языковых контактов (изоляция расстоянием) и время разделения подгрупп.
Первоначально Сводеш опубликовал список из 200 слов, но позже уточнил его до списка из 100 слов. [35] Широко используемой базой данных IE является база данных Дайена, Крускала и Блэка, которая содержит данные для 95 языков, хотя известно, что оригинал содержит несколько ошибок. Помимо необработанных данных, он также содержит оценочные суждения. Это доступно онлайн. [36] База данных Ринге, Варнов и Тейлора содержит информацию о 24 языках IE, содержащих 22 фонологических символа, 15 морфологических символов и 333 лексических символа. Грей и Аткинсон использовали базу данных из 87 языков с 2449 лексическими единицами, основанную на наборе Дайена с добавлением трех древних языков. Они включили в себя суждения ряда ученых. Другие базы данных были составлены, в частности, для африканских, австралийских и андских языковых семей.
Кодирование данных может осуществляться в двоичной форме или в форме с несколькими состояниями. Первое часто используется, но приводит к предвзятости. Утверждалось, что между двумя методами кодирования существует постоянный масштабный коэффициент и что это можно сделать. Однако другое исследование предполагает, что топология может измениться [37]
Словесные слоты выбраны так, чтобы быть максимально свободными от культуры и заимствований. Чаще всего используются оригинальные списки Сводеша, но многие другие были разработаны для конкретных целей. Часто они короче списка из 100 пунктов, который предпочитает Сводеш. Кесслер написал книгу «Значение списков слов» [38] , а МакМахон и МакМахон провели исследования эффектов реконструируемости и сохраняемости. [28] Был изучен эффект увеличения количества слотов и закон убывающей отдачи . найдено, причем около 80 из них были признаны удовлетворительными [39] . Однако в некоторых исследованиях использовалось менее половины этого числа.
Обычно каждый родственный набор представлен как отдельный символ, но различия между словами также можно измерить как измерение расстояния по изменениям звука. Расстояния также можно измерять побуквенно.
Традиционно они считались более важными, чем лексические, поэтому в некоторых исследованиях этому типу символов придается дополнительное значение. Такие функции были включены, например, в базы данных Ringe, Warnow и Taylor IE. Однако другие исследования их не включили.
Примеры этих функций включают голосовые константы, системы тонов, выравнивание винительного падежа в существительных, двойное число, соответствие номера падежа, порядок объекта и глагола и местоимения первого лица единственного числа. Они будут перечислены в базе данных WALS, хотя для многих языков она пока мало заполнена. [40]
Некоторые методы анализа включают статистическую модель эволюции языка и используют свойства модели для оценки истории эволюции. Статистические модели также используются для моделирования данных в целях тестирования. Стохастический процесс можно использовать для описания того, как набор символов развивается в языке. Вероятность изменения персонажа может зависеть от ветви, но не все персонажи развиваются одновременно, и скорость не одинакова для всех ветвей. Часто предполагается, что каждый персонаж развивается независимо, но это не всегда так. В рамках модели также можно моделировать заимствование и параллельное развитие (гомоплазию), а также полиморфизмы.
Случайные сходства создают определенный уровень шума, на фоне которого приходится искать требуемый сигнал родства. Ринге [41] провел исследование влияния случайности на метод сравнения масс . Это показало, что случайные сходства имеют решающее значение для метода и что выводы Гринберга не могут быть оправданы, хотя математическая процедура, использованная Ринге, позже подверглась критике.
В небольших базах данных ошибки выборки могут иметь важное значение.
В некоторых случаях с большой базой данных и исчерпывающим перебором всех возможных деревьев или сетей невозможно из-за ограничений времени выполнения. Таким образом, существует вероятность того, что оптимальное решение не будет найдено эвристическими методами поиска в пространстве решений.
Заимствованные слова могут серьезно повлиять на топологию дерева, поэтому принимаются меры по исключению заимствований. Однако необнаруженные иногда все же существуют. МакМахон и МакМахон [42] показали, что около 5% заимствований могут повлиять на топологию, а 10% имеют значительные последствия. В сетях заимствование производит сетки. Минетт и Ван [43] исследовали способы автоматического обнаружения заимствований.
Датировку языковых расколов можно определить, если известно, как развиваются символы вдоль каждой ветви дерева. Самое простое предположение состоит в том, что все персонажи развиваются с единой постоянной скоростью во времени и что это не зависит от ветви дерева. Таково было предположение, сделанное в глоттохронологии. Однако исследования вскоре показали, что между языками существуют различия, некоторые из которых, вероятно, связаны с наличием непризнанных заимствований. [44] Лучшим подходом является разрешение изменения скорости, и гамма-распределение обычно используется из-за его математического удобства. Также были проведены исследования, которые показывают, что скорость замены символов зависит от частоты использования. [45] Широкое распространение заимствований может искажать оценки времени расхождения, делая языки более похожими и, следовательно, более молодыми. Однако это также увеличивает длину ветки предка, так что корень не затрагивается. [46]
Этот аспект является наиболее противоречивой частью количественной сравнительной лингвистики.
Необходимо понять, как работает метод классификации языков, чтобы определить его допущения и ограничения. Он может быть действительным только при определенных условиях или подходить для небольших баз данных. Методы различаются требованиями к данным, сложностью и временем выполнения. Методы также различаются критериями оптимизации.
Эти два метода похожи, но цель метода максимальной экономии — найти дерево (или сеть), в котором происходит минимальное количество эволюционных изменений. В некоторых реализациях символам могут быть присвоены веса, и тогда цель состоит в том, чтобы минимизировать общую взвешенную сумму изменений. Анализ создает некорневые деревья, если не используется внешняя группа или не направляются символы. Эвристика используется для поиска лучшего дерева, но оптимизация не гарантируется. Метод часто реализуется с помощью программ PAUP или TNT.
В максимальной совместимости также используются символы с целью найти дерево, в котором максимальное количество символов развивается без гомоплазии. Опять же, символы могут быть взвешены, и когда это происходит, цель состоит в том, чтобы максимизировать сумму весов совместимых символов. Он также производит деревья без корней, если не указана дополнительная информация. Не существует доступных эвристик, которые были бы точны в работе с большими базами данных. Этот метод использовалась только группой Ринге. [47]
В этих двух методах часто обнаруживается несколько деревьев с одинаковым рейтингом, поэтому обычной практикой является поиск консенсусного дерева с помощью алгоритма. Консенсус большинства имеет двуразделения более чем в половине входных деревьев, тогда как жадный консенсус добавляет двуразделения в дерево большинства. Дерево строгого консенсуса наименее разрешено и содержит те разбиения, которые есть в каждом дереве.
Начальная загрузка (стратегия статистической повторной выборки) используется для обеспечения значений поддержки ветвей. Этот метод случайным образом выбирает символы из матрицы входных данных, а затем используется тот же анализ. Значение поддержки — это доля запусков с этим биразделом в наблюдаемом дереве. Однако начальная загрузка занимает очень много времени.
Оба эти метода используют явные модели эволюции. Метод максимального правдоподобия оптимизирует вероятность получения наблюдаемых данных, а байесовский анализ оценивает вероятность каждого дерева и таким образом создает распределение вероятностей. Производится случайное блуждание по «пространству дерева модели». Для запуска обоих требуется неопределенное время, а остановка может быть произвольной, поэтому принятие решения является проблемой. Однако оба предоставляют информацию поддержки для каждой ветви.
Допущения этих методов очевидны и поддаются проверке. При необходимости сложность модели может быть увеличена. Параметры модели оцениваются непосредственно на основе входных данных, поэтому можно избежать предположений о скорости эволюции.
Этот метод создает явную филогенетическую сеть, имеющую основное дерево с дополнительными контактными ребрами. Персонажи могут быть заимствованы, но развиваться без гомоплазии. Для создания таких сетей использовался теоретико-графовый алгоритм [48] .
Входные лексические данные кодируются в двоичной форме, по одному символу для каждого состояния исходного многозначного символа. Этот метод допускает гомоплазию и ограничения на время разделения. Используется метод анализа на основе правдоподобия, при этом эволюция выражается в виде матрицы скоростей. Родственные приросты и потери моделируются с помощью гамма-распределения, позволяющего изменять скорость, и со сглаживанием скорости. Из-за огромного количества возможных деревьев во многих языках для поиска оптимального дерева используется байесовский вывод. Алгоритм Монте-Карло с марковской цепью [49] генерирует выборку деревьев как аппроксимацию апостериорного распределения вероятностей. Сводная информация об этом распределении может быть представлена в виде жадного консенсусного дерева или сети со значениями поддержки. Этот метод также предоставляет оценки дат.
Этот метод является точным, когда исходные символы являются двоичными и развиваются одинаково и независимо друг от друга в соответствии с моделью ставок по сайтам с гамма-распределенными скоростями; даты точны, когда скорость изменений постоянна. Понимание производительности метода, когда исходные символы имеют несколько состояний, сложнее, поскольку двоичное кодирование создает символы, которые не являются независимыми, в то время как метод предполагает независимость.
Этот метод [50] является развитием метода Грея и Аткинсона. Вместо двух параметров для символа этот метод использует три. Указаны рождаемость, смертность родственника и уровень его заимствования. Уровень рождаемости представляет собой случайную величину Пуассона с единственным рождением родственного класса, но допускается отдельная смерть ветвей (экономия Долло). Метод не допускает гомоплазии, но допускает полиморфизм и ограничения. Его основная проблема заключается в том, что он не может обрабатывать недостающие данные (эта проблема с тех пор была решена Райдером и Николлсом. [51] Для подгонки модели к данным используются статистические методы. Может быть включена предварительная информация, и возможно исследование MCMC. реконструкции Этот метод был применен к базе данных Грея и Никола и, похоже, дал аналогичные результаты.
Они используют треугольную матрицу парных языковых сравнений. Входная матрица символов используется для вычисления матрицы расстояний с использованием расстояния Хэмминга или расстояния Левенштейна . Первый измеряет долю совпадающих символов, а второй позволяет учитывать затраты на различные возможные преобразования. Эти методы более быстры по сравнению с полностью символьными методами. Однако эти методы приводят к потере информации.
«Метод невзвешенных парных групп со средним арифметическим» ( UPGMA ) — это метод кластеризации, который работает путем многократного объединения двух языков, между которыми имеется наименьшее расстояние. Он работает точно, подобно часам, но в остальном может ошибаться. Этот метод использовался в оригинальной лексикостатистике Сводеша.
Это метод разделения данных на естественные группы. [52] Данные могут быть символами, но чаще всего представляют собой меры расстояния. Количество символов или расстояния используются для создания разбиений и вычисления весов (длин ветвей) для разбиений. Затем взвешенные разделения представляются в виде дерева или сети на основе минимизации количества изменений между каждой парой таксонов. Существуют быстрые алгоритмы создания коллекции разделений. Веса определяются исходя из расстояний от таксона к таксону. Сплит-декомпозиция эффективна, когда количество таксонов невелико или когда сигнал не слишком сложен.
Этот метод работает с данными о расстоянии, вычисляет преобразование входной матрицы, а затем вычисляет минимальное расстояние между парами языков. [53] Он работает правильно, даже если языки не развиваются по лексическим часам. Также можно использовать взвешенную версию метода. Метод создает выходное дерево. Утверждается, что это наиболее близкий к ручному методу строительства деревьев.
Он использует тот же алгоритм, что и присоединение соседей. [54] В отличие от расщепленной декомпозиции, он не объединяет узлы сразу, а ждет, пока узел не будет соединен в пару во второй раз. Затем узлы дерева заменяются двумя, а матрица расстояний уменьшается. Он может обрабатывать большие и сложные наборы данных. Однако на выходе получается фенограмма, а не филограмма. Это самый популярный сетевой метод.
Это был ранний сетевой метод, который использовался для некоторого языкового анализа. Первоначально он был разработан для генетических последовательностей с более чем одним возможным происхождением. [55] Сеть объединяет альтернативные деревья в единую сеть. При наличии нескольких историй рисуется сетка (прямоугольная форма). Он генерирует список символов, несовместимых с деревом.
При этом используется формализм декларативного представления знаний и методы программирования набора ответов. [56] Одним из таких решателей является CMODELS, который можно использовать для решения небольших задач, но более крупные требуют эвристики. Предварительная обработка используется для определения информативных символов. CMODELS преобразует их в теорию высказываний, которая использует решатель SAT для вычисления моделей этой теории.
Fitch и Kitch — это программы PHYLIP, основанные на максимальном правдоподобии, которые позволяют переставлять дерево после каждого добавления, в отличие от NJ. Китч отличается от Fitch тем, что предполагает постоянную скорость изменения по всему дереву, в то время как Fitch допускает разные ставки по каждой ветви. [57]
В 2000 году Холм представил метод для решения некоторых известных проблем лексикостатистического анализа. Это «ловушка симплезиоморфии», когда общие архаизмы трудно отличить от общих инноваций, и «ловушка пропорциональности», когда более поздние изменения могут скрыть ранние. Позже он представил усовершенствованный метод, названный SLD, для учета переменной Распределение слов по языкам [58] Этот метод не предполагает постоянной скорости изменений.
Для использования с большими базами данных (>200 языков) был разработан ряд методов быстрого сходящегося анализа. Одним из них является метод покрытия диска (DCM). [59] Это было объединено с существующими методами для повышения производительности. Статья о методе DCM-NJ+MP представлена теми же авторами в книге «Эффективность филогенетических методов на деревьях ограниченного диаметра», [ нужна полная цитация ], где она сравнивается с методом NJ.
Эти модели сравнивают буквы слов, а не их фонетику. Данн и др. [60] изучили 125 типологических символов в 16 австронезийских и 15 папуасских языках. Они сравнили свои результаты с деревом MP и деревом, построенным с помощью традиционного анализа. Были обнаружены существенные различия. Аналогичным образом Вичманн и Сондерс [61] использовали 96 символов для изучения 63 американских языков.
Для первоначальной проверки набора языков на предмет родства был предложен метод массового сравнения . Однако это подверглось резкой критике и вышло из употребления. Недавно Кесслер возродил компьютеризированную версию метода, но с использованием строгой проверки гипотез. [62] Цель состоит в том, чтобы использовать сходства более чем в двух языках одновременно. В другой работе [63] оцениваются различные критерии сравнения списков слов. Было обнаружено, что семьи IE и уральские семьи можно реконструировать, но доказательств существования совместной надсемьи не было.
Этот метод использует устойчивые лексические поля, такие как глаголы позиции, чтобы попытаться установить отношения на расстоянии. [64] Учитываются конвергенция и семантические сдвиги при поиске древних родственных слов. Описана модель и представлены результаты пилотного исследования.
Программа автоматического определения сходства (ASJP) аналогична лексикостатистике , но оценка сходства выполняется компьютерной программой в соответствии с последовательным набором правил. [65] Деревья создаются с использованием стандартных филогенетических методов. ASJP использует 7 символов гласных и 34 символа согласных. Также существуют различные модификаторы. Два слова считаются похожими, если хотя бы две последовательные согласные в соответствующих словах идентичны, а также учитываются гласные. Доля слов с одинаковым значением, которые считаются похожими для пары языков, представляет собой процент лексического сходства (LSP). Также рассчитывается процент фонологического сходства (PSP). Затем PSP вычитается из LSP, что дает вычтенный процент сходства (SSP), а расстояние ASJP составляет 100-SSP. В настоящее время в базе данных ASJP [66] имеются данные о более чем 4500 языках и диалектах, на основе которых было создано дерево языков мира. [67]
Это измеряет орфографическое расстояние между словами, чтобы избежать субъективности суждений о родстве. [68] Он определяет минимальное количество операций, необходимых для преобразования одного слова в другое, нормализованное по длине более длинного слова. Дерево строится на основе данных о расстоянии с помощью метода UPGMA.
Хеггарти предложил способ измерения степени различия между родственными словами, а не просто ответы «да» или «нет». [69] Это основано на рассмотрении многих (>30) особенностей фонетики глосс в сравнении с праязыком. Это может потребовать большого объема работы, но Хеггарти утверждает, что необходима только репрезентативная выборка звуков. Он также исследовал скорость изменения фонетики и обнаружил большие различия в скорости, поэтому это было непригодно для глоттохронологии. Аналогичная оценка фонетики ранее была проведена Граймсом и Агардом для романских языков, но при этом использовалось только шесть точек сравнения. [70]
Для измерения сходства/различия двух деревьев доступны стандартные математические методы. Для консенсусных деревьев индекс согласованности (CI) является мерой гомоплазии. Для одного символа это отношение минимально мыслимого количества шагов на любом одном дереве (= 1 для бинарных деревьев) к числу восстановленных шагов на дереве. CI дерева — это сумма CI символов, деленная на количество символов. [71] Он представляет собой долю правильно назначенных шаблонов.
Индекс удержания (RI) измеряет степень сходства персонажа. Это соотношение (g - s)/(g - m), где g - наибольшее количество шагов персонажа на любом дереве, m - минимальное количество шагов на любом дереве, а s - минимальное количество шагов на конкретном дереве. дерево. Существует также масштабированный CI, который является продуктом CI и RI.
Для бинарных деревьев стандартным способом сравнения их топологии является использование метрики Робинсона-Фоулдса . [72] Это расстояние представляет собой среднее количество ложноположительных и ложноотрицательных результатов с точки зрения возникновения ветвей. Ставки RF выше 10% считаются плохими совпадениями. Для других видов деревьев и сетей пока не существует стандартного метода сравнения.
Списки несовместимых символов создаются некоторыми методами создания деревьев. Они могут быть чрезвычайно полезны при анализе выходных данных. При использовании эвристических методов повторяемость является проблемой. Однако для решения этой проблемы используются стандартные математические методы.
Для оценки методов выбирается хорошо изученное семейство языков с надежным набором данных. Это семейство часто является семейством IE, но использовались и другие. После применения сравниваемых методов к базе данных полученные деревья сравниваются с эталонным деревом, определенным традиционными лингвистическими методами. Цель состоит в том, чтобы не было конфликтов в топологии, например, отсутствия отсутствующих подгрупп и совместимых дат. Семьи, предложенные для этого анализа Николсом и Варновом [73], включают германские, романские, славянские, общетюркские, китайские и миксе-зоке, а также более старые группы, такие как океанические и индоевропейские.
Хотя использование реальных языков действительно добавляет реализма и создает реальные проблемы, вышеупомянутый метод проверки страдает от того, что истинная эволюция языков неизвестна. Путем создания набора данных из смоделированной эволюции становится известно правильное дерево. Однако это будет упрощенная версия реальности. Таким образом, следует использовать оба метода оценки.
Чтобы оценить надежность решения, желательно варьировать входные данные и ограничения и наблюдать за выходными данными. Каждая переменная поочередно слегка изменяется. Этот анализ проводился в ряде случаев, и методы оказались надежными, например, Аткинсоном и Греем. [74]
В начале 1990-х годов лингвист Дональд Ринг вместе с учеными-компьютерщиками Луаем Наклехом и Тэнди Варноу , статистиком Стивеном Н. Эвансом и другими начали сотрудничать в исследованиях в рамках проектов количественной сравнительной лингвистики. Позже они основали проект CHPL, цели которого включают: «создание и поддержание реальных наборов лингвистических данных, в частности индоевропейских языков», «формулирование статистических моделей, отражающих эволюцию исторических лингвистических данных», «разработку инструментов моделирования и точности». меры по созданию синтетических данных для изучения эффективности методов реконструкции», а также «разработка и внедрение статистически обоснованных, а также комбинаторных методов реконструкции языковых филогений, включая филогенетические сети». [75]
Сравнение методов кодирования было проведено Rexova et al. (2003). [76] Они создали сокращенный набор данных из базы данных Dyen, но с добавлением хеттского языка. Они создали стандартную матрицу с несколькими состояниями, в которой 141 состояние символов соответствует отдельным родственным классам, что допускает полиморфизм. Они также присоединились к некоторым родственным классам, чтобы уменьшить субъективность и полиморфные состояния. Наконец, они создали двоичную матрицу, в которой каждый класс слов рассматривался как отдельный символ. Матрицы были проанализированы с помощью PAUP. Было обнаружено, что использование двоичной матрицы приводит к изменениям вблизи корня дерева.
МакМахон и МакМахон (2003) использовали три программы PHYLIP (Нью-Джерси, Fitch и Kitch) для набора данных DKB. [77] Они обнаружили, что полученные результаты были очень похожими. Начальная загрузка использовалась для проверки устойчивости любой части дерева. Позже они использовали подмножества данных для оценки их сохраняемости и реконструируемости. [42] Результаты показали топологические различия, которые были связаны с заимствованиями. Затем они также использовали Network, Split Decomposition, Neighbor-net и SplitsTree для нескольких наборов данных. Между двумя последними методами были обнаружены существенные различия. Соседняя сеть считалась оптимальной для распознавания языкового контакта.
В 2005 году Нахле, Варнов, Ринг и Эванс провели сравнение шести методов анализа, используя индоевропейскую базу данных. [78] Сравнивались методы UPGMA, NJ MP, MC, WMC и GA. Пакет программного обеспечения PAUP использовался для UPGMA, NJ и MC, а также для расчета деревьев консенсуса большинства. Была использована база данных RWT, но 40 символов были удалены из-за признаков полиморфизма. Затем была создана проверенная база данных, исключающая всех персонажей, которые явно демонстрировали параллельное развитие, таким образом исключая 38 признаков. Деревья оценивались на основании количества несовместимых признаков и соответствия установленным результатам группировки. Они обнаружили, что UPGMA явно был худшим вариантом, но между другими методами не было большой разницы. Результаты зависели от используемого набора данных. Было обнаружено, что важно взвешивать символы, что требует лингвистического суждения.
Сондерс (2005) [79] сравнил Нью-Джерси, МП, Джорджию и Neighbor-Net по сочетанию лексических и типологических данных. Он рекомендовал использовать метод GA, но у Николса и Уорноу есть некоторые опасения по поводу методологии исследования. [80]
Цисоу и др. (2006) [81] сравнили оригинальный метод Холма с методами NJ, Fitch, MP и SD. Они обнаружили, что метод Холма менее точен, чем другие.
В 2013 году Франсуа Барбансон, Варнов, Эванс, Ринг и Накле (2013) изучили различные методы реконструкции деревьев с использованием смоделированных данных. [82] Их смоделированные данные различались по количеству контактных ребер, степени гомоплазии, отклонению от лексических часов и отклонению от предположения о скоростях по сайтам. Было обнаружено, что точность невзвешенных методов (MP, NJ, UPGMA и GA) была одинаковой во всех изученных условиях, причем MP был лучшим. Точность двух взвешенных методов (WMC и WMP) зависела от правильности схемы взвешивания. При низкой гомоплазии взвешенные методы обычно дают более точные результаты, но неправильное взвешивание может ухудшить их, чем MP или GA при умеренных или высоких уровнях гомоплазии.
Выбор подходящей модели имеет решающее значение для проведения хорошего филогенетического анализа. Как недостаточно параметризованные, так и чрезмерно ограничительные модели могут привести к аномальному поведению, когда их основные предположения нарушаются, в то время как слишком сложные или чрезмерно параметризованные модели требуют длительного времени выполнения, и их параметры могут быть переопределены. [83] Наиболее распространенным методом выбора модели является «Тест отношения правдоподобия», который дает оценку соответствия модели данным, но в качестве альтернативы можно использовать информационный критерий Акаике или байесовский информационный критерий. Доступны компьютерные программы для выбора модели.
{{cite journal}}: CS1 maint: DOI неактивен по состоянию на март 2024 г. ( ссылка )