Тест Колмогорова–Смирнова ( тест K–S или тест KS ) — это непараметрический тест равенства непрерывных (или разрывных, см. Раздел 2.2) одномерных распределений вероятностей , который можно использовать для проверки того, относится ли выборка к заданному референтному распределению вероятностей (тест K–S для одной выборки) или для проверки того, относятся ли две выборки к одному и тому же распределению (тест K–S для двух выборок). Интуитивно понятно, что тест предоставляет метод качественного ответа на вопрос «Насколько вероятно, что мы увидим набор таких выборок, если они будут взяты из этого распределения вероятностей?» или, во втором случае, «Насколько вероятно, что мы увидим два набора таких выборок, если они будут взяты из одного и того же (но неизвестного) распределения вероятностей?». Он назван в честь Андрея Колмогорова и Николая Смирнова .
Статистика Колмогорова–Смирнова количественно определяет расстояние между эмпирической функцией распределения выборки и кумулятивной функцией распределения эталонного распределения или между эмпирическими функциями распределения двух выборок. Нулевое распределение этой статистики вычисляется при нулевой гипотезе о том, что выборка взята из эталонного распределения (в случае с одной выборкой) или что выборки взяты из одного и того же распределения (в случае с двумя выборками). В случае с одной выборкой распределение, рассматриваемое при нулевой гипотезе, может быть непрерывным (см. Раздел 2), чисто дискретным или смешанным (см. Раздел 2.2). В случае с двумя выборками (см. Раздел 3) распределение, рассматриваемое при нулевой гипотезе, является непрерывным распределением, но в остальном не имеет ограничений. Однако тест с двумя выборками также может быть выполнен при более общих условиях, которые допускают разрывность, неоднородность и зависимость между выборками. [1]
Двухвыборочный тест К–С является одним из наиболее полезных и общих непараметрических методов сравнения двух выборок, поскольку он чувствителен к различиям как в расположении, так и в форме эмпирических кумулятивных функций распределения двух выборок.
Тест Колмогорова–Смирнова можно модифицировать, чтобы он служил тестом согласия . В особом случае проверки нормальности распределения выборки стандартизируются и сравниваются со стандартным нормальным распределением. Это эквивалентно установке среднего значения и дисперсии эталонного распределения равными выборочным оценкам, и известно, что их использование для определения конкретного эталонного распределения изменяет нулевое распределение тестовой статистики (см. Тест с оцененными параметрами). Различные исследования показали, что даже в этой скорректированной форме тест менее мощный для проверки нормальности, чем тест Шапиро–Уилка или тест Андерсона–Дарлинга . [2] Однако эти другие тесты имеют свои недостатки. Например, известно, что тест Шапиро–Уилка не работает хорошо в выборках со многими идентичными значениями.
Эмпирическая функция распределения F n для n независимых и одинаково распределенных (iid) упорядоченных наблюдений X i определяется как
Статистика Колмогорова–Смирнова для заданной кумулятивной функции распределения F ( x ) равна
где sup x — супремум набора расстояний. Интуитивно, статистика берет наибольшую абсолютную разницу между двумя функциями распределения по всем значениям x .
По теореме Гливенко–Кантелли , если выборка происходит из распределения F ( x ), то D n сходится к 0 почти наверняка в пределе, когда стремится к бесконечности. Колмогоров усилил этот результат, фактически предоставив скорость этой сходимости (см. распределение Колмогорова). Теорема Донскера дает еще более сильный результат.
На практике для правильного отклонения нулевой гипотезы статистика требует относительно большого количества точек данных (по сравнению с другими критериями согласия, такими как статистика теста Андерсона–Дарлинга ).
Распределение Колмогорова — это распределение случайной величины
где B ( t ) — броуновский мост . Кумулятивная функция распределения K определяется как [ 3]
которая также может быть выражена тета-функцией Якоби . Форма статистики теста Колмогорова–Смирнова и ее асимптотическое распределение при нулевой гипотезе были опубликованы Андреем Колмогоровым [4] , а таблица распределения была опубликована Николаем Смирновым [5] . Доступны рекуррентные соотношения для распределения статистики теста в конечных выборках. [4]
При нулевой гипотезе, что выборка происходит из предполагаемого распределения F ( x ),
в распределении , где B ( t ) — броуновский мост. Если F непрерывен, то при нулевой гипотезе сходится к распределению Колмогорова, которое не зависит от F . Этот результат также может быть известен как теорема Колмогорова.
Точность этого предела как приближения к точному cdf, когда конечно, не очень впечатляет: даже когда , соответствующая максимальная ошибка составляет около ; эта ошибка увеличивается до , когда и до совершенно неприемлемой , когда . Однако очень простой прием замены на
в аргументе тета-функции Якоби уменьшает эти ошибки до , и соответственно; такая точность обычно считается более чем достаточной для всех практических приложений. [6]
Тест на соответствие или тест Колмогорова–Смирнова может быть построен с использованием критических значений распределения Колмогорова. Этот тест асимптотически действителен, когда Он отвергает нулевую гипотезу на уровне , если
где K α находится из
Асимптотическая мощность этого теста равна 1.
Быстрые и точные алгоритмы для вычисления функции распределения или ее дополнения для произвольных и доступны по адресу:
Если либо форма, либо параметры F ( x ) определяются из данных X i , критические значения, определенные таким образом, недействительны. В таких случаях могут потребоваться методы Монте-Карло или другие методы, но для некоторых случаев были подготовлены таблицы. Подробности для требуемых изменений в тестовой статистике и для критических значений для нормального распределения и экспоненциального распределения были опубликованы [11] , а более поздние публикации также включают распределение Гумбеля . [12] Тест Лиллиефорса представляет собой особый случай этого для нормального распределения. Логарифмическое преобразование может помочь преодолеть случаи, когда данные теста Колмогорова, по-видимому, не соответствуют предположению, что они получены из нормального распределения.
Используя оцененные параметры, возникает вопрос, какой метод оценки следует использовать. Обычно это метод максимального правдоподобия , но, например, для нормального распределения MLE имеет большую ошибку смещения на сигме. Использование подгонки момента или минимизации KS вместо этого оказывает большое влияние на критические значения, а также некоторое влияние на мощность теста. Если нам нужно решить для данных Student-T с df = 2 с помощью теста KS, могут ли данные быть нормальными или нет, то оценка ML на основе H 0 (данные нормальны, поэтому для масштаба используется стандартное отклонение) даст гораздо большее расстояние KS, чем подгонка с минимальным KS. В этом случае мы должны отвергнуть H 0 , что часто бывает с MLE, потому что стандартное отклонение выборки может быть очень большим для данных T-2, но с минимизацией KS мы можем получить все еще слишком низкое KS, чтобы отвергнуть H 0 . В случае Student-T модифицированный тест KS с оценкой KS вместо MLE делает тест KS действительно немного хуже. Однако в других случаях такой модифицированный тест KS приводит к несколько лучшей мощности теста. [ необходима цитата ]
При предположении, что является неубывающей и непрерывной справа, со счетным (возможно, бесконечным) числом скачков, статистика теста KS может быть выражена как:
Из правосторонней непрерывности следует, что и и, следовательно, распределение зависит от нулевого распределения , т. е. больше не является свободным от распределения, как в непрерывном случае. Поэтому был разработан быстрый и точный метод вычисления точного и асимптотического распределения , когда является чисто дискретным или смешанным, [9] реализованный на C++ и в пакете KSgeneral [10] языка R. Функции , и вычисляют также статистику теста KS и p-значения для чисто дискретных, смешанных или непрерывных нулевых распределений и произвольных размеров выборки. Тест KS и его p-значения для дискретных нулевых распределений и малых размеров выборки также вычисляются в [13] как часть пакета dgof языка R. Основные статистические пакеты, среди которых SAS , [14] Stata [15] реализуют тест KS в предположении, что является непрерывным, что является более консервативным, если нулевое распределение на самом деле не является непрерывным (см. [16] [17] [18] ).disc_ks_test()
mixed_ks_test()
cont_ks_test()
PROC NPAR1WAY
ksmirnov
Тест Колмогорова–Смирнова также может быть использован для проверки того, различаются ли два базовых одномерных распределения вероятностей. В этом случае статистика Колмогорова–Смирнова
где и — эмпирические функции распределения первой и второй выборки соответственно, а — функция супремума .
Для больших выборок нулевая гипотеза отклоняется на уровне, если
Где и — размеры первой и второй выборки соответственно. Значение приведено в таблице ниже для наиболее распространенных уровней
и в целом [ 19]
так что условие читается как
Здесь, опять же, чем больше размеры выборки, тем чувствительнее минимальная граница: для заданного соотношения размеров выборки (например, ) минимальная граница масштабируется в зависимости от размера любой из выборок в соответствии с ее обратным квадратным корнем.
Обратите внимание, что двухвыборочный тест проверяет, происходят ли два образца данных из одного и того же распределения. Это не определяет, что это за общее распределение (например, нормальное оно или нет). Опять же, были опубликованы таблицы критических значений. Недостатком одномерного теста Колмогорова–Смирнова является то, что он не очень мощный, поскольку он разработан так, чтобы быть чувствительным ко всем возможным типам различий между двумя функциями распределения. Некоторые утверждают [20] [21], что тест Куккони , первоначально предложенный для одновременного сравнения местоположения и масштаба, может быть намного более мощным, чем тест Колмогорова–Смирнова при сравнении двух функций распределения.
Двухвыборочные тесты KS применялись в экономике для обнаружения асимметричных эффектов и изучения естественных экспериментов. [22]
В то время как тест Колмогорова–Смирнова обычно используется для проверки того, является ли заданное F ( x ) базовым распределением вероятностей F n ( x ), процедура может быть инвертирована, чтобы задать доверительные пределы для самого F ( x ). Если выбрать критическое значение тестовой статистики D α такое, что P( D n > D α ) = α , то полоса шириной ± D α вокруг F n ( x ) будет полностью содержать F ( x ) с вероятностью 1 − α .
Многомерный тест согласия Колмогорова-Смирнова без распределения был предложен Джастелом , Пеной и Замаром (1997). [23] Тест использует статистику, которая построена с использованием преобразования Розенблатта, и разработан алгоритм для ее вычисления в двумерном случае. Также представлен приближенный тест, который можно легко вычислить в любом измерении.
Статистику теста Колмогорова–Смирнова необходимо модифицировать, если аналогичный тест должен применяться к многомерным данным . Это не так просто, поскольку максимальная разница между двумя совместными кумулятивными функциями распределения обычно не совпадает с максимальной разницей любой из дополнительных функций распределения. Таким образом, максимальная разница будет отличаться в зависимости от того, какой из или или любой из двух других возможных вариантов используется. Можно потребовать, чтобы результат используемого теста не зависел от сделанного выбора.
Один из подходов к обобщению статистики Колмогорова–Смирнова на более высокие измерения, который отвечает вышеуказанной проблеме, заключается в сравнении cdf двух выборок со всеми возможными порядками и выборе наибольшего из набора результирующих статистик KS. В d измерениях существует 2 d − 1 таких порядков. Одно такое изменение принадлежит Пикоку [24] (см. также Госсет [25] для 3D-версии), а другое — Фазано и Франческини [26] (см. Лопес и др. для сравнения и вычислительных деталей). [27] Критические значения для тестовой статистики могут быть получены с помощью моделирования, но зависят от структуры зависимости в совместном распределении.
В одном измерении статистика Колмогорова–Смирнова идентична так называемому звездному расхождению D, поэтому другим собственным расширением KS на более высокие измерения было бы простое использование D также для более высоких измерений. К сожалению, звездное расхождение трудно вычислить в высоких измерениях.
В 2021 году была предложена функциональная форма статистики многомерного теста KS, которая упростила задачу оценки хвостовых вероятностей статистики многомерного теста KS, которая необходима для статистического теста. Для многомерного случая, если F i является i-й непрерывной маргинальной величиной из распределения вероятностей с k переменными, то
поэтому предельное распределение не зависит от предельных распределений. [1]
Тест Колмогорова-Смирнова реализован во многих программах. Большинство из них реализуют как одновыборочный, так и двухвыборочный тест.
{{cite journal}}
: Цитировать журнал требует |journal=
( помощь )