stringtranslate.com

Тест Колмогорова-Смирнова

Иллюстрация статистики Колмогорова–Смирнова. Красная линия — модельная CDF , синяя линия — эмпирическая CDF , а черная стрелка — статистика KS.

Тест Колмогорова–Смирнова ( тест K–S или тест KS ) — это непараметрический тест равенства непрерывных (или разрывных, см. Раздел 2.2) одномерных распределений вероятностей , который можно использовать для проверки того, относится ли выборка к заданному эталонному распределению вероятностей (тест K–S для одной выборки) или для проверки того, относятся ли две выборки к одному и тому же распределению (тест K–S для двух выборок). Интуитивно понятно, что тест предоставляет метод для качественного ответа на вопрос «Насколько вероятно, что мы увидим набор таких выборок, если они будут взяты из этого распределения вероятностей?» или, во втором случае, «Насколько вероятно, что мы увидим два набора таких выборок, если они будут взяты из одного и того же (но неизвестного) распределения вероятностей?». Он назван в честь Андрея Колмогорова и Николая Смирнова .

Статистика Колмогорова–Смирнова количественно определяет расстояние между эмпирической функцией распределения выборки и кумулятивной функцией распределения эталонного распределения или между эмпирическими функциями распределения двух выборок. Нулевое распределение этой статистики вычисляется при нулевой гипотезе о том, что выборка взята из эталонного распределения (в случае с одной выборкой) или что выборки взяты из одного и того же распределения (в случае с двумя выборками). В случае с одной выборкой распределение, рассматриваемое при нулевой гипотезе, может быть непрерывным (см. Раздел 2), чисто дискретным или смешанным (см. Раздел 2.2). В случае с двумя выборками (см. Раздел 3) распределение, рассматриваемое при нулевой гипотезе, является непрерывным распределением, но в остальном не ограничено. Однако тест с двумя выборками также может быть выполнен при более общих условиях, которые допускают разрывность, неоднородность и зависимость между выборками. [1]

Двухвыборочный тест К–С является одним из наиболее полезных и общих непараметрических методов сравнения двух выборок, поскольку он чувствителен к различиям как в расположении, так и в форме эмпирических кумулятивных функций распределения двух выборок.

Тест Колмогорова–Смирнова можно модифицировать, чтобы он служил тестом согласия . В особом случае проверки нормальности распределения выборки стандартизируются и сравниваются со стандартным нормальным распределением. Это эквивалентно установке среднего значения и дисперсии эталонного распределения равными выборочным оценкам, и известно, что их использование для определения конкретного эталонного распределения изменяет нулевое распределение тестовой статистики (см. Тест с оцененными параметрами). Различные исследования показали, что даже в этой скорректированной форме тест менее мощный для проверки нормальности, чем тест Шапиро–Уилка или тест Андерсона–Дарлинга . [2] Однако эти другие тесты имеют свои недостатки. Например, известно, что тест Шапиро–Уилка не работает хорошо в выборках со многими идентичными значениями.

Статистика Колмогорова–Смирнова по одной выборке

Эмпирическая функция распределения F n для n независимых и одинаково распределенных (iid) упорядоченных наблюдений X i определяется как

где — индикаторная функция , равная 1, если и равная 0 в противном случае.

Статистика Колмогорова–Смирнова для заданной кумулятивной функции распределения F ( x ) равна

где sup xсупремум набора расстояний. Интуитивно, статистика берет наибольшую абсолютную разницу между двумя функциями распределения по всем значениям x .

По теореме Гливенко–Кантелли , если выборка происходит из распределения F ( x ), то D n сходится к 0 почти наверняка в пределе, когда стремится к бесконечности. Колмогоров усилил этот результат, фактически предоставив скорость этой сходимости (см. распределение Колмогорова). Теорема Донскера дает еще более сильный результат.

На практике для правильного отклонения нулевой гипотезы статистика требует относительно большого количества точек данных (по сравнению с другими критериями согласия, такими как статистика теста Андерсона–Дарлинга ).

Распределение Колмогорова

Иллюстрация распределения Колмогорова в формате PDF

Распределение Колмогорова — это распределение случайной величины

где B ( t ) — броуновский мост . Кумулятивная функция распределения K определяется как [ 3]

которая также может быть выражена тета-функцией Якоби . Форма статистики теста Колмогорова–Смирнова и ее асимптотическое распределение при нулевой гипотезе были опубликованы Андреем Колмогоровым [4] , а таблица распределения была опубликована Николаем Смирновым [5] . Доступны рекуррентные соотношения для распределения статистики теста в конечных выборках. [4]

При нулевой гипотезе, что выборка происходит из предполагаемого распределения F ( x ),

в распределении , где B ( t ) — броуновский мост. Если F непрерывен, то при нулевой гипотезе сходится к распределению Колмогорова, которое не зависит от F . Этот результат также может быть известен как теорема Колмогорова.

Точность этого предела как приближения к точному cdf, когда конечно, не очень впечатляет: даже когда , соответствующая максимальная ошибка составляет около ; эта ошибка увеличивается до , когда и до совершенно неприемлемой , когда . Однако очень простой прием замены на

в аргументе тета-функции Якоби уменьшает эти ошибки до , и соответственно; такая точность обычно считается более чем достаточной для всех практических приложений. [6]

Тест на соответствие или тест Колмогорова–Смирнова может быть построен с использованием критических значений распределения Колмогорова. Этот тест асимптотически действителен, когда Он отвергает нулевую гипотезу на уровне , если

где K α находится из

Асимптотическая мощность этого теста равна 1.

Быстрые и точные алгоритмы для вычисления функции распределения или ее дополнения для произвольных и доступны по адресу:

Тест с расчетными параметрами

Если либо форма, либо параметры F ( x ) определяются из данных X i , критические значения, определенные таким образом, недействительны. В таких случаях могут потребоваться методы Монте-Карло или другие методы, но для некоторых случаев были подготовлены таблицы. Подробности для требуемых изменений в тестовой статистике и для критических значений для нормального распределения и экспоненциального распределения были опубликованы [11] , а более поздние публикации также включают распределение Гумбеля . [12] Тест Лиллиефорса представляет собой особый случай этого для нормального распределения. Логарифмическое преобразование может помочь преодолеть случаи, когда данные теста Колмогорова, по-видимому, не соответствуют предположению, что они получены из нормального распределения.

Используя оцененные параметры, возникает вопрос, какой метод оценки следует использовать. Обычно это метод максимального правдоподобия , но, например, для нормального распределения MLE имеет большую ошибку смещения на сигме. Использование подгонки момента или минимизации KS вместо этого оказывает большое влияние на критические значения, а также некоторое влияние на мощность теста. Если нам нужно решить для данных Student-T с df = 2 с помощью теста KS, могут ли данные быть нормальными или нет, то оценка ML на основе H 0 (данные нормальны, поэтому для масштаба используется стандартное отклонение) даст гораздо большее расстояние KS, чем подгонка с минимальным KS. В этом случае мы должны отвергнуть H 0 , что часто бывает с MLE, потому что стандартное отклонение выборки может быть очень большим для данных T-2, но с минимизацией KS мы можем получить все еще слишком низкое KS, чтобы отвергнуть H 0 . В случае Student-T модифицированный тест KS с оценкой KS вместо MLE делает тест KS действительно немного хуже. Однако в других случаях такой модифицированный тест KS приводит к несколько лучшей мощности теста. [ необходима цитата ]

Дискретное и смешанное нулевое распределение

При предположении, что является неубывающей и непрерывной справа, со счетным (возможно, бесконечным) числом скачков, статистика теста KS может быть выражена как:

Из правосторонней непрерывности следует, что и и, следовательно, распределение зависит от нулевого распределения , т. е. больше не является свободным от распределения, как в непрерывном случае. Поэтому был разработан быстрый и точный метод вычисления точного и асимптотического распределения , когда является чисто дискретным или смешанным, [9] реализованный на C++ и в пакете KSgeneral [10] языка R. Функции , и вычисляют также статистику теста KS и p-значения для чисто дискретных, смешанных или непрерывных нулевых распределений и произвольных размеров выборки. Тест KS и его p-значения для дискретных нулевых распределений и малых размеров выборки также вычисляются в [13] как часть пакета dgof языка R. Основные статистические пакеты, среди которых SAS , [14] Stata [15] реализуют тест KS в предположении, что является непрерывным, что является более консервативным, если нулевое распределение на самом деле не является непрерывным (см. [16] [17] [18] ).disc_ks_test()mixed_ks_test()cont_ks_test() PROC NPAR1WAY ksmirnov

Двухвыборочный тест Колмогорова–Смирнова

Иллюстрация двухвыборочной статистики Колмогорова–Смирнова. Красная и синяя линии соответствуют эмпирической функции распределения, а черная стрелка — двухвыборочной статистике KS.

Тест Колмогорова–Смирнова также может быть использован для проверки того, различаются ли два базовых одномерных распределения вероятностей. В этом случае статистика Колмогорова–Смирнова

где и — эмпирические функции распределения первой и второй выборки соответственно, а — функция супремума .

Для больших выборок нулевая гипотеза отклоняется на уровне, если

Где и — размеры первой и второй выборки соответственно. Значение приведено в таблице ниже для наиболее распространенных уровней

и в целом [19] по

так что условие читается как

Здесь, опять же, чем больше размеры выборки, тем чувствительнее минимальная граница: для заданного соотношения размеров выборки (например, ) минимальная граница масштабируется в зависимости от размера любой из выборок в соответствии с ее обратным квадратным корнем.

Обратите внимание, что двухвыборочный тест проверяет, происходят ли два образца данных из одного и того же распределения. Это не определяет, что это за общее распределение (например, нормальное оно или нет). Опять же, были опубликованы таблицы критических значений. Недостатком одномерного теста Колмогорова–Смирнова является то, что он не очень мощный, поскольку он разработан так, чтобы быть чувствительным ко всем возможным типам различий между двумя функциями распределения. Некоторые утверждают [20] [21], что тест Куккони , первоначально предложенный для одновременного сравнения местоположения и масштаба, может быть намного более мощным, чем тест Колмогорова–Смирнова при сравнении двух функций распределения.

Двухвыборочные тесты KS применялись в экономике для обнаружения асимметричных эффектов и изучения естественных экспериментов. [22]

Установка доверительных границ для формы функции распределения

В то время как тест Колмогорова–Смирнова обычно используется для проверки того, является ли заданное F ( x ) базовым распределением вероятностей F n ( x ), процедура может быть инвертирована, чтобы задать доверительные пределы для самого F ( x ). Если выбрать критическое значение тестовой статистики D α такое, что P( D n  >  D α ) = α , то полоса шириной ± D α вокруг F n ( x ) будет полностью содержать F ( x ) с вероятностью 1 −  α .

Статистика Колмогорова-Смирнова в более чем одном измерении

Многомерный тест согласия Колмогорова-Смирнова без распределения был предложен Джастелом , Пеной и Замаром (1997). [23] Тест использует статистику, которая построена с использованием преобразования Розенблатта, и разработан алгоритм для ее вычисления в двумерном случае. Также представлен приближенный тест, который можно легко вычислить в любом измерении.

Статистику теста Колмогорова–Смирнова необходимо модифицировать, если аналогичный тест должен применяться к многомерным данным . Это не так просто, поскольку максимальная разница между двумя совместными кумулятивными функциями распределения обычно не совпадает с максимальной разницей любой из дополнительных функций распределения. Таким образом, максимальная разница будет отличаться в зависимости от того, какой из или или любой из двух других возможных вариантов используется. Можно потребовать, чтобы результат используемого теста не зависел от сделанного выбора.

Один из подходов к обобщению статистики Колмогорова–Смирнова на более высокие измерения, который отвечает вышеуказанной проблеме, заключается в сравнении cdf двух выборок со всеми возможными порядками и выборе наибольшего из набора результирующих статистик KS. В d измерениях существует 2 d  − 1 таких порядков. Одно такое изменение принадлежит Пикоку [24] (см. также Госсет [25] для 3D-версии), а другое — Фазано и Франческини [26] (см. Лопес и др. для сравнения и вычислительных деталей). [27] Критические значения для тестовой статистики могут быть получены с помощью моделирования, но зависят от структуры зависимости в совместном распределении.

В одном измерении статистика Колмогорова–Смирнова идентична так называемому звездному расхождению D, поэтому другим собственным расширением KS на более высокие измерения было бы простое использование D также для более высоких измерений. К сожалению, звездное расхождение трудно вычислить в высоких измерениях.

В 2021 году была предложена функциональная форма статистики многомерного теста KS, которая упростила задачу оценки хвостовых вероятностей статистики многомерного теста KS, которая необходима для статистического теста. Для многомерного случая, если F i является i-й непрерывной маргинальной величиной из распределения вероятностей с k переменными, то

поэтому предельное распределение не зависит от предельных распределений. [1]

Реализации

Тест Колмогорова–Смирнова реализован во многих программах. Большинство из них реализуют как одновыборочный, так и двухвыборочный тест.

Смотрите также

Ссылки

  1. ^ ab Naaman, Michael (2021). «О жесткой константе в многомерном неравенстве Дворецкого-Кифера-Вольфовица». Statistics and Probability Letters . 173 : 109088. doi : 10.1016/j.spl.2021.109088 . S2CID  233844405.
  2. ^ Стивенс, MA (1974). «Статистика EDF для качества соответствия и некоторых сравнений». Журнал Американской статистической ассоциации . 69 (347): 730–737. doi :10.2307/2286009. JSTOR  2286009.
  3. ^ Marsaglia G, Tsang WW, Wang J (2003). «Оценка распределения Колмогорова». Журнал статистического программного обеспечения . 8 (18): 1–4. doi : 10.18637/jss.v008.i18 .
  4. ^ аб Колмогоров А (1933). «Эмпирическое определение легге дистрибуции». Г. Ист. Итал. Аттуари . 4 : 83–91.
  5. ^ Смирнов Н (1948). «Таблица для оценки степени соответствия эмпирических распределений». Annals of Mathematical Statistics . 19 (2): 279–281. doi : 10.1214/aoms/1177730256 .
  6. ^ Врбик, Ян (2018). «Коррекции малой выборки в статистике теста Колмогорова–Смирнова». Pioneer Journal of Theoretical and Applied Statistics . 15 (1–2): 15–23.
  7. ^ ab Simard R, L'Ecuyer P (2011). «Вычисление двустороннего распределения Колмогорова–Смирнова». Журнал статистического программного обеспечения . 39 (11): 1–18. doi : 10.18637/jss.v039.i11 .
  8. ^ Москович А., Надлер Б. (2017). «Быстрое вычисление вероятностей пересечения границ для пуассоновских процессов». Statistics and Probability Letters . 123 : 177–182. arXiv : 1503.04363 . doi : 10.1016/j.spl.2016.11.027. S2CID  12868694.
  9. ^ abc Димитрова ДС, Кайшев ВК, Тан С (2020). «Вычисление распределения Колмогорова–Смирнова, когда базовая функция распределения чисто дискретная, смешанная или непрерывная». Журнал статистического программного обеспечения . 95 (10): 1–42. doi : 10.18637/jss.v095.i10 .
  10. ^ abc Димитрова, Димитрина; Юн, Цзя; Кайшев, Владимир; Тан, Сенрен (21 мая 2024 г.). "KSgeneral: KSgeneral: Вычисление P-значений одновыборочного теста KS и двухвыборочных тестов KS и Койпера для (не)непрерывного нулевого распределения". CRAN.R-project.org/package=KSgeneral .
  11. ^ Пирсон, ES; Хартли, HO, ред. (1972). Таблицы Biometrika для статистиков . Том 2. Cambridge University Press. С. 117–123, Таблицы 54, 55. ISBN 978-0-521-06937-3.
  12. ^ Шорак, Гален Р.; Уэллнер, Джон А. (1986). Эмпирические процессы и их применение в статистике . Wiley. стр. 239. ISBN 978-0-471-86725-8.
  13. ^ Арнольд, Тейлор Б.; Эмерсон, Джон В. (2011). "Непараметрические тесты согласия для дискретных нулевых распределений" (PDF) . The R Journal . 3 (2): 34\[Dash]39. doi : 10.32614/rj-2011-016 .
  14. ^ "Руководство пользователя SAS/STAT(R) 14.1". support.sas.com . Получено 14 апреля 2018 г. .
  15. ^ "ksmirnov — тест на равенство распределений Колмогорова–Смирнова" (PDF) . stata.com . Получено 14 апреля 2018 г. .
  16. ^ Нётер GE (1963). «Заметка о статистике Колмогорова в дискретном случае». Метрика . 7 (1): 115–116. doi :10.1007/bf02613966. S2CID  120687545.
  17. ^ Slakter MJ (1965). «Сравнение критерия согласия Пирсона и критерия согласия Колмогорова с точки зрения валидности». Журнал Американской статистической ассоциации . 60 (311): 854–858. doi :10.2307/2283251. JSTOR  2283251.
  18. ^ Уолш Дж. Э. (1963). «Ограниченные вероятностные свойства Колмогорова–Смирнова и подобных статистик для дискретных данных». Анналы Института статистической математики . 15 (1): 153–158. doi :10.1007/bf02865912. S2CID  122547015.
  19. Уравнение (15) в разделе 3.3.1 книги Кнута Д.Э. «Искусство программирования», том 2 (получисленные алгоритмы), 3-е издание, Addison Wesley, Reading Mass, 1998.
  20. ^ Мароцци, Марко (2009). «Некоторые заметки о тесте Куккони по шкале местоположения». Журнал непараметрической статистики . 21 (5): 629–647. doi :10.1080/10485250902952435. S2CID  120038970.
  21. ^ Мароцци, Марко (2013). «Непараметрические одновременные тесты для тестирования местоположения и масштаба: сравнение нескольких методов». Communications in Statistics – Simulation and Computation . 42 (6): 1298–1317. doi :10.1080/03610918.2012.665546. S2CID  28146102.
  22. ^ Монж, Марко (2023). «Двухвыборочные тесты Колмогорова-Смирнова как тесты причинности. Рассказ об инфляции в Латинской Америке с 2020 по 2022 год». 17 (1): 68–78. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  23. ^ Жюстель, А .; Пенья, Д.; Замар, Р. (1997). «Многомерный критерий согласия Колмогорова – Смирнова». Статистика и вероятностные буквы . 35 (3): 251–259. CiteSeerX 10.1.1.498.7631 . дои : 10.1016/S0167-7152(97)00020-5. 
  24. ^ Peacock JA (1983). «Двумерная проверка согласия в астрономии». Monthly Notices of the Royal Astronomical Society . 202 (3): 615–627. Bibcode : 1983MNRAS.202..615P. doi : 10.1093/mnras/202.3.615 .
  25. ^ Gosset E. (1987). "Трехмерный расширенный тест Колмогорова–Смирнова как полезный инструмент в астрономии}". Астрономия и астрофизика . 188 (1): 258–264. Bibcode : 1987A&A...188..258G.
  26. ^ Fasano, G.; Franceschini, A. (1987). «Многомерная версия теста Колмогорова–Смирнова». Monthly Notices of the Royal Astronomical Society . 225 : 155–170. Bibcode : 1987MNRAS.225..155F. doi : 10.1093/mnras/225.1.155 . ISSN  0035-8711.
  27. ^ Лопес, Р. Х. К.; Рейд, И.; Хобсон, П. Р. (23–27 апреля 2007 г.). Двумерный тест Колмогорова–Смирнова (PDF) . XI Международный семинар по передовым вычислительным и аналитическим методам в физических исследованиях. Амстердам, Нидерланды.
  28. ^ "scipy.stats.kstest". Руководство SciPy v1.7.1 . Сообщество Scipy . Получено 26 октября 2021 г.
  29. ^ "KolmogorovSmirnovTest" . Получено 18 июня 2019 г.
  30. ^ "Новые статистические узлы" . Получено 25 июня 2020 г.
  31. ^ "Непараметрические тесты · HypothesisTests.jl".
  32. ^ "ksmirnov — Тест равенства распределений Колмогорова–Смирнова" (PDF) . Получено 18 июня 2019 .
  33. ^ "Тест Колмогорова–Смирнова для проверки гипотезы нормальности" . Получено 18 июня 2019 г. .

Дальнейшее чтение

Внешние ссылки