Качество соответствия

Метрика соответствия статистических моделей

Качество соответствия статистической модели описывает, насколько хорошо она соответствует набору наблюдений. Меры качества соответствия обычно суммируют расхождение между наблюдаемыми значениями и значениями, ожидаемыми в рассматриваемой модели. Такие меры могут использоваться при проверке статистических гипотез , например, для проверки нормальности остатков , для проверки того , взяты ли две выборки из идентичных распределений (см. тест Колмогорова–Смирнова ) или следуют ли частоты результатов заданному распределению (см. тест хи-квадрат Пирсона ). В дисперсионном анализе одним из компонентов, на которые разбивается дисперсия, может быть сумма квадратов несоответствия .

Соответствие распределений

При оценке соответствия данного распределения набору данных можно использовать следующие тесты и их базовые меры соответствия:

• Байесовский информационный критерий
• Тест Колмогорова-Смирнова
• Критерий Крамера–фон Мизеса
• Тест Андерсона-Дарлинга
• Тесты Берка-Джонса ^{[1] [2]}
• Тест Шапиро-Уилка
• Тест хи-квадрат
• Критерий информации Акаике
• Тест Хосмера-Лемешова
• тест Койпера
• Ядерное расхождение Штейна ^{[3] [4]}
• Тесты Чжана Z _K , Z _C и Z _A ^[5]
• тест Морана
• Тесты эмпирического отношения правдоподобия на основе плотности ^[6]

Регрессионный анализ

В регрессионном анализе , а точнее в регрессионной проверке , следующие темы связаны с качеством соответствия:

• Коэффициент детерминации (мера качества соответствия в квадрате R);
• Сумма квадратов несоответствия ;
• Критерий Cp Маллоуза
• Ошибка предсказания
• Сокращенный хи-квадрат

Категориальные данные

Ниже приведены примеры, возникающие в контексте категориальных данных .

Тест хи-квадрат Пирсона

Тест хи-квадрат Пирсона использует меру согласия, которая представляет собой сумму разностей между наблюдаемыми и ожидаемыми частотами результатов (то есть количеством наблюдений), каждая из которых возведена в квадрат и разделена на ожидание:

$${\displaystyle \chi ^{2}=\sum _{i=1}^{n}{{\frac {(O_{i}-E_{i})}{E_{i}}}^{2}}}$$ где:

• O _i = наблюдаемое количество для ячейки i
• E _i = ожидаемое количество для ячейки i , утверждаемое нулевой гипотезой .

Ожидаемая частота рассчитывается по формуле: где: $${\displaystyle E_{i}\,=\,{\bigg (}F(Y_{u})\,-\,F(Y_{l}){\bigg )}\,N}$$

• F = кумулятивная функция распределения для проверяемого распределения вероятностей .
• Y _u = верхний предел для ячейки i ,
• Y _l = нижний предел для ячейки i , и
• N = размер выборки

Полученное значение можно сравнить с распределением хи-квадрат , чтобы определить степень соответствия. Распределение хи-квадрат имеет ( k − c ) степеней свободы , где k — количество непустых ячеек, а c — количество оценочных параметров (включая параметры местоположения и масштаба , а также параметры формы) для распределения плюс один. Например, для 3-параметрического распределения Вейбулла c = 4.

Биномиальный случай

Биномиальный эксперимент — это последовательность независимых испытаний, в которых испытания могут привести к одному из двух результатов: успеху или неудаче. Существует n испытаний, каждое из которых имеет вероятность успеха, обозначенную как p . При условии, что np _i  ≫ 1 для каждого i (где i  = 1, 2, ...,  k ), тогда

$${\displaystyle \chi ^{2}=\sum _{i=1}^{k}{\frac {(N_{i}-np_{i})^{2}}{np_{i}}}=\sum _{\mathrm {all\ bins} }^{}{\frac {(\mathrm {O} -\mathrm {E} )^{2}}{\mathrm {E} }}.}$$

Это имеет приблизительно распределение хи-квадрат с k  − 1 степенями свободы. Тот факт, что есть k  − 1 степеней свободы, является следствием ограничения . Мы знаем, что есть k наблюдаемых подсчетов бинов, однако, как только любые k  − 1 известны, оставшийся один определяется однозначно. По сути, можно сказать, что есть только k  − 1 свободно определяемых подсчетов бинов, таким образом, k  − 1 степеней свободы. ${\textstyle \sum N_{i}=n}$

Г-тест

G -тесты — это статистически значимые тесты отношения правдоподобия , которые все чаще используются в ситуациях, когда ранее рекомендовались тесты хи-квадрат Пирсона. ^[7]

Общая формула для G :

${\displaystyle G=2\sum _{i}{O_{i}\cdot \ln \left({\frac {O_{i}}{E_{i}}}\right)},}$

где и такие же, как для теста хи-квадрат, обозначает натуральный логарифм , а сумма берется по всем непустым ячейкам. Кроме того, общее наблюдаемое количество должно быть равно общему ожидаемому количеству: где — общее количество наблюдений. ${\textstyle O_{i}}$ ${\textstyle E_{i}}$ ${\textstyle \ln }$ $${\displaystyle \sum _{i}O_{i}=\sum _{i}E_{i}=N}$$ ${\textstyle N}$

G -тесты были рекомендованы по крайней мере с издания 1981 года популярного учебника по статистике Роберта Р. Сокала и Ф. Джеймса Рольфа . ^[8]

Смотрите также

• Все модели неверны
• Отклонение (статистика) (относительно GLM )
• Переобучение
• Статистическая проверка модели
• Оценка Тейла–Сена

Ссылки

1. Берк, Роберт Х.; Джонс, Дуглас Х. (1979). «Статистика критерия согласия, которая доминирует над статистикой Колмогорова». Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete . 47 (1): 47–59. дои : 10.1007/BF00533250.
2. Москович, Амит; Надлер, Боаз; Шпигельман, Клиффорд (2016). «О точной статистике Берка-Джонса и ее расчете p-значения». Электронный журнал статистики . 10 (2). arXiv : 1311.3190 . doi :10.1214/16-EJS1172.
3. Лю, Цян; Ли, Джейсон; Джордан, Майкл (20 июня 2016 г.). «Расхождение Стейна с кернелизацией для тестов согласия». Труды 33-й Международной конференции по машинному обучению . 33-я Международная конференция по машинному обучению. Нью-Йорк, Нью-Йорк, США: Труды исследований машинного обучения. стр. 276–284.
4. Chwialkowski, Kacper; Strathmann, Heiko; Gretton, Arthur (20 июня 2016 г.). «A Kernel Test of Goodness of Fit». Труды 33-й Международной конференции по машинному обучению . 33-я Международная конференция по машинному обучению. Нью-Йорк, Нью-Йорк, США: Труды исследований машинного обучения. стр. 2606–2615.
5. Чжан, Цзинь (2002). «Мощные тесты согласия, основанные на отношении правдоподобия» (PDF) . JR Stat. Soc. B . 64 (2): 281–294. doi :10.1111/1467-9868.00337 . Получено 5 ноября 2018 г. .
6. Векслер, Альберт; Гуревич, Грегори (2010). «Эмпирические отношения правдоподобия, применяемые к тестам на соответствие на основе выборочной энтропии». Computational Statistics and Data Analysis . 54 (2): 531–545. doi :10.1016/j.csda.2009.09.025.
7. Макдональд, Дж. Х. (2014). «G–тест на соответствие». Справочник по биологической статистике (третье изд.). Балтимор, Мэриленд: Sparky House Publishing. С. 53–58.
8. Sokal, RR; Rohlf, FJ (1981). Биометрия: принципы и практика статистики в биологических исследованиях (второе издание). WH Freeman . ISBN 0-7167-2411-1.

Дальнейшее чтение

• Хубер-Кэрол, К.; Балакришнан, Н.; Никулин, М.; Месбах, М., ред. (2002), Тесты на соответствие и валидность модели , Springer
• Ингстер, Ю. И.; Суслина, И. А. (2003), Непараметрическое тестирование согласия по гауссовым моделям , Springer
• Рейнер, Дж. К. У.; Тас, О.; Бест, Д. Д. (2009), Тесты гладкости соответствия (2-е изд.), Wiley
• Векслер, Альберт; Гуревич, Грегори (2010), «Эмпирические отношения правдоподобия, применяемые к тестам согласия на основе выборочной энтропии», Computational Statistics & Data Analysis , 54 (2): 531–545, doi :10.1016/j.csda.2009.09.025