Тест хи-квадрат

Проверка статистической гипотезы

Распределение хи-квадрат , показывающее χ2 на оси x и p -значение ⁽ вероятность правого хвоста) на оси y .

Хи -квадрат тест (также хи-квадрат или χ2 ^тест ) — это статистический тест гипотез, используемый при анализе таблиц сопряженности , когда размеры выборки велики. Проще говоря, этот тест в основном используется для проверки того, являются ли две категориальные переменные ( два измерения таблицы сопряженности ) независимыми во влиянии на статистику теста ( значения в таблице ). ^[1] Тест действителен , когда статистика теста распределена по закону хи-квадрат при нулевой гипотезе , в частности, хи-квадрат тест Пирсона и его варианты. Хи-квадрат тест Пирсона используется для определения того, существует ли статистически значимая разница между ожидаемыми частотами и наблюдаемыми частотами в одной или нескольких категориях таблицы сопряженности . Для таблиц сопряженности с меньшими размерами выборки вместо этого используется точный тест Фишера .

В стандартных приложениях этого теста наблюдения классифицируются по взаимоисключающим классам. Если нулевая гипотеза о том, что между классами в популяции нет различий, верна, то статистика теста, вычисленная на основе наблюдений, следует распределению частот ^χ2 . Цель теста — оценить, насколько вероятными будут наблюдаемые частоты, если предположить, что нулевая гипотеза верна.

Тестовые статистики, которые следуют распределению χ ^{2 ,} возникают, когда наблюдения независимы. Существуют также тесты χ ² для проверки нулевой гипотезы независимости пары случайных величин на основе наблюдений пар.

Хи-квадрат тесты часто относятся к тестам, для которых распределение тестовой статистики приближается к распределению χ2 ^{асимптотически} , что означает, что выборочное распределение (если нулевая гипотеза верна) тестовой статистики приближается к распределению хи-квадрат все больше и больше по мере увеличения размеров выборки .

История

В 19 веке статистические аналитические методы применялись в основном в анализе биологических данных, и исследователи обычно предполагали, что наблюдения следуют нормальному распределению , как, например, сэр Джордж Эйри и Мэнсфилд Мерриман , чьи работы подверглись критике Карла Пирсона в его статье 1900 года. ^[2]

В конце 19 века Пирсон заметил существование значительной асимметрии в некоторых биологических наблюдениях. Чтобы смоделировать наблюдения независимо от того, являются ли они нормальными или асимметричными, Пирсон в серии статей, опубликованных с 1893 по 1916 год, ^{[3] [4] [5] [6]} разработал распределение Пирсона , семейство непрерывных распределений вероятностей , которое включает нормальное распределение и множество асимметричных распределений, и предложил метод статистического анализа, состоящий из использования распределения Пирсона для моделирования наблюдения и выполнения теста на соответствие, чтобы определить, насколько хорошо модель действительно соответствует наблюдениям.

Тест хи-квадрат Пирсона

В 1900 году Пирсон опубликовал статью ^[2] о тесте χ2 ^, который считается одной из основ современной статистики. ^[7] В этой статье Пирсон исследовал тест на соответствие.

Предположим, что n наблюдений в случайной выборке из популяции классифицируются в k взаимоисключающих классов с соответствующими наблюдаемыми числами наблюдений x _i (для i = 1,2,…, k ), и нулевая гипотеза дает вероятность p _i того, что наблюдение попадает в i й класс. Таким образом, у нас есть ожидаемые числа m _i = np _i для всех i , где

${\displaystyle {\begin{aligned}&\sum _{i=1}^{k}{p_{i}}=1\\[8pt]&\sum _{i=1}^{k}{m_{i}}=n\sum _{i=1}^{k}{p_{i}}=n\end{aligned}}}$

^{Пирсон предположил, что при условии ,} что нулевая гипотеза верна, при n → ∞ предельным распределением приведенной ниже величины является распределение χ2 .

${\displaystyle X^{2}=\sum _{i=1}^{k}{\frac {(x_{i}-m_{i})^{2}}{m_{i}}}=\sum _{i=1}^{k}{{\frac {x_{i}^{2}}{m_{i}}}-n}}$

Пирсон сначала рассмотрел случай, в котором ожидаемые числа m _i являются достаточно большими известными числами во всех ячейках, предполагая, что каждое наблюдение x _i может быть принято как нормально распределенное , и пришел к результату, что в пределе, когда n становится большим, X ² следует распределению χ ² с k − 1 степенями свободы.

Однако затем Пирсон рассмотрел случай, в котором ожидаемые числа зависели от параметров, которые необходимо было оценить по выборке, и предположил, что, если обозначить m _i как истинные ожидаемые числа, а m ′ _i как предполагаемые ожидаемые числа, то разница

${\displaystyle X^{2}-{X'}^{2}=\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m_{i}}}-\sum _{i=1}^{k}{\frac {x_{i}^{2}}{m'_{i}}}}$

обычно будет положительным и достаточно малым, чтобы его можно было опустить. В заключении Пирсон утверждал, что если мы будем считать X ′ ² также распределенным как распределение χ ² с k − 1 степенями свободы, ошибка в этом приближении не повлияет на практические решения. Этот вывод вызвал некоторые споры в практических приложениях и не был устоявшимся в течение 20 лет до статей Фишера 1922 и 1924 годов. ^{[8] [9]}

Другие примеры тестов хи-квадрат

Одной из статистических проверок , которая точно следует распределению хи-квадрат , является проверка того, что дисперсия нормально распределенной совокупности имеет заданное значение на основе выборочной дисперсии . Такие проверки на практике встречаются редко, поскольку истинная дисперсия совокупности обычно неизвестна. Однако существует несколько статистических проверок, в которых распределение хи-квадрат приблизительно справедливо:

Точный тест Фишера

Для точного теста, используемого вместо теста хи-квадрат 2 × 2 на независимость, см. точный тест Фишера .

Биномиальный тест

Для точного теста, используемого вместо критерия хи-квадрат 2 × 1 для проверки соответствия, см. биномиальный тест .

Другие тесты хи-квадрат

• Критерий хи-квадрат Кохрана–Мантеля–Хензеля .
• Тест Макнемара , используемый в некоторых таблицах 2 × 2 с парным
• Тест Тьюки на аддитивность
• Тест портманто в анализе временных рядов , проверка на наличие автокорреляции
• Тесты отношения правдоподобия в общем статистическом моделировании для проверки того, есть ли доказательства необходимости перехода от простой модели к более сложной (где простая модель вложена в сложную).

Поправка Йетса на непрерывность

Использование распределения хи-квадрат для интерпретации статистики хи-квадрат Пирсона требует предположения, что дискретная вероятность наблюдаемых биномиальных частот в таблице может быть аппроксимирована непрерывным распределением хи-квадрат . Это предположение не совсем верно и вносит некоторую ошибку.

Чтобы уменьшить ошибку аппроксимации, Фрэнк Йейтс предложил поправку на непрерывность, которая корректирует формулу для критерия хи-квадрат Пирсона путем вычитания 0,5 из абсолютной разницы между каждым наблюдаемым значением и его ожидаемым значением в таблице сопряженности 2 × 2. ^[10] Это уменьшает полученное значение хи-квадрат и, таким образом, увеличивает его p -значение .

Тест хи-квадрат для дисперсии в нормальной популяции

Если выборка размером n взята из популяции, имеющей нормальное распределение , то есть результат (см. распределение дисперсии выборки ), который позволяет провести тест на то, имеет ли дисперсия популяции предопределенное значение. Например, производственный процесс может находиться в стабильном состоянии в течение длительного периода, что позволяет определить значение дисперсии по существу без ошибок. Предположим, что тестируется вариант процесса, что приводит к небольшой выборке из n единиц продукции, вариация которых должна быть протестирована. Тестовая статистика T в этом случае может быть установлена ​​как сумма квадратов вокруг выборочного среднего, деленная на номинальное значение дисперсии (т. е. значение, которое должно быть протестировано как удерживаемое). Тогда T имеет распределение хи-квадрат с n − 1 степенями свободы . Например, если размер выборки равен 21, область принятия для T с уровнем значимости 5% находится между 9,59 и 34,17.

Пример критерия хи-квадрат для категориальных данных

Предположим, что есть город с населением 1 000 000 жителей и четырьмя районами: A , B , C , и D . Берется случайная выборка из 650 жителей города, и их профессия регистрируется как «белый воротничок», «синий воротничок» или «без воротничка» . Нулевая гипотеза заключается в том, что район проживания каждого человека не зависит от профессиональной классификации человека. Данные сводятся в таблицу следующим образом:

Давайте возьмем выборку, проживающую в районе A , 150, чтобы оценить, какая доля от всех 1 000 000 проживает в районе A. Аналогично мы берем ⁠349/650⁠ оценить, какая доля из 1 000 000 — это служащие. При допущении независимости в рамках гипотезы мы должны «ожидать», что число служащих в районе A будет

${\displaystyle 150\times {\frac {349}{650}}\approx 80.54}$

Тогда в этой «ячейке» таблицы мы имеем

${\displaystyle {\frac {\left({\text{observed}}-{\text{expected}}\right)^{2}}{\text{expected}}}={\frac {\left(90-80.54\right)^{2}}{80.54}}\approx 1.11}$

Сумма этих величин по всем ячейкам является тестовой статистикой; в этом случае . При нулевой гипотезе эта сумма имеет приблизительно распределение хи-квадрат, число степеней свободы которого равно ${\displaystyle \approx 24.57}$

${\displaystyle ({\text{number of rows}}-1)({\text{number of columns}}-1)=(3-1)(4-1)=6}$

Если тестовая статистика невероятно велика согласно этому распределению хи-квадрат, то нулевая гипотеза независимости отвергается. Здесь у нас есть значение хи-квадрат 24,57, что довольно велико, и поэтому у нас есть некоторые доказательства, чтобы отвергнуть нулевую гипотезу (H0). Это означает, что район проживания каждого человека коррелирует с профессиональной классификацией человека.

Связанная проблема — проверка однородности. Предположим, что вместо того, чтобы давать каждому жителю каждого из четырех районов равные шансы на включение в выборку, мы заранее решаем, сколько жителей каждого района включить. Тогда у каждого жителя есть такие же шансы быть выбранным, как и у всех жителей одного района, но у жителей разных районов будут разные вероятности быть выбранными, если четыре размера выборки не пропорциональны населению четырех районов. В таком случае мы будем проверять «однородность», а не «независимость». Вопрос в том, одинаковы ли пропорции рабочих, служащих и рабочих без воротничков в четырех районах. Однако проверка проводится одинаково.

Приложения

В криптоанализе тест хи-квадрат используется для сравнения распределения открытого текста и (возможно) расшифрованного шифртекста . Наименьшее значение теста означает, что расшифровка прошла успешно с высокой вероятностью. ^{[11] [12]} Этот метод можно обобщить для решения современных криптографических задач. ^[13]

В биоинформатике тест хи-квадрат используется для сравнения распределения определенных свойств генов (например, геномного содержимого, скорости мутаций, кластеризации сетей взаимодействия и т. д.), принадлежащих к различным категориям (например, гены болезней, основные гены, гены на определенной хромосоме и т. д.) ^{[14] [15]}

Смотрите также

• Математический портал

• Номограмма критерия хи-квадрат
• Статистика ГЭХ
• G -тест
• Минимальная оценка хи-квадрат
• Непараметрическая статистика
• тест Вальда
• Интервал оценки Уилсона

Ссылки

1. "Хи-квадрат - Социология 3112 - Кафедра социологии - Университет Юты". soc.utah.edu . Получено 12.11.2022 .
2. Pearson, Karl (1900). «О критерии, согласно которому данная система отклонений от вероятного в случае коррелированной системы переменных такова, что можно обоснованно предположить, что она возникла из случайной выборки». Philosophical Magazine . Серия 5. 50 (302): 157–175. doi :10.1080/14786440009463897.
3. Пирсон, Карл (1893). «Вклад в математическую теорию эволюции [аннотация]». Труды Королевского общества . 54 : 329–333. doi : 10.1098/rspl.1893.0079 . JSTOR  115538.
4. Пирсон, Карл (1895). «Вклад в математическую теорию эволюции, II: Косая вариация в однородном материале». Philosophical Transactions of the Royal Society . 186 : 343–414. Bibcode : 1895RSPTA.186..343P. doi : 10.1098/rsta.1895.0010 . JSTOR  90649.
5. Пирсон, Карл (1901). «Математический вклад в теорию эволюции, X: Дополнение к мемуару о косой вариации». Philosophical Transactions of the Royal Society A. 197 ( 287–299): 443–459. Bibcode : 1901RSPTA.197..443P. doi : 10.1098/rsta.1901.0023. JSTOR  90841.
6. Пирсон, Карл (1916). «Математический вклад в теорию эволюции, XIX: Второе дополнение к мемуару о косой вариации». Philosophical Transactions of the Royal Society A. 216 ( 538–548): 429–457. Bibcode :1916RSPTA.216..429P. doi : 10.1098/rsta.1916.0009 . JSTOR  91092.
7. Кохран, Уильям Г. (1952). «Хи-квадрат тест качества соответствия». Анналы математической статистики . 23 (3): 315–345. doi : 10.1214/aoms/1177729380 . JSTOR  2236678.
8. Фишер, Рональд А. ⁽ 1922). «Об интерпретации χ2 из таблиц сопряженности и расчете P». Журнал Королевского статистического общества . 85 (1): 87–94. doi :10.2307/2340521. JSTOR  2340521.
9. Фишер, Рональд А. (1924). «Условия, при которых ^χ2 измеряет расхождение между наблюдением и гипотезой». Журнал Королевского статистического общества . 87 (3): 442–450. JSTOR  2341149.
10. Йейтс, Фрэнк (1934). «Таблица сопряженности, включающая малые числа и тест χ2 ». Приложение к журналу Королевского статистического общества . 1 (2): 217–235. ^doi : 10.2307/2983604. JSTOR  2983604.
11. "Статистика хи-квадрат". Практическая криптография . Архивировано из оригинала 18 февраля 2015 года . Получено 18 февраля 2015 года .
12. «Использование хи-квадрата для взлома кодов». Ресурсы по математике IB . Британская международная школа Пхукет. 15 июня 2014 г.
13. Рябко, Б. Я.; Стогниенко, В. С.; Шокин, Ю. И. (2004). "Новый тест на случайность и его применение к некоторым криптографическим проблемам" (PDF) . Журнал статистического планирования и вывода . 123 (2): 365–376. doi :10.1016/s0378-3758(03)00149-6 . Получено 18 февраля 2015 г. .
14. Фельдман, И.; Ржецкий, А.; Виткуп, Д. (2008). «Сетевые свойства генов, несущих мутации наследственных заболеваний». PNAS . 105 (11): 4323–432. Bibcode :2008PNAS..105.4323F. doi : 10.1073/pnas.0701722105 . PMC 2393821 . PMID  18326631. 
15. "chi-square-tests" (PDF) . Архивировано из оригинала (PDF) 29 июня 2018 г. . Получено 29 июня 2018 г. .

Дальнейшее чтение

• Вайсштейн, Эрик В. «Тест хи-квадрат». MathWorld .
• Кордер, GW; Форман, DI (2014). Непараметрическая статистика: пошаговый подход. Нью-Йорк: Wiley. ISBN 978-1118840313.
• Гринвуд, Синди ; Никулин, М.С. (1996). Руководство по тестированию хи-квадрат . Нью-Йорк: Wiley. ISBN 0-471-55779-X.
• Никулин, М.С. (1973). Хи-квадрат тест на нормальность . Труды Международной Вильнюсской конференции по теории вероятностей и математической статистике . Т. 2. С. 119–122.
• Багдонавичюс, Вилияндас Б.; Никулин, Михаил С. (2011). «Хи-квадратный тест согласия для данных, цензурированных справа». Международный журнал прикладной математики и статистики . 24 : 30–50. MR  2800388.