Почти наверняка проверка гипотез

В статистике проверка гипотез «почти наверняка» или проверка гипотез «как» использует почти верную сходимость для определения обоснованности статистической гипотезы с вероятностью один. Это означает, что всякий раз, когда нулевая гипотеза верна, то проверка гипотезы «как» не сможет отвергнуть нулевую гипотезу wp 1 для всех достаточно больших выборок. Аналогично, всякий раз, когда альтернативная гипотеза верна, то проверка гипотезы «как» отвергнет нулевую гипотезу с вероятностью один для всех достаточно больших выборок. Подобным же образом доверительный интервал «как» в конечном итоге содержит интересующий параметр с вероятностью один. Дембо и Перес (1994) доказали существование проверок гипотез «почти наверняка».

Описание

Для простоты предположим, что у нас есть последовательность независимых и одинаково распределенных нормальных случайных величин, , со средним значением , и единичной дисперсией. Предположим, что природа или моделирование выбрали истинное среднее значение , тогда функция распределения вероятностей среднего значения, , задается как ${\displaystyle \textstyle x_{i}\sim N(\mu ,1)}$ ${\displaystyle \textstyle \mu }$ ${\displaystyle \textstyle \mu _{0}}$ ${\displaystyle \textstyle \mu }$

${\displaystyle \Pr(\mu \leq t)=[t\in [\mu _{0},+\infty ]]}$

где была использована скобка Айверсона . Наивный подход к оценке этой функции распределения заключался бы в замене истинного среднего значения в правой части на оценку, например, выборочное среднее значение, но ${\displaystyle \textstyle {\hat {\mu }}}$

${\displaystyle {\begin{aligned}&\operatorname {E} \left[t\in \left[{\widehat {\mu }},+\infty \right]\right]=\Pr({\widehat {\mu }}\leq t)\\[4pt]={}&\Phi ({\sqrt {n}}(t-\mu _{0}))\rightarrow \Pr(\mu \leq t)-0.5[\mu _{0}=t]\end{aligned}}}$

что означает, что приближение к истинной функции распределения будет отклоняться на 0,5 при истинном среднем значении. Однако, является не более чем односторонним 50% доверительным интервалом; в более общем случае, пусть будет критическим значением, используемым в одностороннем доверительном интервале, тогда ${\displaystyle \textstyle \left[{\widehat {\mu }},+\infty \right]}$ ${\displaystyle \textstyle Z_{\alpha _{n}}}$ ${\displaystyle \textstyle 1-\alpha _{n}}$

${\displaystyle \operatorname {E} \left[t\in \left[{\hat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]\rightarrow \Pr(\mu \leq t)-\lim _{n\rightarrow +\infty }\alpha _{n}[\mu _{0}=t]}$

Если мы положим , то погрешность аппроксимации уменьшится с 0,5 до 0,05, что составляет коэффициент 10. Конечно, если мы положим , то ${\displaystyle \textstyle \alpha _{n}=0.05}$ ${\displaystyle \textstyle \alpha _{n}\rightarrow 0}$

${\displaystyle \operatorname {E} \left[t\in \left[{\widehat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]\rightarrow \Pr(\mu \leq t)}$

Однако это показывает только то, что ожидание близко к предельному значению. Нааман (2016) показал, что установка уровня значимости при приводит к конечному числу ошибок типа I и типа II wp1 при довольно мягких условиях регулярности. Это означает, что для каждого существует , такой что для всех , ${\displaystyle \textstyle \alpha _{n}=n^{-p}}$ ${\displaystyle \textstyle p>1}$ ${\displaystyle \textstyle t}$ ${\displaystyle \textstyle N(t)}$ ${\displaystyle \textstyle n>N(t)}$

${\displaystyle \left[t\in \left[{\widehat {\mu }}-{\frac {Z_{\alpha _{n}}}{\sqrt {n}}},+\infty \right]\right]=\Pr(\mu \leq t)}$

где справедливо равенство wp 1. Таким образом, индикаторная функция одностороннего доверительного интервала является хорошим приближением к истинной функции распределения.

Приложения

Необязательная остановка

Например, предположим, что исследователь провел эксперимент с размером выборки 10 и не нашел статистически значимого результата. Затем предположим, что он решил добавить еще одно наблюдение и повторить тестирование, продолжая этот процесс до тех пор, пока не будет найден значимый результат. В этом сценарии, учитывая, что начальная партия из 10 наблюдений дала незначимый результат, вероятность того, что эксперимент будет остановлен при некотором конечном размере выборки, , может быть ограничена с помощью неравенства Буля ${\displaystyle N_{s}}$

${\displaystyle \Pr(N_{s}<+\infty )<\sum _{n=11}^{+\infty }\alpha _{n}<0.0952}$

где . Это выгодно отличается от тестирования с фиксированным уровнем значимости, которое имеет конечное время остановки с вероятностью единица; однако эта граница не будет иметь смысла для всех последовательностей уровня значимости, поскольку указанная выше сумма может быть больше единицы (настройка будет одним из примеров). Но даже при использовании этой полосы пропускания, если тестирование проводилось партиями по 10, то ${\displaystyle \alpha _{n}=n^{-2}}$ ${\displaystyle \alpha _{n}=n^{-1.2}}$

${\displaystyle \Pr \left(N_{s}<+\infty \right)<\sum \limits _{i=2}^{\infty }\left(10i\right)^{-1.2}<0.3}$

что приводит к относительно большой вероятности того, что этот процесс никогда не закончится.

Предвзятость публикации

В качестве другого примера мощи этого подхода, если академический журнал принимает только статьи со значениями p менее 0,05, то примерно 1 из 20 независимых исследований того же эффекта обнаружит значимый результат, когда его нет. Однако, если журнал требует минимальный размер выборки 100, а максимальный уровень значимости задан как , то можно ожидать, что примерно 1 из 250 исследований обнаружит эффект, когда его нет (если минимальный размер выборки 30, это все равно будет 1 из 60). Если максимальный уровень значимости задан как (что будет иметь лучшую производительность для небольшой выборки в отношении ошибки типа I, когда множественные сравнения являются проблемой), можно ожидать, что примерно 1 из 10000 исследований обнаружит эффект, когда его нет (если минимальный размер выборки 30, это будет 1 из 900). Кроме того, проверка гипотезы AS устойчива к множественным сравнениям. ${\displaystyle \alpha _{n}<n^{-1.2}}$ ${\displaystyle \alpha _{n}<n^{-2}}$

Парадокс Джеффриса–Линдлея

Парадокс Линдли возникает, когда

1. Результат является «значимым» по частотному тесту, например, на уровне 5%, что указывает на достаточные доказательства для отклонения нулевой гипотезы, и
2. Апостериорная вероятность нулевой гипотезы высока, что указывает на веские доказательства того, что нулевая гипотеза лучше согласуется с данными, чем альтернативная гипотеза.

Однако парадокс не применим к проверке гипотез. Байесовский и частотный в конечном итоге придут к одному и тому же выводу.

Смотрите также

• Фактор Байеса
• Парадокс Линдли
• Доверительный интервал
• Проверка гипотез

Ссылки

• Нааман, Майкл (2016). «Почти наверняка проверка гипотез и разрешение парадокса Джеффриса–Линдли». Электронный журнал статистики . 10 (1): 1526–1550.
• Дембо, Амир; Перес, Юваль (1994). «Топологический критерий проверки гипотез». Анналы статистики . 22 (1): 106–117.