Тест отношения правдоподобия

Статистический тест, сравнивающий степень соответствия

В статистике тест отношения правдоподобия — это проверка гипотезы , которая включает сравнение степени соответствия двух конкурирующих статистических моделей , обычно одной, найденной путем максимизации по всему пространству параметров , и другой, найденной после наложения некоторого ограничения , на основе отношения их правдоподобий . Если более ограниченная модель (т. е. нулевая гипотеза ) поддерживается наблюдаемыми данными , два правдоподобия не должны отличаться более чем на ошибку выборки . ^[1] Таким образом, тест отношения правдоподобия проверяет, значительно ли отличается это отношение от единицы или, что эквивалентно, значительно ли отличается его натуральный логарифм от нуля.

Тест отношения правдоподобия, также известный как тест Уилкса , ^[2] является старейшим из трех классических подходов к проверке гипотез, вместе с тестом множителей Лагранжа и тестом Вальда . ^[3] Фактически, последние два могут быть концептуализированы как приближения к тесту отношения правдоподобия, и они асимптотически эквивалентны. ^{[4] [5] [6]} В случае сравнения двух моделей, каждая из которых не имеет неизвестных параметров , использование теста отношения правдоподобия может быть оправдано леммой Неймана–Пирсона . Лемма показывает, что тест имеет самую высокую мощность среди всех конкурентов. ^[7]

Определение

Общий

Предположим, что у нас есть статистическая модель с пространством параметров . Нулевая гипотеза часто формулируется как утверждение, что параметр лежит в указанном подмножестве . Альтернативная гипотеза , таким образом, заключается в том, что лежит в дополнении к , т.е. в , что обозначается как . Статистика теста отношения правдоподобия для нулевой гипотезы определяется как: ^[8] ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta ~\backslash ~\Theta _{0}}$ ${\displaystyle \Theta _{0}^{\text{c}}}$ ${\displaystyle H_{0}\,:\,\theta \in \Theta _{0}}$

${\displaystyle \lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]}$

где величина внутри скобок называется отношением правдоподобия. Здесь обозначение относится к супремуму . Поскольку все правдоподобия положительны, а ограниченный максимум не может превышать неограниченный максимум, отношение правдоподобия ограничено нулем и единицей. ${\displaystyle \sup }$

Часто статистика теста отношения правдоподобия выражается как разница между логарифмами правдоподобия

${\displaystyle \lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]}$

где

${\displaystyle \ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~}$

— логарифм максимизированной функции правдоподобия , а — максимальное значение в частном случае, когда нулевая гипотеза верна (но не обязательно значение, которое максимизируется для выборочных данных) и ${\displaystyle {\mathcal {L}}}$ ${\displaystyle \ell (\theta _{0})}$ ${\displaystyle {\mathcal {L}}}$

${\displaystyle \theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~}$

обозначают соответствующие аргументы максимумов и допустимые диапазоны, в которые они встроены. Умножение на −2 математически гарантирует, что (по теореме Уилкса ) сходится асимптотически к χ ²-распределению, если нулевая гипотеза оказывается верной. ^[9] Распределения конечной выборки статистик отношения правдоподобия, как правило, неизвестны. ^[10] ${\displaystyle \lambda _{\text{LR}}}$

Тест отношения правдоподобия требует, чтобы модели были вложенными – т. е. более сложная модель может быть преобразована в более простую модель путем наложения ограничений на параметры первой. Многие общие тестовые статистики являются тестами для вложенных моделей и могут быть сформулированы как логарифмические отношения правдоподобия или их приближения: например, Z -тест , F -тест , G -тест и критерий хи-квадрат Пирсона ; для иллюстрации с одновыборочным t -тестом см. ниже.

Если модели не являются вложенными, то вместо теста отношения правдоподобия обычно можно использовать обобщение теста: подробнее см. в разделе относительное правдоподобие .

Случай простых гипотез

Проверка гипотез «простой против простого» имеет полностью определенные модели как при нулевой гипотезе, так и при альтернативной гипотезе, которые для удобства записаны в терминах фиксированных значений воображаемого параметра : ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

В этом случае, при любой из гипотез, распределение данных полностью определено: нет неизвестных параметров для оценки. Для этого случая доступен вариант теста отношения правдоподобия: ^{[11] [12]}

${\displaystyle \Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}.}$

В некоторых старых источниках в качестве определения может использоваться обратная величина функции, указанной выше. ^[13] Таким образом, отношение правдоподобия невелико, если альтернативная модель лучше нулевой модели.

Тест отношения правдоподобия обеспечивает следующее правило принятия решения:

Если , не отклоняйте ; ${\displaystyle ~\Lambda >c~}$ ${\displaystyle H_{0}}$

Если , отклонить ; ${\displaystyle ~\Lambda <c~}$ ${\displaystyle H_{0}}$

Если , то отвергаем с вероятностью . ${\displaystyle ~\Lambda =c~}$ ${\displaystyle H_{0}}$ ${\displaystyle ~q~}$

Значения и обычно выбираются для получения определенного уровня значимости с помощью соотношения ${\displaystyle c}$ ${\displaystyle q}$ ${\displaystyle \alpha }$

${\displaystyle ~q~}$ ${\displaystyle \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.}$

Лемма Неймана –Пирсона утверждает, что этот тест отношения правдоподобия является наиболее мощным среди всех уровневых тестов для этого случая. ^{[7] [12]} ${\displaystyle \alpha }$

Интерпретация

Отношение правдоподобия является функцией данных ; следовательно, это статистика , хотя необычная в том смысле, что значение статистики зависит от параметра, . Тест отношения правдоподобия отвергает нулевую гипотезу, если значение этой статистики слишком мало. То, насколько мало значение, зависит от уровня значимости теста, т. е. от того, какая вероятность ошибки I типа считается допустимой (ошибки I типа состоят в отклонении нулевой гипотезы, которая верна). ${\displaystyle x}$ ${\displaystyle \theta }$

Числитель соответствует вероятности наблюдаемого результата при нулевой гипотезе . Знаменатель соответствует максимальной вероятности наблюдаемого результата, изменяя параметры по всему пространству параметров. Числитель этого отношения меньше знаменателя; таким образом, отношение правдоподобия находится в диапазоне от 0 до 1. Низкие значения отношения правдоподобия означают, что наблюдаемый результат имел гораздо меньшую вероятность наступления при нулевой гипотезе по сравнению с альтернативой. Высокие значения статистики означают, что наблюдаемый результат имел почти такую ​​же вероятность наступления при нулевой гипотезе, как и при альтернативе, и поэтому нулевая гипотеза не может быть отвергнута.

Пример

Следующий пример адаптирован и сокращен из Stuart, Ord & Arnold (1999, §22.2).

Предположим, что у нас есть случайная выборка размера n из нормально распределенной популяции. Среднее значение μ и стандартное отклонение σ популяции неизвестны. Мы хотим проверить, равно ли среднее значение заданному значению μ ₀ .

Таким образом, наша нулевая гипотеза — H ₀ :  μ = μ ₀  , а наша альтернативная гипотеза — H ₁ :  μ ≠ μ ₀  . Функция правдоподобия имеет вид

${\displaystyle {\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.}$

С помощью некоторых вычислений (здесь они опущены) можно показать, что

${\displaystyle \lambda _{LR}=n\ln \left[1+{\frac {t^{2}}{n-1}}\right]}$

где t — t -статистика с n  − 1 степенями свободы. Следовательно, мы можем использовать известное точное распределение t _{n −1} для выводов.

Асимптотическое распределение: теорема Уилкса

Если распределение отношения правдоподобия, соответствующее определенной нулевой и альтернативной гипотезе, может быть явно определено, то его можно напрямую использовать для формирования областей принятия решений (для подтверждения или отклонения нулевой гипотезы). Однако в большинстве случаев точное распределение отношения правдоподобия, соответствующее определенным гипотезам, очень сложно определить. ^{[ необходима цитата ]}

Предполагая, что H ₀ истинно, существует фундаментальный результат Сэмюэля С. Уилкса : по мере того, как размер выборки приближается к , и если нулевая гипотеза лежит строго внутри пространства параметров, тестовая статистика, определенная выше, будет асимптотически распределена по закону хи-квадрат ( ) со степенями свободы, равными разнице размерностей и . ^[14] Это подразумевает, что для большого разнообразия гипотез мы можем вычислить отношение правдоподобия для данных, а затем сравнить наблюдаемое со значением, соответствующим желаемой статистической значимости, в качестве приблизительного статистического теста. Существуют и другие расширения. ^{[ which? ]} ${\displaystyle n}$ ${\displaystyle \infty }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle \Theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$

Смотрите также

• Критерий информации Акаике
• Фактор Байеса
• тест Йохансена
• Выбор модели
• Тест на близость Вуонга
• Тест Sup-LR
• Экспоненты ошибок при проверке гипотез

Ссылки

1. Кинг, Гэри (1989). Унификация политической методологии: теория правдоподобия статистического вывода. Нью-Йорк: Cambridge University Press. стр. 84. ISBN 0-521-36697-6.
2. Ли, Бин; Бабу, Г. Джогеш (2019). Выпускной курс по статистическому выводу . Springer. стр. 331. ISBN 978-1-4939-9759-6.
3. Маддала, GS ; Лахири, Каджал (2010). Введение в эконометрику (Четвертое изд.). Нью-Йорк: Уайли. п. 200.
4. Buse, A. (1982). «Отношение правдоподобия, тесты Вальда и множителей Лагранжа: пояснительная записка». The American Statistician . 36 (3a): 153–157. doi :10.1080/00031305.1982.10482817.
5. Пиклз, Эндрю (1985). Введение в анализ правдоподобия. Норвич: WH Hutchins & Sons. С. 24–27. ISBN 0-86094-190-6.
6. Северини, Томас А. (2000). Методы правдоподобия в статистике . Нью-Йорк: Oxford University Press. С. 120–121. ISBN 0-19-850650-3.
7. Нейман, Дж.; Пирсон , Э.С. (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Bibcode : 1933RSPTA.231..289N, doi : 10.1098/rsta.1933.0009 , JSTOR  91247
8. Кох, Карл-Рудольф (1988). Оценка параметров и проверка гипотез в линейных моделях . Нью-Йорк: Springer. стр. 306. ISBN 0-387-18840-1.
9. Силви, SD (1970). Статистический вывод . Лондон: Chapman & Hall. С. 112–114. ISBN 0-412-13820-4.
10. Миттельхаммер, Рон К.; Джадж , Джордж Г .; Миллер, Дуглас Дж. (2000). Основы эконометрики . Нью-Йорк: Cambridge University Press. стр. 66. ISBN 0-521-62394-4.
11. Mood, AM; Graybill, FA; Boes, DC (1974). Введение в теорию статистики (3-е изд.). McGraw-Hill . §9.2.
12. Стюарт, А.; Орд, К.; Арнольд, С. (1999), Продвинутая теория статистики Кендалла , т. 2A, Арнольд , §§20.10–20.13
13. Кокс, DR ; Хинкли, DV (1974), Теоретическая статистика , Chapman & Hall , стр. 92, ISBN 0-412-12420-3
14. Уилкс, СС (1938). «Распределение отношения правдоподобия для большой выборки при проверке составных гипотез». Annals of Mathematical Statistics . 9 (1): 60–62. doi : 10.1214/aoms/1177732360 .

Дальнейшее чтение

• Гловер, Скотт; Диксон, Питер (2004), «Отношения правдоподобия: простая и гибкая статистика для эмпирических психологов», Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758/BF03196706 , PMID  15732688
• Хельд, Леонард; Сабанес Бове, Даниэль (2014), Прикладной статистический вывод — правдоподобие и Байес , Springer
• Калбфляйш, Дж. Г. (1985), Вероятность и статистический вывод , том. 2, Шпрингер-Верлаг
• Перлман, Майкл Д.; Ву, Ланг (1999), «Новые тесты императора», Статистическая наука , 14 (4): 355–381, doi : 10.1214/ss/1009212517
• Пернегер, Томас В. (2001), «Просеивание доказательств: отношения правдоподобия являются альтернативами значениям P», BMJ , 322 (7295): 1184–5, doi :10.1136/bmj.322.7295.1184, PMC  1120301 , PMID  11379590
• Пинейро, Хосе К.; Бейтс, Дуглас М. (2000), Модели смешанных эффектов в S и S-PLUS , Springer-Verlag , стр. 82–93
• Ричард, Марк; Вечер, Ян (2021). «Тестирование эффективности рынков прогнозирования: подход Мартингейла, отношение правдоподобия и анализ байесовского фактора». Риски . 9 (2): 31. doi : 10.3390/risks9020031 . hdl : 10419/258120 .
• Соломон, Дэниел Л. (1975), «Заметка о неэквивалентности теста Неймана-Пирсона и обобщенного теста отношения правдоподобия для проверки простой нулевой гипотезы по сравнению с простой альтернативной гипотезой» (PDF) , The American Statistician , 29 (2): 101–102, doi : 10.1080/00031305.1975.10477383, hdl : 1813/32605

Внешние ссылки

• Описано практическое применение теста отношения правдоподобия
• Пакет R: Тест последовательного отношения вероятностей Вальда
• Прогностические значения и отношения правдоподобия Ричарда Лоури. Онлайн-калькулятор клинических данных