Тест отношения правдоподобия

Статистический тест для сравнения согласия

В статистике тест отношения правдоподобия оценивает степень соответствия двух конкурирующих статистических моделей , в частности одной, найденной путем максимизации по всему пространству параметров, и другой, найденной после наложения некоторого ограничения , на основе отношения их правдоподобий . Если ограничение (т. е. нулевая гипотеза ) подтверждается наблюдаемыми данными , две вероятности не должны отличаться более чем на ошибку выборки . ^[1] Таким образом, тест отношения правдоподобия проверяет, значительно ли это отношение отличается от единицы или, что то же самое, значительно ли его натуральный логарифм отличается от нуля.

Тест отношения правдоподобия, также известный как тест Уилкса , ^[2] является старейшим из трех классических подходов к проверке гипотез, наряду с тестом множителя Лагранжа и тестом Вальда . ^[3] Фактически, последние два могут быть концептуализированы как приближения к тесту отношения правдоподобия и асимптотически эквивалентны. ^{[4] [5] [6]} В случае сравнения двух моделей, каждая из которых не имеет неизвестных параметров , использование теста отношения правдоподобия может быть оправдано леммой Неймана–Пирсона . Лемма показывает, что тест имеет наибольшую мощность среди всех конкурентов. ^[7]

Определение

Общий

Предположим, что у нас есть статистическая модель с пространством параметров . Нулевая гипотеза часто формулируется, говоря, что параметр принадлежит определенному подмножеству . Альтернативная гипотеза, таким образом, состоит в том, что лежит в дополнении к , т.е. в , который обозначается . Статистика теста отношения правдоподобия для нулевой гипотезы определяется следующим образом: ^[8] ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \Theta ~\backslash ~\Theta _{0}}$ ${\displaystyle \Theta _{0}^{\text{c}}}$ ${\displaystyle H_{0}\,:\,\theta \in \Theta _{0}}$

${\displaystyle \lambda _{\text{LR}}=-2\ln \left[{\frac {~\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta )~}{~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~}}\right]}$

где величина внутри скобок называется отношением правдоподобия. Здесь обозначение относится к супремуму . Поскольку все вероятности положительны и ограниченный максимум не может превышать неограниченный максимум, отношение правдоподобия ограничено между нулем и единицей. ${\displaystyle \sup }$

Часто статистика теста отношения правдоподобия выражается как разница между логарифмическими правдоподобиями.

${\displaystyle \lambda _{\text{LR}}=-2\left[~\ell (\theta _{0})-\ell ({\hat {\theta }})~\right]}$

где

${\displaystyle \ell ({\hat {\theta }})\equiv \ln \left[~\sup _{\theta \in \Theta }{\mathcal {L}}(\theta )~\right]~}$

— логарифм максимизированной функции правдоподобия и максимальное значение в особом случае, когда нулевая гипотеза верна (но не обязательно значение, которое максимизирует выбранные данные) и ${\displaystyle {\mathcal {L}}}$ ${\displaystyle \ell (\theta _{0})}$ ${\displaystyle {\mathcal {L}}}$

${\displaystyle \theta _{0}\in \Theta _{0}\qquad {\text{ and }}\qquad {\hat {\theta }}\in \Theta ~}$

обозначают соответствующие аргументы максимумов и разрешенные диапазоны, в которые они включены. Умножение на -2 математически гарантирует, что (по теореме Уилкса ) асимптотически сходится к χ² -распределению , если нулевая гипотеза оказывается верной. ^[9] Распределения статистики отношения правдоподобия на конечной выборке обычно неизвестны. ^[10] ${\displaystyle \lambda _{\text{LR}}}$

Тест отношения правдоподобия требует, чтобы модели были вложенными , т.е. более сложную модель можно преобразовать в более простую путем наложения ограничений на ее параметры. Многие общие тестовые статистические данные являются тестами для вложенных моделей и могут быть сформулированы как логарифмические отношения правдоподобия или их аппроксимации: например, Z -тест , F -тест , G -тест и критерий хи-квадрат Пирсона ; иллюстрацию с одновыборочным t -тестом см. ниже.

Если модели не вложенные, то вместо теста отношения правдоподобия используется обобщенный тест, который обычно можно использовать: подробнее см. относительное правдоподобие .

Случай простых гипотез

Проверка гипотезы «простая против простой» полностью определяет модели как для нулевой, так и для альтернативной гипотезы, которые для удобства записаны в терминах фиксированных значений условного параметра : ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

В этом случае при любой гипотезе распределение данных полностью задано: неизвестных параметров для оценки нет. Для этого случая доступен вариант теста отношения правдоподобия: ^{[11] [12]}

${\displaystyle \Lambda (x)={\frac {~{\mathcal {L}}(\theta _{0}\mid x)~}{~{\mathcal {L}}(\theta _{1}\mid x)~}}.}$

В некоторых старых ссылках в качестве определения может использоваться величина, обратная приведенной выше функции. ^[13] Таким образом, отношение правдоподобия невелико, если альтернативная модель лучше нулевой модели.

Тест отношения правдоподобия дает следующее правило принятия решения:

Если , не отвергайте ; ${\displaystyle ~\Lambda >c~}$ ${\displaystyle H_{0}}$

Если – отклонить ; ${\displaystyle ~\Lambda <c~}$ ${\displaystyle H_{0}}$

Если , отклонить с вероятностью . ${\displaystyle ~\Lambda =c~}$ ${\displaystyle H_{0}}$ ${\displaystyle ~q~}$

Значения и обычно выбираются для получения заданного уровня значимости посредством соотношения ${\displaystyle c}$ ${\displaystyle q}$ ${\displaystyle \alpha }$

${\displaystyle ~q~}$ ${\displaystyle \operatorname {P} (\Lambda =c\mid H_{0})~+~\operatorname {P} (\Lambda <c\mid H_{0})~=~\alpha ~.}$

Лемма Неймана -Пирсона утверждает, что этот тест отношения правдоподобия является самым мощным среди всех тестов уровня для этого случая. ^{[7] [12]} ${\displaystyle \alpha }$

Интерпретация

Отношение правдоподобия является функцией данных ; следовательно, это статистика , хотя и необычна тем, что значение статистики зависит от параметра . Тест отношения правдоподобия отклоняет нулевую гипотезу, если значение этой статистики слишком мало. Насколько мало или слишком мало зависит от уровня значимости теста, т. е. от того, какая вероятность ошибки типа I считается допустимой (ошибки типа I заключаются в отклонении нулевой гипотезы, которая является верной). ${\displaystyle x}$ ${\displaystyle \theta }$

Числитель соответствует вероятности наблюдаемого результата при нулевой гипотезе . Знаменатель соответствует максимальной вероятности наблюдаемого результата при изменении параметров во всем пространстве параметров . Числитель этого отношения меньше знаменателя; таким образом, отношение правдоподобия находится в диапазоне от 0 до 1. Низкие значения отношения правдоподобия означают, что наблюдаемый результат с гораздо меньшей вероятностью возникнет при нулевой гипотезе по сравнению с альтернативой. Высокие значения статистики означают, что наблюдаемый результат почти с такой же вероятностью возникнет при нулевой гипотезе, как и при альтернативной, и поэтому нулевую гипотезу нельзя отвергнуть.

Пример

Следующий пример адаптирован и сокращен из работы Стюарта, Орда и Арнольда (1999, §22.2).

Предположим, что у нас есть случайная выборка размером n из популяции, которая имеет нормальное распределение. Как среднее значение µ , так и стандартное отклонение σ популяции неизвестны. Мы хотим проверить, равно ли среднее значение заданному значению µ ₀ .

Таким образом, наша нулевая гипотеза равна H ₀ :  µ = µ ₀  , а альтернативная гипотеза – H ₁ :  µ ≠ µ ₀  . Функция правдоподобия

${\displaystyle {\mathcal {L}}(\mu ,\sigma \mid x)=\left(2\pi \sigma ^{2}\right)^{-n/2}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)\,.}$

После некоторых вычислений (здесь они опущены) можно показать, что

${\displaystyle \lambda =\left(1+{\frac {t^{2}}{n-1}}\right)^{-n/2}}$

где t — t -статистика с n  − 1 степенями свободы. Следовательно, мы можем использовать известное точное распределение t _{n −1} , чтобы сделать выводы.

Асимптотическое распределение: теорема Уилкса

Если распределение отношения правдоподобия, соответствующего конкретной нулевой и альтернативной гипотезе, может быть явно определено, то его можно напрямую использовать для формирования областей принятия решения (для подтверждения или отклонения нулевой гипотезы). Однако в большинстве случаев точное распределение отношения правдоподобия, соответствующего конкретным гипотезам, определить очень сложно. ^{[ нужна цитата ]}

Если предположить , что H ₀ истинно, Сэмюэл С. Уилкс получил фундаментальный результат : по мере приближения размера выборки и если нулевая гипотеза лежит строго внутри пространства параметров, тестовая статистика, определенная выше, будет асимптотически распределена по хи-квадрату. ( ) со степенями свободы , равными разнице размерностей и . ^[14] Это означает, что для самых разных гипотез мы можем рассчитать отношение правдоподобия для данных, а затем сравнить наблюдаемое со значением, соответствующим желаемой статистической значимости, в качестве приблизительного статистического теста. Существуют и другие расширения. ^{[ который? ]} ${\displaystyle n}$ ${\displaystyle \infty }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle \Theta }$ ${\displaystyle \Theta _{0}}$ ${\displaystyle \lambda }$ ${\displaystyle \lambda _{\text{LR}}}$ ${\displaystyle \chi ^{2}}$

Смотрите также

• Информационный критерий Акаике
• Байесовский фактор
• тест Йохансена
• Выбор модели
• Тест на близость Вуонга
• Тест Sup-LR
• Показатели ошибок при проверке гипотез

Рекомендации

1. Кинг, Гэри (1989). Унификация политической методологии: теория правдоподобия статистического вывода. Нью-Йорк: Издательство Кембриджского университета. п. 84. ИСБН 0-521-36697-6.
2. Ли, Бинг; Бабу, Г. Джогеш (2019). Аспирантура по статистическим выводам . Спрингер. п. 331. ИСБН 978-1-4939-9759-6.
3. Маддала, GS ; Лахири, Каджал (2010). Введение в эконометрику (Четвертое изд.). Нью-Йорк: Уайли. п. 200.
4. Бусе, А. (1982). «Отношение правдоподобия, тесты Вальда и множителей Лагранжа: пояснительная записка». Американский статистик . 36 (3а): 153–157. дои : 10.1080/00031305.1982.10482817.
5. Пиклз, Эндрю (1985). Введение в анализ правдоподобия. Норидж: WH Hutchins & Sons. стр. 24–27. ISBN 0-86094-190-6.
6. Северини, Томас А. (2000). Вероятностные методы в статистике . Нью-Йорк: Издательство Оксфордского университета. стр. 120–121. ISBN 0-19-850650-3.
7. Нейман, Дж .; Пирсон, ES (1933), «О проблеме наиболее эффективных проверок статистических гипотез» (PDF) , Philosophical Transactions of the Royal Society of London A , 231 (694–706): 289–337, Бибкод : 1933RSPTA.231 ..289N, doi : 10.1098/rsta.1933.0009 , JSTOR  91247
8. Кох, Карл-Рудольф (1988). Оценка параметров и проверка гипотез в линейных моделях . Нью-Йорк: Спрингер. п. 306. ИСБН 0-387-18840-1.
9. Сильви, SD (1970). Статистические выводы . Лондон: Чепмен и Холл. стр. 112–114. ISBN 0-412-13820-4.
10. Миттельхаммер, Рон С .; Судья Джордж Г .; Миллер, Дуглас Дж. (2000). Эконометрические основы . Нью-Йорк: Издательство Кембриджского университета. п. 66. ИСБН 0-521-62394-4.
11. Настроение, AM; Грейбилл, ФА; Боес, округ Колумбия (1974). Введение в теорию статистики (3-е изд.). МакГроу-Хилл . §9.2.
12. Стюарт, А.; Орд, К.; Арнольд, С. (1999), Продвинутая теория статистики Кендалла , том. 2А, Арнольд , §§20.10–20.13
13. Кокс, Д.Р .; Хинкли, Д.В. (1974), Теоретическая статистика , Chapman & Hall , p. 92, ISBN 0-412-12420-3
14. Уилкс, СС (1938). «Распределение отношения правдоподобия по большой выборке для проверки сложных гипотез». Анналы математической статистики . 9 (1): 60–62. дои : 10.1214/aoms/1177732360 .

дальнейшее чтение

• Гловер, Скотт; Диксон, Питер (2004), «Отношения правдоподобия: простая и гибкая статистика для психологов-эмпириков», Psychonomic Bulletin & Review , 11 (5): 791–806, doi : 10.3758/BF03196706 , PMID  15732688
• Держись, Леонард; Сабанес Бове, Даниэль (2014), Прикладной статистический вывод — вероятность и Байес , Springer
• Калбфляйш, Дж. Г. (1985), Вероятность и статистический вывод , том. 2, Шпрингер-Верлаг
• Перлман, Майкл Д.; Ву, Ланг (1999), «Новые испытания императора», Statistical Science , 14 (4): 355–381, doi : 10.1214/ss/1009212517
• Пернегер, Томас В. (2001), «Просеивание доказательств: отношения правдоподобия являются альтернативой значениям P», The BMJ , 322 (7295): 1184–5, doi : 10.1136/bmj.322.7295.1184, PMC  1120301 , PMID  11379590
• Пиньейру, Хосе К.; Бейтс, Дуглас М. (2000), Модели смешанных эффектов в S и S-PLUS , Springer-Verlag , стр. 82–93
• Соломон, Дэниел Л. (1975), «Заметка о неэквивалентности критериев Неймана-Пирсона и обобщенного отношения правдоподобия для проверки простой нулевой гипотезы по сравнению с простой альтернативной гипотезой» (PDF) , The American Statistician , 29 (2) : 101–102, doi : 10.1080/00031305.1975.10477383, hdl : 1813/32605

Внешние ссылки

• Описано практическое применение теста отношения правдоподобия.
• Пакет R: последовательный тест отношения вероятностей Уолда
• Онлайн-клинический калькулятор прогнозных значений и коэффициентов правдоподобия Ричарда Лоури