тест Вальда

Статистический тест

В статистике тест Вальда ( названный в честь Абрахама Вальда ) оценивает ограничения статистических параметров на основе взвешенного расстояния между неограниченной оценкой и ее предполагаемым значением при нулевой гипотезе , где вес — это точность оценки. ^{[1] [2]} Интуитивно понятно, что чем больше это взвешенное расстояние, тем менее вероятно, что ограничение истинно. Хотя конечные выборочные распределения критериев Вальда обычно неизвестны, ^[3] они имеют асимптотическое χ ² -распределение при нулевой гипотезе, и этот факт можно использовать для определения статистической значимости . ^[4]

Вместе с тестом множителя Лагранжа и тестом отношения правдоподобия тест Вальда является одним из трех классических подходов к проверке гипотез . Преимущество теста Вальда перед двумя другими заключается в том, что он требует только оценки неограниченной модели, что снижает вычислительную нагрузку по сравнению с тестом отношения правдоподобия. Однако основным недостатком является то, что (в конечных выборках) он не инвариантен к изменениям представления нулевой гипотезы; другими словами, алгебраически эквивалентные выражения ограничения нелинейных параметров могут приводить к различным значениям тестовой статистики. ^{[5] [6]} Это связано с тем, что статистика Вальда получена из разложения Тейлора , ^[7] и различные способы записи эквивалентных нелинейных выражений приводят к нетривиальным различиям в соответствующих коэффициентах Тейлора. ^[8] Другая аберрация, известная как эффект Хаука-Доннера, ^[9] может возникнуть в биномиальных моделях , когда оцениваемый (без ограничений) параметр близок к границе пространства параметров - например, подобранная вероятность чрезвычайно близка к нулю или one, что приводит к тому, что критерий Вальда больше не монотонно увеличивается на расстоянии между неограниченным и ограниченным параметром. ^{[10] [11]}

Математические детали

В рамках теста Вальда оценка, полученная в качестве максимизирующего аргумента неограниченной функции правдоподобия, сравнивается с гипотетическим значением . В частности, квадрат разности взвешивается кривизной логарифмической функции правдоподобия. ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta _{0}}$ ${\displaystyle {\hat {\theta }}-\theta _{0}}$

Тестирование по одному параметру

Если гипотеза включает ограничение только с одним параметром, то статистика Вальда принимает следующий вид:

${\displaystyle W={\frac {{({\widehat {\theta }}-\theta _{0})}^{2}}{\operatorname {var} ({\hat {\theta }})}}}$

которое при нулевой гипотезе следует асимптотическому χ ² -распределению с одной степенью свободы. Квадратный корень из статистики Вальда с одним ограничением можно понимать как (псевдо) t -отношение , которое, однако, на самом деле не является t -распределенным, за исключением особого случая линейной регрессии с нормально распределенными ошибками. ^[12] В общем, это следует асимптотическому распределению z . ^[13]

${\displaystyle {\sqrt {W}}={\frac {{\widehat {\theta }}-\theta _{0}}{\operatorname {se} ({\hat {\theta }})}}}$

где – стандартная ошибка оценки максимального правдоподобия (MLE), квадратный корень дисперсии. Существует несколько способов последовательной оценки матрицы дисперсии , которая в конечных выборках приводит к альтернативным оценкам стандартных ошибок и соответствующей тестовой статистики и p -значений . ^[14] ${\displaystyle \operatorname {se} ({\widehat {\theta }})}$

Тест(ы) по нескольким параметрам

Тест Вальда можно использовать для проверки одной гипотезы по нескольким параметрам, а также для совместной проверки нескольких гипотез по одному/множеству параметров. Позвольте быть нашей выборочной оценкой параметров P (т. е. вектором), который должен асимптотически следовать нормальному распределению с ковариационной матрицей V , . Проверка Q -гипотез по параметрам P выражается матрицей  R : ${\displaystyle {\hat {\theta }}_{n}}$ ${\displaystyle {\hat {\theta }}_{n}}$ ${\displaystyle P\times 1}$  ${\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta )\,\xrightarrow {\mathcal {D}} \,N(0,V)}$ ${\displaystyle Q\times P}$

${\displaystyle H_{0}:R\theta =r}$

${\displaystyle H_{1}:R\theta \neq r}$

Распределение тестовой статистики при нулевой гипотезе равно

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R({\hat {V}}_{n}/n)R']^{-1}(R{\hat {\theta }}_{n}-r)/Q\quad \xrightarrow {\mathcal {D}} \quad F(Q,n-P)\quad {\xrightarrow[{n\rightarrow \infty }]{\mathcal {D}}}\quad \chi _{Q}^{2}/Q,}$

что, в свою очередь, подразумевает

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R({\hat {V}}_{n}/n)R']^{-1}(R{\hat {\theta }}_{n}-r)\quad {\xrightarrow[{n\rightarrow \infty }]{\mathcal {D}}}\quad \chi _{Q}^{2},}$

где – оценка ковариационной матрицы. ^[15] ${\displaystyle {\hat {V}}_{n}}$

Доказательство

Предполагать . Тогда по теореме Слуцкого и свойствам нормального распределения умножение на R имеет распределение: ${\displaystyle {\sqrt {n}}({\hat {\theta }}_{n}-\theta )\,\xrightarrow {\mathcal {D}} \,N(0,V)}$

${\displaystyle R{\sqrt {n}}({\hat {\theta }}_{n}-\theta )={\sqrt {n}}(R{\hat {\theta }}_{n}-r)\,\xrightarrow {\mathcal {D}} \,N(0,RVR')}$

Вспоминая, что квадратичная форма нормального распределения имеет распределение хи-квадрат :

${\displaystyle {\sqrt {n}}(R{\hat {\theta }}_{n}-r)'[RVR']^{-1}{\sqrt {n}}(R{\hat {\theta }}_{n}-r)\,\xrightarrow {\mathcal {D}} \,\chi _{Q}^{2}}$

Перестановка n наконец дает:

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R(V/n)R']^{-1}(R{\hat {\theta }}_{n}-r)\quad \xrightarrow {\mathcal {D}} \quad \chi _{Q}^{2}}$

Что делать, если ковариационная матрица заранее неизвестна и ее необходимо оценить на основе данных? Если у нас есть непротиворечивая оценка такого показателя , который имеет распределенный определитель , то в силу независимости оценки ковариации и приведенного выше уравнения мы имеем: ${\displaystyle {\hat {V}}_{n}}$ ${\displaystyle V}$ ${\displaystyle V^{-1}{\hat {V}}_{n}}$ ${\displaystyle \chi _{n-P}^{2}}$

${\displaystyle (R{\hat {\theta }}_{n}-r)'[R({\hat {V}}_{n}/n)R']^{-1}(R{\hat {\theta }}_{n}-r)/Q\quad \xrightarrow {\mathcal {D}} \quad F(Q,n-P)}$

Нелинейная гипотеза

В стандартной форме тест Вальда используется для проверки линейных гипотез, которые могут быть представлены одной матрицей  R. Если кто-то желает проверить нелинейную гипотезу вида:

${\displaystyle H_{0}:c(\theta )=0}$

${\displaystyle H_{1}:c(\theta )\neq 0}$

Статистика теста становится:

${\displaystyle c\left({\hat {\theta }}_{n}\right)'\left[c'\left({\hat {\theta }}_{n}\right)\left({\hat {V}}_{n}/n\right)c'\left({\hat {\theta }}_{n}\right)'\right]^{-1}c\left({\hat {\theta }}_{n}\right)\quad {\xrightarrow {\mathcal {D}}}\quad \chi _{Q}^{2}}$

где — производная c, оцененная в средстве выборочной оценки. Этот результат получен с помощью дельта-метода , который использует аппроксимацию дисперсии первого порядка. ${\displaystyle c'({\hat {\theta }}_{n})}$

Неинвариантность к повторным параметризациям

Тот факт, что используется аппроксимация дисперсии, имеет тот недостаток, что статистика Вальда не инвариантна к нелинейному преобразованию/перепараметризации гипотезы: она может давать разные ответы на один и тот же вопрос, в зависимости от того, как сформулирован вопрос. . ^{[16] [5]} Например, вопрос о том, R  = 1, аналогичен вопросу о том, log  R  = 0; но статистика Вальда для R  = 1 не совпадает со статистикой Вальда для log  R  = 0 (поскольку, как правило, нет четкой зависимости между стандартными ошибками R и log  R , поэтому ее необходимо аппроксимировать). ^[17]

Альтернативы тесту Вальда

Существует несколько альтернатив критерию Вальда, а именно тест отношения правдоподобия и тест множителя Лагранжа (также известный как критерий оценки). Роберт Ф. Энгл показал, что эти три теста: тест Вальда, тест отношения правдоподобия и тест множителя Лагранжа асимптотически эквивалентны . ^[18] Хотя они асимптотически эквивалентны, в конечных выборках они могут расходиться настолько, что приводят к разным выводам.

Есть несколько причин предпочесть тест отношения правдоподобия или множитель Лагранжа критерию Вальда: ^{[19] [20] [21]}

• Неинвариантность: Как утверждалось выше, тест Вальда не инвариантен при перепараметризации, в то время как тесты отношения правдоподобия дадут точно такой же ответ, независимо от того, работаем ли мы с R , log  R или любым другим монотонным преобразованием  R . ^[5]
• Другая причина заключается в том, что тест Вальда использует две аппроксимации (мы знаем стандартную ошибку или информацию Фишера и оценку максимального правдоподобия), тогда как тест отношения правдоподобия зависит только от соотношения функций правдоподобия при нулевой гипотезе и альтернативной гипотезе.
• Тест Вальда требует оценки с использованием максимизирующего аргумента, что соответствует «полной» модели. В некоторых случаях модель проще при нулевой гипотезе, поэтому можно предпочесть использовать критерий оценки (также называемый тестом множителя Лагранжа), который имеет то преимущество, что его можно сформулировать в ситуациях, когда изменчивость максимизирующего элемента велика. трудно оценить или вычислить оценку в соответствии с оценщиком максимального правдоподобия сложно; например, тест Кокрана-Мантела-Хэнзеля является оценочным тестом. ^[22]

Смотрите также

• Чау-тест
• Последовательный тест отношения вероятностей
• Тест Суп-Вальда
• t -тест Стьюдента
• t -критерий Уэлча

Рекомендации

1. Фармейр, Людвиг; Кнейб, Томас; Ланг, Стефан; Маркс, Брайан (2013). Регрессия: модели, методы и приложения. Берлин: Шпрингер. п. 663. ИСБН 978-3-642-34332-2.
2. Уорд, Майкл Д .; Алквист, Джон С. (2018). Максимальное правдоподобие для социальных наук: стратегии анализа. Издательство Кембриджского университета . п. 36. ISBN 978-1-316-63682-4.
3. Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с использованием временных рядов: спецификация, оценка и тестирование. Издательство Кембриджского университета. п. 138. ИСБН 978-0-521-13981-6.
4. Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике . Нью-Йорк: Издательство Оксфордского университета. п. 89. ИСБН 0-19-506011-3.
5. Грегори, Аллан В.; Велл, Майкл Р. (1985). «Формулировка тестов Вальда нелинейных ограничений». Эконометрика . 53 (6): 1465–1468. дои : 10.2307/1913221. JSTOR  1913221.
6. Филлипс, печатная плата ; Пак, Джун Ю. (1988). «О формулировке критериев нелинейных ограничений Вальда» (PDF) . Эконометрика . 56 (5): 1065–1083. дои : 10.2307/1911359. JSTOR  1911359.
7. Хаяси, Фумио (2000). Эконометрика. Принстон: Издательство Принстонского университета. стр. 489–491. ISBN 1-4008-2383-8.,
8. Лафонтен, Франсин; Уайт, Кеннет Дж. (1986). «Получение любой статистики Уолда, которую вы хотите». Письма по экономике . 21 (1): 35–40. дои : 10.1016/0165-1765(86)90117-5.
9. Хаук, Уолтер В. младший; Доннер, Аллан (1977). «Тест Вальда применительно к гипотезам в логит-анализе». Журнал Американской статистической ассоциации . 72 (360а): 851–853. дои : 10.1080/01621459.1977.10479969.
10. Кинг, Максвелл Л.; Го, Ким-Ленг (2002). «Усовершенствования теста Вальда». Справочник по прикладной эконометрике и статистическим выводам . Нью-Йорк: Марсель Деккер. стр. 251–276. ISBN 0-8247-0652-8.
11. Да, Томас Уильям (2022). «Об эффекте Хаука-Доннера в тестах Вальда: обнаружение, переломные моменты и характеристика пространства параметров». Журнал Американской статистической ассоциации . 117 (540): 1763–1774. arXiv : 2001.08431 . дои : 10.1080/01621459.2021.1886936.
12. Кэмерон, А. Колин ; Триведи, Правин К. (2005). Микроэконометрика: Методы и приложения. Нью-Йорк: Издательство Кембриджского университета. п. 137. ИСБН 0-521-84805-9.
13. Дэвидсон, Рассел; Маккиннон, Джеймс Г. (1993). «Метод максимального правдоподобия: основные понятия и обозначения». Оценка и вывод в эконометрике . Нью-Йорк: Издательство Оксфордского университета. п. 89. ИСБН 0-19-506011-3.
14. Мартин, Вэнс; Херн, Стэн; Харрис, Дэвид (2013). Эконометрическое моделирование с временными рядами: спецификация, оценка и тестирование. Нью-Йорк: Издательство Кембриджского университета. п. 129. ИСБН 978-0-521-13981-6.
15. Харрелл, Фрэнк Э. младший (2001). «Раздел 9.3.1». Стратегии регрессионного моделирования . Нью-Йорк: Springer-Verlag. ISBN 0387952322.
16. Страхи, Томас Р.; Бенишу, Жак; Гейл, Митчелл Х. (1996). «Напоминание об ошибочности статистики Вальда». Американский статистик . 50 (3): 226–227. дои : 10.1080/00031305.1996.10474384.
17. Кричли, Фрэнк; Марриотт, Пол; Лосось, Марк (1996). «О дифференциальной геометрии теста Вальда с нелинейными ограничениями». Эконометрика . 64 (5): 1213–1222. дои : 10.2307/2171963. hdl : 1814/524 . JSTOR  2171963.
18. Энгл, Роберт Ф. (1983). «Вальд, отношение правдоподобия и тесты множителей Лагранжа в эконометрике». В Интрилигаторе, доктор медицины; Грилихес, З. (ред.). Справочник по эконометрике . Том. II. Эльзевир. стр. 796–801. ISBN 978-0-444-86185-6.
19. Харрелл, Фрэнк Э. младший (2001). «Раздел 9.3.3». Стратегии регрессионного моделирования . Нью-Йорк: Springer-Verlag. ISBN 0387952322.
20. Коллетт, Дэвид (1994). Моделирование данных о выживаемости в медицинских исследованиях . Лондон: Чепмен и Холл. ISBN 0412448807.
21. Павитан, Юди (2001). По всей вероятности . Нью-Йорк: Издательство Оксфордского университета. ISBN 0198507658.
22. Агрести, Алан (2002). Категориальный анализ данных (2-е изд.). Уайли. п. 232. ИСБН 0471360937.

дальнейшее чтение

• Грин, Уильям Х. (2012). Эконометрический анализ (Седьмое международное изд.). Бостон: Пирсон. стр. 155–161. ISBN 978-0-273-75356-8.
• Кмента, Ян (1986). Элементы эконометрики (второе изд.). Нью-Йорк: Макмиллан. стр. 492–493. ISBN 0-02-365070-2.
• Томас, Р.Л. (1993). Вводная эконометрика: теория и применение (второе изд.). Лондон: Лонгман. стр. 73–77. ISBN 0-582-07378-2.

Внешние ссылки

• Тест Вальда на самые ранние известные варианты употребления некоторых математических слов.