Локальная асимптотическая нормальность

В статистике локальная асимптотическая нормальность — это свойство последовательности статистических моделей , которое позволяет асимптотически аппроксимировать эту последовательность моделью нормального местоположения после соответствующего изменения масштаба параметра. Важным примером соблюдения локальной асимптотической нормальности является случай выборки iid из регулярной параметрической модели .

Понятие локальной асимптотической нормальности было введено Ле Камом (1960) и является фундаментальным при рассмотрении эффективности оценок и тестов . ^[1]

Определение

Последовательность параметрических статистических моделей {  P _n,θ : θ ∈ Θ  } называется локально асимптотически нормальной (LAN) в точке θ , если существуют матрицы r _n и I _θ и случайный вектор Δ _n,θ ~ N (0, I _θ ) такой, что для любой сходящейся последовательности h _n → h , ^[2]

${\displaystyle \ln {\frac {dP_{\!n,\theta +r_{n}^{-1}h_{n}}}{dP_{n,\theta }}}=h'\Delta _{n,\theta }-{\frac {1}{2}}h'I_{\theta }\,h+o_{P_{n,\theta }}(1),}$

где производная здесь — это производная Радона–Никодима , которая представляет собой формализованную версию отношения правдоподобия , и где o — это тип большого O в записи вероятности . Другими словами, локальное отношение правдоподобия должно сходиться по распределению к нормальной случайной величине, среднее значение которой равно минус половине дисперсии:

${\displaystyle \ln {\frac {dP_{\!n,\theta +r_{n}^{-1}h_{n}}}{dP_{n,\theta }}}\ \ {\xrightarrow {d}}\ \ {\mathcal {N}}{\Big (}{-{\tfrac {1}{2}}}h'I_{\theta }\,h,\ h'I_{\theta }\,h{\Big )}.}$

Последовательности распределений и смежны . ^[2] ${\displaystyle P_{\!n,\theta +r_{n}^{-1}h_{n}}}$ ${\displaystyle P_{n,\theta }}$

Пример

Самый простой пример модели локальной сети — это модель iid, вероятность которой дважды непрерывно дифференцируема. Предположим , {  X ₁ , X ₂ , …, X _n  } является выборкой iid, где каждый X _i имеет функцию плотности f ( x , θ ) . Функция правдоподобия модели равна

${\displaystyle p_{n,\theta }(x_{1},\ldots ,x_{n};\,\theta )=\prod _{i=1}^{n}f(x_{i},\theta ).}$

Если f дважды непрерывно дифференцируема по θ , то

${\displaystyle {\begin{aligned}\ln p_{n,\theta +\delta \theta }&\approx \ln p_{n,\theta }+\delta \theta '{\frac {\partial \ln p_{n,\theta }}{\partial \theta }}+{\frac {1}{2}}\delta \theta '{\frac {\partial ^{2}\ln p_{n,\theta }}{\partial \theta \,\partial \theta '}}\delta \theta \\&=\ln p_{n,\theta }+\delta \theta '\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}+{\frac {1}{2}}\delta \theta '{\bigg [}\sum _{i=1}^{n}{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta '}}{\bigg ]}\delta \theta .\end{aligned}}}$

Подключаюсь , дает ${\displaystyle \delta \theta =h/{\sqrt {n}}}$

${\displaystyle \ln {\frac {p_{n,\theta +h/{\sqrt {n}}}}{p_{n,\theta }}}=h'{\Bigg (}{\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}{\frac {\partial \ln f(x_{i},\theta )}{\partial \theta }}{\Bigg )}\;-\;{\frac {1}{2}}h'{\Bigg (}{\frac {1}{n}}\sum _{i=1}^{n}-{\frac {\partial ^{2}\ln f(x_{i},\theta )}{\partial \theta \,\partial \theta '}}{\Bigg )}h\;+\;o_{p}(1).}$

По центральной предельной теореме первое слагаемое (в скобках) сходится по распределению к нормальной случайной величине Δ _θ ~ N (0, I _θ ) , тогда как по закону больших чисел выражение во вторых скобках сходится по вероятности к I _θ , которая представляет собой информационную матрицу Фишера :

${\displaystyle I_{\theta }=\mathrm {E} {\bigg [}{-{\frac {\partial ^{2}\ln f(X_{i},\theta )}{\partial \theta \,\partial \theta '}}}{\bigg ]}=\mathrm {E} {\bigg [}{\bigg (}{\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}{\bigg )}{\bigg (}{\frac {\partial \ln f(X_{i},\theta )}{\partial \theta }}{\bigg )}'\,{\bigg ]}.}$

Таким образом, определение локальной асимптотической нормальности выполнено, и мы подтвердили, что параметрическая модель с iid-наблюдениями и дважды непрерывно дифференцируемым правдоподобием обладает свойством LAN.

Смотрите также

• Асимптотическое распределение

Примечания

1. Ваарт, А.В. ван дер (13 октября 1998 г.). Асимптотическая статистика. Издательство Кембриджского университета. ISBN 978-0-511-80225-6.
2. дер Ваарт (1998, стр. 103–104)

Рекомендации

• Ибрагимов И.А.; Хасьминский, Р.З. (1981). Статистическое оценивание: асимптотическая теория . Спрингер-Верлаг. ISBN 0-387-90523-5.
• Ле Кам, Л. (1960). «Локально асимптотически нормальные семейства распределений». Публикации Калифорнийского университета по статистике . 3 : 37–98.
• ван дер Ваарт, AW (1998). Асимптотическая статистика . Издательство Кембриджского университета. ISBN 978-0-521-78450-4.