Оценка минимального расстояния

Метод подгонки статистической модели к данным

Оценка минимального расстояния ( MDE ) — это концептуальный метод подбора статистической модели к данным, обычно эмпирическому распределению . Часто используемые методы оценки, такие как обычные методы наименьших квадратов, можно рассматривать как особые случаи оценки минимального расстояния.

Хотя оценки минимального расстояния непротиворечивы и асимптотически нормальны , они, как правило, не являются статистически эффективными по сравнению с оценками максимального правдоподобия , поскольку они пропускают якобиан, обычно присутствующий в функции правдоподобия . Однако это существенно снижает вычислительную сложность задачи оптимизации.

Определение

Позвольте быть независимой и одинаково распределенной (iid) случайной выборкой из совокупности с распределением и . ${\displaystyle \displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle F(x;\theta )\colon \theta \in \Theta }$ ${\displaystyle \Theta \subseteq \mathbb {R} ^{k}(k\geq 1)}$

Пусть – эмпирическая функция распределения по выборке. ${\displaystyle \displaystyle F_{n}(x)}$

Пусть будет оценщиком для . Тогда – оценка для . ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \displaystyle \theta }$ ${\displaystyle F(x;{\hat {\theta }})}$ ${\displaystyle \displaystyle F(x;\theta )}$

Пусть — функционал , возвращающий некоторую меру «расстояния» между двумя аргументами . Функционал также называют целевой функцией. ${\displaystyle d[\cdot ,\cdot ]}$ ${\displaystyle \displaystyle d}$

Если существует такое, что , то называется оценкой минимального расстояния . ${\displaystyle {\hat {\theta }}\in \Theta }$ ${\displaystyle d[F(x;{\hat {\theta }}),F_{n}(x)]=\inf\{d[F(x;\theta ),F_{n}(x)];\theta \in \Theta \}}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \displaystyle \theta }$

(Дроссос и Филиппу, 1980, стр. 121)

Статистика, используемая при оценке

В большинстве теоретических исследований оценки минимального расстояния и в большинстве приложений используются меры «расстояния», которые лежат в основе уже установленных тестов согласия : статистика теста, используемая в одном из этих тестов, используется в качестве меры расстояния, которую необходимо минимизировать. Ниже приведены некоторые примеры статистических тестов, которые использовались для оценки минимального расстояния.

Критерий хи-квадрат

Критерий хи-квадрат использует в качестве критерия сумму по заранее определенным группам квадратичной разницы между приростами эмпирического распределения и расчетным распределением, взвешенную по увеличению оценки для этой группы.

Критерий Крамера – фон Мизеса

Критерий Крамера -фон Мизеса использует интеграл квадрата разности между эмпирической и расчетной функциями распределения (Parr & Schucany 1980, стр. 616).

Критерий Колмогорова–Смирнова

Критерий Колмогорова-Смирнова использует верхнюю границу абсолютной разницы между эмпирической и расчетной функциями распределения (Parr & Schucany 1980, стр. 616).

Критерий Андерсона-Дарлинга

Критерий Андерсона -Дарлинга аналогичен критерию Крамера-фон Мизеса, за исключением того, что интеграл представляет собой взвешенную версию квадрата разности, где взвешивание связывает дисперсию эмпирической функции распределения (Parr & Schucany 1980, стр. 616).

Теоретические результаты

Теория оценки минимального расстояния связана с теорией асимптотического распределения соответствующих статистических критериев согласия . Часто случаи критерия Крамера–фон Мизеса , критерия Колмогорова–Смирнова и критерия Андерсона–Дарлинга рассматриваются одновременно, рассматривая их как частные случаи более общей формулировки меры расстояния. Примерами имеющихся теоретических результатов являются: согласованность оценок параметров; асимптотические ковариационные матрицы оценок параметров.

Смотрите также

• Оценка максимального правдоподобия
• Оценка максимального расстояния

Рекомендации

• Боос, Деннис Д. (1982). «Минимальная оценка Андерсона-Дарлинга». Коммуникации в статистике – теория и методы . 11 (24): 2747–2774. дои : 10.1080/03610928208828420. S2CID  119812213.
• Блит, Колин Р. (июнь 1970 г.). «О моделях вывода и принятия решений в статистике». Анналы математической статистики . 41 (3): 1034–1058. дои : 10.1214/aoms/1177696980 .
• Дроссос, Константин А.; Филиппу, Андреас Н. (декабрь 1980 г.). «Примечание об оценках минимального расстояния». Летопись Института статистической математики . 32 (1): 121–123. дои : 10.1007/BF02480318. S2CID  120207485.
• Парр, Уильям К.; Шукани, Уильям Р. (1980). «Минимальное расстояние и робастная оценка». Журнал Американской статистической ассоциации . 75 (371): 616–624. CiteSeerX  10.1.1.878.5446 . дои : 10.1080/01621459.1980.10477522. JSTOR  2287658.
• Вулфовиц, Дж. (март 1957 г.). «Метод минимального расстояния». Анналы математической статистики . 28 (1): 75–88. дои : 10.1214/aoms/1177707038 .