Метод моментов (статистика)

Parameter estimation technique in statistics

В статистике метод моментов является методом оценки параметров популяции . Тот же принцип используется для получения более высоких моментов, таких как асимметрия и эксцесс.

Он начинается с выражения моментов совокупности (т. е. ожидаемых значений степеней рассматриваемой случайной величины ) как функций интересующих параметров. Затем эти выражения приравниваются к моментам выборки. Количество таких уравнений равно количеству оцениваемых параметров. Затем эти уравнения решаются для интересующих параметров. Решения представляют собой оценки этих параметров.

Метод моментов был введен Пафнутием Чебышевым в 1887 году при доказательстве центральной предельной теоремы . Идея сопоставления эмпирических моментов распределения с моментами популяции восходит, по крайней мере, к Пирсону . ^[1]

Метод

Предположим, что задача состоит в том, чтобы оценить неизвестные параметры , характеризующие распределение случайной величины . ^[1] Предположим, что первые моменты истинного распределения («моменты населения») могут быть выражены как функции s : ${\displaystyle k}$ ${\displaystyle \theta _{1},\theta _{2},\dots ,\theta _{k}}$ ${\displaystyle f_{W}(w;\theta )}$ ${\displaystyle W}$ ${\displaystyle k}$ ${\displaystyle \theta }$

${\displaystyle {\begin{aligned}\mu _{1}&\equiv \operatorname {E} [W]=g_{1}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\[4pt]\mu _{2}&\equiv \operatorname {E} [W^{2}]=g_{2}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\&\,\,\,\vdots \\\mu _{k}&\equiv \operatorname {E} [W^{k}]=g_{k}(\theta _{1},\theta _{2},\ldots ,\theta _{k}).\end{aligned}}}$

Предположим , что получена выборка размером . Ибо пусть ${\displaystyle n}$ ${\displaystyle w_{1},\dots ,w_{n}}$ ${\displaystyle j=1,\dots ,k}$

${\displaystyle {\widehat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}}$

быть j -м моментом выборки, оценкой . Метод оценки моментов для обозначается как решение (если оно существует) уравнений: ^[2] ${\displaystyle \mu _{j}}$ ${\displaystyle \theta _{1},\theta _{2},\ldots ,\theta _{k}}$ ${\displaystyle {\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\dots ,{\widehat {\theta }}_{k}}$

${\displaystyle {\begin{aligned}{\widehat {\mu }}_{1}&=g_{1}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}),\\[4pt]{\widehat {\mu }}_{2}&=g_{2}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}),\\&\,\,\,\vdots \\{\widehat {\mu }}_{k}&=g_{k}({\widehat {\theta }}_{1},{\widehat {\theta }}_{2},\ldots ,{\widehat {\theta }}_{k}).\end{aligned}}}$

Описанный здесь метод для одиночных случайных величин очевидным образом обобщается на несколько случайных величин, что приводит к множеству вариантов выбора моментов, которые будут использоваться. Разные варианты обычно приводят к разным решениям [5], [6].

Преимущества и недостатки

Метод моментов довольно прост и дает непротиворечивые оценки (при очень слабых предположениях), хотя эти оценки часто бывают смещенными .

Это альтернатива методу максимального правдоподобия .

Однако в некоторых случаях уравнения правдоподобия могут оказаться неразрешимыми без компьютеров, тогда как оценки методом моментов можно вычислить гораздо быстрее и проще. Благодаря легкости вычислимости оценки метода моментов могут использоваться в качестве первого приближения к решениям уравнений правдоподобия, а затем могут быть найдены последовательные улучшенные приближения с помощью метода Ньютона-Рафсона . Таким образом, метод моментов может помочь в нахождении оценок максимального правдоподобия.

В некоторых случаях, что нечасто при больших выборках, но реже при небольших выборках, оценки, полученные методом моментов, находятся за пределами пространства параметров (как показано в примере ниже); тогда рассчитывать на них не имеет смысла. Эта проблема никогда не возникает в методе максимального правдоподобия ^[3] . Кроме того, оценки методом моментов не обязательно являются достаточной статистикой , т. е. иногда они не учитывают всю значимую информацию в выборке.

При оценке других структурных параметров (например, параметров функции полезности вместо параметров известного распределения вероятностей) соответствующие распределения вероятностей могут быть неизвестны, и оценки на основе моментов могут быть предпочтительнее оценки максимального правдоподобия.

Альтернативный метод моментов

Уравнения, которые необходимо решить с помощью метода моментов (MoM), в целом нелинейны, и не существует общеприменимых гарантий существования поддающихся ^{решению решений .} Но существует альтернативный подход к использованию моментов выборки для оценки параметров модели данных с точки зрения известной зависимости моментов модели от этих параметров, и этот альтернативный вариант требует решения только линейных уравнений или, в более общем смысле, тензорных уравнений. Эта альтернатива называется байесовским MoM (BL-MoM) и отличается от классического MoM тем, что использует оптимально взвешенные моменты выборки. Учитывая, что MoM обычно мотивируется отсутствием достаточных знаний о модели данных для определения функций правдоподобия и связанных с ними апостериорных вероятностей неизвестных или случайных параметров, странно, что существует тип MoM, который является байесовским . Но особый смысл байесовского подхода приводит к формулировке проблемы, в которой требуемое знание апостериорных вероятностей заменяется необходимым знанием только зависимости моментов модели от неизвестных параметров модели, что и является именно тем знанием, которое требуется традиционным MoM [1]. ],[2],[5]–[9]. BL-MoM также использует знания об априорных вероятностях оцениваемых параметров, если таковые имеются, но в остальном использует единые априорные данные. ^{[ нужна цитата ]}

О BL-MoM сообщалось только в литературе по прикладной статистике в связи с оценкой параметров и проверкой гипотез с использованием наблюдений за случайными процессами для задач теории информации и коммуникаций и, в частности, проектирования приемников связи при отсутствии знаний о функциях правдоподобия. или ассоциированные апостериорные вероятности [10] и ссылки там. Кроме того, повторная формулировка этого подхода к проектированию приемников для моделей стохастических процессов в качестве альтернативы классическому MoM для любого типа многомерных данных доступна в виде учебного пособия на веб-сайте университета [11, стр. 11.4]. Приложения в [10] и ссылки демонстрируют некоторые важные характеристики этой альтернативы классическому MoM, а подробный список относительных преимуществ и недостатков приведен в [11, стр. 11.4], но в литературе отсутствуют прямые сравнения в конкретных приложениях классический МоМ и BL-МоМ. ^{[ нужна цитата ]}

Примеры

Примером применения метода моментов является оценка полиномиальных распределений плотности вероятности. В этом случае аппроксимирующий полином порядка определяется на интервале . Тогда метод моментов дает систему уравнений, решение которой включает обращение матрицы Ганкеля . ^[2] ${\displaystyle N}$ ${\displaystyle [a,b]}$

Доказательство центральной предельной теоремы

Пусть будут независимыми случайными величинами со средним значением 0 и дисперсией 1, тогда пусть . Мы можем вычислить моменты как ${\displaystyle X_{1},X_{2},\cdots }$ ${\displaystyle S_{n}:={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}X_{i}}$ ${\displaystyle S_{n}}$

$${\displaystyle E[S_{n}^{0}]=1,E[S_{n}^{1}]=0,E[S_{n}^{2}]=1,E[S_{n}^{3}]=0,\cdots }$$

$${\displaystyle E[S_{n}^{2k+1}]=0;\quad E[S_{n}^{2k}]={\frac {{\binom {n}{k}}{\frac {(2k)!}{2^{k}}}}{n^{k}}}={\frac {n(n-1)\cdots (n-k+1)}{n^{k}}}(2k-1)!!}$$

${\displaystyle k}$ ${\displaystyle 2k}$ ${\displaystyle 1}$ ${\displaystyle n}$ ${\displaystyle n\to \infty }$

По существу это рассуждение было опубликовано Чебышевым в 1887 году. ^[3]

Равномерное распределение

Рассмотрим равномерное распределение на интервале , . Если тогда у нас есть ${\displaystyle [a,b]}$ ${\displaystyle U(a,b)}$ ${\displaystyle W\sim U(a,b)}$

${\displaystyle \mu _{1}=\operatorname {E} [W]={\frac {1}{2}}(a+b)}$

${\displaystyle \mu _{2}=\operatorname {E} [W^{2}]={\frac {1}{3}}(a^{2}+ab+b^{2})}$

Решение этих уравнений дает

${\displaystyle {\widehat {a}}=\mu _{1}-{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}}$

${\displaystyle {\widehat {b}}=\mu _{1}+{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}}$

Учитывая набор выборок, мы можем использовать моменты выборки и в этих формулах, чтобы оценить и . ${\displaystyle \{w_{i}\}}$ ${\displaystyle {\widehat {\mu }}_{1}}$ ${\displaystyle {\widehat {\mu }}_{2}}$ ${\displaystyle a}$ ${\displaystyle b}$

Однако обратите внимание, что в некоторых случаях этот метод может давать противоречивые результаты. Например, набор выборок дает оценку , хотя в этом случае невозможно получить набор из этого набора. ${\displaystyle \{0,0,0,0,1\}}$ ${\displaystyle {\widehat {a}}={\frac {1}{5}}-{\frac {2{\sqrt {3}}}{5}},{\widehat {b}}={\frac {1}{5}}+{\frac {2{\sqrt {3}}}{5}}}$ ${\displaystyle {\widehat {b}}<1}$ ${\displaystyle \{0,0,0,0,1\}}$ ${\displaystyle U({\widehat {a}},{\widehat {b}})}$

Смотрите также

• Обобщенный метод моментов
• Методы декодирования

Рекомендации

1. Кимико О. Боуман и Л.Р. Шентон, «Оценщик: метод моментов», стр. 2092–2098, Энциклопедия статистических наук , Wiley (1998).
2. Дж. Мункхаммар, Л. Мэттссон, Дж. Райден (2017) «Оценка полиномиального распределения вероятностей с использованием метода моментов». PLoS ONE 12(4): e0174573. https://doi.org/10.1371/journal.pone.0174573
3. Фишер, Ганс (2011). «4. Вклад Чебышева и Маркова». История центральной предельной теоремы: от классической к современной теории вероятностей. Нью-Йорк: Спрингер. ISBN 978-0-387-87857-7. ОСЛК  682910965.

[4] Пирсон, К. (1936), «Метод моментов и метод максимального правдоподобия», Биометрика 28 (1/2), 35–59.

[5] Линдси, Б.Г. и Басак П. (1993). «Многомерные нормальные смеси: быстрый последовательный метод моментов», Журнал Американской статистической ассоциации 88 , 468–476.

[6] Квандт, Р.Э. и Рэмси, Дж.Б. (1978). «Оценка смесей нормального распределения и регрессии переключения», Журнал Американской статистической ассоциации 73 , 730–752.

[7] https://real-statistics.com/distribution-fitting/method-of-moments/

[8] Хансен, Л. (1982). «Свойства обобщенного метода оценок моментов на больших выборках», Econometrica 50 , 1029–1054.

[9] Линдси, Б.Г. (1982). «Условные функции оценки: некоторые результаты оптимальности», Биометрика 69 , 503–512.

[10] Гарднер, В.А., «Разработка классификаторов сигналов ближайшего прототипа», IEEE Transactions on Information Theory 27 (3), 368–372, 1981.

Внешние ссылки

• Циклостационарность