Алгоритм оценки , также известный как скоринг Фишера , [1] представляет собой форму метода Ньютона, используемого в статистике для численного решения уравнений максимального правдоподобия , названного в честь Рональда Фишера .
Эскиз вывода
Пусть это случайные величины , независимые и одинаково распределенные с дважды дифференцируемой PDF , и мы хотим вычислить оценку максимального правдоподобия (MLE) для . Во-первых, предположим, что у нас есть отправная точка для нашего алгоритма и рассмотрим разложение Тейлора оценочной функции , , примерно :
![{\ displaystyle f (y; \ theta)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta ^{*}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\ displaystyle \ theta }](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta _{0}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle V(\theta)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta _{0}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle V(\theta)\approx V(\theta _{0}) - {\mathcal {J}}(\theta _{0})(\theta -\theta _{0}),\,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
где
![{\displaystyle {\mathcal {J}}(\theta _{0})=-\sum _{i=1}^{n}\left.\nabla \nabla ^{\top }\right|_{\ тета =\theta _{0}}\log f(Y_{i};\theta )}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
– наблюдаемая информационная матрица при . Теперь установка , использование этого и перестановка дают нам:![{\displaystyle \theta _{0}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta =\theta ^{*}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle V(\theta ^{*})=0}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta ^{*}\approx \theta _{0}+{\mathcal {J}}^{-1}(\theta _{0})V(\theta _{0}).\, }](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Поэтому мы используем алгоритм
![{\displaystyle \theta _{m+1}=\theta _{m}+{\mathcal {J}}^{-1}(\theta _{m})V(\theta _{m}),\ ,}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
и при определенных условиях регулярности можно показать, что .![{\displaystyle \theta _{m}\rightarrow \theta ^{*}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Подсчет очков Фишера
На практике обычно заменяется на информацию Фишера , что дает нам алгоритм оценки Фишера :![{\displaystyle {\mathcal {J}}(\theta)}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle {\mathcal {I}}(\theta)=\mathrm {E} [{\mathcal {J}}(\theta)]}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
..
При некоторых условиях регулярности, если — непротиворечивая оценка , то (коррекция после одного шага) является «оптимальной» в том смысле, что ее распределение ошибок асимптотически идентично распределению истинной оценки максимального правдоподобия. [2]![{\displaystyle \theta _{m}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
![{\displaystyle \theta _{m+1}}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Смотрите также
Рекомендации
- ^ Лонгфорд, Николас Т. (1987). «Алгоритм быстрого подсчета очков для оценки максимального правдоподобия в несбалансированных смешанных моделях с вложенными случайными эффектами». Биометрика . 74 (4): 817–827. дои : 10.1093/biomet/74.4.817.
- ^ Ли, Бинг; Бабу, Г. Джогеш (2019), «Байесовский вывод», Springer Texts in Статистика , Нью-Йорк, Нью-Йорк: Springer New York, Теорема 9.4, doi : 10.1007/978-1-4939-9761-9_6, ISBN 978-1-4939-9759-6, S2CID 239322258 , получено 3 января 2023 г.
дальнейшее чтение
- Дженнрих, Р.И. и Сэмпсон, П.Ф. (1976). «Ньютон-Рафсон и родственные алгоритмы для оценки компонента дисперсии максимального правдоподобия». Технометрика . 18 (1): 11–17. doi : 10.1080/00401706.1976.10489395 (неактивен 31 января 2024 г.). JSTOR 1267911.
{{cite journal}}
: CS1 maint: DOI неактивен по состоянию на январь 2024 г. ( ссылка )