Оценка максимального правдоподобия

Метод оценки параметров статистической модели с учетом наблюдений

В статистике оценка максимального правдоподобия ( MLE ) — это метод оценки параметров предполагаемого распределения вероятностей с учетом некоторых наблюдаемых данных. Это достигается путем максимизации функции правдоподобия , чтобы в соответствии с предполагаемой статистической моделью наблюдаемые данные были наиболее вероятными. Точка в пространстве параметров , которая максимизирует функцию правдоподобия , называется оценкой максимального правдоподобия. ^[1] Логика максимального правдоподобия одновременно интуитивно понятна и гибка, и поэтому этот метод стал доминирующим средством статистического вывода . ^{[2] [3] [4]}

Если функция правдоподобия дифференцируема , можно применить тест производной для поиска максимумов. В некоторых случаях условия первого порядка функции правдоподобия можно решить аналитически; например, обычный метод наименьших квадратов для модели линейной регрессии максимизирует вероятность, когда предполагается, что случайные ошибки имеют нормальное распределение с одинаковой дисперсией. ^[5]

С точки зрения байесовского вывода , MLE обычно эквивалентен максимальной апостериорной оценке (MAP) с равномерным априорным распределением (или нормальному априорному распределению со стандартным отклонением, равным бесконечности). В частотном выводе MLE является частным случаем оценки экстремума , где целевой функцией является правдоподобие.

Принципы

Мы моделируем набор наблюдений как случайную выборку из неизвестного совместного распределения вероятностей , которое выражается через набор параметров . Целью оценки максимального правдоподобия является определение параметров, для которых наблюдаемые данные имеют наибольшую совместную вероятность. Мы записываем параметры, управляющие совместным распределением, в виде вектора, так что это распределение попадает в параметрическое семейство , которое называется пространством параметров , конечномерным подмножеством евклидова пространства . Оценка плотности соединений на наблюдаемой выборке данных дает действительную функцию: ${\displaystyle \;\theta =\left[\theta _{1},\,\theta _{2},\,\ldots ,\,\theta _{k}\right]^{\mathsf {T}}\;}$ ${\displaystyle \;\{f(\cdot \,;\theta )\mid \theta \in \Theta \}\;,}$ ${\displaystyle \,\Theta \,}$ ${\displaystyle \;\mathbf {y} =(y_{1},y_{2},\ldots ,y_{n})\;}$

${\displaystyle {\mathcal {L}}_{n}(\theta )={\mathcal {L}}_{n}(\theta ;\mathbf {y} )=f_{n}(\mathbf {y} ;\theta )\;,}$

которая называется функцией правдоподобия . Для независимых и одинаково распределенных случайных величин будет произведением одномерных функций плотности : ${\displaystyle f_{n}(\mathbf {y} ;\theta )}$

${\displaystyle f_{n}(\mathbf {y} ;\theta )=\prod _{k=1}^{n}\,f_{k}^{\mathsf {univar}}(y_{k};\theta )~.}$

Целью оценки максимального правдоподобия является нахождение значений параметров модели, которые максимизируют функцию правдоподобия в пространстве параметров, ^[6] то есть

${\displaystyle {\hat {\theta }}={\underset {\theta \in \Theta }{\operatorname {arg\;max} }}\,{\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

Интуитивно понятно, что при этом выбираются значения параметров, которые делают наблюдаемые данные наиболее вероятными. Конкретное значение , которое максимизирует функцию правдоподобия, называется оценкой максимального правдоподобия. Кроме того, если определенная таким образом функция измерима , то она называется оценкой максимального правдоподобия . Обычно это функция, определенная в пространстве выборки , т. е. принимающая данную выборку в качестве аргумента. Достаточным , но не необходимым условием ее существования является непрерывность функции правдоподобия в компактном пространстве параметров . ^[7] Для открытия функция правдоподобия может увеличиваться, так и не достигнув максимального значения. ${\displaystyle ~{\hat {\theta }}={\hat {\theta }}_{n}(\mathbf {y} )\in \Theta ~}$ ${\displaystyle \,{\mathcal {L}}_{n}\,}$ ${\displaystyle \;{\hat {\theta }}_{n}:\mathbb {R} ^{n}\to \Theta \;}$ ${\displaystyle \,\Theta \,}$ ${\displaystyle \,\Theta \,}$

На практике часто удобно работать с натуральным логарифмом функции правдоподобия, называемым логарифмом правдоподобия :

${\displaystyle \ell (\theta \,;\mathbf {y} )=\ln {\mathcal {L}}_{n}(\theta \,;\mathbf {y} )~.}$

Поскольку логарифм является монотонной функцией , максимум происходит при том же значении, что и максимум ^[8] Если дифференцируем в необходимых условиях возникновения максимума (или минимума) ${\displaystyle \;\ell (\theta \,;\mathbf {y} )\;}$ ${\displaystyle \theta }$ ${\displaystyle \,{\mathcal {L}}_{n}~.}$ ${\displaystyle \ell (\theta \,;\mathbf {y} )}$ ${\displaystyle \,\Theta \,,}$

${\displaystyle {\frac {\partial \ell }{\partial \theta _{1}}}=0,\quad {\frac {\partial \ell }{\partial \theta _{2}}}=0,\quad \ldots ,\quad {\frac {\partial \ell }{\partial \theta _{k}}}=0~,}$

известные как уравнения правдоподобия. Для некоторых моделей эти уравнения могут быть решены явно, но, как правило, решение задачи максимизации в замкнутой форме неизвестно или доступно, а MLE можно найти только с помощью численной оптимизации . Другая проблема заключается в том, что в конечных выборках у уравнений правдоподобия может существовать несколько корней . ^[9] Действительно ли идентифицированный корень уравнений правдоподобия является (локальным) максимумом, зависит от того, является ли матрица частных и перекрестных производных второго порядка, так называемая матрица Гессе ${\displaystyle \,{\widehat {\theta \,}}\,,}$ ${\displaystyle \,{\widehat {\theta \,}}\,}$

${\displaystyle \mathbf {H} \left({\widehat {\theta \,}}\right)={\begin{bmatrix}\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{1}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{2}\,\partial \theta _{k}}}\right|_{\theta ={\widehat {\theta \,}}}\\\vdots &\vdots &\ddots &\vdots \\\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{1}}}\right|_{\theta ={\widehat {\theta \,}}}&\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}\,\partial \theta _{2}}}\right|_{\theta ={\widehat {\theta \,}}}&\dots &\left.{\frac {\partial ^{2}\ell }{\partial \theta _{k}^{2}}}\right|_{\theta ={\widehat {\theta \,}}}\end{bmatrix}}~,}$

является отрицательным полуопределенным при , поскольку это указывает на локальную вогнутость . Удобно, что наиболее распространенные распределения вероятностей , в частности экспоненциальное семейство , являются логарифмически вогнутыми . ^{[10] [11]} ${\displaystyle {\widehat {\theta \,}}}$

Ограниченное пространство параметров

Хотя область определения функции правдоподобия — пространство параметров — обычно представляет собой конечномерное подмножество евклидова пространства , иногда в процесс оценки необходимо включать дополнительные ограничения . Пространство параметров можно выразить как

${\displaystyle \Theta =\left\{\theta :\theta \in \mathbb {R} ^{k},\;h(\theta )=0\right\}~,}$

где векторная функция отображается в . Оценка истинного параметра, принадлежащего then, на практике означает нахождение максимума функции правдоподобия с учетом ограничения ${\displaystyle \;h(\theta )=\left[h_{1}(\theta ),h_{2}(\theta ),\ldots ,h_{r}(\theta )\right]\;}$ ${\displaystyle \,\mathbb {R} ^{k}\,}$ ${\displaystyle \;\mathbb {R} ^{r}~.}$ ${\displaystyle \theta }$ ${\displaystyle \Theta }$ ${\displaystyle ~h(\theta )=0~.}$

Теоретически наиболее естественным подходом к этой задаче оптимизации с ограничениями является метод подстановки, то есть «заполнение» ограничений множества таким образом, чтобы оно представляло собой функцию «один к одному» , и перепараметризацию функции правдоподобия. установив ^[12] Из-за эквивариантности оценки максимального правдоподобия свойства MLE применимы и к ограниченным оценкам. ^[13] Например, в многомерном нормальном распределении ковариационная матрица должна быть положительно определенной ; это ограничение можно наложить заменой где – действительная верхняя треугольная матрица и – ее транспонирование . ^[14] ${\displaystyle \;h_{1},h_{2},\ldots ,h_{r}\;}$ ${\displaystyle \;h_{1},h_{2},\ldots ,h_{r},h_{r+1},\ldots ,h_{k}\;}$ ${\displaystyle \;h^{\ast }=\left[h_{1},h_{2},\ldots ,h_{k}\right]\;}$ ${\displaystyle \mathbb {R} ^{k}}$ ${\displaystyle \;\phi _{i}=h_{i}(\theta _{1},\theta _{2},\ldots ,\theta _{k})~.}$ ${\displaystyle \,\Sigma \,}$ ${\displaystyle \;\Sigma =\Gamma ^{\mathsf {T}}\Gamma \;,}$ ${\displaystyle \Gamma }$ ${\displaystyle \Gamma ^{\mathsf {T}}}$

На практике ограничения обычно накладываются с использованием метода Лагранжа, который с учетом ограничений, определенных выше, приводит к уравнениям ограниченного правдоподобия.

${\displaystyle {\frac {\partial \ell }{\partial \theta }}-{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\lambda =0}$и ${\displaystyle h(\theta )=0\;,}$

где – вектор-столбец множителей Лагранжа и – матрица Якоби частных производных размера k × r . ^[12] Естественно, если ограничения не являются обязательными по максимуму, множители Лагранжа должны быть равны нулю. ^[15] Это, в свою очередь, позволяет провести статистическую проверку «действительности» ограничения, известную как тест множителя Лагранжа . ${\displaystyle ~\lambda =\left[\lambda _{1},\lambda _{2},\ldots ,\lambda _{r}\right]^{\mathsf {T}}~}$ ${\displaystyle \;{\frac {\partial h(\theta )^{\mathsf {T}}}{\partial \theta }}\;}$

Непараметрическая оценка максимального правдоподобия

Непараметрическая оценка максимального правдоподобия может быть выполнена с использованием эмпирического правдоподобия .

Характеристики

Оценка максимального правдоподобия — это оценка экстремума , полученная путем максимизации целевой функции в зависимости от θ . Если данные независимы и одинаково распределены , то мы имеем ${\displaystyle {\widehat {\ell \,}}(\theta \,;x)}$

${\displaystyle {\widehat {\ell \,}}(\theta \,;x)={\frac {1}{n}}\sum _{i=1}^{n}\ln f(x_{i}\mid \theta ),}$

это выборочный аналог ожидаемого логарифмического правдоподобия , где это ожидание берется относительно истинной плотности. ${\displaystyle \ell (\theta )=\operatorname {\mathbb {E} } [\,\ln f(x_{i}\mid \theta )\,]}$

Оценщики максимального правдоподобия не обладают оптимальными свойствами для конечных выборок в том смысле, что (при оценке на конечных выборках) другие оценки могут иметь большую концентрацию вокруг истинного значения параметра. ^[16] Однако, как и другие методы оценки, оценка максимального правдоподобия обладает рядом привлекательных ограничивающих свойств : когда размер выборки увеличивается до бесконечности, последовательности оценок максимального правдоподобия обладают следующими свойствами:

• Согласованность : последовательность MLE сходится по вероятности к оцениваемому значению.
• Инвариантность : Если – оценка максимального правдоподобия для , и если – любое преобразование , то оценка максимального правдоподобия для равна . Это свойство менее известно как функциональная эквивалентность . Свойство инвариантности справедливо для произвольного преобразования , хотя доказательство упрощается, если ограничиться взаимно однозначными преобразованиями. ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle g(\theta )}$ ${\displaystyle \theta }$ ${\displaystyle \alpha =g(\theta )}$ ${\displaystyle {\hat {\alpha }}=g({\hat {\theta }})}$ ${\displaystyle g}$ ${\displaystyle g}$
• Эффективность , т.е. достигается нижняя граница Крамера-Рао, когда размер выборки стремится к бесконечности. Это означает, что ни одна непротиворечивая оценка не имеет более низкой асимптотической среднеквадратической ошибки , чем MLE (или другие оценки, достигающие этой границы), что также означает, что MLE имеет асимптотическую нормальность .
• Эффективность второго порядка после поправки на предвзятость.

Последовательность

При условиях, изложенных ниже, оценка максимального правдоподобия является состоятельной . Согласованность означает, что если данные были сгенерированы и у нас есть достаточно большое количество наблюдений n , то можно найти значение θ ₀ с произвольной точностью. С математической точки зрения это означает, что при стремлении n к бесконечности оценщик по вероятности сходится к своему истинному значению: ${\displaystyle f(\cdot \,;\theta _{0})}$ ${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{p}}}\ \theta _{0}.}$

При несколько более сильных условиях оценка сходится почти наверняка (или сильно ):

${\displaystyle {\widehat {\theta \,}}_{\mathrm {mle} }\ {\xrightarrow {\text{a.s.}}}\ \theta _{0}.}$

В практических приложениях данные никогда не генерируются с помощью . Скорее, это модель, часто в идеализированной форме, процесса, генерируемого данными. В статистике распространен афоризм о том, что все модели неверны . Таким образом, истинная согласованность не достигается в практических приложениях. Тем не менее, последовательность часто считается желательным свойством для оценщика. ${\displaystyle f(\cdot \,;\theta _{0})}$ ${\displaystyle f(\cdot \,;\theta _{0})}$

Для установления согласованности достаточны следующие условия. ^[17]

1. Идентификация модели:

   ${\displaystyle \theta \neq \theta _{0}\quad \Leftrightarrow \quad f(\cdot \mid \theta )\neq f(\cdot \mid \theta _{0}).}$

   Другими словами, разные значения параметра θ соответствуют разным распределениям внутри модели. Если бы это условие не выполнялось, существовало бы некоторое значение θ ₁ такое, что θ ₀ и θ ₁ порождали идентичное распределение наблюдаемых данных. Тогда мы не смогли бы различить эти два параметра даже при бесконечном количестве данных — эти параметры были бы эквивалентны с точки зрения наблюдений .
   

   Условие идентификации абсолютно необходимо для того, чтобы оценщик ML был непротиворечивым. Когда это условие выполняется, предельная функция правдоподобия ℓ ( θ |·) имеет единственный глобальный максимум в точке θ ₀ .
2. Компактность: пространство параметров модели Θ компактно .

   

   Условие идентификации устанавливает, что логарифмическое правдоподобие имеет уникальный глобальный максимум. Компактность подразумевает, что вероятность не может приблизиться к максимальному значению сколь угодно близко в какой-то другой точке (как показано, например, на рисунке справа).

   Компактность — лишь достаточное, но не необходимое условие. Компактность может быть заменена некоторыми другими условиями, такими как:

   • как вогнутость логарифмической функции правдоподобия, так и компактность некоторых (непустых) множеств верхнего уровня логарифмической функции правдоподобия, или
   • существование компактной окрестности N точки θ ₀ такой, что вне N логарифмическая функция правдоподобия меньше максимума хотя бы на некоторое ε > 0 .
3. Непрерывность: функция ln f ( x  |  θ ) непрерывна по θ почти для всех значений x :

   ${\displaystyle \operatorname {\mathbb {P} } {\Bigl [}\;\ln f(x\mid \theta )\;\in \;C^{0}(\Theta )\;{\Bigr ]}=1.}$

   Непрерывность здесь можно заменить несколько более слабым условием полунепрерывности сверху .
4. Доминирование: существует D ( x ), интегрируемый относительно распределения f ( x  |  θ ₀ ), такой, что

   ${\displaystyle {\Bigl |}\ln f(x\mid \theta ){\Bigr |}<D(x)\quad {\text{ for all }}\theta \in \Theta .}$

   По равномерному закону больших чисел условие доминирования вместе с непрерывностью устанавливают равномерную сходимость по вероятности логарифмического правдоподобия:

   ${\displaystyle \sup _{\theta \in \Theta }\left|{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\,\right|\ {\xrightarrow {\text{p}}}\ 0.}$

Условие доминирования можно использовать в случае иид- наблюдений. В случае, отличном от iid, равномерную сходимость по вероятности можно проверить, показав, что последовательность стохастически равнонепрерывна . Если кто-то хочет продемонстрировать, что оценка ML почти наверняка сходится к θ ₀ , то необходимо почти наверняка наложить более сильное условие равномерной сходимости: ${\displaystyle {\widehat {\ell \,}}(\theta \mid x)}$ ${\displaystyle {\widehat {\theta \,}}}$

${\displaystyle \sup _{\theta \in \Theta }\left\|\;{\widehat {\ell \,}}(\theta \mid x)-\ell (\theta )\;\right\|\ \xrightarrow {\text{a.s.}} \ 0.}$

Кроме того, если (как предполагалось выше) данные были сгенерированы , то при определенных условиях также можно показать, что оценка максимального правдоподобия сходится по распределению к нормальному распределению. В частности, ^[18] ${\displaystyle f(\cdot \,;\theta _{0})}$

${\displaystyle {\sqrt {n}}\left({\widehat {\theta \,}}_{\mathrm {mle} }-\theta _{0}\right)\ \xrightarrow {d} \ {\mathcal {N}}\left(0,\,I^{-1}\right)}$

где I – информационная матрица Фишера .

Функциональная инвариантность

Оценщик максимального правдоподобия выбирает значение параметра, которое дает наблюдаемым данным наибольшую возможную вероятность (или плотность вероятности в непрерывном случае). Если параметр состоит из нескольких компонентов, то мы определяем их отдельные оценки максимального правдоподобия как соответствующий компонент MLE полного параметра. В соответствии с этим, если MLE для , и если является каким-либо преобразованием , то MLE для по определению ^[19] ${\displaystyle {\widehat {\theta \,}}}$ ${\displaystyle \theta }$ ${\displaystyle g(\theta )}$ ${\displaystyle \theta }$ ${\displaystyle \alpha =g(\theta )}$

${\displaystyle {\widehat {\alpha }}=g(\,{\widehat {\theta \,}}\,).\,}$

Это максимизирует так называемую вероятность профиля :

${\displaystyle {\bar {L}}(\alpha )=\sup _{\theta :\alpha =g(\theta )}L(\theta ).\,}$

MLE также эквивариантен относительно определенных преобразований данных. Если где взаимно однозначно и не зависит от оцениваемых параметров, то функции плотности удовлетворяют ${\displaystyle y=g(x)}$ ${\displaystyle g}$

${\displaystyle f_{Y}(y)={\frac {f_{X}(x)}{|g'(x)|}}}$

и, следовательно, функции правдоподобия для и отличаются лишь на коэффициент, не зависящий от параметров модели. ${\displaystyle X}$ ${\displaystyle Y}$

Например, параметры MLE логарифмически нормального распределения такие же, как и параметры нормального распределения, адаптированного к логарифму данных.

Эффективность

Как предполагалось выше, если к тому времени данные были сгенерированы при определенных условиях, можно также показать, что оценка максимального правдоподобия сходится по распределению к нормальному распределению. Он √ n -согласован и асимптотически эффективен, что означает, что он достигает границы Крамера – Рао . В частности, ^[18] ${\displaystyle ~f(\cdot \,;\theta _{0})~,}$ 

${\displaystyle {\sqrt {n\,}}\,\left({\widehat {\theta \,}}_{\text{mle}}-\theta _{0}\right)\ \ \xrightarrow {d} \ \ {\mathcal {N}}\left(0,\ {\mathcal {I}}^{-1}\right)~,}$

где информационная матрица Фишера : ${\displaystyle ~{\mathcal {I}}~}$

${\displaystyle {\mathcal {I}}_{jk}=\operatorname {\mathbb {E} } \,{\biggl [}\;-{\frac {\partial ^{2}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{j}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

В частности, это означает, что смещение оценки максимального правдоподобия равно нулю до порядка1/√ н .

Эффективность второго порядка после поправки на смещение

Однако, если мы рассмотрим члены более высокого порядка в разложении распределения этой оценки, окажется, что θ _mle имеет смещение порядка 1 ⁄ n . Это смещение равно (покомпонентно) ^[20]

${\displaystyle b_{h}\;\equiv \;\operatorname {\mathbb {E} } {\biggl [}\;\left({\widehat {\theta }}_{\mathrm {mle} }-\theta _{0}\right)_{h}\;{\biggr ]}\;=\;{\frac {1}{\,n\,}}\,\sum _{i,j,k=1}^{m}\;{\mathcal {I}}^{hi}\;{\mathcal {I}}^{jk}\left({\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\right)}$

где (с верхними индексами) обозначает ( j,k )-ю компоненту обратной информационной матрицы Фишера , а ${\displaystyle {\mathcal {I}}^{jk}}$ ${\displaystyle {\mathcal {I}}^{-1}}$

${\displaystyle {\frac {1}{\,2\,}}\,K_{ijk}\;+\;J_{j,ik}\;=\;\operatorname {\mathbb {E} } \,{\biggl [}\;{\frac {1}{2}}{\frac {\partial ^{3}\ln f_{\theta _{0}}(X_{t})}{\partial \theta _{i}\;\partial \theta _{j}\;\partial \theta _{k}}}+{\frac {\;\partial \ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{j}}}\,{\frac {\;\partial ^{2}\ln f_{\theta _{0}}(X_{t})\;}{\partial \theta _{i}\,\partial \theta _{k}}}\;{\biggr ]}~.}$

Используя эти формулы, можно оценить смещение второго порядка оценки максимального правдоподобия и скорректировать это смещение путем его вычитания:

${\displaystyle {\widehat {\theta \,}}_{\text{mle}}^{*}={\widehat {\theta \,}}_{\text{mle}}-{\widehat {b\,}}~.}$

Эта оценка несмещена с точки зрения порядка1/ н и называется оценкой максимального правдоподобия с поправкой на смещение .

Эта оценка с коррекцией смещения является эффективной второго порядка (по крайней мере, в пределах семейства кривых экспонент), что означает, что она имеет минимальную среднеквадратическую ошибку среди всех оценок второго порядка с коррекцией смещения, вплоть до членов порядка1/ № ²  . Можно продолжить этот процесс, то есть вывести член коррекции смещения третьего порядка и так далее. Однако оценка максимального правдоподобия не является эффективной третьего порядка. ^[21]

Связь с байесовским выводом

Оценка максимального правдоподобия совпадает с наиболее вероятной байесовской оценкой при условии равномерного предварительного распределения параметров . Действительно, максимальная апостериорная оценка - это параметр θ , который максимизирует вероятность θ с учетом данных, заданных теоремой Байеса:

${\displaystyle \operatorname {\mathbb {P} } (\theta \mid x_{1},x_{2},\ldots ,x_{n})={\frac {f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}{\operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}}}$

где — априорное распределение параметра θ и где — вероятность усреднения данных по всем параметрам. Поскольку знаменатель не зависит от θ , байесовская оценка получается путем максимизации по θ . Если мы далее предположим, что априорное распределение является равномерным, байесовская оценка получается путем максимизации функции правдоподобия . Таким образом, байесовская оценка совпадает с оценкой максимального правдоподобия для равномерного априорного распределения . ${\displaystyle \operatorname {\mathbb {P} } (\theta )}$ ${\displaystyle \operatorname {\mathbb {P} } (x_{1},x_{2},\ldots ,x_{n})}$ ${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )\operatorname {\mathbb {P} } (\theta )}$ ${\displaystyle \operatorname {\mathbb {P} } (\theta )}$ ${\displaystyle f(x_{1},x_{2},\ldots ,x_{n}\mid \theta )}$ ${\displaystyle \operatorname {\mathbb {P} } (\theta )}$

Применение оценки максимального правдоподобия в теории принятия решений Байеса

Во многих практических приложениях машинного обучения оценка максимального правдоподобия используется в качестве модели для оценки параметров.

Теория байесовского решения заключается в разработке классификатора, который минимизирует общий ожидаемый риск, особенно, когда затраты (функция потерь), связанные с различными решениями, равны, классификатор минимизирует ошибку по всему распределению. ^[22]

Таким образом, правило принятия решения Байеса формулируется как

"реши , если решишь иначе " ${\displaystyle \;w_{1}\;}$ ${\displaystyle ~\operatorname {\mathbb {P} } (w_{1}|x)\;>\;\operatorname {\mathbb {P} } (w_{2}|x)~;~}$ ${\displaystyle \;w_{2}\;}$

где предсказания разных классов. С точки зрения минимизации ошибки это также можно сформулировать как ${\displaystyle \;w_{1}\,,w_{2}\;}$

${\displaystyle w={\underset {w}{\operatorname {arg\;max} }}\;\int _{-\infty }^{\infty }\operatorname {\mathbb {P} } ({\text{ error}}\mid x)\operatorname {\mathbb {P} } (x)\,\operatorname {d} x~}$

где

${\displaystyle \operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{1}\mid x)~}$

если мы решим и если мы решим ${\displaystyle \;w_{2}\;}$ ${\displaystyle \;\operatorname {\mathbb {P} } ({\text{ error}}\mid x)=\operatorname {\mathbb {P} } (w_{2}\mid x)\;}$ ${\displaystyle \;w_{1}\;.}$

Применяя теорему Байеса

${\displaystyle \operatorname {\mathbb {P} } (w_{i}\mid x)={\frac {\operatorname {\mathbb {P} } (x\mid w_{i})\operatorname {\mathbb {P} } (w_{i})}{\operatorname {\mathbb {P} } (x)}}}$,

и если мы далее предположим, что функция потерь равна нулю или единице, которая является одинаковой потерей для всех ошибок, правило байесовского решения можно переформулировать как:

${\displaystyle h_{\text{Bayes}}={\underset {w}{\operatorname {arg\;max} }}\,{\bigl [}\,\operatorname {\mathbb {P} } (x\mid w)\,\operatorname {\mathbb {P} } (w)\,{\bigr ]}\;,}$

где — прогноз, а — априорная вероятность . ${\displaystyle h_{\text{Bayes}}}$ ${\displaystyle \;\operatorname {\mathbb {P} } (w)\;}$

Связь с минимизацией расхождения Кульбака – Лейблера и перекрестной энтропии

Нахождение того, что максимизирует правдоподобие, асимптотически эквивалентно нахождению того , что определяет распределение вероятностей ( ), которое имеет минимальное расстояние, с точки зрения расхождения Кульбака-Лейблера , до реального распределения вероятностей, из которого были сгенерированы наши данные (т. е. сгенерировано ). ^[23] В идеальном мире P и Q одинаковы (и неизвестно только то, что определяет P), но даже если это не так и модель, которую мы используем, определена неверно, MLE все равно даст нам «ближайший» распределение (в пределах ограничения модели Q, зависящей от ) до реального распределения . ^[24] ${\displaystyle {\hat {\theta }}}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle Q_{\hat {\theta }}}$ ${\displaystyle P_{\theta _{0}}}$ ${\displaystyle \theta }$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle P_{\theta _{0}}}$

Поскольку перекрестная энтропия — это просто энтропия Шеннона плюс дивергенция KL, и поскольку энтропия постоянна, то MLE также асимптотически минимизирует перекрестную энтропию. ^[25] ${\displaystyle P_{\theta _{0}}}$

Примеры

Дискретное равномерное распределение

Рассмотрим случай, когда n билетов с номерами от 1 до n помещены в коробку и один выбирается случайным образом ( см. равномерное распределение ); таким образом, размер выборки равен 1. Если n неизвестно, то оценщиком максимального правдоподобия n является число m в выпавшем билете. (Вероятность равна 0 для n  <  m , 1 ⁄ n для n  ≥  m , и она наибольшая, когда n  =  m . Обратите внимание, что оценка максимального правдоподобия n происходит в нижнем экстремуме возможных значений { m ,  m  + 1, ...}, а не где-то в «середине» диапазона возможных значений, что приведет к меньшему смещению.) Ожидаемое значение числа m в выпавшем билете и, следовательно, ожидаемое значение , равно ( n  + 1)/2. В результате при размере выборки, равном 1, оценка максимального правдоподобия для n будет систематически занижать n на ( n  - 1)/2. ${\displaystyle {\widehat {n}}}$ ${\displaystyle {\widehat {n}}}$

Дискретное распределение, пространство с конечным параметром

Предположим, кто-то хочет определить, насколько необъективна нечестная монета . Назовем вероятность выбрасывания « головы » p . Целью тогда становится определение p .

Предположим, монету подбрасывают 80 раз: т.е. выборка может быть чем-то вроде x ₁  = H, x ₂  = T, ..., x ₈₀ = T, и наблюдается  подсчет количества орлов «H».

Вероятность выпадения решки равна 1 -  p (поэтому здесь p равно θ , указанному выше). Предположим, что результат — 49 орлов и 31  решка , и предположим, что монета была взята из коробки, содержащей три монеты: одна, которая дает орла с вероятностью p  =  1 ⁄ 3 , одна, которая дает орла с вероятностью p = 1 ⁄ 2 , и еще одна, которая дает орла с вероятностью p  =  1 ⁄ 2. орел с вероятностью p  =  2 ⁄ 3 . Монеты потеряли этикетки, поэтому неизвестно, какая именно. Используя оценку максимального правдоподобия, можно найти монету, имеющую наибольшую вероятность, учитывая наблюдаемые данные. Используя функцию массы вероятности биномиального распределения с размером выборки, равным 80, количеством успехов, равным 49, но для разных значений p («вероятность успеха»), функция правдоподобия (определенная ниже) принимает одно из трех значений:

${\displaystyle {\begin{aligned}\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{3}})^{49}(1-{\tfrac {1}{3}})^{31}\approx 0.000,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {1}{2}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {1}{2}})^{49}(1-{\tfrac {1}{2}})^{31}\approx 0.012,\\[6pt]\operatorname {\mathbb {P} } {\bigl [}\;\mathrm {H} =49\mid p={\tfrac {2}{3}}\;{\bigr ]}&={\binom {80}{49}}({\tfrac {2}{3}})^{49}(1-{\tfrac {2}{3}})^{31}\approx 0.054~.\end{aligned}}}$

Вероятность максимизируется, когда p  =  2 ⁄ 3 , и поэтому это оценка максимального правдоподобия для  p .

Дискретное распределение, непрерывное пространство параметров

Теперь предположим, что была только одна монета, но ее p могло быть любым значением 0 ≤ p ≤ 1. Функция правдоподобия, которую необходимо максимизировать, равна

${\displaystyle L(p)=f_{D}(\mathrm {H} =49\mid p)={\binom {80}{49}}p^{49}(1-p)^{31}~,}$

и максимизация осуществляется по всем возможным значениям 0 ≤ p ≤ 1.

Функция правдоподобия для значения доли биномиального процесса ( n  = 10)

Один из способов максимизировать эту функцию — дифференцировать по p и присвоить нулю:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial p}}\left({\binom {80}{49}}p^{49}(1-p)^{31}\right)~,\\[8pt]0&=49p^{48}(1-p)^{31}-31p^{49}(1-p)^{30}\\[8pt]&=p^{48}(1-p)^{30}\left[49(1-p)-31p\right]\\[8pt]&=p^{48}(1-p)^{30}\left[49-80p\right]~.\end{aligned}}}$

Это продукт трёх слагаемых. Первый член равен 0, когда p  = 0. Второй равен 0, когда p  = 1. Третий равен нулю, когда p  =  49 ⁄ 80 . Решение, которое максимизирует вероятность, очевидно, равно p  =  49 ⁄ 80 (поскольку p  = 0 и p  = 1 приводят к вероятности 0). Таким образом, оценка максимального правдоподобия для p равна 49/80 .

Этот результат легко обобщить, заменив букву, например s , на место 49, чтобы обозначить наблюдаемое количество «успехов» наших испытаний Бернулли , и букву, например, n , на место 80, чтобы обозначить количество испытаний Бернулли. Точно такой же расчет дает s ⁄ n , который является оценкой максимального правдоподобия для любой последовательности из n испытаний Бернулли, приводящей к s «успехам».

Непрерывное распределение, непрерывное пространство параметров

Для нормального распределения , имеющего функцию плотности вероятности ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$

${\displaystyle f(x\mid \mu ,\sigma ^{2})={\frac {1}{{\sqrt {2\pi \sigma ^{2}}}\ }}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right),}$

соответствующая функция плотности вероятности для выборки из n независимых одинаково распределенных нормальных случайных величин (правдоподобие) равна

${\displaystyle f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})=\prod _{i=1}^{n}f(x_{i}\mid \mu ,\sigma ^{2})=\left({\frac {1}{2\pi \sigma ^{2}}}\right)^{n/2}\exp \left(-{\frac {\sum _{i=1}^{n}(x_{i}-\mu )^{2}}{2\sigma ^{2}}}\right).}$

Это семейство распределений имеет два параметра: θ  = ( μ ,  σ ) ; поэтому мы максимизируем вероятность по обоим параметрам одновременно или, если возможно, по отдельности. ${\displaystyle {\mathcal {L}}(\mu ,\sigma ^{2})=f(x_{1},\ldots ,x_{n}\mid \mu ,\sigma ^{2})}$

Поскольку функция логарифма сама по себе является непрерывной строго возрастающей функцией в диапазоне правдоподобия, значения, которые максимизируют правдоподобие, также будут максимизировать ее логарифм (сама логарифмическая вероятность не обязательно строго возрастает). Логарифмическое правдоподобие можно записать следующим образом:

${\displaystyle \log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{2}}\log(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}}$

(Примечание: логарифмическое правдоподобие тесно связано с информационной энтропией и информацией Фишера .)

Теперь мы вычисляем производные этого логарифмического правдоподобия следующим образом.

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \mu }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=0-{\frac {\;-2n({\bar {x}}-\mu )\;}{2\sigma ^{2}}}.\end{aligned}}}$

где выборочное среднее . Это решается ${\displaystyle {\bar {x}}}$

${\displaystyle {\widehat {\mu }}={\bar {x}}=\sum _{i=1}^{n}{\frac {\,x_{i}\,}{n}}.}$

Это действительно максимум функции, поскольку это единственная точка поворота функции µ , а вторая производная строго меньше нуля. Его математическое ожидание равно параметру µ данного распределения:

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\mu }}\;{\bigr ]}=\mu ,\,}$

что означает, что оценка максимального правдоподобия является несмещенной. ${\displaystyle {\widehat {\mu }}}$

Аналогично дифференцируем логарифмическое правдоподобие по σ и приравниваем к нулю:

${\displaystyle {\begin{aligned}0&={\frac {\partial }{\partial \sigma }}\log {\Bigl (}{\mathcal {L}}(\mu ,\sigma ^{2}){\Bigr )}=-{\frac {\,n\,}{\sigma }}+{\frac {1}{\sigma ^{3}}}\sum _{i=1}^{n}(\,x_{i}-\mu \,)^{2}.\end{aligned}}}$

который решается

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}.}$

Подставив оценку, получим ${\displaystyle \mu ={\widehat {\mu }}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}x_{i}x_{j}.}$

Чтобы вычислить его ожидаемое значение, удобно переписать выражение в терминах случайных величин с нулевым средним значением ( статистической ошибки ) . Выражение оценки в этих переменных дает ${\displaystyle \delta _{i}\equiv \mu -x_{i}}$

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum _{i=1}^{n}(\mu -\delta _{i})^{2}-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}(\mu -\delta _{i})(\mu -\delta _{j}).}$

Упрощая приведенное выше выражение, используя те факты, что и , позволяет нам получить ${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;\delta _{i}\;{\bigr ]}=0}$ ${\displaystyle \operatorname {E} {\bigl [}\;\delta _{i}^{2}\;{\bigr ]}=\sigma ^{2}}$

${\displaystyle \operatorname {\mathbb {E} } {\bigl [}\;{\widehat {\sigma }}^{2}\;{\bigr ]}={\frac {\,n-1\,}{n}}\sigma ^{2}.}$

Это означает, что оценка смещена для . Можно также показать, что оно смещено для , но оба и согласованы. ${\displaystyle {\widehat {\sigma }}^{2}}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\widehat {\sigma }}}$ ${\displaystyle \sigma }$ ${\displaystyle {\widehat {\sigma }}^{2}}$ ${\displaystyle {\widehat {\sigma }}}$

Формально мы говорим, что оценка максимального правдоподобия для равна ${\displaystyle \theta =(\mu ,\sigma ^{2})}$

${\displaystyle {\widehat {\theta \,}}=\left({\widehat {\mu }},{\widehat {\sigma }}^{2}\right).}$

В этом случае MLE можно получить индивидуально. В целом это может быть не так, и MLE придется получать одновременно.

Нормальное логарифмическое правдоподобие в максимуме принимает особенно простую форму:

${\displaystyle \log {\Bigl (}{\mathcal {L}}({\widehat {\mu }},{\widehat {\sigma }}){\Bigr )}={\frac {\,-n\;\;}{2}}{\bigl (}\,\log(2\pi {\widehat {\sigma }}^{2})+1\,{\bigr )}}$

Можно показать, что это максимальное логарифмическое правдоподобие одинаково для более общих методов наименьших квадратов , даже для нелинейных методов наименьших квадратов . Это часто используется при определении приближенных доверительных интервалов и доверительных областей на основе правдоподобия , которые обычно более точны, чем те, которые используют асимптотическую нормальность, обсуждавшуюся выше.

Ненезависимые переменные

Может случиться так, что переменные коррелируют, то есть не являются независимыми. Две случайные величины и независимы только в том случае, если их совместная функция плотности вероятности является произведением отдельных функций плотности вероятности, т.е. ${\displaystyle y_{1}}$ ${\displaystyle y_{2}}$

${\displaystyle f(y_{1},y_{2})=f(y_{1})f(y_{2})\,}$

Предположим, что кто-то строит гауссов вектор порядка n из случайных величин , где каждая переменная имеет средние значения, заданные . Кроме того, пусть ковариационная матрица обозначается через . Тогда совместная функция плотности вероятности этих n случайных величин следует многомерному нормальному распределению, определяемому следующим образом: ${\displaystyle (y_{1},\ldots ,y_{n})}$ ${\displaystyle (\mu _{1},\ldots ,\mu _{n})}$ ${\displaystyle {\mathit {\Sigma }}}$

${\displaystyle f(y_{1},\ldots ,y_{n})={\frac {1}{(2\pi )^{n/2}{\sqrt {\det({\mathit {\Sigma }})}}}}\exp \left(-{\frac {1}{2}}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]{\mathit {\Sigma }}^{-1}\left[y_{1}-\mu _{1},\ldots ,y_{n}-\mu _{n}\right]^{\mathrm {T} }\right)}$

В двумерном случае совместная функция плотности вероятности определяется выражением:

${\displaystyle f(y_{1},y_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left[-{\frac {1}{2(1-\rho ^{2})}}\left({\frac {(y_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-{\frac {2\rho (y_{1}-\mu _{1})(y_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(y_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right)\right]}$

В этом и других случаях, когда существует совместная функция плотности, функция правдоподобия определяется, как указано выше, в разделе « принципы », с использованием этой плотности.

Пример

${\displaystyle X_{1},\ X_{2},\ldots ,\ X_{m}}$– отсчеты в ячейках/коробках от 1 до m; у каждого ящика разная вероятность (представьте, что ящики больше или меньше), и мы фиксируем количество выпавших шаров равным : . Вероятность каждого ящика равна , с ограничением: . Это случай, когда s не являются независимыми, совместная вероятность вектора называется мультиномом и имеет вид: ${\displaystyle n}$ ${\displaystyle x_{1}+x_{2}+\cdots +x_{m}=n}$ ${\displaystyle p_{i}}$ ${\displaystyle p_{1}+p_{2}+\cdots +p_{m}=1}$ ${\displaystyle X_{i}}$ ${\displaystyle x_{1},\ x_{2},\ldots ,x_{m}}$

${\displaystyle f(x_{1},x_{2},\ldots ,x_{m}\mid p_{1},p_{2},\ldots ,p_{m})={\frac {n!}{\prod x_{i}!}}\prod p_{i}^{x_{i}}={\binom {n}{x_{1},x_{2},\ldots ,x_{m}}}p_{1}^{x_{1}}p_{2}^{x_{2}}\cdots p_{m}^{x_{m}}}$

Каждый блок, взятый отдельно от всех остальных блоков, представляет собой бином и является его расширением.

Логарифмическая вероятность этого равна:

${\displaystyle \ell (p_{1},p_{2},\ldots ,p_{m})=\log n!-\sum _{i=1}^{m}\log x_{i}!+\sum _{i=1}^{m}x_{i}\log p_{i}}$

Ограничение необходимо принять во внимание и использовать множители Лагранжа:

${\displaystyle L(p_{1},p_{2},\ldots ,p_{m},\lambda )=\ell (p_{1},p_{2},\ldots ,p_{m})+\lambda \left(1-\sum _{i=1}^{m}p_{i}\right)}$

Полагая, что все производные равны 0, получается наиболее естественная оценка.

${\displaystyle {\hat {p}}_{i}={\frac {x_{i}}{n}}}$

Максимизация логарифмической вероятности с ограничениями и без них может оказаться неразрешимой задачей в закрытой форме, тогда нам придется использовать итерационные процедуры.

Итерационные процедуры

За исключением особых случаев, уравнения правдоподобия

${\displaystyle {\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}=0}$

не может быть решено явно для оценщика . Вместо этого их необходимо решать итеративно : начиная с первоначального предположения (скажем ), мы стремимся получить сходящуюся последовательность . Доступно множество методов решения такого рода задач оптимизации , ^{[26] [27]} , но наиболее часто используемые из них — это алгоритмы, основанные на формуле обновления вида ${\displaystyle {\widehat {\theta }}={\widehat {\theta }}(\mathbf {y} )}$ ${\displaystyle \theta }$ ${\displaystyle {\widehat {\theta }}_{1}}$ ${\displaystyle \left\{{\widehat {\theta }}_{r}\right\}}$

${\displaystyle {\widehat {\theta }}_{r+1}={\widehat {\theta }}_{r}+\eta _{r}\mathbf {d} _{r}\left({\widehat {\theta }}\right)}$

где вектор указывает направление спуска r - го «шага», а скаляр фиксирует «длину шага», ^{[28] [29],} также известную как скорость обучения . ^[30] ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)}$ ${\displaystyle \eta _{r}}$

Метод градиентного спуска

(Примечание: здесь речь идет о задаче максимизации, поэтому знак перед градиентом переворачивается)

${\displaystyle \eta _{r}\in \mathbb {R} ^{+}}$ это достаточно мало для сходимости и ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=\nabla \ell \left({\widehat {\theta }}_{r};\mathbf {y} \right)}$

Метод градиентного спуска требует расчета градиента на r-й итерации, но нет необходимости вычислять обратную производную второго порядка, то есть матрицу Гессе. Следовательно, он вычислительно быстрее, чем метод Ньютона-Рафсона.

Метод Ньютона – Рафсона

${\displaystyle \eta _{r}=1}$и ${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

где - оценка и - обратная матрица Гессе функции логарифмического правдоподобия, обе оцениваются на r- й итерации. ^{[31] [32]} Но поскольку расчет матрицы Гессе требует больших вычислительных затрат , были предложены многочисленные альтернативы. Популярный алгоритм Берндта-Холла-Холла-Хаусмана аппроксимирует гессиан внешним произведением ожидаемого градиента, так что ${\displaystyle \mathbf {s} _{r}({\widehat {\theta }})}$ ${\displaystyle \mathbf {H} _{r}^{-1}\left({\widehat {\theta }}\right)}$

${\displaystyle \mathbf {d} _{r}\left({\widehat {\theta }}\right)=-\left[{\frac {1}{n}}\sum _{t=1}^{n}{\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\left({\frac {\partial \ell (\theta ;\mathbf {y} )}{\partial \theta }}\right)^{\mathsf {T}}\right]^{-1}\mathbf {s} _{r}\left({\widehat {\theta }}\right)}$

Квазиньютоновские методы

Другие квазиньютоновские методы используют более сложные обновления секущей для аппроксимации матрицы Гессе.

Формула Дэвидона – Флетчера – Пауэлла

Формула DFP находит решение, которое является симметричным, положительно определенным и наиболее близким к текущему приблизительному значению производной второго порядка:

${\displaystyle \mathbf {H} _{k+1}=\left(I-\gamma _{k}y_{k}s_{k}^{\mathsf {T}}\right)\mathbf {H} _{k}\left(I-\gamma _{k}s_{k}y_{k}^{\mathsf {T}}\right)+\gamma _{k}y_{k}y_{k}^{\mathsf {T}},}$

где

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle \gamma _{k}={\frac {1}{y_{k}^{T}s_{k}}},}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

Алгоритм Бройдена–Флетчера–Гольдфарба–Шенно

BFGS также дает симметричное и положительно определенное решение:

${\displaystyle B_{k+1}=B_{k}+{\frac {y_{k}y_{k}^{\mathsf {T}}}{y_{k}^{\mathsf {T}}s_{k}}}-{\frac {B_{k}s_{k}s_{k}^{\mathsf {T}}B_{k}^{\mathsf {T}}}{s_{k}^{\mathsf {T}}B_{k}s_{k}}}\ ,}$

где

${\displaystyle y_{k}=\nabla \ell (x_{k}+s_{k})-\nabla \ell (x_{k}),}$

${\displaystyle s_{k}=x_{k+1}-x_{k}.}$

Сходимость метода BFGS не гарантируется, если функция не имеет квадратичного разложения Тейлора вблизи оптимума. Однако BFGS может иметь приемлемую производительность даже для негладких примеров оптимизации.

Гол Фишера

Другой популярный метод — заменить гессиан информационной матрицей Фишера , что дает нам алгоритм оценки Фишера. Эта процедура является стандартной для оценки многих методов, таких как обобщенные линейные модели . ${\displaystyle {\mathcal {I}}(\theta )=\operatorname {\mathbb {E} } \left[\mathbf {H} _{r}\left({\widehat {\theta }}\right)\right]}$

Несмотря на свою популярность, квазиньютоновские методы могут сходиться к стационарной точке , которая не обязательно является локальным или глобальным максимумом ^[33] , а скорее локальным минимумом или седловой точкой . Поэтому важно оценить достоверность полученного решения уравнений правдоподобия, проверив, что гессиан, оцененный при решении, является как отрицательно определенным , так и хорошо обусловленным . ^[34]

История

Рональд Фишер в 1913 году

Первыми пользователями метода максимального правдоподобия были Карл Фридрих Гаусс , Пьер-Симон Лаплас , Торвальд Н. Тиле и Фрэнсис Исидро Эджворт . ^{[35] [36]} Однако его широкое использование выросло между 1912 и 1922 годами, когда Рональд Фишер рекомендовал, широко популяризировал и тщательно анализировал оценку максимального правдоподобия (с бесплодными попытками доказательства ). ^[37]

Оценка максимального правдоподобия наконец превзошла эвристическое обоснование в доказательстве, опубликованном Сэмюэлем С. Уилксом в 1938 году и теперь называемом теоремой Уилкса . ^[38] Теорема показывает, что ошибка логарифма значений правдоподобия для оценок на основе нескольких независимых наблюдений асимптотически χ ² -распределена , что позволяет удобно определять доверительную область вокруг любой оценки параметров. Единственная трудная часть доказательства Уилкса зависит от ожидаемого значения информационной матрицы Фишера , которое обеспечивается теоремой, доказанной Фишером. ^[39] Уилкс продолжал совершенствовать общность теоремы на протяжении всей своей жизни, его наиболее общее доказательство было опубликовано в 1962 году. ^[40]

Обзоры разработки оценки максимального правдоподобия были предоставлены рядом авторов. ^{[41] [42] [ 43] [44] [45] [46] [47] [48]}

Смотрите также

• Математический портал

Связанные понятия

• Информационный критерий Акаике : критерий сравнения статистических моделей, основанный на MLE.
• Экстремальная оценка : более общий класс оценок, к которому принадлежит MLE.
• Информация Фишера : информационная матрица, ее связь с ковариационной матрицей оценок ML
• Среднеквадратическая ошибка : мера того, насколько «хороша» оценка параметра распределения (будь то оценка максимального правдоподобия или какая-либо другая оценка).
• RANSAC : метод оценки параметров математической модели по данным, содержащим выбросы.
• Теорема Рао – Блэквелла : дает процесс поиска наилучшей возможной несмещенной оценки (в смысле наличия минимальной среднеквадратической ошибки ); MLE часто является хорошей отправной точкой для процесса
• Теорема Уилкса : предоставляет средства оценки размера и формы области примерно равновероятных оценок значений параметров совокупности, используя информацию из одной выборки, используя распределение хи-квадрат.

Другие методы оценки

• Обобщенный метод моментов : методы, связанные с уравнением правдоподобия при оценке максимального правдоподобия.
• M-оценщик : подход, используемый в надежной статистике.
• Максимальная апостериорная оценка (MAP): для контраста в способе расчета оценок, когда постулируются предварительные знания.
• Оценка максимального расстояния : родственный метод, который более надежен во многих ситуациях.
• Оценка максимальной энтропии
• Метод моментов (статистика) : еще один популярный метод поиска параметров распределений.
• Метод поддержки , разновидность метода максимального правдоподобия.
• Оценка минимального расстояния
• Методы частичного правдоподобия для панельных данных
• Оценка квазимаксимального правдоподобия : оценка MLE, которая определена неверно, но все же непротиворечива.
• Ограниченное максимальное правдоподобие : вариант с использованием функции правдоподобия, рассчитанной на основе преобразованного набора данных.

Рекомендации

1. Росси, Ричард Дж. (2018). Математическая статистика: введение в вывод, основанный на правдоподобии . Нью-Йорк: Джон Уайли и сыновья. п. 227. ИСБН 978-1-118-77104-4.
2. Хендри, Дэвид Ф .; Нильсен, Бент (2007). Эконометрическое моделирование: вероятностный подход . Принстон: Издательство Принстонского университета. ISBN 978-0-691-13128-3.
3. Чемберс, Раймонд Л.; Стил, Дэвид Г.; Ван, Суоджин; Уэлш, Алан (2012). Оценка максимального правдоподобия для выборочных обследований . Бока-Ратон: CRC Press. ISBN 978-1-58488-632-7.
4. Уорд, Майкл Дон ; Алквист, Джон С. (2018). Максимальное правдоподобие для социальных наук: стратегии анализа . Нью-Йорк: Издательство Кембриджского университета. ISBN 978-1-107-18582-1.
5. Пресс, WH; Фланнери, BP; Теукольский, С.А.; Веттерлинг, WT (1992). «Метод наименьших квадратов как средство оценки максимального правдоподобия». Числовые рецепты на FORTRAN: Искусство научных вычислений (2-е изд.). Кембридж: Издательство Кембриджского университета. стр. 651–655. ISBN 0-521-43064-Х.
6. Мьюнг, IJ (2003). «Учебное пособие по оценке максимального правдоподобия». Журнал математической психологии . 47 (1): 90–100. дои : 10.1016/S0022-2496(02)00028-7.
7. Гурьеро, Кристиан; Монфор, Ален (1995). Статистические и эконометрические модели . Издательство Кембриджского университета. п. 161. ИСБН 0-521-40551-3.
8. Кейн, Эдвард Дж. (1968). Экономическая статистика и эконометрика . Нью-Йорк, штат Нью-Йорк: Харпер и Роу. п. 179.
9. Смолл, Кристопер Г.; Ван, Цзиньфан (2003). «Работа с корнями». Численные методы решения нелинейных уравнений оценки . Издательство Оксфордского университета. стр. 74–124. ISBN 0-19-850688-0.
10. Касс, Роберт Э.; Вос, Пол В. (1997). Геометрические основы асимптотического вывода. Нью-Йорк, штат Нью-Йорк: Джон Уайли и сыновья. п. 14. ISBN 0-471-82668-5.
11. Пападопулос, Алекос (25 сентября 2013 г.). «Почему мы всегда помещаем log() перед совместным PDF-файлом, когда используем MLE (оценка максимального правдоподобия)?». Обмен стеками .
12. Сильви, SD (1975). Статистические выводы. Лондон, Великобритания: Чепмен и Холл. п. 79. ИСБН 0-412-13820-4.
13. Олив, Дэвид (2004). «Максимизирует ли MLE вероятность?» (PDF) . Университет Южного Иллинойса .
14. Швалли, Дэниел П. (1985). «Положительные определенные оценки ковариации максимального правдоподобия». Письма по экономике . 17 (1–2): 115–117. дои : 10.1016/0165-1765(85)90139-9.
15. Магнус, Ян Р. (2017). Введение в теорию эконометрики . Амстердам: Издательство Университета ВУ. стр. 64–65. ISBN 978-90-8659-766-6.
16. Пфанзагль (1994, стр. 206)
17. По теореме 2.5 в работе Ньюи, Уитни К.; Макфадден, Дэниел (1994). «Глава 36: Оценка большой выборки и проверка гипотез». В Энгле, Роберт; Макфадден, Дэн (ред.). Справочник по эконометрике, Том 4 . Эльзевир Наука. стр. 2111–2245. ISBN 978-0-444-88766-5.
18. По теореме 3.3 в работе Ньюи, Уитни К.; Макфадден, Дэниел (1994). «Глава 36: Оценка большой выборки и проверка гипотез». В Энгле, Роберт; Макфадден, Дэн (ред.). Справочник по эконометрике, Том 4 . Эльзевир Наука. стр. 2111–2245. ISBN 978-0-444-88766-5.
19. Закс, Шелемьягу (1971). Теория статистического вывода . Нью-Йорк: Джон Уайли и сыновья. п. 223. ИСБН 0-471-98103-6.
20. См. формулу 20 у Кокса, Дэвида Р .; Снелл, Э. Джойс (1968). «Общее определение остатков». Журнал Королевского статистического общества, серия B. 30 (2): 248–275. JSTOR  2984505.
21. Кано, Ютака (1996). «Эффективность третьего порядка подразумевает эффективность четвертого порядка». Журнал Японского статистического общества . 26 : 101–117. дои : 10.14490/jjss1995.26.101 .
22. Кристенсен, Хенрикт И. «Распознавание образов» (PDF) (лекция). Байесовская теория принятия решений - CS 7616. Технологический институт Джорджии.
23. cmplx96 (https://stats.stackexchange.com/users/177679/cmplx96), расхождение Кульбака – Лейблера, URL (версия: 18 ноября 2017 г.): https://stats.stackexchange.com/q/314472 ( на ютубе видео, посмотрите минуты с 13 по 25)
24. Введение в статистический вывод | Стэнфорд (Лекция 16 — MLE при неправильной спецификации модели)
25. Sycorax говорит о восстановлении Моники (https://stats.stackexchange.com/users/22311/sycorax-says-reinstate-monica), взаимосвязи между максимизацией вероятности и минимизацией перекрестной энтропии, URL (версия: 2019-11- 06): https://stats.stackexchange.com/q/364237
26. Флетчер, Р. (1987). Практические методы оптимизации (Второе изд.). Нью-Йорк, штат Нью-Йорк: Джон Уайли и сыновья. ISBN 0-471-91547-5.
27. Носедал, Хорхе ; Райт, Стивен Дж. (2006). Численная оптимизация (второе изд.). Нью-Йорк, штат Нью-Йорк: Спрингер. ISBN 0-387-30303-0.
28. Даганзо, Карлос (1979). Полиномиальный пробит: теория и ее применение к прогнозированию спроса . Нью-Йорк: Академическая пресса. стр. 61–78. ISBN 0-12-201150-3.
29. Гулд, Уильям; Питбладо, Джеффри; Пои, Брайан (2010). Оценка максимального правдоподобия с помощью Stata (Четвертое изд.). Колледж-Стейшн: Stata Press. стр. 13–20. ISBN 978-1-59718-078-8.
30. Мерфи, Кевин П. (2012). Машинное обучение: вероятностная перспектива. Кембридж: MIT Press. п. 247. ИСБН 978-0-262-01802-9.
31. Амемия, Такеши (1985). Продвинутая эконометрика. Кембридж: Издательство Гарвардского университета. стр. 137–138. ISBN 0-674-00560-0.
32. Сарган, Денис (1988). «Методы численной оптимизации». Конспект лекций по продвинутой эконометрической теории . Оксфорд: Бэзил Блэквелл. стр. 161–169. ISBN 0-631-14956-2.
33. См. теорему 10.1 у Авриэля, Мордекая (1976). Нелинейное программирование: анализ и методы. Энглвуд Клиффс, Нью-Джерси: Прентис-Холл. стр. 293–294. ISBN 978-0-486-43227-4.
34. Гилл, Филип Э.; Мюррей, Уолтер; Райт, Маргарет Х. (1981). Практическая оптимизация . Лондон, Великобритания: Академическая пресса. стр. 312–313. ISBN 0-12-283950-1.
35. Эджворт, Фрэнсис Ю. (сентябрь 1908 г.). «О возможных погрешностях частотных констант». Журнал Королевского статистического общества . 71 (3): 499–512. дои : 10.2307/2339293. JSTOR  2339293.
36. Эджворт, Фрэнсис Ю. (декабрь 1908 г.). «О возможных погрешностях частотных констант». Журнал Королевского статистического общества . 71 (4): 651–678. дои : 10.2307/2339378. JSTOR  2339378.
37. Пфанзагль, Иоганн (1994). Параметрическая статистическая теория . Вальтер де Грюйтер . стр. 207–208. дои : 10.1515/9783110889765. ISBN 978-3-11-013863-4. МР  1291393.
38. Уилкс, СС (1938). «Распределение отношения правдоподобия по большой выборке для проверки сложных гипотез». Анналы математической статистики . 9 : 60–62. дои : 10.1214/aoms/1177732360 .
39. Оуэн, Арт Б. (2001). Эмпирическая вероятность . Лондон, Великобритания; Бока-Ратон, Флорида: Chapman & Hall; ЦРК Пресс. ISBN 978-1-58488-071-4.
40. Уилкс, Сэмюэл С. (1962). Математическая статистика . Нью-Йорк, штат Нью-Йорк: Джон Уайли и сыновья. ISBN 978-0-471-94650-2.
41. Сэвидж, Леонард Дж. (1976). «О перечитывании Р. А. Фишера». Анналы статистики . 4 (3): 441–500. дои : 10.1214/aos/1176343456 . JSTOR  2958221.
42. Пратт, Джон В. (1976). «Ф. Я. Эджворт и Р. А. Фишер об эффективности оценки максимального правдоподобия». Анналы статистики . 4 (3): 501–514. дои : 10.1214/aos/1176343457 . JSTOR  2958222.
43. Стиглер, Стивен М. (1978). «Фрэнсис Исидро Эджворт, статистик». Журнал Королевского статистического общества, серия A. 141 (3): 287–322. дои : 10.2307/2344804. JSTOR  2344804.
44. Стиглер, Стивен М. (1986). История статистики: измерение неопределенности до 1900 года. Издательство Гарвардского университета. ISBN 978-0-674-40340-6.
45. Стиглер, Стивен М. (1999). Статистика на столе: история статистических понятий и методов . Издательство Гарвардского университета. ISBN 978-0-674-83601-3.
46. Хальд, Андерс (1998). История математической статистики с 1750 по 1930 годы . Нью-Йорк, штат Нью-Йорк: Уайли. ISBN 978-0-471-17912-2.
47. Хальд, Андерс (1999). «Об истории максимального правдоподобия по отношению к обратной вероятности и наименьшим квадратам». Статистическая наука . 14 (2): 214–222. дои : 10.1214/ss/1009212248 . JSTOR  2676741.
48. Олдрич, Джон (1997). «РА Фишер и создание максимальной вероятности 1912–1922». Статистическая наука . 12 (3): 162–176. дои : 10.1214/ss/1030037906 . МР  1617519.

дальнейшее чтение

• Крамер, Дж. С. (1986). Эконометрические приложения методов максимального правдоподобия. Нью-Йорк, штат Нью-Йорк: Издательство Кембриджского университета. ISBN 0-521-25317-9.
• Элиасон, Скотт Р. (1993). Оценка максимального правдоподобия: логика и практика . Ньюбери Парк: Сейдж. ISBN 0-8039-4107-2.
• Кинг, Гэри (1989). Унификация политической методологии: теория подобия статистического вывода . Издательство Кембриджского университета. ISBN 0-521-36697-6.
• Ле Кам, Люсьен (1990). «Максимальная вероятность: Введение». Обзор ISI . 58 (2): 153–171. дои : 10.2307/1403464. JSTOR  1403464.
• Магнус, Ян Р. (2017). «Максимальная вероятность». Введение в теорию эконометрики . Амстердам, Нидерланды: Издательство VU University Press. стр. 53–68. ISBN 978-90-8659-766-6.
• Миллар, Рассел Б. (2011). Оценка максимального правдоподобия и вывод . Хобокен, Нью-Джерси: Уайли. ISBN 978-0-470-09482-2.
• Пиклз, Эндрю (1986). Введение в анализ правдоподобия . Норидж: WH Hutchins & Sons. ISBN 0-86094-190-6.
• Северини, Томас А. (2000). Вероятностные методы в статистике . Нью-Йорк, штат Нью-Йорк: Издательство Оксфордского университета. ISBN 0-19-850650-3.
• Уорд, Майкл Д .; Алквист, Джон С. (2018). Максимальное правдоподобие для социальных наук: стратегии анализа . Издательство Кембриджского университета. ISBN 978-1-316-63682-4.

Внешние ссылки

• Тилевик, Андреас (2022). Максимальное правдоподобие и метод наименьших квадратов в линейной регрессии (видео)
• «Метод максимального правдоподобия», Математическая энциклопедия , EMS Press , 2001 [1994]
• Перселл, С. «Оценка максимального правдоподобия».
• Сарджент, Томас ; Стачурски, Джон. «Оценка максимального правдоподобия». Количественная экономика с Python .
• Тумет, Отт; Хеннингсен, Арне (19 мая 2019 г.). «maxLik: пакет для оценки максимального правдоподобия в R».
• Лессер, Лоуренс М. (2007). «Текст песни «МЛЕ»» . Математические науки / Научный колледж. Техасский университет . Эль-Пасо, Техас . Проверено 06 марта 2021 г.