Монотонное отношение правдоподобия

Статистическая собственность

Монотонное отношение правдоподобия в распределениях и ${\displaystyle \ f(x)\ }$ ${\displaystyle \ g(x)\ }$

Отношение функций плотности, приведенных выше, является монотонным по параметру, поэтому удовлетворяет свойству монотонного отношения правдоподобия . ${\displaystyle \ x\ ,}$ ${\displaystyle \ {\frac {\ f(x)\ }{g(x)}}\ }$

В статистике свойство монотонного отношения правдоподобия является свойством отношения двух функций плотности вероятности (PDF). Формально распределения и обладают свойством, если ${\displaystyle \ f(x)\ }$ ${\displaystyle \ g(x)\ }$

${\displaystyle \ {\text{for every }}x_{2}>x_{1},\quad {\frac {f(x_{2})}{\ g(x_{2})\ }}\geq {\frac {f(x_{1})}{\ g(x_{1})\ }}\ }$

то есть, если отношение не убывает в аргументе . ${\displaystyle x}$

Если функции являются дифференцируемыми в первом приближении, свойство иногда можно сформулировать так:

${\displaystyle {\frac {\ \partial }{\ \partial x}}\left({\frac {f(x)}{\ g(x)\ }}\right)\geq 0\ }$

Для двух распределений, которые удовлетворяют определению относительно некоторого аргумента, мы говорим, что они «имеют MLRP в » Для семейства распределений, которые удовлетворяют определению относительно некоторой статистики, мы говорим, что они «имеют MLR в » ${\displaystyle \ x\ ,}$ ${\displaystyle \ x~.}$ ${\displaystyle \ T(X)\ ,}$ ${\displaystyle \ T(X)~.}$

Интуиция

MLRP используется для представления процесса генерации данных, который пользуется прямой связью между величиной некоторой наблюдаемой переменной и распределением, из которого она черпается. Если удовлетворяет MLRP относительно , ​​чем выше наблюдаемое значение , тем более вероятно, что оно было извлечено из распределения, а не Как обычно для монотонных отношений, монотонность отношения правдоподобия оказывается полезной в статистике, особенно при использовании оценки максимального правдоподобия . Кроме того, семейства распределений с MLR обладают рядом хорошо себя ведущих стохастических свойств, таких как стохастическое доминирование первого порядка и возрастающие отношения рисков . К сожалению, как это обычно бывает, сила этого предположения достигается ценой реализма. Многие процессы в мире не демонстрируют монотонного соответствия между входом и выходом. ${\displaystyle \ f(x)\ }$ ${\displaystyle \ g(x)\ }$ ${\displaystyle \ x\ }$ ${\displaystyle \ f\ }$ ${\displaystyle \ g~.}$

Пример: усердная работа или безделье

Предположим, вы работаете над проектом и можете либо усердно работать, либо бездельничать. Назовите свой выбор усилий и качество полученного проекта. Если MLRP выполняется для распределения в зависимости от ваших усилий , чем выше качество, тем больше вероятность, что вы усердно работали. И наоборот, чем ниже качество, тем больше вероятность, что вы бездельничали. ${\displaystyle \ e\ }$ ${\displaystyle \ q~.}$ ${\displaystyle \ q\ }$ ${\displaystyle \ e\ }$

1: Выберите усилие , где означает большое усилие, а означает малое усилие. ${\displaystyle \ e\in \{H,L\}\ }$ ${\displaystyle \ H\ }$ ${\displaystyle \ L\ }$

2: Наблюдаем, полученный из закона Байеса с равномерным априорным распределением , ${\displaystyle \ q\ }$ ${\displaystyle \ f(q\ |\ e)~.}$

${\displaystyle \ \operatorname {\mathbb {P} } {\bigl [}\ e=H\ {\big |}\ q\ {\bigr ]}={\frac {f(q\ |\ H)}{\ f(q\ |\ H)+f(q\ |\ L)\ }}\ }$

3: Предположим, что удовлетворяет MLRP. Переставляя, вероятность того, что работник работал усердно, равна ${\displaystyle \ f(q\ |\ e)\ }$

${\displaystyle \ {\frac {1}{\ 1+f(q\ |\ L)/f(q\ |\ H)\ }}\ }$

которая, благодаря MLRP, монотонно возрастает в (потому что убывает в ). ${\displaystyle \ q\ }$ ${\displaystyle \ {\frac {f(q\ |\ L)}{\ f(q\ |\ H)\ }}\ }$ ${\displaystyle \ q\ }$

Следовательно, если какой-либо работодатель проводит «оценку эффективности работы», он может сделать вывод о поведении своего сотрудника, исходя из достоинств его работы.

Семейства распределений, удовлетворяющие MLR

Статистические модели часто предполагают, что данные генерируются распределением из некоторого семейства распределений и стремятся определить это распределение. Эта задача упрощается, если семейство имеет свойство монотонного отношения правдоподобия (MLRP).

Говорят, что семейство функций плотности , индексированное параметром, принимающим значения в упорядоченном наборе, имеет монотонное отношение правдоподобия (MLR) в статистике , если для любого ${\displaystyle \ {\bigl \{}\ f_{\theta }(x)\ {\big |}\ \theta \in \Theta \ {\bigr \}}\ }$ ${\displaystyle \ \theta \ }$ ${\displaystyle \ \Theta \ }$ ${\displaystyle \ T(X)\ }$ ${\displaystyle \ \theta _{1}<\theta _{2}\ ,}$

${\displaystyle \ {\frac {f_{\theta _{2}}(X=x_{1},\ x_{2},\ x_{3},\ \ldots \ )}{\ f_{\theta _{1}}(X=x_{1},\ x_{2},\ x_{3},\ \ldots \ )\ }}\ }$является неубывающей функцией ${\displaystyle \ T(X)~.}$

Тогда мы говорим, что семейство распределений «имеет MLR в ». ${\displaystyle \ T(X)\ }$

Список семей

Проверка гипотез

Если семейство случайных величин имеет MLRP в равномерно наиболее мощном тесте, его можно легко определить для гипотезы против ${\displaystyle \ T(X)\ ,}$ ${\displaystyle \ H_{0}\ :\ \theta \leq \theta _{0}\ }$ ${\displaystyle \ H_{1}\ :\ \theta >\theta _{0}~.}$

Пример: Усилия и результаты

Пример: Пусть есть вход в стохастическую технологию, например, усилие рабочего, и ее выход, вероятность которого описывается функцией плотности вероятности. Тогда свойство монотонного отношения правдоподобия (MLRP) семейства выражается следующим образом: Для любого факта, который подразумевает, что отношение увеличивается в ${\displaystyle \ e\ }$ ${\displaystyle \ y\ }$ ${\displaystyle \ f(y;e)~.}$ ${\displaystyle \ f\ }$ ${\displaystyle \ e_{1},e_{2}\ ,}$ ${\displaystyle e_{2}>e_{1}}$ ${\displaystyle \ {\frac {\ f(y;e_{2})\ }{f(y;e_{1})}}\ }$ ${\displaystyle \ y~.}$

Связь с другими статистическими свойствами

Монотонные правдоподобия используются в нескольких областях статистической теории, включая точечную оценку и проверку гипотез , а также в вероятностных моделях .

Экспоненциальные семьи

Однопараметрические экспоненциальные семейства имеют монотонные функции правдоподобия. В частности, одномерное экспоненциальное семейство функций плотности вероятности или функций массы вероятности с

${\displaystyle \ f_{\theta }(x)=c(\theta )\ h(x)\ \exp {\Bigl (}\ \pi \left(\theta \right)\ T\left(x\right)\ {\Bigr )}\ }$

имеет монотонное неубывающее отношение правдоподобия в достаточной статистике при условии, что является неубывающим. ${\displaystyle \ T(x)\ ,}$ ${\displaystyle \ \pi (\theta )\ }$

Равномерно наиболее мощные тесты: Теорема Карлина–Рубина

Монотонные функции правдоподобия используются для построения равномерно наиболее мощных тестов , согласно теореме Карлина–Рубина . ^[1] Рассмотрим скалярное измерение, имеющее функцию плотности вероятности, параметризованную скалярным параметром , и определим отношение правдоподобия Если является монотонно неубывающим, для любой пары (что означает, что чем больше , тем больше вероятность ), то пороговый тест: ${\displaystyle \ \theta \ ,}$ ${\displaystyle \ \ell (x)={\frac {f_{\theta _{1}}(x)}{\ f_{\theta _{0}}(x)\ }}~.}$ ${\displaystyle \ \ell (x)\ }$ ${\displaystyle \ x\ ,}$ ${\displaystyle \ \theta _{1}\geq \theta _{0}\ }$ ${\displaystyle \ x\ }$ ${\displaystyle \ H_{1}\ }$

${\displaystyle \ \varphi (x)={\begin{cases}1&{\text{if }}x>x_{0}\\0&{\text{if }}x<x_{0}\end{cases}}\ }$

где выбрано так, что ${\displaystyle \ x_{0}\ }$ ${\displaystyle \ \operatorname {\mathbb {E} } {\bigl \{}\ \varphi (X)\ {\big |}\ \theta _{0}\ {\bigr \}}=\alpha \ }$

является тестом UMP размера для тестирования против ${\displaystyle \ \alpha \ }$ ${\displaystyle \ H_{0}\ :\ \theta \leq \theta _{0}~~}$ ${\displaystyle ~~H_{1}:\theta >\theta _{0}~.}$

Обратите внимание, что точно такой же тест также является UMP для тестирования против. ${\displaystyle \ H_{0}\ :\ \theta =\theta _{0}~~}$ ${\displaystyle ~~H_{1}:\theta >\theta _{0}~.}$

Медианная несмещенная оценка

Монотонные функции правдоподобия используются для построения медианно-несмещенных оценок с использованием методов, определенных Иоганном Пфанцаглем и другими. ^{[2] [3]} Одна из таких процедур является аналогом процедуры Рао–Блэквелла для оценок, не смещенных относительно среднего : процедура применима для меньшего класса распределений вероятностей, чем процедура Рао–Блэквелла для оценки, не смещенной относительно среднего, но для большего класса функций потерь . ^{[3] : 713}

Анализ срока службы: Анализ выживаемости и надежности

Если семейство распределений имеет свойство монотонного отношения правдоподобия в ${\displaystyle \ f_{\theta }(x)\ }$ ${\displaystyle \ T(X)\ ,}$

1. семья имеет монотонно уменьшающиеся показатели опасности в (но не обязательно в ) ${\displaystyle \ \theta \ }$ ${\displaystyle \ T(X)\ }$
2. семейство демонстрирует стохастическое доминирование первого порядка (и, следовательно, второго порядка) в , а наилучшее байесовское обновление увеличивается в . ${\displaystyle \ x\ ,}$ ${\displaystyle \ \theta \ }$ ${\displaystyle T(X)}$

Но не наоборот: ни монотонные показатели опасности, ни стохастическое доминирование не подразумевают MLRP.

Доказательства

Пусть семейство распределений удовлетворяет MLR в так, что для и ${\displaystyle \ f_{\theta }\ }$ ${\displaystyle \ x\ ,}$ ${\displaystyle \ \theta _{1}>\theta _{0}\ }$ ${\displaystyle \ x_{1}>x_{0}\ :}$

${\displaystyle \ {\frac {f_{\theta _{1}}(x_{1})}{\ f_{\theta _{0}}(x_{1})\ }}\geq {\frac {\ f_{\theta _{1}}(x_{0})\ }{f_{\theta _{0}}(x_{0})}}\ ,}$

или эквивалентно:

${\displaystyle \ f_{\theta _{1}}(x_{1})\ f_{\theta _{0}}(x_{0})\geq f_{\theta _{1}}(x_{0})\ f_{\theta _{0}}(x_{1})~.}$

Интегрируя это выражение дважды, получаем:

Стохастическое доминирование первого порядка

Объединим два неравенства выше, чтобы получить доминирование первого порядка:

${\displaystyle F_{\theta _{1}}(x)\leq F_{\theta _{0}}(x)~\forall x\ }$

Монотонная степень опасности

Используйте только второе неравенство выше, чтобы получить монотонный коэффициент опасности:

${\displaystyle \ {\frac {f_{\theta _{1}}(x)}{\ 1-F_{\theta _{1}}(x)\ }}\leq {\frac {f_{\theta _{0}}(x)}{\ 1-F_{\theta _{0}}(x)\ }}~\forall x\ }$

Использует

Экономика

MLR является важным условием распределения типов агентов в проектировании механизмов и экономике информации , где Пол Милгром определил «благоприятность» сигналов (в терминах стохастического доминирования) как следствие MLR. ^[4] Большинство решений для моделей проектирования механизмов предполагают распределения типов, которые удовлетворяют MLR, чтобы воспользоваться преимуществами методов решения, которые могут быть проще в применении и интерпретации.

Ссылки

1. Casella, G.; Berger, RL (2008). "Теорема 8.3.17". Статистический вывод . Brooks / Cole. ISBN 0-495-39187-5.
2. Пфанцагль, Иоганн (1979). «Об оптимальных медианных несмещенных оценках при наличии мешающих параметров». Annals of Statistics . 7 (1): 187–193. doi : 10.1214/aos/1176344563 .
3. Brown, LD ; Cohen, Arthur; Strawderman, WE (1976). «Полная теорема класса для строгого монотонного отношения правдоподобия с приложениями». Annals of Statistics . 4 (4): 712–722. doi : 10.1214/aos/1176343543 .
4. Милгром, PR (1981). «Хорошие новости и плохие новости: теоремы представления и их применение». The Bell Journal of Economics . 12 (2): 380–391. doi :10.2307/3003562.