Эмпирическая вероятность

Метод оценки статистических параметров

В теории вероятностей и статистике эмпирическое правдоподобие ( EL ) — непараметрический метод оценки параметров статистических моделей . Он требует меньше предположений о распределении ошибок , сохраняя при этом некоторые преимущества вывода, основанного на правдоподобии . Метод оценки требует, чтобы данные были независимыми и одинаково распределенными (iid). Он работает хорошо, даже когда распределение асимметрично или подвергается цензуре . ^[1] Методы EL также могут обрабатывать ограничения и априорную информацию о параметрах. Арт Оуэн стал пионером в этой области в своей статье 1988 года. ^[2]

Определение

Учитывая набор реализаций случайных величин iid , эмпирическая функция распределения равна , с индикаторной функцией и (нормализованными) весами . Тогда эмпирическая вероятность равна: ^[3] ${\displaystyle n}$ ${\displaystyle y_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle {\hat {F}}(y):=\sum _{i=1}^{n}\pi _{i}I(Y_{i}<y)}$ ${\displaystyle I}$ ${\displaystyle \pi _{i}}$

${\displaystyle L:=\prod _{i=1}^{n}{\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}},}$

где – небольшое число (потенциально разница со следующей меньшей выборкой). ${\displaystyle \delta y}$

Эмпирическую оценку правдоподобия можно дополнить дополнительной информацией, используя дополнительные ограничения (аналогично подходу с использованием обобщенных уравнений оценки ) для эмпирической функции распределения. Например, ограничение, подобное следующему, может быть введено с использованием множителя Лагранжа , что подразумевает . ${\displaystyle E[h(Y;\theta )]=\int _{-\infty }^{\infty }h(y;\theta )dF=0}$ ${\displaystyle {\hat {E}}[h(y;\theta )]=\sum _{i=1}^{n}h(y_{i};\theta )\pi _{i}=0}$

С аналогичными ограничениями мы могли бы также смоделировать корреляцию.

Дискретные случайные величины

Метод эмпирического правдоподобия также можно использовать для дискретных распределений . ^[4] Учитывая , что ${\displaystyle \ p_{i}:={\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y),\ i=1,...,n}$ ${\displaystyle p_{i}\geq 0{\text{ and }}\sum _{i=1}^{n}\ p_{i}=1.}$

Тогда эмпирическая вероятность снова равна . ${\displaystyle L(p_{1},...,p_{n})=\prod _{i=1}^{n}\ p_{i}}$

Используя метод множителей Лагранжа для максимизации логарифма эмпирического правдоподобия с учетом тривиального ограничения нормализации, мы находим максимум. Следовательно, – эмпирическая функция распределения . ${\displaystyle p_{i}=1/n}$ ${\displaystyle {\hat {F}}}$

Процедура оценки

Оценки EL рассчитываются путем максимизации эмпирической функции правдоподобия (см. выше) с учетом ограничений, основанных на оценочной функции и тривиальном предположении, что сумма вероятностных весов функции правдоподобия равна 1. ^[5] Эта процедура представляется как:

${\displaystyle \max _{\pi _{i},\theta }\ln(L)=\max _{\pi _{i},\theta }\sum _{i=1}^{n}\ln \pi _{i}}$

с учетом ограничений

${\displaystyle s.t.\sum _{i=1}^{n}\pi _{i}=1,\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta )=0,\forall i\in [1..n]\quad 0\leq \pi _{i}.}$^{[6] : Уравнение (73)}

Значение тета-параметра можно найти, решив функцию Лагранжа

${\displaystyle {\mathcal {L}}=\sum _{i=1}^{n}\ln \pi _{i}+\mu (1-\sum _{i=1}^{n}\pi _{i})-n\tau '\sum _{i=1}^{n}\pi _{i}h(y_{i};\theta ).}$^{[6] : Уравнение (74)}

Существует явная аналогия между этой задачей максимизации и проблемой, решенной для максимальной энтропии .

Параметры являются мешающими параметрами . ${\displaystyle \pi _{i}}$

Эмпирический коэффициент правдоподобия (ELR)

Эмпирическая функция отношения правдоподобия определяется и используется для получения интересующего параметра доверительных интервалов θ, аналогичного доверительным интервалам параметрического отношения правдоподобия. ^{[7] [8]} Пусть L(F) будет эмпирическим правдоподобием функции , тогда ELR будет: ${\displaystyle F}$

${\displaystyle R(F)=L(F)/L(F_{n})}$.

Рассмотрим множества вида

${\displaystyle C=\{T(F)|R(F)\geq r\}}$.

В таких условиях тест отклоняет, когда t не принадлежит , то есть когда ни одно распределение F с не имеет правдоподобия . ${\displaystyle T(F)=t}$ ${\displaystyle C}$ ${\displaystyle T(F)=t}$ ${\displaystyle L(F)\geq rL(F_{n})}$

Центральный результат касается среднего значения X. Очевидно, что необходимы некоторые ограничения на , иначе всякий раз, когда . Чтобы увидеть это, позвольте: ${\displaystyle F}$ ${\displaystyle C=\mathbb {R} ^{p}}$ ${\displaystyle r<1}$

${\displaystyle F=\epsilon \delta _{x}+(1-\epsilon )F_{n}}$

Если достаточно мало и , то . ${\displaystyle \epsilon }$ ${\displaystyle \epsilon >0}$ ${\displaystyle R(F)\geq r}$

Но тогда, как проходит через , так же и среднее значение , выслеживая . Проблему можно решить, ограничившись распределениями F, которые поддерживаются в ограниченном множестве. Оказывается, можно ограничить внимание распределениями с поддержкой в ​​выборке, другими словами, распределением . Такой метод удобен, поскольку статистик может не захотеть указать ограниченный носитель для и поскольку преобразует построение в конечномерную задачу. ${\displaystyle x}$ ${\displaystyle \mathbb {R} ^{p}}$ ${\displaystyle F}$ ${\displaystyle C=\mathbb {R} ^{p}}$ ${\displaystyle F\ll F_{n}}$ ${\displaystyle F}$ ${\displaystyle t}$ ${\displaystyle C}$

Другие приложения

Использование эмпирического правдоподобия не ограничивается доверительными интервалами. В эффективной квантильной регрессии процедура категоризации на основе EL ^[9] помогает определить форму истинного дискретного распределения на уровне p, а также обеспечивает способ формулирования непротиворечивой оценки. Кроме того, EL можно использовать вместо параметрического правдоподобия для формирования критериев выбора модели . ^[10] Эмпирическое правдоподобие может естественным образом применяться в анализе выживаемости ^[11] или в задачах регрессии ^[12]

Смотрите также

• Начальная загрузка (статистика)
• Складной нож (статистика)
• Оценщик Нельсона – Аалена

Литература

• Нордман, Дэниел Дж. и Сумендра Н. Лахири. «Обзор методов эмпирического правдоподобия для временных рядов». Журнал статистического планирования и вывода 155 (2014): 1-18. https://doi.org/10.1016/j.jspi.2013.10.001

Рекомендации

1. Оуэн, Арт Б. (2001). Эмпирическая вероятность. Бока-Ратон, Флорида, ISBN 978-1-4200-3615-2. ОСЛК  71012491.{{cite book}}: CS1 maint: location missing publisher (link)
2. Оуэн, Арт Б. (1988). «Эмпирические доверительные интервалы отношения правдоподобия для одного функционала». Биометрика . 75 (2): 237–249. дои : 10.1093/biomet/75.2.237. ISSN  0006-3444.
3. — оценка плотности вероятности, сравните гистограмму ${\displaystyle {\frac {{\hat {F}}(y_{i})-{\hat {F}}(y_{i}-\delta y)}{\delta y}}}$
4. Ван, Донг; Чен, Сун Си (1 февраля 2009 г.). «Эмпирическая вероятность оценки уравнений с пропущенными значениями». Анналы статистики . 37 (1). arXiv : 0903.0726 . дои : 10.1214/07-aos585. ISSN  0090-5364. S2CID  5427751.
5. Миттельхаммер, судья и Миллер (2000), 292.
6. Бера, Анил К.; Билиас, Яннис (2002). «Подходы к оценке MM, ME, ML, EL, EF и GMM: синтез». Журнал эконометрики . 107 (1–2): 51–86. дои : 10.1016/S0304-4076(01)00113-0.
7. Оуэн, Арт (1 марта 1990 г.). «Эмпирические области достоверности отношения правдоподобия». Анналы статистики . 18 (1). дои : 10.1214/aos/1176347494 . ISSN  0090-5364.
8. Донг, Лорен Бин; Джайлз, Дэвид Э.А. (30 января 2007 г.). «Эмпирический тест отношения правдоподобия на нормальность». Коммуникации в статистике – моделирование и вычисления . 36 (1): 197–215. дои : 10.1080/03610910601096544. ISSN  0361-0918. S2CID  16866055.
9. Чен, Цзиен; Лазар, Николь А. (27 января 2010 г.). «Квантильная оценка дискретных данных с помощью эмпирического правдоподобия». Журнал непараметрической статистики . 22 (2): 237–255. дои : 10.1080/10485250903301525. ISSN  1048-5252. S2CID  119684596.
10. Чен, Чисян; Ван, Мин; Ву, Жунлин; Ли, Рунзе (2022). «Надежный последовательный информационный критерий для выбора модели на основе эмпирического правдоподобия». Статистика Синица . arXiv : 2006.13281 . дои : 10.5705/сс.202020.0254. ISSN  1017-0405. S2CID  220042083.
11. Чжоу, М. (2015). Эмпирический метод правдоподобия в анализе выживания (1-е изд.). Чепмен и Холл/CRC. https://doi.org/10.1201/b18598
12. Чен, Сун Си и Ингрид Ван Кейлегом. «Обзор эмпирических методов правдоподобия для регрессии». ТЕСТ, том 18, страницы 415–447, (2009 г.) https://doi.org/10.1007/s11749-009-0159-5