Теорема Рао–Блэквелла

Статистическая теорема

В статистике теорема Рао–Блэквелла , иногда называемая теоремой Рао–Блэквелла–Колмогорова , представляет собой результат, характеризующий преобразование произвольно грубой оценки в оценку, оптимальную по критерию среднеквадратической ошибки или любому из множества подобных критериев.

Теорема Рао–Блэквелла утверждает, что если g ( X ) является любым видом оценки параметра θ, то условное ожидание g ( X ) при заданном T ( X ), где T — достаточная статистика , обычно является лучшей оценкой θ и никогда не бывает хуже. Иногда можно очень легко построить очень грубую оценку g ( X ), а затем оценить это условное ожидаемое значение, чтобы получить оценку, которая является оптимальной в различных смыслах.

Теорема названа в честь CR Rao и David Blackwell . Процесс преобразования оценщика с использованием теоремы Rao–Blackwell можно назвать Rao–Blackwellization . Преобразованный оценщик называется оценщиком Rao–Blackwell . ^{[1] [2] [3]}

Определения

• Оценщик δ( X ) — это наблюдаемая случайная величина (т. е. статистика ), используемая для оценки некоторой ненаблюдаемой величины . Например, может не быть возможности наблюдать средний рост всех студентов мужского пола в Университете X, но можно наблюдать рост случайной выборки из 40 из них. Средний рост этих 40 — «выборочное среднее» — может использоваться в качестве оценщика ненаблюдаемого «среднего по популяции».
• Достаточная статистика T ( X ) — это статистика, вычисленная по данным X для оценки некоторого параметра θ, для которого никакая другая статистика, вычисленная по данным X, не дает никакой дополнительной информации о θ. Она определяется как наблюдаемая случайная величина, такая что условное распределение вероятностей всех наблюдаемых данных X при T ( X ) не зависит от ненаблюдаемого параметра θ, такого как среднее значение или стандартное отклонение всей совокупности, из которой были взяты данные X. В наиболее часто приводимых примерах «ненаблюдаемые» величины — это параметры, которые параметризуют известное семейство распределений вероятностей, в соответствии с которым распределены данные.

Другими словами, достаточная статистика T(X) для параметра θ — это статистика , такая, что условная вероятность данных X при заданном T ( X ) не зависит от параметра θ.

• Оценка Рао –Блэквелла δ ₁ ( X ) ненаблюдаемой величины θ — это условное ожидаемое значение E(δ( X ) | T ( X )) некоторой оценки δ( X ) при наличии достаточной статистики T ( X ). Назовем δ( X ) «исходной оценкой» , а δ ₁ ( X ) — «улучшенной оценкой» . Важно, чтобы улучшенная оценка была наблюдаемой , т. е. не зависела от θ. Как правило, условное ожидаемое значение одной функции этих данных при наличии другой функции этих данных зависит от θ, но само определение достаточности, данное выше, подразумевает, что эта не зависит.
• Среднеквадратическая ошибка оценщика — это ожидаемое значение квадрата его отклонения от ненаблюдаемой оцениваемой величины θ.

Теорема

Версия со среднеквадратической ошибкой

Один из случаев теоремы Рао–Блэквелла гласит:

Среднеквадратическая ошибка оценки Рао–Блэквелла не превышает ошибку исходной оценки.

Другими словами,

${\displaystyle \operatorname {E} ((\delta _{1}(X)-\theta )^{2})\leq \operatorname {E} ((\delta (X)-\theta )^{2}).}$

Основными инструментами доказательства, помимо определения выше, являются закон полного ожидания и тот факт, что для любой случайной величины Y , E( Y ² ) не может быть меньше, чем [E( Y )] ² . Это неравенство является случаем неравенства Йенсена , хотя можно также показать, что оно немедленно следует из часто упоминаемого факта, что

${\displaystyle 0\leq \operatorname {Var} (Y)=\operatorname {E} ((Y-\operatorname {E} (Y))^{2})=\operatorname {E} (Y^{2})-(\operatorname {E} (Y))^{2}.}$

Точнее, среднеквадратическая ошибка оценки Рао-Блэквелла имеет следующее разложение ^[4]

${\displaystyle \operatorname {E} [(\delta _{1}(X)-\theta )^{2}]=\operatorname {E} [(\delta (X)-\theta )^{2}]-\operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]}$

Так как , то теорема Рао-Блэквелла следует немедленно. ${\displaystyle \operatorname {E} [\operatorname {Var} (\delta (X)\mid T(X))]\geq 0}$

Выпуклое обобщение потерь

Более общая версия теоремы Рао–Блэквелла говорит об «ожидаемых потерях» или функции риска :

${\displaystyle \operatorname {E} (L(\delta _{1}(X)))\leq \operatorname {E} (L(\delta (X)))}$

где "функция потерь" L может быть любой выпуклой функцией . Если функция потерь дважды дифференцируема, как в случае со среднеквадратической ошибкой, то мы имеем более точное неравенство ^[4]

${\displaystyle \operatorname {E} (L(\delta (X)))-\operatorname {E} (L(\delta _{1}(X)))\geq {\frac {1}{2}}\operatorname {E} _{T}\left[\inf _{x}L''(x)\operatorname {Var} (\delta (X)\mid T)\right].}$

Характеристики

Улучшенная оценка является несмещенной тогда и только тогда, когда исходная оценка является несмещенной, что можно сразу увидеть, используя закон полного ожидания . Теорема верна независимо от того, используются ли смещенные или несмещенные оценки.

Теорема кажется очень слабой: она говорит только, что оценка Рао–Блэквелла не хуже исходной оценки. На практике, однако, улучшение часто оказывается огромным. ^[5]

Пример

Телефонные звонки поступают на коммутатор в соответствии с пуассоновским процессом со средней скоростью λ в минуту. Эта скорость не наблюдаема, но наблюдаются числа X ₁ , ..., X _n телефонных звонков, поступивших в течение n последовательных одноминутных периодов. Требуется оценить вероятность e ^−λ того, что следующий одноминутный период пройдет без телефонных звонков.

Крайне грубая оценка желаемой вероятности:

${\displaystyle \delta _{0}=\left\{{\begin{matrix}1&{\text{if}}\ X_{1}=0,\\0&{\text{otherwise,}}\end{matrix}}\right.}$

т. е. он оценивает эту вероятность как 1, если в первую минуту не поступило ни одного звонка, и как ноль в противном случае. Несмотря на очевидные ограничения этой оценки, результат, полученный с помощью ее Рао-Блэквеллизации, является очень хорошей оценкой.

Сумма

${\displaystyle S_{n}=\sum _{i=1}^{n}X_{i}=X_{1}+\cdots +X_{n}}$

можно легко показать, что это достаточная статистика для λ, т. е. условное распределение данных X ₁ , ..., X _n , зависит от λ только через эту сумму. Поэтому мы находим оценку Рао–Блэквелла

${\displaystyle \delta _{1}=\operatorname {E} (\delta _{0}\mid S_{n}=s_{n}).}$

После некоторых алгебраических действий мы имеем

${\displaystyle {\begin{aligned}\delta _{1}&=\operatorname {E} \left(\mathbf {1} _{\{X_{1}=0\}}{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0{\Bigg |}\sum _{i=1}^{n}X_{i}=s_{n}\right)\\&=P\left(X_{1}=0,\sum _{i=2}^{n}X_{i}=s_{n}\right)\times P\left(\sum _{i=1}^{n}X_{i}=s_{n}\right)^{-1}\\&=e^{-\lambda }{\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-(n-1)\lambda }}{s_{n}!}}\times \left({\frac {(n\lambda )^{s_{n}}e^{-n\lambda }}{s_{n}!}}\right)^{-1}\\&={\frac {\left((n-1)\lambda \right)^{s_{n}}e^{-n\lambda }}{s_{n}!}}\times {\frac {s_{n}!}{(n\lambda )^{s_{n}}e^{-n\lambda }}}\\&=\left(1-{\frac {1}{n}}\right)^{s_{n}}\end{aligned}}}$

Поскольку среднее число звонков, поступающих в течение первых n минут, равно n λ, неудивительно, если эта оценка имеет довольно высокую вероятность (если n велико) оказаться близкой к

${\displaystyle \left(1-{1 \over n}\right)^{n\lambda }\approx e^{-\lambda }.}$

Так что δ ₁ явно является значительно улучшенной оценкой этой последней величины. Фактически, поскольку S _n является полной , а δ ₀ является несмещенной, δ ₁ является единственной несмещенной оценкой с минимальной дисперсией по теореме Лемана–Шеффе .

Идемпотентность

Операция Рао–Блэквеллизации является идемпотентной . Использование ее для улучшения уже улучшенной оценки не приводит к дальнейшему улучшению, а просто возвращает в качестве выхода ту же улучшенную оценку.

Полнота и минимальная дисперсия Лемана-Шеффе

Если обусловливающая статистика является и полной , и достаточной , а начальная оценка является несмещенной, то оценка Рао–Блэквелла является единственной « наилучшей несмещенной оценкой »: см. теорему Лемана–Шеффе .

Пример улучшаемого улучшения Рао–Блэквелла при использовании минимальной достаточной статистики, которая не является полной , был предоставлен Галили и Мейлийсоном в 2016 году. ^[6] Пусть будет случайной выборкой из равномерного по масштабу распределения с неизвестным средним значением и известным параметром дизайна . В поисках «наилучших» возможных несмещенных оценок для естественно рассматривать в качестве начальной (грубой) несмещенной оценки для , а затем попытаться улучшить ее. Поскольку не является функцией , минимальной достаточной статистики для (где и ), ее можно улучшить с помощью теоремы Рао–Блэквелла следующим образом: ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle X\sim U\left((1-k)\theta ,(1+k)\theta \right),}$ ${\displaystyle E[X]=\theta }$ ${\displaystyle k\in (0,1)}$ ${\displaystyle \theta ,}$ ${\displaystyle X_{1}}$ ${\displaystyle \theta }$ ${\displaystyle X_{1}}$ ${\displaystyle T=\left(X_{(1)},X_{(n)}\right)}$ ${\displaystyle \theta }$ ${\displaystyle X_{(1)}=\min(X_{i})}$ ${\displaystyle X_{(n)}=\max(X_{i})}$

${\displaystyle {\hat {\theta }}_{RB}=E_{\theta }\left[X_{1}|X_{(1)},X_{(n)}\right]={\frac {X_{(1)}+X_{(n)}}{2}}.}$

Однако можно показать, что следующая несмещенная оценка имеет меньшую дисперсию:

${\displaystyle {\hat {\theta }}_{LV}={\frac {1}{2\left(k^{2}{\frac {n-1}{n+1}}+1\right)}}\left[(1-k){{X}_{(1)}}+(1+k){{X}_{(n)}}\right].}$

И на самом деле, его можно было бы еще улучшить, если бы использовалась следующая оценка:

${\displaystyle {\hat {\theta }}_{BAYES}={\frac {n+1}{n}}\left[1-{\frac {{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}-1}{{{\left[{\frac {\left({\frac {{X}_{(1)}}{1-k}}\right)}{\left({\frac {{X}_{(n)}}{1+k}}\right)}}\right]}^{n+1}}-1}}\right]{\frac {X_{(n)}}{1+k}}}$

Модель является масштабной моделью . Оптимальные эквивариантные оценки затем могут быть получены для функций потерь , которые являются инвариантными . ^[7]

Смотрите также

• Теорема Басу — Еще один результат о полных достаточных и вспомогательных статистиках

Ссылки

1. Блэквелл, Д. (1947). «Условное ожидание и несмещенная последовательная оценка». Annals of Mathematical Statistics . 18 (1): 105–110. doi : 10.1214/aoms/1177730497 . MR  0019903. Zbl  0033.07603.
2. Колмогоров, А.Н. (1950). «Непредвзятые оценки». Известия Акад. Наук СССР. Сер. Мат . 14 : 303–326. МР  0036479.
3. Рао, К. Радхакришна (1945). «Информация и точность, достижимая при оценке статистических параметров». Бюллетень Калькуттского математического общества . 37 (3): 81–91.
4. JG Liao; A. Berg (22 июня 2018 г.). «Усиление неравенства Дженсена». The American Statistician . 73 (3): 278–281. arXiv : 1707.08644 . doi : 10.1080/00031305.2017.1419145. S2CID  88515366.
5. Карпентер, Боб (20 января 2020 г.). «Rao-Blackwellization and discretary options in Stan». Статистическое моделирование, причинно-следственные связи и социальные науки . Получено 13 сентября 2021 г. Теорема Рао-Блэквелла утверждает, что подход маргинализации имеет дисперсию, меньшую или равную прямому подходу. На практике эта разница может быть огромной.
6. Tal Galili; Isaac Meilijson (31 марта 2016 г.). «Пример улучшаемого улучшения Рао–Блэквелла, неэффективной оценки максимального правдоподобия и несмещенной обобщенной байесовской оценки». The American Statistician . 70 (1): 108–113. doi :10.1080/00031305.2015.1100683. PMC 4960505 . PMID  27499547. 
7. Таралдсен, Гуннар (2020). «Миха Мандель (2020), «Пересмотр масштабированной однородной модели», The American Statistician, 74:1, 98–100: Комментарий». The American Statistician . 74 (3): 315. doi :10.1080/00031305.2020.1769727. ISSN  0003-1305. S2CID  219493070.

Внешние ссылки

• Никулин, М.С. (2001) [1994], «Теорема Рао–Блэквелла–Колмогорова», Энциклопедия математики , EMS Press