Связанный Крамер–Рао

Нижняя граница дисперсии оценщика

Иллюстрация границы Крамера-Рао: не существует несмещенной оценки, которая могла бы оценить (2-мерный) параметр с меньшей дисперсией, чем граница Крамера-Рао, проиллюстрированная в виде эллипса стандартного отклонения.

В теории оценок и статистике граница Крамера –Рао ( CRB ) относится к оценке детерминированного (фиксированного, хотя и неизвестного) параметра. Результат назван в честь Харальда Крамера и CR Рао , ^{[1] [2] [3],} но был также выведен независимо Морисом Фреше , ^[4] Жоржем Дармуа , ^[5] и Александром Эйткеном и Гарольдом Сильверстоуном . ^{[6] [7]} Она также известна как нижняя граница Фреше–Крамера–Рао или Фреше–Дармуа–Крамера–Рао. Она утверждает, что точность любой несмещенной оценки не превышает информации Фишера ; или (что эквивалентно) обратная величина информации Фишера является нижней границей ее дисперсии .

Несмещенная оценка, которая достигает этой границы, называется (полностью) эффективной . Такое решение достигает минимально возможной среднеквадратической ошибки среди всех несмещенных методов и, следовательно, является оценкой с минимальной дисперсией несмещенной (MVU). Однако в некоторых случаях не существует несмещенной методики, которая достигает границы. Это может произойти либо в том случае, если для любой несмещенной оценки существует другая со строго меньшей дисперсией, либо если существует оценщик MVU, но его дисперсия строго больше, чем обратная величина информации Фишера.

Граница Крамера–Рао также может использоваться для ограничения дисперсии смещенных оценок заданного смещения. В некоторых случаях смещенный подход может привести как к дисперсии, так и к среднеквадратичной ошибке , которые будут ниже несмещенной нижней границы Крамера–Рао; см. смещение оценки .

Значительный прогресс по сравнению с нижней границей Крамера–Рао был предложен А. Бхаттачарья в серии работ, названных «Граница Бхаттачарья». ^{[8] [9] [10] [11]}

Заявление

Граница Крамера–Рао изложена в этом разделе для нескольких все более общих случаев, начиная со случая, когда параметр является скаляром , а его оценка является несмещенной . Все версии границы требуют определенных условий регулярности, которые выполняются для большинства хорошо себя ведущих распределений. Эти условия перечислены далее в этом разделе.

Скалярный несмещенный случай

Предположим, что есть неизвестный детерминированный параметр , который должен быть оценен из независимых наблюдений (измерений) , каждое из которых из распределения в соответствии с некоторой функцией плотности вероятности . Дисперсия любой несмещенной оценки тогда ограничена ^[12] обратной величиной информации Фишера : ${\displaystyle \theta }$ ${\displaystyle n}$ ${\displaystyle x}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle I(\theta )}$

${\displaystyle \operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}}$

где информация Фишера определяется как ${\displaystyle I(\theta )}$

${\displaystyle I(\theta )=n\operatorname {E} _{X;\theta }\left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]}$

и является натуральным логарифмом функции правдоподобия для одной выборки и обозначает ожидаемое значение относительно плотности . Если не указано иное, в дальнейшем ожидание берется относительно . ${\displaystyle \ell (x;\theta )=\log(f(x;\theta ))}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} _{x;\theta }}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle X}$ ${\displaystyle X}$

Если дважды дифференцируема и выполняются определенные условия регулярности, то информацию Фишера можно также определить следующим образом: ^[13] ${\displaystyle \ell (x;\theta )}$

${\displaystyle I(\theta )=-n\operatorname {E} _{X;\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]}$

Эффективность несмещенной оценки измеряет , насколько близко дисперсия этой оценки приближается к этой нижней границе; эффективность оценки определяется как ${\displaystyle {\hat {\theta }}}$

${\displaystyle e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {var} ({\hat {\theta }})}}}$

или минимально возможное отклонение для несмещенной оценки, деленное на его фактическое отклонение. Таким образом, нижняя граница Крамера–Рао дает

${\displaystyle e({\hat {\theta }})\leq 1}$.

Общий скалярный случай

Более общую форму границы можно получить, рассмотрев смещенную оценку , чье ожидание не является функцией этого параметра, скажем, . Следовательно , в общем случае не равно 0. В этом случае граница задается выражением ${\displaystyle T(X)}$ ${\displaystyle \theta }$ ${\displaystyle \psi (\theta )}$ ${\displaystyle E\{T(X)\}-\theta =\psi (\theta )-\theta }$

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}}$

где — производная от (по ), а — информация Фишера, определенная выше. ${\displaystyle \psi '(\theta )}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle \theta }$ ${\displaystyle I(\theta )}$

Ограничение дисперсии смещенных оценок

Помимо того, что этот подход является ограничением для оценщиков функций параметра, он может быть использован для вывода ограничения для дисперсии смещенных оценщиков с заданным смещением следующим образом. ^[14] Рассмотрим оценщик со смещением , и пусть . Согласно результату выше, любой несмещенный оценщик, чье ожидание равно , имеет дисперсию большую или равную . Таким образом, любой оценщик , чье смещение задано функцией, удовлетворяет ^[15] ${\displaystyle {\hat {\theta }}}$ ${\displaystyle b(\theta )=E\{{\hat {\theta }}\}-\theta }$ ${\displaystyle \psi (\theta )=b(\theta )+\theta }$ ${\displaystyle \psi (\theta )}$ ${\displaystyle (\psi '(\theta ))^{2}/I(\theta )}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle b(\theta )}$

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}.}$

Несмещенная версия границы является частным случаем этого результата, при этом . ${\displaystyle b(\theta )=0}$

Несложно иметь небольшую дисперсию — постоянная «оценка» имеет нулевую дисперсию. Но из приведенного выше уравнения мы находим, что среднеквадратическая ошибка смещенной оценки ограничена

${\displaystyle \operatorname {E} \left(({\hat {\theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^{2},}$

используя стандартное разложение MSE. Обратите внимание, однако, что если эта граница может быть меньше несмещенной границы Крамера–Рао . Например, в примере оценки дисперсии ниже, . ${\displaystyle 1+b'(\theta )<1}$ ${\displaystyle 1/I(\theta )}$ ${\displaystyle 1+b'(\theta )={\frac {n}{n+2}}<1}$

Многомерный случай

Расширяя связь Крамера–Рао на несколько параметров, определяем вектор-столбец параметров

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$

с функцией плотности вероятности , которая удовлетворяет двум условиям регулярности, указанным ниже. ${\displaystyle f(x;{\boldsymbol {\theta }})}$

Информационная матрица Фишера — это матрица с элементом, определяемым как ${\displaystyle d\times d}$ ${\displaystyle I_{m,k}}$

${\displaystyle I_{m,k}=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right].}$

Пусть будет оценщиком любой векторной функции параметров, и обозначим ее вектор ожидания через . Граница Крамера–Рао тогда утверждает, что ковариационная матрица удовлетворяет условию ${\displaystyle {\boldsymbol {T}}(X)}$ ${\displaystyle {\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}}$ ${\displaystyle \operatorname {E} [{\boldsymbol {T}}(X)]}$ ${\displaystyle {\boldsymbol {\psi }}({\boldsymbol {\theta }})}$ ${\displaystyle {\boldsymbol {T}}(X)}$

${\displaystyle I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )}$,

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}}$

где

• Под матричным неравенством понимается то, что матрица является положительно полуопределенной , причем ${\displaystyle A\geq B}$ ${\displaystyle A-B}$
• ${\displaystyle \phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}}$— матрица Якоби, элемент которой задается выражением . ${\displaystyle ij}$ ${\displaystyle \partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}}$

Если — несмещенная оценка (т.е. ), то граница Крамера–Рао сводится к ${\displaystyle {\boldsymbol {T}}(X)}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}.}$

Если вычислять обратную матрицу информации Фишера неудобно , то можно просто взять обратную величину соответствующего диагонального элемента, чтобы найти (возможно, неточную) нижнюю границу. ^[16]

${\displaystyle \operatorname {var} _{\boldsymbol {\theta }}(T_{m}(X))=\left[\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\right]_{mm}\geq \left[I\left({\boldsymbol {\theta }}\right)^{-1}\right]_{mm}\geq \left(\left[I\left({\boldsymbol {\theta }}\right)\right]_{mm}\right)^{-1}.}$

Условия регулярности

Граница основана на двух слабых условиях регулярности функции плотности вероятности , и оценщика : ${\displaystyle f(x;\theta )}$ ${\displaystyle T(X)}$

• Информация Фишера всегда определена; эквивалентно, для всех таких, что , существует и является конечной. ${\displaystyle x}$ ${\displaystyle f(x;\theta )>0}$ $${\displaystyle {\frac {\partial }{\partial \theta }}\log f(x;\theta )}$$
• Операции интегрирования по и дифференцирования по можно поменять местами в ожидании ; то есть всякий раз, когда правая часть конечна. ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle T}$ $${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$$
  Это условие часто можно подтвердить, используя тот факт, что интегрирование и дифференцирование можно поменять местами, когда выполняется один из следующих случаев:
  1. Функция имеет ограниченный носитель в , и границы не зависят от ; ${\displaystyle f(x;\theta )}$ ${\displaystyle x}$ ${\displaystyle \theta }$
  2. Функция имеет бесконечный носитель, непрерывно дифференцируема , а интеграл сходится равномерно для всех . ${\displaystyle f(x;\theta )}$ ${\displaystyle \theta }$

Доказательство

Доказательство для общего случая, основанное наСвязано с Чапменом и Роббинсом

Доказательство основано на. ^[17]

Доказательство

Первое уравнение:

Пусть будет бесконечно малым, тогда для любого , подставляя , имеем ${\displaystyle \delta }$ ${\displaystyle v\in \mathbb {R} ^{n}}$ ${\displaystyle \theta '=\theta +\delta v}$ ${\displaystyle (E_{\theta '}[T]-E_{\theta }[T])=v^{T}\phi (\theta )\delta ;\quad \chi ^{2}(\mu _{\theta '};\mu _{\theta })=v^{T}I(\theta )v\delta ^{2}}$

Подставляя это в многомерную границу Чепмена–Роббинса, получаем . ${\displaystyle I(\theta )\geq \phi (\theta )\operatorname {Cov} _{\theta }[T]^{-1}\phi (\theta )^{T}}$

Второе уравнение:

Достаточно доказать это для скалярного случая, принимая значения в . Поскольку для общего случая мы можем взять любое , то, определив , скалярный случай дает Это справедливо для всех , поэтому мы можем заключить, что скалярный случай утверждает, что при . ${\displaystyle h(X)}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle T(X)}$ ${\displaystyle v\in \mathbb {R} ^{m}}$ ${\textstyle h:=\sum _{j}v_{j}T_{j}}$ $${\displaystyle \operatorname {Var} _{\theta }[h]=v^{T}\operatorname {Cov} _{\theta }[T]v\geq v^{T}\phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}v}$$ ${\displaystyle v\in \mathbb {R} ^{m}}$ $${\displaystyle \operatorname {Cov} _{\theta }[T]\geq \phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}}$$ ${\displaystyle \operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta )}$ ${\displaystyle \phi (\theta ):=\nabla _{\theta }E_{\theta }[h]}$

Пусть будет бесконечно малой величиной, тогда для любого , принимая во внимание одномерную границу Чепмена–Роббинса, получаем . ${\displaystyle \delta }$ ${\displaystyle v\in \mathbb {R} ^{n}}$ ${\displaystyle \theta '=\theta +\delta v}$ ${\displaystyle \operatorname {Var} _{\theta }[h]\geq {\frac {\langle v,\phi (\theta )\rangle ^{2}}{v^{T}I(\theta )v}}}$

По линейной алгебре для любой положительно определенной матрицы получаем ${\displaystyle \sup _{v\neq 0}{\frac {\langle w,v\rangle ^{2}}{v^{T}Mv}}=w^{T}M^{-1}w}$ ${\displaystyle M}$ $${\displaystyle \operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta ).}$$

Отдельное доказательство для общего скалярного случая

Для общего скалярного случая:

Предположим, что это оценка с ожиданием (основанная на наблюдениях ), т.е. что . Цель состоит в том, чтобы доказать, что для всех , ${\displaystyle T=t(X)}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle X}$ ${\displaystyle \operatorname {E} (T)=\psi (\theta )}$ ${\displaystyle \theta }$

${\displaystyle \operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.}$

Пусть будет случайной величиной с функцией плотности вероятности . Вот статистика , которая используется в качестве оценки для . Определим как оценку : ${\displaystyle X}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle T=t(X)}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle V}$

${\displaystyle V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )}$

где цепное правило используется в последнем равенстве выше. Тогда ожидание , записанное как , равно нулю. Это потому, что: ${\displaystyle V}$ ${\displaystyle \operatorname {E} (V)}$

${\displaystyle \operatorname {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0}$

где интеграл и частная производная поменялись местами (оправдано вторым условием регулярности).

Если мы рассмотрим ковариацию и , то получим , поскольку . Раскрывая это выражение, имеем ${\displaystyle \operatorname {cov} (V,T)}$ ${\displaystyle V}$ ${\displaystyle T}$ ${\displaystyle \operatorname {cov} (V,T)=\operatorname {E} (VT)}$ ${\displaystyle \operatorname {E} (V)=0}$

${\displaystyle {\begin{aligned}\operatorname {cov} (V,T)&=\operatorname {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E(T)=\psi ^{\prime }(\theta )\end{aligned}}}$

опять же потому, что операции интегрирования и дифференцирования коммутируют (второе условие).

Неравенство Коши –Шварца показывает, что

${\displaystyle {\sqrt {\operatorname {var} (T)\operatorname {var} (V)}}\geq \left|\operatorname {cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|}$

поэтому

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}}$

что доказывает предложение.

Примеры

Многомерное нормальное распределение

Для случая d -мерного нормального распределения

${\displaystyle {\boldsymbol {x}}\sim {\mathcal {N}}_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)}$

Информационная матрица Фишера имеет элементы ^[18]

${\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)}$

где «tr» — след .

Например, пусть будет выборка независимых наблюдений с неизвестным средним значением и известной дисперсией . ${\displaystyle w[j]}$ ${\displaystyle n}$ ${\displaystyle \theta }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle w[j]\sim {\mathcal {N}}_{d,n}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).}$

Тогда информация Фишера представляет собой скаляр, заданный выражением

${\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}{\frac {1}{\sigma ^{2}}}={\frac {n}{\sigma ^{2}}},}$

и поэтому граница Крамера-Рао равна

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{n}}.}$

Нормальная дисперсия с известным средним значением

Предположим, что X — это нормально распределенная случайная величина с известным средним значением и неизвестной дисперсией . Рассмотрим следующую статистику: ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.}$

Тогда T несмещен для , так как . Какова дисперсия T ? ${\displaystyle \sigma ^{2}}$ ${\displaystyle E(T)=\sigma ^{2}}$

${\displaystyle \operatorname {var} (T)=\operatorname {var} \left({\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}\right)={\frac {\sum _{i=1}^{n}\operatorname {var} (X_{i}-\mu )^{2}}{n^{2}}}={\frac {n\operatorname {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n}}\left[\operatorname {E} \left\{(X-\mu )^{4}\right\}-\left(\operatorname {E} \{(X-\mu )^{2}\}\right)^{2}\right]}$

(второе равенство следует непосредственно из определения дисперсии). Первый член — это четвертый момент относительно среднего и имеет значение ; второй — это квадрат дисперсии, или . Таким образом ${\displaystyle 3(\sigma ^{2})^{2}}$ ${\displaystyle (\sigma ^{2})^{2}}$

${\displaystyle \operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.}$

Теперь, какова информация Фишера в образце? Вспомним, что оценка определяется как ${\displaystyle V}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]}$

где - функция правдоподобия . Таким образом, в этом случае, ${\displaystyle L}$

${\displaystyle \log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2}}}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}}$

где второе равенство взято из элементарного исчисления. Таким образом, информация в одном наблюдении равна просто минус ожидание производной , или ${\displaystyle V}$

${\displaystyle I=-\operatorname {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatorname {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}.}$

Таким образом, информация в выборке независимых наблюдений просто умножается на это, или ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle {\frac {n}{2(\sigma ^{2})^{2}}}.}$

Граница Крамера-Рао утверждает, что

${\displaystyle \operatorname {var} (T)\geq {\frac {1}{I}}.}$

В этом случае неравенство насыщается (достигается равенство), что свидетельствует об эффективности оценки .

Однако мы можем добиться более низкой среднеквадратической ошибки , используя смещенную оценку. Оценка

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.}$

очевидно, имеет меньшую дисперсию, что на самом деле

${\displaystyle \operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.}$

Его предвзятость

${\displaystyle \left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}}$

поэтому его средняя квадратическая ошибка равна

${\displaystyle \operatorname {MSE} (T)=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}}$

что меньше того, чего могут достичь несмещенные оценщики в соответствии с границей Крамера–Рао.

Если среднее значение неизвестно, минимальная оценка среднеквадратической ошибки дисперсии выборки из гауссовского распределения достигается путем деления на , а не на или . ${\displaystyle n+1}$ ${\displaystyle n-1}$ ${\displaystyle n+2}$

Смотрите также

• Связано с Чапменом и Роббинсом
• Неравенство Кульбака
• Неравенство Браскампа–Либа
• Теорема Лемана–Шеффе

Ссылки и примечания

1. Крамер, Харальд (1946). Математические методы статистики. Принстон, Нью-Джерси: Princeton Univ. Press. ISBN 0-691-08004-6. OCLC  185436716.
2. Рао, Кальямпуди Радакришна (1945). «Информация и точность, достижимая при оценке статистических параметров». Бюллетень Калькуттского математического общества . 37. Калькуттское математическое общество : 81–89. MR  0015748.
3. Рао, Калямпуди Радакришна (1994). С. Дас Гупта (ред.). Избранные статьи Ч.Р. Рао . Нью-Йорк: Уайли. ISBN 978-0-470-22091-7. OCLC  174244259.
4. Фреше, Морис (1943). «Расширение определенных статистических оценок для мелких échantillons». Преподобный Инст. Межд. Статист . 11 (3/4): 182–205. дои : 10.2307/1401114. JSTOR  1401114.
5. Дармуа, Жорж (1945). «Сюр-лес-лимит дисперсии определенных оценок». Преподобный Межд. Инст. Статист . 13 (1/4): 9–15. дои : 10.2307/1400974. JSTOR  1400974.
6. Эйткен, А.С.; Сильверстоун, Х. (1942). «XV.—Об оценке статистических параметров». Труды Королевского общества Эдинбурга, раздел A: Математика . 61 (2): 186–194. doi :10.1017/S008045410000618X. ISSN  2053-5902. S2CID  124029876.
7. Шентон, Л. Р. (1970). «Так называемое неравенство Крамера–Рао». Американский статистик . 24 (2): 36. JSTOR  2681931.
8. Додж, Ядола (2003). Оксфордский словарь статистических терминов. Oxford University Press. ISBN 978-0-19-920613-1.
9. Бхаттачарья, А. (1946). «О некоторых аналогах количества информации и их использовании в статистических оценках». Санкхья . 8 (1): 1–14. JSTOR  25047921. MR  0020242.
10. Бхаттачарья, А. (1947). «О некоторых аналогах количества информации и их использовании в статистических оценках (продолжение)». Санкхья . 8 (3): 201–218. JSTOR  25047948. MR  0023503.
11. Бхаттачарья, А. (1948). «О некоторых аналогах количества информации и их использовании в статистической оценке (заключение)». Санкхья . 8 (4): 315–328. JSTOR  25047897. MR  0026302.
12. Нильсен, Франк (2013). «Нижняя граница Крамера-Рао и информационная геометрия». Связанные на бесконечности II . Тексты и чтения по математике. Том 67. Hindustan Book Agency, Гургаон. стр. 18-37. arXiv : 1301.3578 . doi : 10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. S2CID  16759683.
13. Суба Рао. "Лекции по статистическому выводу" (PDF) . Архивировано из оригинала (PDF) 2020-09-26 . Получено 2020-05-24 .
14. "Нижняя граница Крамера Рао - Навипедия" . gssc.esa.int .
15. «Связь Крамера-Рао».
16. Для байесовского случая см. уравнение (11) Бобровского; Майера-Вольфа; Закаи (1987). "Некоторые классы глобальных границ Крамера–Рао". Ann. Stat . 15 (4): 1421–38. doi : 10.1214/aos/1176350602 .
17. Полянский, Юрий (2017). "Lecture notes on information theory, chapter 29, ECE563 (UIUC)" (PDF) . Lecture notes on information theory . Архивировано (PDF) из оригинала 2022-05-24 . Получено 2022-05-24 .
18. Кей, SM (1993). Основы статистической обработки сигналов: теория оценки . Prentice Hall. стр. 47. ISBN 0-13-042268-1.

Дальнейшее чтение

• Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. С. 14–17. ISBN 0-674-00560-0.
• Бос, Адриан ван ден (2007). Оценка параметров для ученых и инженеров . Хобокен: John Wiley & Sons. стр. 45–98. ISBN 978-0-470-14781-8.
• Кей, Стивен М. (1993). Основы статистической обработки сигналов, том I: Теория оценки . Prentice Hall. ISBN 0-13-345711-7.Глава 3.
• Шао, Цзюнь (1998). Математическая статистика . Нью-Йорк: Springer. ISBN 0-387-98674-X.. Раздел 3.1.3.
• Апостериорная неопределенность, асимптотический закон и граница Крамера-Рао, Structural Control and Health Monitoring 25(1851):e2113 DOI: 10.1002/stc.2113

Внешние ссылки

• FandPLimitTool — программное обеспечение с графическим интерфейсом для расчета информации Фишера и нижней границы Крамера-Рао с применением к микроскопии одиночных молекул.