Граница Крамера-Рао

Нижняя граница дисперсии оценки

Иллюстрация границы Крамера-Рао: не существует несмещенной системы оценки, которая могла бы оценить (2-мерный) параметр с меньшей дисперсией, чем граница Крамера-Рао, иллюстрируемая как эллипс стандартного отклонения.

В теории оценивания и статистике граница Крамера -Рао ( CRB ) относится к оценке детерминированного (фиксированного, хотя и неизвестного) параметра. Результат назван в честь Харальда Крамера и К.Р. Рао , ^{[1] [2] [3]} , но также был получен независимо Морисом Фреше , ^[4] Жоржем Дармуа , ^[5] и Александром Эйткеном и Гарольдом Сильверстоуном . ^{[6] [7]} В нем говорится, что точность любой несмещенной оценки не превышает информации Фишера ; или (эквивалентно) обратная величина информации Фишера является нижней границей ее дисперсии .

Несмещенная оценка, достигающая этой границы, называется (полностью) эффективной . Такое решение обеспечивает наименьшую возможную среднеквадратическую ошибку среди всех несмещенных методов и, следовательно, является несмещенной оценкой минимальной дисперсии (MVU). Однако в некоторых случаях не существует объективного метода, позволяющего достичь границы. Это может произойти либо в том случае, если для любой несмещенной оценки существует другая со строго меньшей дисперсией, либо если существует оценка MVU, но ее дисперсия строго больше, чем инверсия информации Фишера.

Границу Крамера-Рао также можно использовать для оценки дисперсии смещенных оценок заданного смещения. В некоторых случаях предвзятый подход может привести к тому, что как дисперсия, так и среднеквадратическая ошибка окажутся ниже несмещенной нижней границы Крамера – Рао; см. смещение оценки .

Заявление

Граница Крамера-Рао сформулирована в этом разделе для нескольких все более общих случаев, начиная со случая, когда параметр является скаляром, а его оценка несмещена . Все версии оценки требуют определенных условий регулярности, которые выполняются для большинства распределений с хорошим поведением. Эти условия перечислены далее в этом разделе.

Скалярный несмещенный случай

Предположим , это неизвестный детерминированный параметр, который должен быть оценен на основе независимых наблюдений (измерений) каждого из распределения согласно некоторой функции плотности вероятности . Тогда дисперсия любой несмещенной оценки ограничивается [ ^8] обратной величиной информации Фишера : ${\displaystyle \theta }$ ${\displaystyle n}$ ${\displaystyle x}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta }$ ${\displaystyle I(\theta )}$

${\displaystyle \operatorname {var} ({\hat {\theta }})\geq {\frac {1}{I(\theta )}}}$

где информация Фишера определяется формулой ${\displaystyle I(\theta )}$

${\displaystyle I(\theta )=n\operatorname {E} _{X;\theta }\left[\left({\frac {\partial \ell (X;\theta )}{\partial \theta }}\right)^{2}\right]}$

и является натуральным логарифмом функции правдоподобия для одной выборки и обозначает ожидаемое значение относительно плотности . Если не указано иное, то в дальнейшем математическое ожидание берется по . ${\displaystyle \ell (x;\theta )=\log(f(x;\theta ))}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} _{x;\theta }}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle X}$ ${\displaystyle X}$

Если дважды дифференцируема и выполняются определенные условия регулярности, то информацию Фишера также можно определить следующим образом: ^[9] ${\displaystyle \ell (x;\theta )}$

${\displaystyle I(\theta )=-n\operatorname {E} _{X;\theta }\left[{\frac {\partial ^{2}\ell (X;\theta )}{\partial \theta ^{2}}}\right]}$

Эффективность несмещенной оценки измеряет , насколько близка дисперсия этой оценки к этой нижней границе; Эффективность оценки определяется как ${\displaystyle {\hat {\theta }}}$

${\displaystyle e({\hat {\theta }})={\frac {I(\theta )^{-1}}{\operatorname {var} ({\hat {\theta }})}}}$

или минимально возможную дисперсию для несмещенной оценки, деленную на ее фактическую дисперсию. Таким образом, нижняя оценка Крамера – Рао дает

${\displaystyle e({\hat {\theta }})\leq 1}$.

Общий скалярный случай

Более общую форму оценки можно получить, рассматривая смещенную оценку , чье математическое ожидание является не чем иным, как функцией этого параметра, скажем . Следовательно , обычно не равно 0. В этом случае оценка определяется выражением ${\displaystyle T(X)}$ ${\displaystyle \theta }$ ${\displaystyle \psi (\theta )}$ ${\displaystyle E\{T(X)\}-\theta =\psi (\theta )-\theta }$

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi '(\theta )]^{2}}{I(\theta )}}}$

где – производная от (по ), а – информация Фишера, определенная выше. ${\displaystyle \psi '(\theta )}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle \theta }$ ${\displaystyle I(\theta )}$

Ограничено дисперсией смещенных оценок

Помимо ограничения оценок функций параметра, этот подход можно использовать для получения оценки дисперсии смещенных оценок с заданным смещением следующим образом. ^[10] Рассмотрим оценку со смещением , и пусть . Согласно приведенному выше результату, любая несмещенная оценка, чье математическое ожидание, имеет дисперсию, большую или равную . Таким образом, любая оценка , смещение которой задается функцией, удовлетворяет ^[11] ${\displaystyle {\hat {\theta }}}$ ${\displaystyle b(\theta )=E\{{\hat {\theta }}\}-\theta }$ ${\displaystyle \psi (\theta )=b(\theta )+\theta }$ ${\displaystyle \psi (\theta )}$ ${\displaystyle (\psi '(\theta ))^{2}/I(\theta )}$ ${\displaystyle {\hat {\theta }}}$ ${\displaystyle b(\theta )}$

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}.}$

Несмещенная версия оценки является частным случаем этого результата с . ${\displaystyle b(\theta )=0}$

Иметь небольшую дисперсию тривиально: постоянная «оценка» имеет нулевую дисперсию. Но из приведенного выше уравнения мы находим, что среднеквадратическая ошибка смещенной оценки ограничена величиной

${\displaystyle \operatorname {E} \left(({\hat {\theta }}-\theta )^{2}\right)\geq {\frac {[1+b'(\theta )]^{2}}{I(\theta )}}+b(\theta )^{2},}$

используя стандартную декомпозицию MSE. Однако обратите внимание, что если эта граница может быть меньше, чем несмещенная граница Крамера – Рао . Например, в приведенном ниже примере оценки дисперсии . ${\displaystyle 1+b'(\theta )<1}$ ${\displaystyle 1/I(\theta )}$ ${\displaystyle 1+b'(\theta )={\frac {n}{n+2}}<1}$

Многомерный случай

Расширяя привязку Крамера-Рао к нескольким параметрам, определите вектор- столбец параметров.

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$

с функцией плотности вероятности , которая удовлетворяет двум условиям регулярности, указанным ниже. ${\displaystyle f(x;{\boldsymbol {\theta }})}$

Информационная матрица Фишера представляет собой матрицу, элемент которой определяется как ${\displaystyle d\times d}$ ${\displaystyle I_{m,k}}$

${\displaystyle I_{m,k}=\operatorname {E} \left[{\frac {\partial }{\partial \theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]=-\operatorname {E} \left[{\frac {\partial ^{2}}{\partial \theta _{m}\,\partial \theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right].}$

Позвольте быть оценщиком любой векторной функции параметров, и обозначьте ее вектор ожидания через . Тогда граница Крамера-Рао утверждает, что ковариационная матрица удовлетворяет условию ${\displaystyle {\boldsymbol {T}}(X)}$ ${\displaystyle {\boldsymbol {T}}(X)=(T_{1}(X),\ldots ,T_{d}(X))^{T}}$ ${\displaystyle \operatorname {E} [{\boldsymbol {T}}(X)]}$ ${\displaystyle {\boldsymbol {\psi }}({\boldsymbol {\theta }})}$ ${\displaystyle {\boldsymbol {T}}(X)}$

${\displaystyle I\left({\boldsymbol {\theta }}\right)\geq \phi (\theta )^{T}\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)^{-1}\phi (\theta )}$,

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq \phi (\theta )I\left({\boldsymbol {\theta }}\right)^{-1}\phi (\theta )^{T}}$

где

• Под матричным неравенством понимают, что матрица положительно полуопределена , а ${\displaystyle A\geq B}$ ${\displaystyle A-B}$
• ${\displaystyle \phi (\theta ):=\partial {\boldsymbol {\psi }}({\boldsymbol {\theta }})/\partial {\boldsymbol {\theta }}}$– матрица Якобиана , элемент которой равен . ${\displaystyle ij}$ ${\displaystyle \partial \psi _{i}({\boldsymbol {\theta }})/\partial \theta _{j}}$

Если является несмещенной оценкой (т. е. ), то граница Крамера – Рао сводится к ${\displaystyle {\boldsymbol {T}}(X)}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$

${\displaystyle \operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq I\left({\boldsymbol {\theta }}\right)^{-1}.}$

Если неудобно вычислять обратную информационную матрицу Фишера , то можно просто взять обратную величину соответствующего диагонального элемента, чтобы найти (возможно, нестрогую) нижнюю оценку. ^[12]

${\displaystyle \operatorname {var} _{\boldsymbol {\theta }}(T_{m}(X))=\left[\operatorname {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\right]_{mm}\geq \left[I\left({\boldsymbol {\theta }}\right)^{-1}\right]_{mm}\geq \left(\left[I\left({\boldsymbol {\theta }}\right)\right]_{mm}\right)^{-1}.}$

Условия регулярности

Оценка опирается на два слабых условия регулярности функции плотности вероятности , и оценки : ${\displaystyle f(x;\theta )}$ ${\displaystyle T(X)}$

• Информация Фишера всегда определена; эквивалентно, для всех таких, что , ${\displaystyle x}$ ${\displaystyle f(x;\theta )>0}$
  $${\displaystyle {\frac {\partial }{\partial \theta }}\log f(x;\theta )}$$
  существует и конечен.
• Операции интегрирования по и дифференцирования по можно поменять местами при ожидании ; то есть, ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle T}$
  $${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$$
  всякий раз, когда правая часть конечна.
  Это условие часто можно подтвердить, используя тот факт, что интегрирование и дифференцирование можно поменять местами, когда выполняется любой из следующих случаев:
  1. Функция имеет ограниченную поддержку в , и границы не зависят от ; ${\displaystyle f(x;\theta )}$ ${\displaystyle x}$ ${\displaystyle \theta }$
  2. Функция имеет бесконечный носитель, непрерывно дифференцируема , интеграл сходится равномерно для всех . ${\displaystyle f(x;\theta )}$ ${\displaystyle \theta }$

Доказательство

Доказательство для общего случая на основе границы Чепмена–Роббинса.

Доказательство основано на. ^[13]

Доказательство

Первое уравнение:

Пусть будет бесконечно малым, тогда для любого подставив , мы имеем ${\displaystyle \delta }$ ${\displaystyle v\in \mathbb {R} ^{n}}$ ${\displaystyle \theta '=\theta +\delta v}$ ${\displaystyle (E_{\theta '}[T]-E_{\theta }[T])=v^{T}\phi (\theta )\delta ;\quad \chi ^{2}(\mu _{\theta '};\mu _{\theta })=v^{T}I(\theta )v\delta ^{2}}$

Подключение этого к многомерной границе Чепмена-Роббинса дает . ${\displaystyle I(\theta )\geq \phi (\theta )\operatorname {Cov} _{\theta }[T]^{-1}\phi (\theta )^{T}}$

Второе уравнение:

Достаточно доказать это для скалярного случая с принятием значений в . Поскольку в качестве общего можно взять любой , то определяющий скалярный случай дает ${\displaystyle h(X)}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle T(X)}$ ${\displaystyle v\in \mathbb {R} ^{m}}$ ${\textstyle h:=\sum _{j}v_{j}T_{j}}$

$${\displaystyle \operatorname {Var} _{\theta }[h]=v^{T}\operatorname {Cov} _{\theta }[T]v\geq v^{T}\phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}v}$$

Это справедливо для всех , поэтому мы можем сделать вывод ${\displaystyle v\in \mathbb {R} ^{m}}$

$${\displaystyle \operatorname {Cov} _{\theta }[T]\geq \phi (\theta )I(\theta )^{-1}\phi (\theta )^{T}}$$

Скалярный случай утверждает, что с . ${\displaystyle \operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta )}$ ${\displaystyle \phi (\theta ):=\nabla _{\theta }E_{\theta }[h]}$

Пусть будет бесконечно малым, тогда для любого взятие одномерной границы Чепмена-Роббинса дает . ${\displaystyle \delta }$ ${\displaystyle v\in \mathbb {R} ^{n}}$ ${\displaystyle \theta '=\theta +\delta v}$ ${\displaystyle \operatorname {Var} _{\theta }[h]\geq {\frac {\langle v,\phi (\theta )\rangle ^{2}}{v^{T}I(\theta )v}}}$

С помощью линейной алгебры для любой положительно определенной матрицы получаем таким образом ${\displaystyle \sup _{v\neq 0}{\frac {\langle w,v\rangle ^{2}}{v^{T}Mv}}=w^{T}M^{-1}w}$ ${\displaystyle M}$

$${\displaystyle \operatorname {Var} _{\theta }[h]\geq \phi (\theta )^{T}I(\theta )^{-1}\phi (\theta ).}$$

Отдельное доказательство для общего скалярного случая

Для общего скалярного случая:

Предположим, что это оценка с математическим ожиданием (на основе наблюдений ), т. е. что . Цель состоит в том, чтобы доказать, что для всех ${\displaystyle T=t(X)}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle X}$ ${\displaystyle \operatorname {E} (T)=\psi (\theta )}$ ${\displaystyle \theta }$

${\displaystyle \operatorname {var} (t(X))\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}.}$

Пусть — случайная величина с функцией плотности вероятности . Вот статистика , которая используется в качестве оценки . Определить как оценку : ${\displaystyle X}$ ${\displaystyle f(x;\theta )}$ ${\displaystyle T=t(X)}$ ${\displaystyle \psi (\theta )}$ ${\displaystyle V}$

${\displaystyle V={\frac {\partial }{\partial \theta }}\ln f(X;\theta )={\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )}$

где правило цепочки используется в окончательном равенстве выше. Тогда ожидание , записанное , равно нулю. Это потому что: ${\displaystyle V}$ ${\displaystyle \operatorname {E} (V)}$

${\displaystyle \operatorname {E} (V)=\int f(x;\theta )\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx={\frac {\partial }{\partial \theta }}\int f(x;\theta )\,dx=0}$

где интеграл и частная производная поменялись местами (что оправдано вторым условием регулярности).

Если мы рассмотрим ковариацию и , мы получим , потому что . Раскрыв это выражение, мы имеем ${\displaystyle \operatorname {cov} (V,T)}$ ${\displaystyle V}$ ${\displaystyle T}$ ${\displaystyle \operatorname {cov} (V,T)=\operatorname {E} (VT)}$ ${\displaystyle \operatorname {E} (V)=0}$

${\displaystyle {\begin{aligned}\operatorname {cov} (V,T)&=\operatorname {E} \left(T\cdot \left[{\frac {1}{f(X;\theta )}}{\frac {\partial }{\partial \theta }}f(X;\theta )\right]\right)\\[6pt]&=\int t(x)\left[{\frac {1}{f(x;\theta )}}{\frac {\partial }{\partial \theta }}f(x;\theta )\right]f(x;\theta )\,dx\\[6pt]&={\frac {\partial }{\partial \theta }}\left[\int t(x)f(x;\theta )\,dx\right]={\frac {\partial }{\partial \theta }}E(T)=\psi ^{\prime }(\theta )\end{aligned}}}$

опять же, потому что операции интегрирования и дифференцирования коммутируют (второе условие).

Неравенство Коши – Шварца показывает, что

${\displaystyle {\sqrt {\operatorname {var} (T)\operatorname {var} (V)}}\geq \left|\operatorname {cov} (V,T)\right|=\left|\psi ^{\prime }(\theta )\right|}$

поэтому

${\displaystyle \operatorname {var} (T)\geq {\frac {[\psi ^{\prime }(\theta )]^{2}}{\operatorname {var} (V)}}={\frac {[\psi ^{\prime }(\theta )]^{2}}{I(\theta )}}}$

что доказывает предложение.

Примеры

Многомерное нормальное распределение

Для случая нормального распределения с d -мерной величиной

${\displaystyle {\boldsymbol {x}}\sim {\mathcal {N}}_{d}\left({\boldsymbol {\mu }}({\boldsymbol {\theta }}),{\boldsymbol {C}}({\boldsymbol {\theta }})\right)}$

информационная матрица Фишера имеет элементы ^[14]

${\displaystyle I_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\operatorname {tr} \left({\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{m}}}{\boldsymbol {C}}^{-1}{\frac {\partial {\boldsymbol {C}}}{\partial \theta _{k}}}\right)}$

где «tr» — это след .

Например, пусть это выборка независимых наблюдений с неизвестным средним значением и известной дисперсией . ${\displaystyle w[j]}$ ${\displaystyle n}$ ${\displaystyle \theta }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle w[j]\sim {\mathcal {N}}_{d,n}\left(\theta {\boldsymbol {1}},\sigma ^{2}{\boldsymbol {I}}\right).}$

Тогда информация Фишера представляет собой скаляр, определяемый формулой

${\displaystyle I(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)^{T}{\boldsymbol {C}}^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta }}\right)=\sum _{i=1}^{n}{\frac {1}{\sigma ^{2}}}={\frac {n}{\sigma ^{2}}},}$

и поэтому граница Крамера – Рао равна

${\displaystyle \operatorname {var} \left({\hat {\theta }}\right)\geq {\frac {\sigma ^{2}}{n}}.}$

Нормальная дисперсия с известным средним значением

Предположим, X — нормально распределенная случайная величина с известным средним значением и неизвестной дисперсией . Рассмотрим следующую статистику: ${\displaystyle \mu }$ ${\displaystyle \sigma ^{2}}$

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}.}$

Тогда T несмещен при , поскольку . Какова дисперсия Т ? ${\displaystyle \sigma ^{2}}$ ${\displaystyle E(T)=\sigma ^{2}}$

${\displaystyle \operatorname {var} (T)=\operatorname {var} \left({\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n}}\right)={\frac {\sum _{i=1}^{n}\operatorname {var} (X_{i}-\mu )^{2}}{n^{2}}}={\frac {n\operatorname {var} (X-\mu )^{2}}{n^{2}}}={\frac {1}{n}}\left[\operatorname {E} \left\{(X-\mu )^{4}\right\}-\left(\operatorname {E} \{(X-\mu )^{2}\}\right)^{2}\right]}$

(второе равенство следует непосредственно из определения дисперсии). Первый член является четвертым моментом относительно среднего значения и имеет значение ; второй — квадрат дисперсии, или . Таким образом ${\displaystyle 3(\sigma ^{2})^{2}}$ ${\displaystyle (\sigma ^{2})^{2}}$

${\displaystyle \operatorname {var} (T)={\frac {2(\sigma ^{2})^{2}}{n}}.}$

Итак, какова информация Фишера в образце? Напомним, что оценка определяется как ${\displaystyle V}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]}$

где функция правдоподобия . Таким образом, в данном случае ${\displaystyle L}$

${\displaystyle \log \left[L(\sigma ^{2},X)\right]=\log \left[{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-(X-\mu )^{2}/{2\sigma ^{2}}}\right]=-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}}$

${\displaystyle V={\frac {\partial }{\partial \sigma ^{2}}}\log \left[L(\sigma ^{2},X)\right]={\frac {\partial }{\partial \sigma ^{2}}}\left[-\log({\sqrt {2\pi \sigma ^{2}}})-{\frac {(X-\mu )^{2}}{2\sigma ^{2}}}\right]=-{\frac {1}{2\sigma ^{2}}}+{\frac {(X-\mu )^{2}}{2(\sigma ^{2})^{2}}}}$

где второе равенство взято из элементарного исчисления. Таким образом, информация в одном наблюдении равна просто минус математическое ожидание производной или ${\displaystyle V}$

${\displaystyle I=-\operatorname {E} \left({\frac {\partial V}{\partial \sigma ^{2}}}\right)=-\operatorname {E} \left(-{\frac {(X-\mu )^{2}}{(\sigma ^{2})^{3}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\right)={\frac {\sigma ^{2}}{(\sigma ^{2})^{3}}}-{\frac {1}{2(\sigma ^{2})^{2}}}={\frac {1}{2(\sigma ^{2})^{2}}}.}$

Таким образом, информация в выборке независимых наблюдений в разы равна этому, или ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle {\frac {n}{2(\sigma ^{2})^{2}}}.}$

Граница Крамера – Рао утверждает, что

${\displaystyle \operatorname {var} (T)\geq {\frac {1}{I}}.}$

В этом случае неравенство является насыщенным (достигается равенство), что указывает на эффективность оценки .

Однако мы можем добиться более низкой среднеквадратической ошибки , используя смещенную оценку. Оценщик

${\displaystyle T={\frac {\sum _{i=1}^{n}(X_{i}-\mu )^{2}}{n+2}}.}$

очевидно, имеет меньшую дисперсию, которая на самом деле равна

${\displaystyle \operatorname {var} (T)={\frac {2n(\sigma ^{2})^{2}}{(n+2)^{2}}}.}$

Его предвзятость

${\displaystyle \left(1-{\frac {n}{n+2}}\right)\sigma ^{2}={\frac {2\sigma ^{2}}{n+2}}}$

поэтому его среднеквадратическая ошибка равна

${\displaystyle \operatorname {MSE} (T)=\left({\frac {2n}{(n+2)^{2}}}+{\frac {4}{(n+2)^{2}}}\right)(\sigma ^{2})^{2}={\frac {2(\sigma ^{2})^{2}}{n+2}}}$

что явно меньше того, чего могут достичь несмещенные оценки согласно границе Крамера – Рао.

Когда среднее значение неизвестно, минимальная оценка среднеквадратической ошибки отклонения выборки от распределения Гаусса достигается путем деления на , а не или . ${\displaystyle n+1}$ ${\displaystyle n-1}$ ${\displaystyle n+2}$

Смотрите также

• Чепмен-Роббинс связан
• Неравенство Кульбака
• Неравенство Браскапа – Либа

Ссылки и примечания

1. Крамер, Харальд (1946). Математические методы статистики. Принстон, Нью-Джерси: Princeton Univ. Нажимать. ISBN 0-691-08004-6. ОСЛК  185436716.
2. Рао, Калямпуди Радакришна (1945). «Информация и точность, достижимая при оценке статистических параметров». Бюллетень Калькуттского математического общества . Калькуттское математическое общество . 37 : 81–89. МР  0015748.
3. Рао, Калямпуди Радакришна (1994). С. Дас Гупта (ред.). Избранные статьи Ч.Р. Рао . Нью-Йорк: Уайли. ISBN 978-0-470-22091-7. ОСЛК  174244259.
4. Фреше, Морис (1943). «Расширение определенных статистических оценок для мелких échantillons». Преподобный Инст. Межд. Статист . 11 (3/4): 182–205. дои : 10.2307/1401114. JSTOR  1401114.
5. Дармуа, Жорж (1945). «Сюр-лес-лимит дисперсии определенных оценок». Преподобный Межд. Инст. Статист . 13 (1/4): 9–15. дои : 10.2307/1400974. JSTOR  1400974.
6. Эйткен, AC; Сильверстоун, Х. (1942). «XV.—Об оценке статистических параметров». Труды Эдинбургского королевского общества. Раздел A: Математика . 61 (2): 186–194. дои : 10.1017/S008045410000618X. ISSN  2053-5902. S2CID  124029876.
7. Шентон, ЛР (1970). «Так называемое неравенство Крамера – Рао». Американский статистик . 24 (2): 36. JSTOR  2681931.
8. Нильсен, Франк (2013). «Нижняя граница Крамера-Рао и информационная геометрия». Подключено к Infinity II . Тексты и чтения по математике. Том. 67. Книжное агентство «Хиндустан», Гургаон. п. 18-37. arXiv : 1301.3578 . дои : 10.1007/978-93-86279-56-9_2. ISBN 978-93-80250-51-9. S2CID  16759683.
9. Суба Рао. «Лекции по статистическому выводу» (PDF) . Архивировано из оригинала (PDF) 26 сентября 2020 г. Проверено 24 мая 2020 г.
10. "Нижняя граница Крамера Рао - Навипедия" . gssc.esa.int .
11. "Связанный Крамер-Рао" .
12. Для байесовского случая см. уравнение. (11) Бобровского; Майер-Вольф; Закай (1987). «Некоторые классы глобальных границ Крамера – Рао». Анна. Стат . 15 (4): 1421–38. дои : 10.1214/aos/1176350602 .
13. Полянский, Юрий (2017). «Конспекты лекций по теории информации, глава 29, ECE563 (UIUC)» (PDF) . Конспект лекций по теории информации . Архивировано (PDF) из оригинала 24 мая 2022 г. Проверено 24 мая 2022 г.
14. Кей, С.М. (1993). Основы статистической обработки сигналов: теория оценивания . Прентис Холл. п. 47. ИСБН 0-13-042268-1.

дальнейшее чтение

• Амемия, Такеши (1985). Продвинутая эконометрика . Кембридж: Издательство Гарвардского университета. стр. 14–17. ISBN 0-674-00560-0.
• Бос, Адриан ван ден (2007). Оценка параметров для ученых и инженеров . Хобокен: Джон Уайли и сыновья. стр. 45–98. ISBN 978-0-470-14781-8.
• Кей, Стивен М. (1993). Основы статистической обработки сигналов, Том I: Теория оценивания . Прентис Холл. ISBN 0-13-345711-7.. Глава 3.
• Шао, Цзюнь (1998). Математическая статистика . Нью-Йорк: Спрингер. ISBN 0-387-98674-Х.. Раздел 3.1.3.
• Апостериорная неопределенность, асимптотический закон и граница Крамера-Рао, Structural Control and Health Monitoring 25(1851):e2113 DOI: 10.1002/stc.2113

Внешние ссылки

• FandPLimitTool — программное обеспечение на основе графического пользовательского интерфейса для расчета информации Фишера и нижней границы Крамера-Рао с применением к микроскопии одиночных молекул.