Полнота (статистика)

Статистический термин

В статистике полнота — это свойство статистики по отношению к параметризованной модели для набора наблюдаемых данных .

Полная статистика T — это статистика, для которой любое предлагаемое распределение в области T прогнозируется одним или несколькими априорными распределениями в пространстве параметров модели. Другими словами, пространство модели «достаточно богато», чтобы любое возможное распределение T можно было объяснить некоторым априорным распределением в пространстве параметров модели. Напротив, достаточная статистика T — это такая статистика, для которой любые два предыдущих распределения будут давать разные распределения для T. (Это последнее утверждение предполагает, что пространство модели идентифицируемо , т. е. что нет «дубликатов» значений параметров. Это второстепенный момент). .)

Другими словами: предположим, что у нас есть идентифицируемое модельное пространство, параметризованное , и статистика (которая фактически является просто функцией одной или нескольких случайных величин iid, взятых из модели). Затем рассмотрим карту , которая переводит каждое распределение параметра модели в его индуцированное распределение по статистике . Статистика считается полной , если она сюръективна, и достаточной, если она инъективна. ${\displaystyle \theta }$ ${\displaystyle T}$ ${\displaystyle f:p_{\theta }\mapsto p_{T|\theta }}$ ${\displaystyle \theta }$ ${\displaystyle T}$ ${\displaystyle T}$ ${\displaystyle f}$ ${\displaystyle f}$

Определение

Рассмотрим случайную величину X , распределение вероятностей которой принадлежит параметрической модели P _θ , параметризованной  θ .

Скажем, T — это статистика ; то есть композиция измеримой функции со случайной выборкой X ₁ ,..., X _n .

Статистика T называется полной для распределения X , если для каждой измеримой функции g : ^[1]

${\displaystyle {\text{if }}\operatorname {E} _{\theta }(g(T))=0{\text{ for all }}\theta {\text{ then }}\mathbf {P} _{\theta }(g(T)=0)=1{\text{ for all }}\theta .}$

Статистика T называется ограниченно полной для распределения X , если это импликация справедлива для любой измеримой функции g , которая также ограничена.

Пример 1: Модель Бернулли

Модель Бернулли допускает полную статистику. ^[2] Пусть X — случайная выборка размера n такая, что каждый X _i имеет одинаковое распределение Бернулли с параметром p . Пусть T будет числом единиц, наблюдаемых в выборке, т.е. T — статистика X , которая имеет биномиальное распределение с параметрами ( n , p ). Если пространство параметров для p равно (0,1), то T — полная статистика. Чтобы увидеть это, обратите внимание, что ${\displaystyle \textstyle T=\sum _{i=1}^{n}X_{i}}$

${\displaystyle \operatorname {E} _{p}(g(T))=\sum _{t=0}^{n}{g(t){n \choose t}p^{t}(1-p)^{n-t}}=(1-p)^{n}\sum _{t=0}^{n}{g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}}.}$

Заметьте также, что ни p , ни 1 −  p не могут быть равны 0. Следовательно, тогда и только тогда, когда: ${\displaystyle E_{p}(g(T))=0}$

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}\left({\frac {p}{1-p}}\right)^{t}=0.}$

Обозначая p /(1 −  p ) через r , получаем:

${\displaystyle \sum _{t=0}^{n}g(t){n \choose t}r^{t}=0.}$

Во-первых, обратите внимание, что диапазон r — это положительные действительные числа . Кроме того, E( g ( T )) является многочленом от r и, следовательно, может быть равен 0 только в том случае, если все коэффициенты равны 0, то есть g ( t ) = 0 для всех  t .

Важно отметить, что результат, согласно которому все коэффициенты должны быть равны 0, был получен из-за диапазона r . Если бы пространство параметров было конечным и с количеством элементов, меньшим или равным n , можно было бы решить линейные уравнения в g ( t ), полученные путем замены значений r , и получить решения, отличные от 0. Например, если n = 1 и пространство параметров равно {0,5}, одно наблюдение и одно значение параметра, T не является полным. Обратите внимание, что с определением:

${\displaystyle g(t)=2(t-0.5),\,}$

тогда E( g ( T )) = 0, хотя g ( t ) не равно 0 ни для t = 0, ни для t = 1.

Отношение к достаточной статистике

Для некоторых параметрических семейств не существует полной достаточной статистики (например, см. Галили и Мейлиджсон, 2016 ^[3] ).

Например, если вы берете выборку размером n  > 2 из распределения N (θ,θ ² ), то это минимальная достаточная статистика и функция любой другой минимальной достаточной статистики, но имеет математическое ожидание 0 для всех θ, поэтому полной статистики быть не может. ${\displaystyle \left(\sum _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}^{2}\right)}$ ${\displaystyle 2\left(\sum _{i=1}^{n}X_{i}\right)^{2}-(n+1)\sum _{i=1}^{n}X_{i}^{2}}$

Если существует минимально достаточная статистика, то любая полная достаточная статистика также является минимально достаточной. Но есть патологические случаи, когда минимально достаточной статистики не существует, даже если существует полная статистика.

Важность полноты

Понятие полноты имеет множество приложений в статистике, особенно в следующих двух теоремах математической статистики.

Теорема Лемана – Шеффе

Полнота возникает в теореме Лемана-Шеффе ^[4] , которая утверждает, что если статистика является несмещенной, полной и достаточной для некоторого параметра θ , то это лучшая несмещенная в среднем оценка для  θ . Другими словами, эта статистика имеет меньшие ожидаемые потери для любой выпуклой функции потерь; во многих практических приложениях с квадратичной функцией потерь она имеет меньшую среднеквадратичную ошибку среди любых оценок с тем же ожидаемым значением .

Существуют примеры того, что, когда минимальная достаточная статистика не является полной , существует несколько альтернативных статистик для несмещенной оценки θ , при этом некоторые из них имеют меньшую дисперсию, чем другие. ^[5]

См. также несмещенную оценку минимальной дисперсии .

Теорема Басу

Ограниченная полнота возникает в теореме Басу ^[6] , которая утверждает, что статистика, которая является одновременно ограниченно полной и достаточной , не зависит от какой-либо вспомогательной статистики .

Теорема Бахадура

Ограниченная полнота также встречается в теореме Бахадура. В случае, когда существует хотя бы одна минимальная достаточная статистика, статистика, достаточная и ограниченно полная, обязательно является минимально достаточной. Другая форма теоремы Бахадура утверждает, что любая достаточная и ограниченно полная статистика в конечномерном координатном пространстве также является достаточно минимальной. ^[7]

Примечания

1. Янг, Джорджия и Смит, Р.Л. (2005). Основы статистического вывода. (с. 94). Издательство Кембриджского университета.
2. Казелла, Г. и Бергер, Р.Л. (2001). Статистические выводы. (стр. 285–286). Даксбери Пресс.
3. Таль Галили; Исаак Мейлиджсон (31 марта 2016 г.). «Пример улучшаемого улучшения Рао – Блэквелла, неэффективной оценки максимального правдоподобия и несмещенной обобщенной оценки Байеса». Американский статистик . 70 (1): 108–113. дои : 10.1080/00031305.2015.1100683. ПМЦ  4960505 . ПМИД  27499547.
4. Казелла, Джордж; Бергер, Роджер Л. (2001). Статистический вывод (2-е изд.). Даксбери Пресс. ISBN 978-0534243128.
5. Таль Галили; Исаак Мейлиджсон (31 марта 2016 г.). «Пример улучшаемого улучшения Рао – Блэквелла, неэффективной оценки максимального правдоподобия и несмещенной обобщенной оценки Байеса». Американский статистик . 70 (1): 108–113. дои : 10.1080/00031305.2015.1100683. ПМЦ 4960505 . ПМИД  27499547. 
6. Казелла, Г. и Бергер, Р.Л. (2001). Статистические выводы. (стр. 287). Даксбери Пресс.
7. «Конспекты лекций по статистическому выводу» (PDF) . 7 июля 2022 г.

Рекомендации

• Басу, Д. (1988). Дж. К. Гош (ред.). Статистическая информация и вероятность: Сборник критических эссе доктора Д. Басу . Конспект лекций по статистике. Том. 45. Спрингер. ISBN 978-0-387-96751-6. МР  0953081.
• Бикель, Питер Дж .; Доксум, Кьелл А. (2001). Математическая статистика, Том 1: Основные и избранные темы (Второе (обновленное издание, 2007 г.) издания Holden-Day 1976 г.). Пирсон Прентис-Холл. ISBN 978-0-13-850363-5. МР  0443141.
• ЭЛ, Леманн ; Романо, Джозеф П. (2005). Проверка статистических гипотез. Тексты Springer в статистике (Третье изд.). Нью-Йорк: Спрингер. стр. xiv+784. ISBN 978-0-387-98864-1. MR  2135927. Архивировано из оригинала 02 февраля 2013 г.
• Леманн, Эль; Шеффе, Х. (1950). «Полнота, схожие регионы и объективная оценка. I». Санкхья: Индийский статистический журнал . 10 (4): 305–340. дои : 10.1007/978-1-4614-1412-4_23 . JSTOR  25048038. МР  0039201.
• Леманн, Эль; Шеффе, Х. (1955). «Полнота, схожие регионы и объективная оценка. II». Санкхья: Индийский статистический журнал . 15 (3): 219–236. дои : 10.1007/978-1-4614-1412-4_24 . JSTOR  25048243. MR  0072410.