Оценка Джеймса–Стейна

Смещенная оценка для гауссовых случайных векторов, лучше, чем обычная минимизация наименьших квадратов ошибок

Оценка Джеймса–Стейна представляет собой смещенную оценку среднего значения (возможно) коррелированных гауссовых распределенных случайных величин с неизвестными средними значениями . ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle Y=\{Y_{1},Y_{2},...,Y_{m}\}}$ ${\displaystyle \{{\boldsymbol {\theta }}_{1},{\boldsymbol {\theta }}_{2},...,{\boldsymbol {\theta }}_{m}\}}$

Он возник последовательно в двух основных опубликованных работах. Ранняя версия оценщика была разработана в 1956 году, ^[1] , когда Чарльз Стайн пришел к относительно шокирующему выводу, что, хотя тогдашняя обычная оценка среднего, выборочное среднее , допустима, когда , она недопустима , когда . Стайн предложил возможное улучшение оценщика, которое сжимает выборочные средние в сторону более центрального вектора среднего (который может быть выбран априори или обычно как «среднее из средних» выборочных средних, учитывая, что все выборки имеют одинаковый размер). Это наблюдение обычно называют примером или парадоксом Стайна . В 1961 году Уиллард Джеймс и Чарльз Стайн упростили исходный процесс. ^[2] ${\displaystyle m\leq 2}$ ${\displaystyle m\geq 3}$ ${\displaystyle {{\boldsymbol {\theta }}_{i}}}$ ${\displaystyle {\boldsymbol {\nu }}}$

Можно показать, что оценка Джеймса–Стейна доминирует над «обычным» методом наименьших квадратов , то есть оценка Джеймса–Стейна имеет меньшую или такую ​​же среднеквадратичную ошибку, чем «обычный» метод наименьших квадратов.

Подобно оценке Ходжеса , оценка Джеймса-Стейна является сверхэффективной и нерегулярной при . ^[3] ${\displaystyle \theta =0}$

Параметр

Пусть вектор — неизвестное среднее значение , которое распределено по нормальному закону и имеет известную ковариационную матрицу . ${\displaystyle {\mathbf {Y} }\sim N_{m}({\boldsymbol {\theta }},\sigma ^{2}I),\,}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\mathbf {Y} }}$ ${\displaystyle m}$ ${\displaystyle \sigma ^{2}I}$

Мы заинтересованы в получении оценки, , для , основанной на одном наблюдении, , для . ${\displaystyle {\widehat {\boldsymbol {\theta }}}}$ ${\displaystyle {\boldsymbol {\theta }}}$ ${\displaystyle {\mathbf {y} }}$ ${\displaystyle {\mathbf {Y} }}$

В реальном применении это обычная ситуация, когда набор параметров выбирается, и выборки искажаются независимым гауссовым шумом . Поскольку этот шум имеет нулевое среднее значение, может быть разумно использовать сами выборки в качестве оценки параметров. Этот подход представляет собой оценку наименьших квадратов , которая равна . ${\displaystyle {\widehat {\boldsymbol {\theta }}}_{LS}={\mathbf {y} }}$

Стайн продемонстрировал, что с точки зрения среднеквадратической ошибки оценка наименьших квадратов, , не является оптимальной по сравнению с оценками, основанными на сжатии, такими как оценка Джеймса–Стайна , . ^[1] Парадоксальный результат, заключающийся в том, что существует (возможно) лучшая и никогда не худшая оценка среднеквадратической ошибки по сравнению со средним значением выборки, стал известен как пример Стайна . ${\displaystyle \operatorname {E} \left[\left\|{\boldsymbol {\theta }}-{\widehat {\boldsymbol {\theta }}}\right\|^{2}\right]}$ ${\displaystyle {\widehat {\boldsymbol {\theta }}}_{LS}}$ ${\displaystyle {\widehat {\boldsymbol {\theta }}}_{JS}}$ ${\displaystyle {\boldsymbol {\theta }}}$

Формулировка

MSE (R) оценки наименьших квадратов (ML) против оценки Джеймса–Стейна (JS). Оценка Джеймса–Стейна дает наилучшую оценку, когда норма фактического вектора параметров θ близка к нулю.

Если известно, то оценка Джеймса–Стейна определяется выражением ${\displaystyle \sigma ^{2}}$

${\displaystyle {\widehat {\boldsymbol {\theta }}}_{JS}=\left(1-{\frac {(m-2)\sigma ^{2}}{\|{\mathbf {y} }\|^{2}}}\right){\mathbf {y} }.}$

Джеймс и Стайн показали, что указанная выше оценка доминирует для любого , что означает, что оценка Джеймса–Стайна всегда достигает более низкой средней квадратической ошибки (MSE), чем оценка максимального правдоподобия . ^{[2] [4]} По определению, это делает оценку наименьших квадратов неприемлемой , когда . ${\displaystyle {\widehat {\boldsymbol {\theta }}}_{LS}}$ ${\displaystyle m\geq 3}$ ${\displaystyle m\geq 3}$

Обратите внимание, что если то эта оценка просто берет естественную оценку и сжимает ее к началу координат 0 . На самом деле это не единственное направление сжатия , которое работает. Пусть ν будет произвольным фиксированным вектором размерности . Тогда существует оценка типа Джеймса–Стейна, которая сжимается к ν , а именно ${\displaystyle (m-2)\sigma ^{2}<\|{\mathbf {y} }\|^{2}}$ ${\displaystyle \mathbf {y} }$ ${\displaystyle m}$

${\displaystyle {\widehat {\boldsymbol {\theta }}}_{JS}=\left(1-{\frac {(m-2)\sigma ^{2}}{\|{\mathbf {y} }-{\boldsymbol {\nu }}\|^{2}}}\right)({\mathbf {y} }-{\boldsymbol {\nu }})+{\boldsymbol {\nu }},\qquad m\geq 3.}$

Оценка Джеймса–Стейна доминирует над обычной оценкой для любого ν . Естественный вопрос, который следует задать, заключается в том, является ли улучшение по сравнению с обычной оценкой независимым от выбора ν . Ответ — нет. Улучшение невелико, если велико. Таким образом, чтобы получить очень большое улучшение, необходимы некоторые знания о местоположении θ . Конечно, это величина, которую мы пытаемся оценить, поэтому у нас нет этих знаний априори . Но у нас может быть некоторая догадка относительно того, каков средний вектор. Это можно считать недостатком оценки: выбор не является объективным, поскольку он может зависеть от убеждений исследователя. Тем не менее, результат Джеймса и Стейна заключается в том, что любая конечная догадка ν улучшает ожидаемую MSE по сравнению с оценкой максимального правдоподобия, что равносильно использованию бесконечного ν , безусловно, плохой догадке. ${\displaystyle \|{{\boldsymbol {\theta }}-{\boldsymbol {\nu }}}\|}$

Интерпретация

Рассмотрение оценки Джеймса–Стейна как эмпирического байесовского метода дает некоторую интуицию относительно этого результата: предполагается, что θ сама по себе является случайной величиной с априорным распределением , где A оценивается из самих данных. Оценка A дает преимущество по сравнению с оценкой максимального правдоподобия только тогда, когда размерность достаточно велика; следовательно, она не работает для . Оценка Джеймса–Стейна является членом класса байесовских оценок, которые доминируют над оценкой максимального правдоподобия. ^[5] ${\displaystyle \sim N(0,A)}$ ${\displaystyle m}$ ${\displaystyle m\leq 2}$

Следствием вышеизложенного обсуждения является следующий контринтуитивный результат: когда измеряются три или более несвязанных параметра, их общую MSE можно уменьшить, используя комбинированную оценку, такую ​​как оценка Джеймса-Стейна; тогда как когда каждый параметр оценивается отдельно, оценка наименьших квадратов (LS) является допустимой . Причудливым примером будет оценка скорости света, потребления чая на Тайване и веса свиней в Монтане, всех вместе. Оценка Джеймса-Стейна всегда улучшает общую MSE, т. е. сумму ожидаемых квадратов ошибок каждого компонента. Следовательно, общая MSE при измерении скорости света, потребления чая и веса свиней улучшится при использовании оценки Джеймса-Стейна. Однако любой конкретный компонент (например, скорость света) улучшится для некоторых значений параметров и ухудшится для других. Таким образом, хотя оценка Джеймса–Стейна доминирует над оценкой МНК при оценке трех или более параметров, ни один отдельный компонент не доминирует над соответствующим компонентом оценки МНК.

Вывод из этого гипотетического примера заключается в том, что измерения следует объединять, если кто-то заинтересован в минимизации их общей MSE. Например, в телекоммуникационной среде разумно объединять измерения ответвлений каналов в сценарии оценки канала , поскольку цель состоит в минимизации общей ошибки оценки канала.

Оценка Джеймса–Стейна также нашла применение в фундаментальной квантовой теории, где она была использована для улучшения теоретических границ энтропийного принципа неопределенности для более чем трех измерений. ^[6]

Интуитивный вывод и интерпретация даются гальтоновской перспективой. ^[7] В рамках этой интерпретации мы стремимся предсказать средние значения популяции, используя несовершенно измеренные средние значения выборки . Уравнение оценщика OLS в гипотетической регрессии средних значений популяции на средние значения выборки дает оценщик в форме оценщика Джеймса-Стейна (когда мы заставляем свободный член OLS равным 0) или оценщика Эфрона-Морриса (когда мы позволяем свободному члену изменяться).

Улучшения

Несмотря на интуитивное представление о том, что оценщик Джеймса–Стейна сжимает оценку максимального правдоподобия до , оценка на самом деле отдаляется от для малых значений , поскольку множитель на тогда отрицателен. Это можно легко исправить, заменив этот множитель нулем, когда он отрицателен. Полученная оценка называется оценщиком Джеймса–Стейна с положительной частью и задается как ${\displaystyle {\mathbf {y} }}$ ${\displaystyle {\boldsymbol {\nu }}}$ ${\displaystyle {\boldsymbol {\nu }}}$ ${\displaystyle \|{\mathbf {y} }-{\boldsymbol {\nu }}\|,}$ ${\displaystyle {\mathbf {y} }-{\boldsymbol {\nu }}}$

${\displaystyle {\widehat {\boldsymbol {\theta }}}_{JS+}=\left(1-{\frac {(m-3)\sigma ^{2}}{\|{\mathbf {y} }-{\boldsymbol {\nu }}\|^{2}}}\right)^{+}({\mathbf {y} }-{\boldsymbol {\nu }})+{\boldsymbol {\nu }},m\geq 4.}$

Эта оценка имеет меньший риск, чем базовая оценка Джеймса–Стейна. Из этого следует, что базовая оценка Джеймса–Стейна сама по себе недопустима . ^[8]

Однако оказывается, что оценка с положительной частью также недопустима. ^[4] Это следует из общего результата, который требует, чтобы допустимые оценки были гладкими.

Расширения

Оценка Джеймса–Стейна может показаться на первый взгляд результатом некоторой особенности постановки проблемы. Фактически, оценка является примером очень широкомасштабного эффекта; а именно, того факта, что «обычная» или оценка наименьших квадратов часто неприемлема для одновременной оценки нескольких параметров. ^{[ необходима цитата ]} Этот эффект был назван феноменом Стейна и был продемонстрирован для нескольких различных постановок проблемы, некоторые из которых кратко описаны ниже.

• Джеймс и Стайн продемонстрировали, что представленную выше оценку можно использовать и тогда, когда дисперсия неизвестна, заменив ее стандартной оценкой дисперсии, . Результат доминирования остается справедливым при тех же условиях, а именно, . ^[2] ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{m}}\sum (y_{i}-{\overline {y}})^{2}}$ ${\displaystyle m>2}$
• Результаты в этой статье относятся к случаю, когда доступен только один вектор наблюдения y . Для более общего случая, когда доступны векторы, результаты аналогичны: ^{[ необходима цитата ]} ${\displaystyle n}$

${\displaystyle {\widehat {\boldsymbol {\theta }}}_{JS}=\left(1-{\frac {(m-2){\frac {\sigma ^{2}}{n}}}{\|{\overline {\mathbf {y} }}\|^{2}}}\right){\overline {\mathbf {y} }},}$

где - среднее значение длины наблюдений . ${\displaystyle {\overline {\mathbf {y} }}}$ ${\displaystyle m}$ ${\displaystyle n}$

• Работа Джеймса и Стайна была распространена на случай матрицы ковариации общих измерений, т. е. когда измерения могут быть статистически зависимыми и иметь различные дисперсии. ^[9] Подобный доминирующий оценщик может быть построен с соответствующим образом обобщенным условием доминирования. Это может быть использовано для построения метода линейной регрессии , который превосходит стандартное применение оценщика LS. ^[9]
• Результат Стайна был распространен на широкий класс распределений и функций потерь. Однако эта теория дает только результат существования, поскольку явные доминирующие оценщики фактически не были представлены. ^[10] Довольно сложно получить явные оценщики, улучшающие обычные оценщики без конкретных ограничений на базовые распределения. ^[4]

Смотрите также

• Правило допустимого решения
• Оценка Ходжеса
• Оценщик усадки
• Регулярный оценщик
• расхождение KL

Ссылки

1. Stein, C. (1956), "Недопустимость обычной оценки для среднего значения многомерного распределения", Proc. Third Berkeley Symp. Math. Statist. Prob., т. 1, стр. 197–206, MR  0084922, Zbl  0073.35602
2. Джеймс, У.; Стайн, К. (1961), «Оценка с квадратичными потерями», Труды Четвертого Берклийского симпозиума по математическим статистическим проблемам, т. 1, стр. 361–379, MR  0133191
3. Беран, Р. (1995). РОЛЬ ТЕОРЕМЫ ХАЕКА О СВЕРТКЕ В СТАТИСТИЧЕСКОЙ ТЕОРИИ
4. Леманн, Э. Л.; Каселла, Г. (1998), Теория точечной оценки (2-е изд.), Нью-Йорк: Springer
5. Эфрон, Б.; Моррис, К. (1973). «Правило оценки Стейна и его конкуренты — эмпирический байесовский подход». Журнал Американской статистической ассоциации . 68 (341). Американская статистическая ассоциация: 117–130. doi :10.2307/2284155. JSTOR  2284155.
6. Стандер, М. (2017), Использование оценщика Стейна для исправления границы энтропийного принципа неопределенности для более чем двух измерений , arXiv : 1702.02440 , Bibcode : 2017arXiv170202440S
7. Стиглер, Стивен М. (1990-02-01). "Лекция памяти Неймана 1988 года: Гальтоновский взгляд на оценки усадки". Статистическая наука . 5 (1). doi : 10.1214/ss/1177012274 . ISSN  0883-4237.
8. Андерсон, TW (1984), Введение в многомерный статистический анализ (2-е изд.), Нью-Йорк: John Wiley & Sons
9. Bock, ME (1975), "Минимаксные оценки среднего значения многомерного нормального распределения", Annals of Statistics , 3 (1): 209–218, doi : 10.1214/aos/1176343009 , MR  0381064, Zbl  0314.62005
10. Браун, Л. Д. (1966), «О допустимости инвариантных оценок одного или нескольких параметров местоположения», Annals of Mathematical Statistics , 37 (5): 1087–1136, doi : 10.1214/aoms/1177699259 , MR  0216647, Zbl  0156.39401

Дальнейшее чтение

• Джадж, Джордж Г.; Бок, М. Э. (1978). Статистические следствия предварительных тестов и оценок по правилу Стейна в эконометрике . Нью-Йорк: Северная Голландия. С. 229–257. ISBN 0-7204-0729-X.