Инвариантная оценка

В статистике понятие инвариантного оценщика является критерием, который можно использовать для сравнения свойств различных оценщиков для одной и той же величины. Это способ формализации идеи о том, что оценщик должен обладать определенными интуитивно привлекательными качествами. Строго говоря, «инвариантный» будет означать, что сами оценки остаются неизменными, когда и измерения, и параметры преобразуются совместимым образом, но значение было расширено, чтобы позволить оценкам изменяться соответствующим образом при таких преобразованиях. ^[1] Термин эквивариантный оценщик используется в формальных математических контекстах, которые включают точное описание отношения того, как оценщик изменяется в ответ на изменения в наборе данных и параметризации: это соответствует использованию « эквивариантности » в более общей математике.

Общая настройка

Фон

В статистическом выводе существует несколько подходов к теории оценки , которые можно использовать для немедленного решения, какие оценщики следует использовать в соответствии с этими подходами. Например, идеи из байесовского вывода напрямую приведут к байесовским оценщикам . Аналогично, теория классического статистического вывода иногда может приводить к сильным выводам о том, какой оценщик следует использовать. Однако полезность этих теорий зависит от наличия полностью предписанной статистической модели и может также зависеть от наличия соответствующей функции потерь для определения оценщика. Таким образом, может быть проведен байесовский анализ , приводящий к апостериорному распределению для соответствующих параметров, но использование конкретной функции полезности или потерь может быть неясным. Идеи инвариантности затем могут быть применены к задаче суммирования апостериорного распределения. В других случаях статистический анализ проводится без полностью определенной статистической модели или классическая теория статистического вывода не может быть легко применена, поскольку рассматриваемое семейство моделей не поддается такой обработке. В дополнение к этим случаям, когда общая теория не предписывает оценщика, концепция инвариантности оценщика может применяться при поиске оценщиков альтернативных форм, либо ради простоты применения оценщика, либо для того, чтобы оценщик был надежным .

Понятие инвариантности иногда используется само по себе как способ выбора между оценщиками, но это не обязательно является окончательным. Например, требование инвариантности может быть несовместимо с требованием, чтобы оценщик был несмещенным по среднему ; с другой стороны, критерий несмещенности по медиане определяется в терминах выборочного распределения оценщика и поэтому инвариантен относительно многих преобразований.

Одно из применений концепции инвариантности — когда предлагается класс или семейство оценщиков, и среди них должна быть выбрана конкретная формулировка. Одна процедура заключается в том, чтобы наложить соответствующие свойства инвариантности, а затем найти формулировку в этом классе, которая имеет наилучшие свойства, что приводит к тому, что называется оптимальной инвариантной оценкой.

Некоторые классы инвариантных оценщиков

Существует несколько типов преобразований, которые полезно учитывать при работе с инвариантными оценщиками. Каждый из них порождает класс оценщиков, которые инвариантны к этим конкретным типам преобразований.

• Инвариантность сдвига: Теоретически оценки параметра местоположения должны быть инвариантны к простым сдвигам значений данных. Если все значения данных увеличиваются на заданную величину, оценка должна измениться на ту же величину. При рассмотрении оценки с использованием взвешенного среднего это требование инвариантности немедленно подразумевает, что веса должны в сумме давать единицу. Хотя тот же результат часто выводится из требования несмещенности, использование «инвариантности» не требует, чтобы существовало среднее значение, и вообще не использует какое-либо распределение вероятностей.
• Масштабная инвариантность: Обратите внимание, что эту тему об инвариантности параметра масштаба оценки не следует путать с более общей масштабной инвариантностью поведения систем в совокупности свойств (в физике).
• Инвариантность преобразования параметров: здесь преобразование применяется только к параметрам. Идея здесь заключается в том, что по сути тот же вывод должен быть сделан из данных и модели, включающей параметр θ, как это было бы сделано из тех же данных, если бы модель использовала параметр φ, где φ является однозначным преобразованием θ, φ = h (θ). Согласно этому типу инвариантности, результаты от преобразованно-инвариантных оценщиков также должны быть связаны соотношением φ = h (θ). Оценщики максимального правдоподобия обладают этим свойством, когда преобразование является монотонным . Хотя асимптотические свойства оценщика могут быть инвариантными, свойства малой выборки могут быть разными, и необходимо вывести конкретное распределение. ^[2]
• Инвариантность к перестановкам: если набор значений данных может быть представлен статистической моделью, которая является результатом независимых и одинаково распределенных случайных величин , разумно наложить требование, чтобы любая оценка любого свойства общего распределения была инвариантной к перестановкам: в частности, оценка, рассматриваемая как функция набора значений данных, не должна меняться, если элементы данных меняются местами в наборе данных.

Сочетание инвариантности перестановки и инвариантности местоположения для оценки параметра местоположения из независимого и одинаково распределенного набора данных с использованием взвешенного среднего подразумевает, что веса должны быть идентичны и в сумме давать единицу. Конечно, оценки, отличные от взвешенного среднего, могут быть предпочтительными.

Оптимальные инвариантные оценки

В этой настройке нам дан набор измерений , который содержит информацию о неизвестном параметре . Измерения моделируются как векторная случайная величина , имеющая функцию плотности вероятности , которая зависит от вектора параметров . ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle f(x|\theta )}$ ${\displaystyle \theta }$

Задача состоит в оценке заданного . Оценка, обозначенная , является функцией измерений и принадлежит набору . Качество результата определяется функцией потерь , которая определяет функцию риска . Наборы возможных значений , , и обозначаются , , и , соответственно. ${\displaystyle \theta }$ ${\displaystyle x}$ ${\displaystyle a}$ ${\displaystyle A}$ ${\displaystyle L=L(a,\theta )}$ ${\displaystyle R=R(a,\theta )=E[L(a,\theta )|\theta ]}$ ${\displaystyle x}$ ${\displaystyle \theta }$ ${\displaystyle a}$ ${\displaystyle X}$ ${\displaystyle \Theta }$ ${\displaystyle A}$

В классификации

В статистической классификации правило, которое присваивает класс новому элементу данных, можно считать особым типом оценщика. Ряд соображений типа инвариантности можно использовать при формулировании априорных знаний для распознавания образов .

Математическая установка

Определение

Инвариантная оценка — это оценка, которая подчиняется следующим двум правилам: ^{[ необходима цитата ]}

1. Принцип рациональной инвариантности: действие, предпринимаемое в задаче принятия решения, не должно зависеть от преобразования используемого измерения.
2. Принцип инвариантности: если две задачи принятия решений имеют одинаковую формальную структуру (с точки зрения , и ), то в каждой задаче следует использовать одно и то же правило принятия решений . ${\displaystyle X}$ ${\displaystyle \Theta }$ ${\displaystyle f(x|\theta )}$ ${\displaystyle L}$

Чтобы формально определить инвариантную или эквивариантную оценку, сначала необходимо дать некоторые определения, связанные с группами преобразований. Пусть обозначает множество возможных выборок данных. Группа преобразований , обозначаемая как , представляет собой множество (измеримых) преобразований 1:1 и на в себя, которое удовлетворяет следующим условиям: ${\displaystyle X}$ ${\displaystyle X}$ ${\displaystyle G}$ ${\displaystyle X}$

1. Если и тогда ${\displaystyle g_{1}\in G}$ ${\displaystyle g_{2}\in G}$ ${\displaystyle g_{1}g_{2}\in G\,}$
2. Если , то , где (То есть каждое преобразование имеет обратное внутри группы.) ${\displaystyle g\in G}$ ${\displaystyle g^{-1}\in G}$ ${\displaystyle g^{-1}(g(x))=x\,.}$
3. ${\displaystyle e\in G}$(т.е. происходит трансформация идентичности ) ${\displaystyle e(x)=x\,}$

Наборы данных и в эквивалентны, если для некоторого . Все эквивалентные точки образуют класс эквивалентности . Такой класс эквивалентности называется орбитой (в ). Орбита, , является множеством . Если состоит из одной орбиты, то называется транзитивным. ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ ${\displaystyle X}$ ${\displaystyle x_{1}=g(x_{2})}$ ${\displaystyle g\in G}$ ${\displaystyle X}$ ${\displaystyle x_{0}}$ ${\displaystyle X(x_{0})}$ ${\displaystyle X(x_{0})=\{g(x_{0}):g\in G\}}$ ${\displaystyle X}$ ${\displaystyle g}$

Семейство плотностей называется инвариантным относительно группы , если для любого и существует единственное такое, что имеет плотность . будем обозначать . ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle g\in G}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle \theta ^{*}\in \Theta }$ ${\displaystyle Y=g(x)}$ ${\displaystyle f(y|\theta ^{*})}$ ${\displaystyle \theta ^{*}}$ ${\displaystyle {\bar {g}}(\theta )}$

Если инвариантна относительно группы , то говорят, что функция потерь инвариантна относительно , ​​если для каждого и существует такое , что для всех . Преобразованное значение будет обозначаться как . ${\displaystyle F}$ ${\displaystyle G}$ ${\displaystyle L(\theta ,a)}$ ${\displaystyle G}$ ${\displaystyle g\in G}$ ${\displaystyle a\in A}$ ${\displaystyle a^{*}\in A}$ ${\displaystyle L(\theta ,a)=L({\bar {g}}(\theta ),a^{*})}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle a^{*}}$ ${\displaystyle {\tilde {g}}(a)}$

В приведенном выше примере — это группа преобразований из в себя, а — это группа преобразований из в себя. ${\displaystyle {\bar {G}}=\{{\bar {g}}:g\in G\}}$ ${\displaystyle \Theta }$ ${\displaystyle {\tilde {G}}=\{{\tilde {g}}:g\in G\}}$ ${\displaystyle A}$

Задача оценки инвариантна (эквивариантна) относительно , ​​если существуют три группы , определенные выше. ${\displaystyle G}$ ${\displaystyle G,{\bar {G}},{\tilde {G}}}$

Для задачи оценки, которая инвариантна относительно , ​​оценщик является инвариантным оценщиком относительно , ​​если для всех и , ${\displaystyle G}$ ${\displaystyle \delta (x)}$ ${\displaystyle G}$ ${\displaystyle x\in X}$ ${\displaystyle g\in G}$

${\displaystyle \delta (g(x))={\tilde {g}}(\delta (x)).}$

Характеристики

1. Функция риска инвариантной оценки, , постоянна на орбитах . Эквивалентно для всех и . ${\displaystyle \delta }$ ${\displaystyle \Theta }$ ${\displaystyle R(\theta ,\delta )=R({\bar {g}}(\theta ),\delta )}$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle {\bar {g}}\in {\bar {G}}}$
2. Функция риска инвариантной оценки с транзитивностью постоянна. ${\displaystyle {\bar {g}}}$

Для данной задачи инвариантная оценка с наименьшим риском называется «лучшей инвариантной оценкой». Лучшая инвариантная оценка не всегда может быть достигнута. Частным случаем, для которого она может быть достигнута, является случай, когда является транзитивным. ${\displaystyle {\bar {g}}}$

Пример: параметр местоположения

Предположим, что является параметром местоположения, если плотность имеет вид . Для и задача инвариантна относительно . Инвариантная оценка в этом случае должна удовлетворять ${\displaystyle \theta }$ ${\displaystyle X}$ ${\displaystyle f(x-\theta )}$ ${\displaystyle \Theta =A=\mathbb {R} ^{1}}$ ${\displaystyle L=L(a-\theta )}$ ${\displaystyle g={\bar {g}}={\tilde {g}}=\{g_{c}:g_{c}(x)=x+c,c\in \mathbb {R} \}}$

${\displaystyle \delta (x+c)=\delta (x)+c,{\text{ for all }}c\in \mathbb {R} ,}$

таким образом, он имеет вид ( ). является транзитивным по , поэтому риск не меняется с : то есть, . Наилучшей инвариантной оценкой является та, которая сводит риск к минимуму. ${\displaystyle \delta (x)=x+K}$ ${\displaystyle K\in \mathbb {R} }$ ${\displaystyle {\bar {g}}}$ ${\displaystyle \Theta }$ ${\displaystyle \theta }$ ${\displaystyle R(\theta ,\delta )=R(0,\delta )=\operatorname {E} [L(X+K)|\theta =0]}$ ${\displaystyle R(\theta ,\delta )}$

В случае, если L — квадрат ошибки ${\displaystyle \delta (x)=x-\operatorname {E} [X|\theta =0].}$

Оценщик Питмана

Задача оценки состоит в том, что имеет плотность , где θ — параметр, который необходимо оценить, и где функция потерь . Эта задача инвариантна со следующими (аддитивными) группами преобразований: ${\displaystyle X=(X_{1},\dots ,X_{n})}$ ${\displaystyle f(x_{1}-\theta ,\dots ,x_{n}-\theta )}$ ${\displaystyle L(|a-\theta |)}$

${\displaystyle G=\{g_{c}:g_{c}(x)=(x_{1}+c,\dots ,x_{n}+c),c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\bar {G}}=\{g_{c}:g_{c}(\theta )=\theta +c,c\in \mathbb {R} ^{1}\},}$

${\displaystyle {\tilde {G}}=\{g_{c}:g_{c}(a)=a+c,c\in \mathbb {R} ^{1}\}.}$

Лучшая инвариантная оценка — это та, которая минимизирует ${\displaystyle \delta (x)}$

${\displaystyle {\frac {\int _{-\infty }^{\infty }L(\delta (x)-\theta )f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }},}$

и это оценка Питмана (1939).

Для случая квадратичной ошибки потери результат будет следующим:

${\displaystyle \delta (x)={\frac {\int _{-\infty }^{\infty }\theta f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }{\int _{-\infty }^{\infty }f(x_{1}-\theta ,\dots ,x_{n}-\theta )d\theta }}.}$

Если (т.е. многомерное нормальное распределение с независимыми компонентами с единичной дисперсией), то ${\displaystyle x\sim N(\theta 1_{n},I)\,\!}$

${\displaystyle \delta _{\text{Pitman}}=\delta _{ML}={\frac {\sum {x_{i}}}{n}}.}$

Если (независимые компоненты, имеющие распределение Коши с параметром масштаба σ ), то ,. Однако результат будет ${\displaystyle x\sim C(\theta 1_{n},I\sigma ^{2})\,\!}$ ${\displaystyle \delta _{\text{Pitman}}\neq \delta _{ML}}$

${\displaystyle \delta _{\text{Pitman}}=\sum _{k=1}^{n}{x_{k}\left[{\frac {{\text{Re}}\{w_{k}\}}{\sum _{m=1}^{n}{{\text{Re}}\{w_{k}\}}}}\right]},\qquad n>1,}$

с

${\displaystyle w_{k}=\prod _{j\neq k}\left[{\frac {1}{(x_{k}-x_{j})^{2}+4\sigma ^{2}}}\right]\left[1-{\frac {2\sigma }{(x_{k}-x_{j})}}i\right].}$

Ссылки

1. см. раздел 5.2.1 в Gourieroux, C. и Monfort, A. (1995). Статистика и эконометрические модели, том 1. Cambridge University Press.
2. Гурьеру и Монфор (1995)

• Бергер, Джеймс О. (1985). Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. ISBN 0-387-96098-8. МР  0804611.^{[ нужна страница ]}
• Freue, Gabriela V. Cohen (2007). «Оценка Питмана параметра местоположения Коши». Журнал статистического планирования и вывода . 137 (6): 1900–1913. doi :10.1016/j.jspi.2006.05.002.
• Питман, Э. Дж. Г. (1939). «Оценка параметров местоположения и масштаба непрерывной популяции любой заданной формы». Biometrika . 30 (3/4): 391–421. doi :10.1093/biomet/30.3-4.391. JSTOR  2332656.
• Питман, Э. Дж. Г. (1939). «Проверка гипотез относительно параметров местоположения и масштаба». Biometrika . 31 (1/2): 200–215. doi :10.1093/biomet/31.1-2.200. JSTOR  2334983.