Надежная статистика

Тип статистики

Надежная статистика — это статистика , которая сохраняет свои свойства, даже если лежащие в ее основе предположения о распределении неверны. Для многих распространенных задач, таких как оценка местоположения , масштаба и параметров регрессии , были разработаны надежные статистические методы . Одной из причин является разработка статистических методов , на которые не оказывают чрезмерного влияния выбросы . Другая мотивация — предоставить методы с хорошей производительностью при небольших отклонениях от параметрического распределения . Например, робастные методы хорошо работают для смесей двух нормальных распределений с разными стандартными отклонениями ; в рамках этой модели неробастные методы, такие как t-тест, работают плохо. ^{[ нужна цитата ]}

Введение

Надежная статистика стремится предоставить методы, которые имитируют популярные статистические методы, но на которые не оказывают чрезмерного влияния выбросы или другие небольшие отклонения от предположений модели . В статистике классические методы оценки в значительной степени полагаются на предположения, которые часто не выполняются на практике. В частности, часто предполагается, что ошибки данных нормально распределены, по крайней мере приблизительно, или что на центральную предельную теорему можно положиться для получения нормально распределенных оценок. К сожалению, когда в данных есть выбросы, классические оценки часто имеют очень низкую производительность, если оценивать их с использованием точки разбивки и функции влияния , описанной ниже.

Практический эффект проблем, наблюдаемых в функции влияния, можно изучить эмпирически, исследуя выборочное распределение предлагаемых оценок в рамках модели смеси , где смешивается небольшое количество (часто достаточно 1–5%) примесей. Например, можно использовать смесь 95% нормального распределения и 5% нормального распределения с тем же средним, но значительно более высоким стандартным отклонением (представляющим выбросы).

Робастная параметрическая статистика может действовать двумя способами:

• путем разработки оценщиков таким образом, чтобы достигалось заранее выбранное поведение функции влияния
• путем замены оценок, которые оптимальны в предположении нормального распределения, оценками, которые оптимальны или, по крайней мере, получены для других распределений: например, с использованием t - распределения с низкими степенями свободы (высокий эксцесс) или со смесью два и более дистрибутива.

Робастные оценки изучались для следующих задач:

• оценка параметров местоположения
• оценка параметров масштаба
• оценка коэффициентов регрессии ^[1]
• оценка состояний модели в моделях, выраженных в форме пространства состояний , для которой стандартный метод эквивалентен фильтру Калмана .

Определение

Существуют различные определения «надежной статистики ». Строго говоря, робастная статистика устойчива к ошибкам в результатах, вызванным отклонениями от предположений ^[2] (например, о нормальности). Это означает, что если предположения выполняются лишь приблизительно, робастная оценка по-прежнему будет иметь разумную эффективность и достаточно небольшое смещение , а также будет асимптотически несмещенной , то есть иметь смещение, стремящееся к 0, поскольку размер выборки стремится к бесконечности.

Обычно наиболее важным случаем является устойчивость распределения – устойчивость к нарушению предположений об основном распределении данных. ^[2] Классические статистические процедуры обычно чувствительны к «длиннохвостости» (например, когда распределение данных имеет более длинные хвосты, чем предполагаемое нормальное распределение). Это означает, что на них будет сильно влиять наличие выбросов в данных, а получаемые ими оценки могут быть сильно искажены, если в данных присутствуют экстремальные выбросы, по сравнению с тем, какими они были бы, если бы выбросы не были включены в данные. .

Напротив, более надежные оценки, которые не так чувствительны к искажениям распределения, таким как длиннохвостость, также устойчивы к присутствию выбросов. Таким образом, в контексте надежной статистики понятия « устойчивость к распределению» и «устойчивость к выбросам» фактически являются синонимами. ^[2] О перспективах исследований в области надежной статистики до 2000 г. см. Portnoy & He (2000).

Некоторые эксперты предпочитают термин «устойчивая статистика» для обозначения распределительной устойчивости и оставляют «устойчивость» для нераспределительной устойчивости, например, устойчивость к нарушению предположений о вероятностной модели или оценщике, но это используется меньшинством. Обычное слово «надежность» означает «устойчивость распределения».

При рассмотрении вопроса о том, насколько устойчива оценка к наличию выбросов, полезно проверить, что происходит, когда экстремальный выброс добавляется в набор данных, и проверить, что происходит, когда экстремальный выброс заменяет одну из существующих точек данных, а затем рассмотреть эффект множественных дополнений или замен.

Примеры

Среднее значение не является надежным показателем центральной тенденции . Если набор данных представляет собой, например, значения {2,3,5,6,9}, то если мы добавим к данным еще одну точку данных со значением -1000 или +1000, полученное среднее значение будет сильно отличаться от среднего значения исходных данных. . Аналогично, если мы заменим одно из значений точкой данных со значением -1000 или +1000, то полученное среднее значение будет сильно отличаться от среднего значения исходных данных.

Медиана является надежным показателем центральной тенденции . Взяв тот же набор данных {2,3,5,6,9}, если мы добавим еще одну точку данных со значением -1000 или +1000, то медиана немного изменится, но она все равно будет похожа на медиану исходных данных. Если мы заменим одно из значений точкой данных со значением -1000 или +1000, то результирующая медиана все равно будет аналогична медиане исходных данных.

Описанная с точки зрения точек разбивки, медиана имеет точку разбивки 50%, что означает, что половина точек должна быть выбросами, прежде чем медиану можно будет вывести за пределы диапазона невыпадающих значений, в то время как среднее значение имеет точку разбивки 0, поскольку одно большое наблюдение может сбить его с толку.

Медианное абсолютное отклонение и межквартильный размах являются надежными показателями статистической дисперсии , а стандартное отклонение и диапазон — нет.

Обрезанные оценки и оценки Winsorized — это общие методы повышения надежности статистики. L-оценщики представляют собой общий класс простых статистических данных, часто надежных, тогда как M-оценки представляют собой общий класс робастных статистических данных и в настоящее время являются предпочтительным решением, хотя их вычисления могут быть весьма сложными.

Данные о скорости света

Гельман и др. в «Анализ байесовских данных» (2004) рассмотрим набор данных, относящийся к измерениям скорости света, сделанный Саймоном Ньюкомбом . Наборы данных для этой книги можно найти на странице классических наборов данных , а на веб-сайте книги содержится дополнительная информация о данных.

Хотя основная часть данных выглядит более или менее нормально распределенной, есть два очевидных отклонения. Эти выбросы оказывают большое влияние на среднее значение, перетаскивая его к себе и от центра основной массы данных. Таким образом, если среднее значение предназначено для измерения местоположения центра данных, оно в некотором смысле является смещенным при наличии выбросов.

Кроме того, известно, что распределение среднего асимптотически нормально в силу центральной предельной теоремы. Однако выбросы могут сделать распределение среднего значения ненормальным даже для довольно больших наборов данных. Помимо этой ненормальности, среднее значение также неэффективно при наличии выбросов и доступных менее изменчивых показателей местоположения.

Оценка местоположения

На графике ниже показан график плотности данных о скорости света вместе с графиком коврика (панель (а)). Также показан нормальный график Q–Q (панель (b)). На этих графиках видны выбросы.

Панели (c) и (d) графика показывают бутстреп-распределение среднего значения (c) и 10% -ного усеченного среднего значения (d). Обрезанное среднее — это простая робастная оценка местоположения, которая удаляет определенный процент наблюдений (здесь 10%) с каждого конца данных, а затем вычисляет среднее значение обычным способом. Анализ проводился в R , и для каждого исходного и обрезанного среднего использовалось 10 000 бутстреп- образцов.

Распределение среднего значения явно намного шире, чем распределение среднего значения, усеченного на 10% (графики имеют один и тот же масштаб). Кроме того, хотя распределение усеченного среднего значения кажется близким к нормальному, распределение необработанного среднего сильно смещено влево. Итак, в этой выборке из 66 наблюдений только 2 выброса делают центральную предельную теорему неприменимой.

Робастные статистические методы, простым примером которых является усеченное среднее, стремятся превзойти классические статистические методы при наличии выбросов или, в более общем смысле, когда основные параметрические предположения не совсем верны.

Хотя усеченное среднее работает лучше среднего в этом примере, доступны более надежные оценки. Фактически среднее, медиана и усеченное среднее — все это частные случаи М-оценок . Подробности представлены в разделах ниже.

Оценка масштаба

Выбросы в данных о скорости света оказывают не только негативное влияние на среднее значение; обычной оценкой масштаба является стандартное отклонение, и на эту величину выбросы влияют еще сильнее, поскольку в расчет идут квадраты отклонений от среднего значения, поэтому эффекты выбросов усугубляются.

На графиках ниже показаны бутстреп-распределения стандартного отклонения, медианного абсолютного отклонения (MAD) и оценки масштаба Русси-Кру (Qn) . ^[3] Графики основаны на 10 000 бутстреп-выборок для каждого средства оценки, с добавлением некоторого гауссовского шума к повторно дискретизированным данным ( сглаженная бутстрап ). На панели (а) показано распределение стандартного отклонения, (б) MAD и (в) Qn.

Распределение стандартного отклонения хаотично и широко из-за выбросов. MAD ведет себя лучше, а Qn немного более эффективен, чем MAD. Этот простой пример демонстрирует, что при наличии выбросов стандартное отклонение не может быть рекомендовано в качестве оценки масштаба.

Ручной отбор выбросов

Традиционно статистики вручную проверяли данные на наличие выбросов и удаляли их, обычно проверяя источник данных, чтобы увидеть, были ли выбросы записаны ошибочно. Действительно, в приведенном выше примере скорости света легко увидеть и удалить два выброса, прежде чем приступить к дальнейшему анализу. Однако в наше время наборы данных часто состоят из большого количества переменных, измеряемых на большом количестве экспериментальных единиц. Поэтому ручной поиск отклонений часто нецелесообразен.

Выбросы часто могут взаимодействовать таким образом, что маскируют друг друга. В качестве простого примера рассмотрим небольшой одномерный набор данных, содержащий один скромный и один большой выброс. Оценочное стандартное отклонение будет сильно завышено из-за большого выброса. В результате скромный выброс выглядит относительно нормальным. Как только большой выброс удаляется, расчетное стандартное отклонение уменьшается, и скромный выброс теперь выглядит необычно.

Проблема маскировки усугубляется по мере увеличения сложности данных. Например, в задачах регрессии диагностические графики используются для выявления выбросов. Однако обычно после удаления нескольких выбросов становятся видимыми другие. Проблема еще хуже в более высоких измерениях.

Надежные методы обеспечивают автоматические способы обнаружения, снижения веса (или удаления) и маркировки выбросов, что в значительной степени устраняет необходимость в ручном скрининге. Необходимо соблюдать осторожность; первоначальные данные, показывающие, что озоновая дыра впервые появилась над Антарктидой , были отклонены как выходящие за пределы при проверке без участия человека. ^[4]

Разнообразие приложений

Хотя в этой статье рассматриваются общие принципы одномерных статистических методов, существуют также надежные методы для задач регрессии, обобщенных линейных моделей и оценки параметров различных распределений.

Меры устойчивости

Основными инструментами, используемыми для описания и измерения устойчивости, являются точка пробоя , функция влияния и кривая чувствительности .

Точка разрушения

Интуитивно понятно, что точка распада оценщика — это доля неверных наблюдений (например, произвольно больших наблюдений), которые оценщик может обработать, прежде чем выдаст неправильный (например, произвольно большой) результат. Обычно асимптотический предел (бесконечная выборка) указывается как точка пробоя, хотя точка пробоя с конечной выборкой может быть более полезной. ^[5] Например, учитывая независимые случайные величины и соответствующие реализации , мы можем использовать их для оценки среднего значения. Такая оценка имеет точку пробоя 0 (или точку пробоя конечной выборки ), потому что мы можем получить сколь угодно большое значение, просто изменив любое из . ${\displaystyle n}$ ${\displaystyle (X_{1},\dots ,X_{n})}$ ${\displaystyle x_{1},\dots ,x_{n}}$ ${\displaystyle {\overline {X_{n}}}:={\frac {X_{1}+\cdots +X_{n}}{n}}}$ ${\displaystyle 1/n}$ ${\displaystyle {\overline {x}}}$ ${\displaystyle x_{1},\dots ,x_{n}}$

Чем выше точка пробоя оценщика, тем он более устойчив. Интуитивно мы можем понять, что точка разбивки не может превышать 50%, потому что, если более половины наблюдений загрязнены, невозможно отличить основное распределение от загрязняющего распределения Rousseeuw & Leroy (1987). Следовательно, максимальная точка пробоя равна 0,5, и существуют оценки, которые достигают такой точки пробоя. Например, медиана имеет точку пробоя 0,5. Обрезанное среднее значение X% имеет точку разбивки X% для выбранного уровня X. Huber (1981) и Maronna et al. (2019) содержат более подробную информацию. Уровень и точки сбоя мощности испытаний исследованы в He, Simpson & Portnoy (1990).

Статистику с высокими точками пробоя иногда называют устойчивой статистикой. ^[6]

Пример: данные о скорости света

В примере со скоростью света удаление двух самых низких наблюдений приводит к изменению среднего значения с 26,2 до 27,75, т.е. на 1,55. Оценка масштаба, полученная методом Qn, равна 6,3. Мы можем разделить это значение на квадратный корень из размера выборки, чтобы получить надежную стандартную ошибку, и мы находим эту величину равной 0,78. Таким образом, изменение среднего значения в результате удаления двух выбросов примерно в два раза превышает робастную стандартную ошибку.

Обрезанное на 10% среднее значение данных о скорости света составляет 27,43. Удаление двух самых низких наблюдений и повторный расчет дают 27,67. Обрезанное среднее меньше подвержено влиянию выбросов и имеет более высокую точку пробоя.

Если мы заменим самое низкое наблюдение, -44, на -1000, среднее значение станет 11,73, тогда как усеченное на 10% среднее значение по-прежнему будет 27,43. Во многих областях прикладной статистики данные обычно подвергаются логарифмическому преобразованию, чтобы сделать их почти симметричными. Очень маленькие значения становятся большими отрицательными при логарифмическом преобразовании, а нули становятся отрицательно бесконечными. Поэтому данный пример представляет практический интерес.

Функция эмпирического влияния

Двухвесовая функция Тьюки

Эмпирическая функция влияния — это мера зависимости оценщика от значения любой из точек выборки. Это немодельная мера в том смысле, что она просто основана на повторном вычислении оценщика с другой выборкой. Справа находится двухвесовая функция Тьюки, которая, как мы позже увидим, является примером того, как должна выглядеть «хорошая» (в смысле, определенном позже) эмпирическая функция влияния.

С математической точки зрения функция влияния определяется как вектор в пространстве оценщика, который, в свою очередь, определяется для выборки, которая является подмножеством генеральной совокупности:

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$это вероятностное пространство,
2. ${\displaystyle ({\mathcal {X}},\Sigma )}$- измеримое пространство (пространство состояний),
3. ${\displaystyle \Theta }$представляет собой пространство параметров размерности , ${\displaystyle p\in \mathbb {N} ^{*}}$
4. ${\displaystyle (\Gamma ,S)}$это измеримое пространство,

Например,

1. ${\displaystyle (\Omega ,{\mathcal {A}},P)}$любое вероятностное пространство,
2. ${\displaystyle ({\mathcal {X}},\Sigma )=(\mathbb {R} ,{\mathcal {B}})}$,
3. ${\displaystyle \Theta =\mathbb {R} \times \mathbb {R} ^{+}}$
4. ${\displaystyle (\Gamma ,S)=(\mathbb {R} ,{\mathcal {B}})}$,

Эмпирическая функция влияния определяется следующим образом.

Пусть и являются iid и являются выборкой из этих переменных. является оценщиком. Позволять . Эмпирическая функция влияния при наблюдении определяется как: ${\displaystyle n\in \mathbb {N} ^{*}}$ ${\displaystyle X_{1},\dots ,X_{n}:(\Omega ,{\mathcal {A}})\rightarrow ({\mathcal {X}},\Sigma )}$ ${\displaystyle (x_{1},\dots ,x_{n})}$ ${\displaystyle T_{n}:({\mathcal {X}}^{n},\Sigma ^{n})\rightarrow (\Gamma ,S)}$ ${\displaystyle i\in \{1,\dots ,n\}}$ ${\displaystyle EIF_{i}}$ ${\displaystyle i}$

${\displaystyle EIF_{i}:x\in {\mathcal {X}}\mapsto n\cdot (T_{n}(x_{1},\dots ,x_{i-1},x,x_{i+1},\dots ,x_{n})-T_{n}(x_{1},\dots ,x_{i-1},x_{i},x_{i+1},\dots ,x_{n}))}$

Это означает, что мы заменяем i -е значение в выборке произвольным значением и смотрим на выходные данные оценщика. Альтернативно, EIF определяется как эффект, масштабируемый по n+1 вместо n, на оценщик добавления точки в выборку. ^{[ нужна цитата ]} ${\displaystyle x}$

Функция влияния и кривая чувствительности

Вместо того, чтобы полагаться исключительно на данные, мы могли бы использовать распределение случайных величин. Подход существенно отличается от подхода, описанного в предыдущем пункте. Сейчас мы пытаемся увидеть, что происходит с оценщиком, когда мы немного изменяем распределение данных: он предполагает распределение и измеряет чувствительность к изменениям в этом распределении. Напротив, эмпирическое влияние предполагает набор выборок и измеряет чувствительность к изменениям в выборках. ^[7]

Пусть – выпуклое подмножество множества всех конечных мер со знаком на . Мы хотим оценить параметр распределения в . Пусть функционал является асимптотическим значением некоторой последовательности оценщиков . Будем предполагать, что этот функционал согласован по Фишеру , т.е. Это означает, что в модели последовательность оценщиков асимптотически измеряет правильную величину. ${\displaystyle A}$ ${\displaystyle \Sigma }$ ${\displaystyle \theta \in \Theta }$ ${\displaystyle F}$ ${\displaystyle A}$ ${\displaystyle T:A\rightarrow \Gamma }$ ${\displaystyle (T_{n})_{n\in \mathbb {N} }}$ ${\displaystyle \forall \theta \in \Theta ,T(F_{\theta })=\theta }$ ${\displaystyle F}$

Пусть будет некоторое распределение в . Что происходит, когда данные не соответствуют точно модели, а другому, немного другому, «движутся в сторону» ? ${\displaystyle G}$ ${\displaystyle A}$ ${\displaystyle F}$ ${\displaystyle G}$

Мы смотрим на:

${\displaystyle dT_{G-F}(F)=\lim _{t\rightarrow 0^{+}}{\frac {T(tG+(1-t)F)-T(F)}{t}}}$,

которая является односторонней производной Гато от at в направлении . ${\displaystyle T}$ ${\displaystyle F}$ ${\displaystyle G-F}$

Позволять . — вероятностная мера, которая дает массу от 1 до . Мы выбираем . Тогда функция влияния определяется следующим образом: ${\displaystyle x\in {\mathcal {X}}}$ ${\displaystyle \Delta _{x}}$ ${\displaystyle \{x\}}$ ${\displaystyle G=\Delta _{x}}$

${\displaystyle IF(x;T;F):=\lim _{t\rightarrow 0^{+}}{\frac {T(t\Delta _{x}+(1-t)F)-T(F)}{t}}.}$

Он описывает влияние бесконечно малого загрязнения в точке на искомую оценку, стандартизированную по массе загрязнения (асимптотическая погрешность, вызванная загрязнением в наблюдениях). Для надежной оценки нам нужна ограниченная функция влияния, то есть такая, которая не стремится к бесконечности, когда x становится сколь угодно большим. ${\displaystyle x}$ ${\displaystyle t}$

Желаемые свойства

Свойства функции влияния, которые придают ей желаемую производительность:

1. Конечная точка отклонения , ${\displaystyle \rho ^{*}}$
2. Небольшая чувствительность к грубым ошибкам , ${\displaystyle \gamma ^{*}}$
3. Небольшая чувствительность к локальному сдвигу . ${\displaystyle \lambda ^{*}}$

Точка отклонения

${\displaystyle \rho ^{*}:=\inf _{r>0}\{r:IF(x;T;F)=0,|x|>r\}}$

Чувствительность к грубым ошибкам

${\displaystyle \gamma ^{*}(T;F):=\sup _{x\in {\mathcal {X}}}|IF(x;T;F)|}$

Чувствительность к локальному сдвигу

${\displaystyle \lambda ^{*}(T;F):=\sup _{(x,y)\in {\mathcal {X}}^{2} \atop x\neq y}\left\|{\frac {IF(y;T;F)-IF(x;T;F)}{y-x}}\right\|}$

Это значение, которое очень похоже на константу Липшица , представляет собой эффект небольшого смещения наблюдения от соседней точки , т. е. добавления наблюдения в и удаления одного из . ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle y}$ ${\displaystyle x}$

М-оценщики

(Математический контекст этого параграфа дан в разделе об эмпирических функциях влияния.)

Исторически было предложено несколько подходов к устойчивой оценке, включая R-оценки и L-оценки . Однако в настоящее время М-оценщики, похоже, доминируют в этой области из-за их универсальности, их потенциала для высоких точек отказа и сравнительно высокой эффективности. См. Хубер (1981).

М-оценки по своей сути не являются устойчивыми. Однако их можно спроектировать для достижения благоприятных свойств, включая надежность. M-оценщик — это обобщение оценок максимального правдоподобия (MLE), которое определяется путем максимизации или, что то же самое, минимизации . В 1964 году Хубер предложил обобщить это до минимизации , где – некоторая функция. Таким образом, MLE являются особым случаем M-оценок (отсюда и название: оценки « типа максимального правдоподобия»). ${\textstyle \prod _{i=1}^{n}f(x_{i})}$ ${\textstyle \sum _{i=1}^{n}-\log f(x_{i})}$ ${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$ ${\displaystyle \rho }$

Минимизацию часто можно выполнить путем дифференцирования и решения , где (если имеет производную). ${\textstyle \sum _{i=1}^{n}\rho (x_{i})}$ ${\displaystyle \rho }$ ${\textstyle \sum _{i=1}^{n}\psi (x_{i})=0}$ ${\textstyle \psi (x)={\frac {d\rho (x)}{dx}}}$ ${\displaystyle \rho }$

Было предложено несколько вариантов и . На двух рисунках ниже показаны четыре функции и соответствующие им функции. ${\displaystyle \rho }$ ${\displaystyle \psi }$ ${\displaystyle \rho }$ ${\displaystyle \psi }$

Для квадратичных ошибок она увеличивается с возрастающей скоростью, тогда как для абсолютных ошибок она увеличивается с постоянной скоростью. При использовании Winsorizing вводится смесь этих двух эффектов: для малых значений x скорость увеличивается в квадрате, но как только выбранный порог достигается (в данном примере 1,5), скорость увеличения становится постоянной. Эта функция Winsorized также известна как функция потерь Хубера . ${\displaystyle \rho (x)}$ ${\displaystyle \rho }$

Двухвесовая функция Тьюки (также известная как биквадратная) поначалу ведет себя аналогично функции квадрата ошибки, но при больших ошибках функция сужается.

Свойства M-оценок

M-оценки не обязательно относятся к функции плотности вероятности. Поэтому готовые подходы к выводам, возникающие из теории правдоподобия, в целом не могут использоваться.

Можно показать, что M-оценки асимптотически нормально распределены, так что, пока можно вычислить их стандартные ошибки, доступен приближенный подход к выводу.

Поскольку М-оценки являются нормальными только асимптотически, для небольших размеров выборки может быть целесообразным использовать альтернативный подход к выводу, такой как бутстрап. Однако М-оценки не обязательно уникальны (т. е. может существовать более одного решения, удовлетворяющего уравнениям). Кроме того, возможно, что любая конкретная выборка начальной загрузки может содержать больше выбросов, чем точка разбивки оценщика. Поэтому при разработке схем начальной загрузки необходима определенная осторожность.

Конечно, как мы видели на примере скорости света, среднее значение нормально распределяется только асимптотически, а при наличии выбросов аппроксимация может быть очень плохой даже для довольно больших выборок. Однако классические статистические тесты, в том числе основанные на среднем значении, обычно ограничиваются сверху номинальным размером теста. Этого нельзя сказать о М-оценках, и частота ошибок типа I может существенно превышать номинальный уровень.

Эти соображения никоим образом не «делают недействительной» M-оценку. Они просто ясно дают понять, что при их использовании необходима определенная осторожность, как и в случае с любым другим методом оценки.

Функция влияния M-оценки

Можно показать, что функция влияния M-оценки пропорциональна , ^[8] что означает, что мы можем получить свойства такой оценки (такие как ее точка отклонения, чувствительность к грубым ошибкам или чувствительность к локальному сдвигу), когда мы знать его функцию. ${\displaystyle T}$ ${\displaystyle \psi }$ ${\displaystyle \psi }$

${\displaystyle IF(x;T,F)=M^{-1}\psi (x,T(F))}$

с данным: ${\displaystyle p\times p}$

${\displaystyle M=-\int _{\mathcal {X}}\left({\frac {\partial \psi (x,\theta )}{\partial \theta }}\right)_{T(F)}\,dF(x).}$

Выбор ψ и ρ

Во многих практических ситуациях выбор функции не имеет решающего значения для получения хорошей устойчивой оценки, и многие варианты выбора дадут схожие результаты, которые обеспечивают значительные улучшения с точки зрения эффективности и смещения по сравнению с классическими оценками при наличии выбросов. ^[9] ${\displaystyle \psi }$

Теоретически следует отдавать предпочтение функциям, ^{[ необходимы пояснения ]} и бивесовая функция Тьюки (также известная как биквадратная) является популярным выбором. Маронна и др. (2019) рекомендуют использовать двухвесовую функцию с эффективностью при нормальном значении 85%. ${\displaystyle \psi }$

Надежные параметрические подходы

M-оценщики не обязательно связаны с функцией плотности и поэтому не являются полностью параметрическими. Полностью параметрические подходы к надежному моделированию и выводам, как байесовские, так и правдоподобные, обычно имеют дело с распределениями с тяжелыми хвостами, такими как t -распределение Стьюдента.

Для t -распределения со степенями свободы можно показать, что ${\displaystyle \nu }$

${\displaystyle \psi (x)={\frac {x}{x^{2}+\nu }}.}$

При t -распределение эквивалентно распределению Коши. Степени свободы иногда называют параметром эксцесса . Это параметр, который определяет, насколько тяжелы хвосты. В принципе, его можно оценить по данным так же, как и любой другой параметр. На практике часто бывает несколько локальных максимумов, когда допускается изменение. Таким образом, обычно фиксируется значение около 4 или 6. На рисунке ниже показана -функция для 4 различных значений . ${\displaystyle \nu =1}$ ${\displaystyle \nu }$ ${\displaystyle \nu }$ ${\displaystyle \nu }$ ${\displaystyle \psi }$ ${\displaystyle \nu }$

Пример: данные о скорости света

Для данных о скорости света, допуская изменение параметра эксцесса и максимизируя правдоподобие, мы получаем

${\displaystyle {\hat {\mu }}=27.40,\quad {\hat {\sigma }}=3.81,\quad {\hat {\nu }}=2.13.}$

Фиксация и максимизация вероятности дает ${\displaystyle \nu =4}$

${\displaystyle {\hat {\mu }}=27.49,\quad {\hat {\sigma }}=4.51.}$

Связанные понятия

Основная величина — это функция данных, чье основное распределение населения является членом параметрического семейства, которое не зависит от значений параметров. Вспомогательная статистика — это такая функция, которая также является статистикой, то есть рассчитывается только на основе данных. Такие функции устойчивы к параметрам в том смысле, что они независимы от значений параметров, но не устойчивы к модели в том смысле, что они предполагают базовую модель (параметрическое семейство), и фактически такие функции часто очень чувствительны. к нарушениям модельных предположений. Таким образом, тестовые статистические данные , которые часто строятся таким образом, чтобы не быть чувствительными к предположениям о параметрах, по-прежнему очень чувствительны к предположениям модели.

Замена выбросов и пропущенных значений

Замена недостающих данных называется вменением . Если пропущенных точек относительно мало, существуют некоторые модели, которые можно использовать для оценки значений для завершения ряда, например, замена пропущенных значений средним или медианным значением данных. Простую линейную регрессию также можно использовать для оценки пропущенных значений. ^[10] Кроме того, выбросы иногда могут быть учтены в данных за счет использования усеченных средних и других средств оценки масштаба, помимо стандартного отклонения (например, MAD) и винсоризации. ^[11] При расчете усеченного среднего фиксированный процент данных удаляется с каждого конца упорядоченных данных, тем самым устраняя выбросы. Затем вычисляется среднее значение с использованием оставшихся данных. Винсоризация включает в себя адаптацию выброса путем замены его следующим по величине или следующим по наименьшему значению, в зависимости от ситуации. ^[12]

Однако использование этих типов моделей для прогнозирования пропущенных значений или выбросов в длинных временных рядах сложно и часто ненадежно, особенно если количество значений, которые необходимо заполнить, относительно велико по сравнению с общей длиной записи. Точность оценки зависит от того, насколько хороша и репрезентативна модель и как долго длится период отсутствия значений. ^[13] Когда динамическая эволюция предполагается в ряду, проблема недостающих точек данных становится упражнением в многомерном анализе (а не одномерном подходе большинства традиционных методов оценки отсутствующих значений и выбросов). В таких случаях многомерная модель будет более репрезентативной, чем одномерная, для прогнозирования пропущенных значений. Самоорганизующаяся карта Кохонена ( KSOM) предлагает простую и надежную многомерную модель для анализа данных, обеспечивая тем самым хорошие возможности для оценки недостающих значений, принимая во внимание их взаимосвязь или корреляцию с другими соответствующими переменными в записи данных. ^[12]

Стандартные фильтры Калмана не устойчивы к выбросам. С этой целью Тинг, Теодору и Шаал (2007) недавно показали, что модификация теоремы Масрелье может иметь дело с выбросами.

Один из распространенных подходов к обработке выбросов при анализе данных состоит в том, чтобы сначала выполнить обнаружение выбросов, а затем использовать эффективный метод оценки (например, метод наименьших квадратов). Хотя этот подход часто бывает полезным, следует помнить о двух проблемах. Во-первых, метод обнаружения выбросов, основанный на неустойчивой начальной подгонке, может пострадать от эффекта маскировки, то есть группа выбросов может маскировать друг друга и избежать обнаружения. ^[14] Во-вторых, если для обнаружения выбросов используется первоначальная аппроксимация с высокой степенью разбивки, последующий анализ может унаследовать некоторые неэффективности первоначальной оценки. ^[15]

Смотрите также

• Надежные доверительные интервалы
• Устойчивая регрессия
• Единично-взвешенная регрессия

Примечания

1. Хубер, Питер Дж.; Ронкетти, Эльвезио М. (29 января 2009 г.). Надежная статистика. Серия Уайли по вероятности и статистике (1-е изд.). Уайли. дои : 10.1002/9780470434697. ISBN 978-0-470-12990-6.
2. Huber (1981), страница 1.
3. Руссеу и Кру (1993).
4. Мастерс, Джеффри. «Когда была обнаружена озоновая дыра». Погода под землей . Архивировано из оригинала 15 сентября 2016 г.
5. Маронна и др. (2019)
6. Устойчивая статистика, Дэвид Б. Стивенсон.
7. фон Мизес (1947).
8. Хубер (1981), стр. 45
9. Хубер (1981).
10. Макдональд и Цуккини (1997); Харви и Фернандес (1989).
11. МакБин и Роверс (1998).
12. Рустум и Аделой (2007).
13. Розен и Леннокс (2001).
14. Руссеу и Лерой (1987).
15. Он и Портной (1992).

Рекомендации

• Фаркомени, А.; Греко, Л. (2013), Надежные методы сокращения данных , Бока-Ратон, Флорида: Chapman & Hall/CRC Press, ISBN 978-1-4665-9062-5.
• Хэмпель, Фрэнк Р .; Ронкетти, Эльвезио М.; Руссиу, Питер Дж .; Стахел, Вернер А. (1986), Надежная статистика , Серия Уайли по вероятностям и математической статистике: Вероятность и математическая статистика, Нью-Йорк: John Wiley & Sons, Inc., ISBN 0-471-82921-8, МР  0829458. Переиздано в мягкой обложке, 2005 г.
• Харви, AC; Фернандес, К. (октябрь 1989 г.), «Модели временных рядов для подсчета или качественных наблюдений», Журнал деловой и экономической статистики , Тейлор и Фрэнсис, 7 (4): 407–417, JSTOR  1391639
• Он, Сюмин ; Портной, Стивен (1992), «Перевзвешенные оценки LS сходятся с той же скоростью, что и первоначальная оценка», Annals of Статистика , 20 (4): 2161–2167, doi : 10.1214/aos/1176348910 , MR  1193333.
• Он, Сюмин ; Симпсон, Дуглас Г.; Портной, Стивен Л. (1990), «Надежность тестов», Журнал Американской статистической ассоциации , 85 (410): 446–452, номер документа : 10.2307/2289782, JSTOR  2289782, MR  1141746..
• Хеттманспергер, ТП; Маккин, Дж.В. (1998), Надежные непараметрические статистические методы , Статистическая библиотека Кендалла, том. 5, Нью-Йорк: John Wiley & Sons, Inc., ISBN. 0-340-54937-8, МР  1604954. 2-е изд., CRC Press, 2011.
• Хубер, Питер Дж. (1981), Надежная статистика , Нью-Йорк: John Wiley & Sons, Inc., ISBN 0-471-41805-6, МР  0606374. Переиздано в мягкой обложке, 2004 г. 2-е изд., Wiley, 2009 г.
• Макдональд, Иэн Л.; Цуккини, Уолтер (1997), Скрытый Марков и другие модели для временных рядов с дискретными значениями , Тейлор и Фрэнсис, ISBN 9780412558504
• Маронна, Рикардо А.; Мартин, Р. Дуглас; Йохай, Виктор Дж.; Салибиан-Баррера, Матиас (2019) [2006], Робастная статистика: теория и методы (с R) , Ряды Уайли по вероятности и статистике (2-е изд.), Чичестер: John Wiley & Sons, Ltd., doi : 10.1002/9781119214656 , ISBN 978-1-119-21468-7.
• МакБин, Эдвард А.; Роверс, Фрэнк (1998), Статистические процедуры для анализа данных и оценки экологического мониторинга , Прентис-Холл..
• Портной, Стивен; Хэ, Сюмин (2000), «Надежное путешествие в новое тысячелетие», Журнал Американской статистической ассоциации , 95 (452): 1331–1335, doi : 10.2307/2669782, JSTOR  2669782, MR  1825288.
• Пресс, Уильям Х .; Теукольский, Саул А. ; Веттерлинг, Уильям Т.; Фланнери, Брайан П. (2007), «Раздел 15.7. Робастная оценка», Численные рецепты: искусство научных вычислений (3-е изд.), Cambridge University Press, ISBN 978-0-521-88068-8, МР  2371990.
• Розен, К.; Леннокс, Дж. А. (октябрь 2001 г.), «Многомерный и многомасштабный мониторинг операций по очистке сточных вод», Water Research , 35 (14): 3402–3410, doi : 10.1016/s0043-1354(01)00069-0, PMID  11547861.
• Руссиу, Питер Дж .; Кру, Кристоф (1993), «Альтернативы медианному абсолютному отклонению», Журнал Американской статистической ассоциации , 88 (424): 1273–1283, doi : 10.2307/2291267, JSTOR  2291267, MR  1245360.
• Руссиу, Питер Дж .; Лерой, Анник М. (1987), Робастная регрессия и обнаружение выбросов , Серия Уайли по вероятностям и математической статистике: прикладная теория вероятностей и статистика, Нью-Йорк: John Wiley & Sons, Inc., doi : 10.1002/0471725382, ISBN 0-471-85233-3, МР  0914792. Переиздано в мягкой обложке, 2003 г.
• Руссиу, Питер Дж .; Хьюберт, Миа (2011), «Надежная статистика для обнаружения выбросов», Междисциплинарные обзоры Wiley: интеллектуальный анализ данных и обнаружение знаний , 1 (1): 73–79, doi : 10.1002/widm.2, S2CID  17448982. Препринт
• Рустум, Раби; Аделой, Адебайо Дж. (сентябрь 2007 г.), «Замена выбросов и пропущенных значений из данных об активном иле с использованием самоорганизующейся карты Кохонена», Journal of Environmental Engineering , 133 (9): 909–916, doi : 10.1061/(asce) 0733 -9372(2007)133:9(909).
• Стиглер, Стивен М. (2010), «Изменяющаяся история надежности», The American Statistician , 64 (4): 277–281, doi : 10.1198/tast.2010.10159, MR  2758558, S2CID  10728417.
• Тинг, Джо-Энн; Теодору, Евангелос; Шаал, Стефан (2007), «Фильтр Калмана для надежного обнаружения выбросов», Международная конференция по интеллектуальным роботам и системам - IROS , стр. 1514–1519..
• фон Мизес, Р. (1947), «Об асимптотическом распределении дифференцируемых статистических функций», Анналы математической статистики , 18 (3): 309–348, doi : 10.1214/aoms/1177730385 , MR  0022330.
• Уилкокс, Рэнд (2012), Введение в робастную оценку и проверку гипотез , Статистическое моделирование и наука о принятии решений (3-е изд.), Амстердам: Elsevier/Academic Press, стр. 1–22, номер документа : 10.1016/B978-0-12-386983 -8.00001-9, ISBN 978-0-12-386983-8, МР  3286430.

Внешние ссылки

• Конспекты курса Брайана Рипли по надежной статистике.
• Конспекты курса Ника Филлера по статистическому моделированию и вычислениям содержат материал по устойчивой регрессии.
• Сайт Дэвида Оливера содержит конспекты курса по надежной статистике и некоторым наборам данных.
• Онлайн-эксперименты с использованием R и JSXGraph