Теория оценки

Раздел статистики по оценке моделей на основе измеренных данных

Теория оценки — это раздел статистики , который занимается оценкой значений параметров на основе измеренных эмпирических данных, имеющих случайную составляющую. Параметры описывают базовую физическую обстановку таким образом, что их значение влияет на распределение измеренных данных. Оценщик пытается аппроксимировать неизвестные параметры, используя измерения. В теории оценки обычно рассматриваются два подхода: ^[1]

• Вероятностный подход (описанный в этой статье) предполагает, что измеренные данные являются случайными с распределением вероятностей, зависящим от интересующих параметров.
• Подход на основе принадлежности к множеству предполагает, что вектор измеренных данных принадлежит множеству, которое зависит от вектора параметров.

Примеры

Например, желательно оценить долю населения, которая проголосует за конкретного кандидата. Эта доля и есть искомый параметр; оценка основана на небольшой случайной выборке избирателей. В качестве альтернативы желательно оценить вероятность того, что избиратель проголосует за конкретного кандидата, на основе некоторых демографических характеристик, таких как возраст.

Или, например, в радаре целью является определение дальности объектов (самолетов, лодок и т. д.) путем анализа времени двустороннего транзита полученных эхо-сигналов переданных импульсов. Поскольку отраженные импульсы неизбежно встроены в электрический шум, их измеренные значения распределены случайным образом, поэтому время транзита должно быть оценено.

Другой пример: в теории электросвязи измерения, содержащие информацию об интересующих параметрах, часто связаны с зашумленным сигналом .

Основы

Для данной модели необходимо несколько статистических «ингредиентов», чтобы можно было реализовать оценщик. Первым является статистическая выборка — набор точек данных, взятых из случайного вектора (RV) размера N . Помещенный в вектор , Во-вторых, есть M параметров , значения которых должны быть оценены. В-третьих, непрерывная функция плотности вероятности (pdf) или ее дискретный аналог, функция массы вероятности (pmf), базового распределения, которое сгенерировало данные, должны быть указаны в зависимости от значений параметров: Также возможно, что сами параметры имеют распределение вероятностей (например, байесовская статистика ). Затем необходимо определить байесовскую вероятность После того, как модель сформирована, цель состоит в том, чтобы оценить параметры, с оценками, обычно обозначаемыми , где «шляпа» указывает на оценку. $${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$$ $${\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$$ $${\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}$$ $${\displaystyle \pi ({\boldsymbol {\theta }}).\,}$$ ${\displaystyle {\hat {\boldsymbol {\theta }}}}$

Одним из распространенных оценщиков является оценщик минимальной средней квадратичной ошибки (MMSE), который использует ошибку между оцененными параметрами и фактическим значением параметров в качестве основы для оптимальности. Затем этот член ошибки возводится в квадрат, и ожидаемое значение этого квадратичного значения минимизируется для оценщика MMSE. $${\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}$$

Оценщики

Наиболее часто используемые оценщики (методы оценки) и темы, связанные с ними, включают:

• Оценки максимального правдоподобия
• Оценки Байеса
• Метод оценки моментов
• Связанный Крамер–Рао
• Наименьшие квадраты
• Минимальная среднеквадратическая ошибка (MMSE), также известная как байесовская наименьшая квадратичная ошибка (BLSE)
• Максимум апостериори (MAP)
• Несмещенная оценка с минимальной дисперсией (MVUE)
• Нелинейная идентификация системы
• Лучшая линейная несмещенная оценка (СИНИЙ)
• Несмещенные оценки — см. смещение оценки .
• Фильтр частиц
• Марковская цепь Монте-Карло (MCMC)
• Фильтр Калмана и его различные производные
• фильтр Винера

Примеры

Неизвестная константа в аддитивном белом гауссовском шуме

Рассмотрим полученный дискретный сигнал , , независимых выборок , состоящий из неизвестной константы с аддитивным белым гауссовым шумом (AWGN) с нулевым средним и известной дисперсией ( т.е. , ). Поскольку дисперсия известна, то единственным неизвестным параметром является . ${\displaystyle x[n]}$ ${\displaystyle N}$ ${\displaystyle A}$ ${\displaystyle w[n]}$ ${\displaystyle \sigma ^{2}}$ ${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$ ${\displaystyle A}$

Модель сигнала тогда будет следующей: $${\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}$$

Две возможные (из многих) оценки параметра : ${\displaystyle A}$

• ${\displaystyle {\hat {A}}_{1}=x[0]}$
• ${\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$что является выборочным средним

Обе эти оценки имеют среднее значение , которое можно показать, взяв ожидаемое значение каждой оценки и ${\displaystyle A}$ $${\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}$$ $${\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}$$

На этом этапе эти два оценщика, казалось бы, работают одинаково. Однако разница между ними становится очевидной при сравнении дисперсий. и $${\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}$$ $${\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}$$

По-видимому, выборочное среднее является лучшей оценкой, поскольку его дисперсия ниже для каждого  N  > 1.

Максимальная вероятность

Продолжая пример с использованием оценки максимального правдоподобия , функция плотности вероятности (PDF) шума для одной выборки равна и вероятность становится ( можно представить как ) В силу независимости вероятность становится. Беря натуральный логарифм PDF и оценки максимального правдоподобия, получаем ${\displaystyle w[n]}$ $${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$$ ${\displaystyle x[n]}$ ${\displaystyle x[n]}$ ${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$ $${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$$ ${\displaystyle \mathbf {x} }$ $${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$$ $${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$$ $${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$$

Берем первую производную логарифмической функции правдоподобия и приравниваем ее к нулю $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$ $${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$$

Это приводит к оценке максимального правдоподобия, которая является просто средним значением выборки. Из этого примера было обнаружено, что среднее значение выборки является оценкой максимального правдоподобия для выборок фиксированного неизвестного параметра, искаженного AWGN. $${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$$ ${\displaystyle N}$

Нижняя граница Крамера–Рао

Чтобы найти нижнюю границу Крамера–Рао (CRLB) оценки выборочного среднего, сначала необходимо найти информационное число Фишера и скопировать из вышеизложенного $${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}$$ $${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$$

Взять вторую производную и найти отрицательное ожидаемое значение тривиально, поскольку теперь это детерминированная константа. $${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$$ ${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$

Наконец, помещая информацию Фишера в результаты, $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$$ $${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$$

Сравнение этого с дисперсией выборочного среднего (определенной ранее) показывает, что выборочное среднее равно нижней границе Крамера–Рао для всех значений и . Другими словами, выборочное среднее является (обязательно уникальной) эффективной оценкой , и, таким образом, также минимальной дисперсионной несмещенной оценкой (MVUE), в дополнение к тому, что она является оценкой максимального правдоподобия . ${\displaystyle N}$ ${\displaystyle A}$

Максимум равномерного распределения

Одним из простейших нетривиальных примеров оценки является оценка максимума равномерного распределения. Она используется в качестве практического упражнения в классе и для иллюстрации основных принципов теории оценки. Кроме того, в случае оценки на основе одной выборки она демонстрирует философские проблемы и возможные недоразумения при использовании оценок максимального правдоподобия и функций правдоподобия .

При наличии дискретного равномерного распределения с неизвестным максимумом оценка UMVU для максимума определяется по формуле, где m — максимум выборки , а k — размер выборки , выборка без возвращения. ^{[2] [3]} Эта проблема широко известна как проблема немецких танков из-за применения оценки максимума к оценкам производства немецких танков во время Второй мировой войны . ${\displaystyle 1,2,\dots ,N}$ $${\displaystyle {\frac {k+1}{k}}m-1=m+{\frac {m}{k}}-1}$$

Формулу можно интуитивно понять так:

«Выборочный максимум плюс средний разрыв между наблюдениями в выборке»,

разрыв добавляется для компенсации отрицательного смещения максимума выборки как оценки максимума популяции. ^{[примечание 1]}

Это имеет дисперсию ^[2], поэтому стандартное отклонение приблизительно равно , (популяционному) среднему размеру промежутка между образцами; сравните выше. Это можно рассматривать как очень простой случай оценки максимального интервала . $${\displaystyle {\frac {1}{k}}{\frac {(N-k)(N+1)}{(k+2)}}\approx {\frac {N^{2}}{k^{2}}}{\text{ for small samples }}k\ll N}$$ ${\displaystyle N/k}$ ${\displaystyle {\frac {m}{k}}}$

Максимум выборки — это оценка максимального правдоподобия для максимума популяции, но, как обсуждалось выше, она смещена.

Приложения

Многочисленные области требуют использования теории оценки. Некоторые из этих областей включают:

• Интерпретация научных экспериментов
• Обработка сигнала
• Клинические испытания
• опросы общественного мнения
• Контроль качества
• Телекоммуникации
• Управление проектом
• Разработка программного обеспечения
• Теория управления (в частности, адаптивного управления )
• Система обнаружения сетевых вторжений
• Определение орбиты

Измеренные данные, скорее всего, будут подвержены шуму или неопределенности, и именно с помощью статистической вероятности ищутся оптимальные решения для извлечения как можно большего количества информации из данных.

Смотрите также

• Лучшая линейная несмещенная оценка (СИНИЙ)
• Полнота (статистика)
• Теория обнаружения
• Эффективность (статистика)
• Алгоритм максимизации ожидания (алгоритм EM)
• проблема Ферми
• Модель серого ящика
• Теория информации
• Спектральный анализ методом наименьших квадратов
• Соответствующий фильтр
• Максимальная энтропийная спектральная оценка
• Параметр помехи
• Параметрическое уравнение
• принцип Парето
• Правило трех (статистика)
• Оценщик состояния
• Статистическая обработка сигналов
• Достаточность (статистика)

Примечания

1. Максимум выборки никогда не превышает максимума популяции, но может быть меньше, поэтому это смещенная оценка : она будет иметь тенденцию недооценивать максимум популяции.

Ссылки

Цитаты

1. Уолтер, Э.; Пронзато, Л. (1997). Идентификация параметрических моделей по экспериментальным данным . Лондон, Англия: Springer-Verlag.
2. Джонсон, Роджер (1994), «Оценка размера популяции», Teaching Statistics , 16 (2 (лето)): 50–52, doi :10.1111/j.1467-9639.1994.tb00688.x
3. Джонсон, Роджер (2006), «Оценка размера популяции», Getting the Best from Teaching Statistics, архивировано из оригинала (PDF) 20 ноября 2008 г.

Источники

• EL Lehmann & G. Casella. Теория точечной оценки . ISBN 0387985026.
• Дейл Шермон (2009). Системное проектирование затрат . Gower Publishing. ISBN 978-0-566-08861-2.
• Джон Райс (1995). Математическая статистика и анализ данных . Duxbury Press. ISBN 0-534-209343.
• Стивен М. Кей. Основы статистической обработки сигналов: Теория оценки . ISBN 0-13-345711-7.
• H. Vincent Poor (16 марта 1998 г.). Введение в обнаружение и оценку сигналов . Springer. ISBN 0-387-94173-8.
• Гарри Л. Ван Трис (2001). Теория обнаружения, оценки и модуляции, часть 1. Wiley. ISBN 0-471-09517-6. Архивировано из оригинала 2005-04-28.
• Дэн Саймон. Оптимальная оценка состояния: Калман, H-бесконечность и нелинейные подходы. Архивировано из оригинала 2010-12-30.
• Адаптивные фильтры . NJ: Wiley. 2008. ISBN 978-0-470-25388-5.
• Основы адаптивной фильтрации . NJ: Wiley. 2003. ISBN 0-471-46126-1.
• Линейная оценка . Нью-Джерси: Prentice-Hall. 2000. ISBN 978-0-13-022464-4.
• Неопределенная квадратичная оценка и управление: унифицированный подход к теориям H ² и H ^∞ . PA: Общество промышленной и прикладной математики (SIAM). 1999. ISBN 978-0-89871-411-1.
• В. Г. Воинов и М. С. Никулин (1993). Несмещенные оценки и их приложения. Том 1: Одномерный случай . Kluwer Academic Publishers. ISBN 0-7923-2382-3.
• В. Г. Воинов и М. С. Никулин (1996). Несмещенные оценки и их применение. Том 2: Многомерный случай . Kluwer Academic Publishers. ISBN 0-7923-3939-8.

Внешние ссылки

• Медиа, связанные с теорией оценки на Wikimedia Commons