Минимальная среднеквадратическая ошибка

Метод оценки, минимизирующий среднеквадратичную ошибку

В статистике и обработке сигналов оценка минимальной среднеквадратической ошибки ( MMSE ) — это метод оценки, который минимизирует среднеквадратичную ошибку (MSE), которая является общей мерой качества оценки, подобранных значений зависимой переменной . В байесовской настройке термин MMSE более конкретно относится к оценке с квадратичной функцией потерь . В таком случае оценка MMSE задается апостериорным средним оцениваемого параметра. Поскольку апостериорное среднее вычислять сложно, форма оценки MMSE обычно ограничивается определенным классом функций. Линейные оценки MMSE являются популярным выбором, поскольку они просты в использовании, легко вычисляются и очень универсальны. Это привело к появлению многих популярных оценок, таких как фильтр Винера-Колмогорова и фильтр Калмана .

Мотивация

Термин MMSE более конкретно относится к оценке в байесовской обстановке с квадратичной функцией стоимости. Основная идея байесовского подхода к оценке вытекает из практических ситуаций, когда у нас часто есть некоторая предварительная информация о параметре, который нужно оценить. Например, у нас может быть предварительная информация о диапазоне, который может принять параметр; или у нас может быть старая оценка параметра, которую мы хотим изменить, когда становится доступным новое наблюдение; или статистика фактического случайного сигнала, такого как речь. Это контрастирует с небайесовским подходом, таким как несмещенная оценка с минимальной дисперсией (MVUE), где абсолютно ничего не предполагается известным о параметре заранее и который не учитывает такие ситуации. В байесовском подходе такая предварительная информация фиксируется функцией плотности априорной вероятности параметров; и, основываясь непосредственно на теореме Байеса , это позволяет нам делать лучшие апостериорные оценки по мере того, как становится доступно больше наблюдений. Таким образом, в отличие от небайесовского подхода, где интересующие параметры предполагаются детерминированными, но неизвестными константами, байесовский оценщик стремится оценить параметр, который сам по себе является случайной величиной. Кроме того, байесовское оценивание может также иметь дело с ситуациями, когда последовательность наблюдений не обязательно независима. Таким образом, байесовское оценивание предоставляет еще одну альтернативу MVUE. Это полезно, когда MVUE не существует или не может быть найден.

Определение

Пусть будет скрытой случайной векторной переменной, и пусть будет известной случайной векторной переменной (измерение или наблюдение), обе они не обязательно имеют одинаковую размерность. Оценщиком является любая функция измерения . Вектор ошибки оценки задается как , а его среднеквадратическая ошибка (MSE) задается следом матрицы ковариации ошибки ${\displaystyle x}$ ${\displaystyle n\times 1}$ ${\displaystyle y}$ ${\displaystyle m\times 1}$ ${\displaystyle {\hat {x}}(y)}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle e={\hat {x}}-x}$

${\displaystyle \operatorname {MSE} =\operatorname {tr} \left\{\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\right\}=\operatorname {E} \{({\hat {x}}-x)^{T}({\hat {x}}-x)\},}$

где ожидание берется с учетом . Когда — скалярная переменная, выражение MSE упрощается до . Обратите внимание, что MSE можно эквивалентно определить и другими способами, поскольку ${\displaystyle \operatorname {E} }$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle \operatorname {E} \left\{({\hat {x}}-x)^{2}\right\}}$

${\displaystyle \operatorname {tr} \left\{\operatorname {E} \{ee^{T}\}\right\}=\operatorname {E} \left\{\operatorname {tr} \{ee^{T}\}\right\}=\operatorname {E} \{e^{T}e\}=\sum _{i=1}^{n}\operatorname {E} \{e_{i}^{2}\}.}$

Оценка MMSE затем определяется как оценка, достигающая минимальной MSE:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {argmin} _{\hat {x}}\operatorname {MSE} .}$

Характеристики

• Когда средние значения и дисперсии конечны, оценка MMSE определяется однозначно ^[1] и задается формулой:

${\displaystyle {\hat {x}}_{\operatorname {MMSE} }(y)=\operatorname {E} \{x\mid y\}.}$

Другими словами, оценка MMSE является условным ожиданием при заданном известном наблюдаемом значении измерений. Кроме того, поскольку является апостериорным средним, матрица ковариации ошибок равна апостериорной матрице ковариации, ${\displaystyle x}$ ${\displaystyle {\hat {x}}_{\mathrm {MMSE} }}$ ${\displaystyle C_{e}=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}}$ ${\displaystyle C_{X|Y}}$

${\displaystyle C_{e}=C_{X|Y}}$.

• Оценка MMSE является несмещенной (при упомянутых выше предположениях о регулярности):

${\displaystyle \operatorname {E} \{{\hat {x}}_{\operatorname {MMSE} }(y)\}=\operatorname {E} \{\operatorname {E} \{x\mid y\}\}=\operatorname {E} \{x\}.}$

• Оценка MMSE асимптотически несмещена и сходится по распределению к нормальному распределению:

${\displaystyle {\sqrt {n}}({\hat {x}}_{\operatorname {MMSE} }-x)\xrightarrow {d} {\mathcal {N}}\left(0,I^{-1}(x)\right),}$

где — информация Фишера . Таким образом, оценка MMSE асимптотически эффективна . ${\displaystyle I(x)}$ ${\displaystyle x}$

• Принцип ортогональности : когда — скаляр, оценка, ограниченная определенной формой, является оптимальной оценкой, т.е. тогда и только тогда, когда ${\displaystyle x}$ ${\displaystyle {\hat {x}}=g(y)}$ ${\displaystyle {\hat {x}}_{\operatorname {MMSE} }=g^{*}(y),}$

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x)g(y)\}=0}$

для всех в замкнутом линейном подпространстве измерений. Для случайных векторов, поскольку MSE для оценки случайного вектора является суммой MSE координат, нахождение оценки MMSE случайного вектора распадается на нахождение оценок MMSE координат X по отдельности: ${\displaystyle g(y)}$ ${\displaystyle {\mathcal {V}}=\{g(y)\mid g:\mathbb {R} ^{m}\rightarrow \mathbb {R} ,\operatorname {E} \{g(y)^{2}\}<+\infty \}}$

${\displaystyle \operatorname {E} \{(g_{i}^{*}(y)-x_{i})g_{j}(y)\}=0,}$

для всех i и j . Более кратко, взаимная корреляция между минимальной ошибкой оценки и оценщиком должна быть равна нулю, ${\displaystyle {\hat {x}}_{\operatorname {MMSE} }-x}$ ${\displaystyle {\hat {x}}}$

${\displaystyle \operatorname {E} \{({\hat {x}}_{\operatorname {MMSE} }-x){\hat {x}}^{T}\}=0.}$

• Если и являются совместно гауссовыми , то оценка MMSE линейна, т.е. имеет вид для матрицы и константы . Это можно напрямую показать с помощью теоремы Байеса. Как следствие, для нахождения оценки MMSE достаточно найти линейную оценку MMSE. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle Wy+b}$ ${\displaystyle W}$ ${\displaystyle b}$

Линейная оценка MMSE

Во многих случаях невозможно определить аналитическое выражение оценщика MMSE. Два основных численных подхода к получению оценки MMSE зависят либо от нахождения условного ожидания , либо от нахождения минимумов MSE. Прямая численная оценка условного ожидания является вычислительно затратной, поскольку часто требует многомерной интеграции, обычно выполняемой с помощью методов Монте-Карло . Другой вычислительный подход заключается в прямом поиске минимумов MSE с использованием таких методов, как методы стохастического градиентного спуска ; но этот метод все еще требует оценки ожидания. Хотя эти численные методы оказались плодотворными, выражение в замкнутой форме для оценщика MMSE, тем не менее, возможно, если мы готовы пойти на некоторые компромиссы. ${\displaystyle \operatorname {E} \{x\mid y\}}$

Одна из возможностей — отказаться от требований полной оптимальности и искать метод, минимизирующий MSE в определенном классе оценщиков, например, в классе линейных оценщиков. Таким образом, мы постулируем, что условное ожидание заданного является простой линейной функцией , , где измерение является случайным вектором, является матрицей и является вектором. Это можно рассматривать как приближение Тейлора первого порядка для . Линейная оценка MMSE — это оценка, достигающая минимальной MSE среди всех оценок такой формы. То есть она решает следующую задачу оптимизации: ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle y}$ ${\displaystyle \operatorname {E} \{x\mid y\}=Wy+b}$ ${\displaystyle y}$ ${\displaystyle W}$ ${\displaystyle b}$ ${\displaystyle \operatorname {E} \{x\mid y\}}$

${\displaystyle \min _{W,b}\operatorname {MSE} \qquad {\text{s.t.}}\qquad {\hat {x}}=Wy+b.}$

Одним из преимуществ такой линейной оценки MMSE является то, что нет необходимости явно вычислять апостериорную функцию плотности вероятности . Такая линейная оценка зависит только от первых двух моментов и . Поэтому, хотя может быть удобно предположить, что и являются совместно гауссовыми, нет необходимости делать это предположение, пока предполагаемое распределение имеет хорошо определенные первый и второй моменты. Форма линейной оценки не зависит от типа предполагаемого базового распределения. ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle y}$

Выражение для оптимального и имеет вид: ${\displaystyle b}$ ${\displaystyle W}$

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

где , — матрица взаимной ковариации между и , — матрица автоковариации . ${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$ ${\displaystyle {\bar {y}}=\operatorname {E} \{y\},}$ ${\displaystyle C_{XY}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle C_{Y}}$ ${\displaystyle y}$

Таким образом, выражение для линейной оценки MMSE, ее среднего значения и ее автоковариации задается как

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}},}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX},}$

где — матрица взаимной ковариации между и . ${\displaystyle C_{YX}}$ ${\displaystyle y}$ ${\displaystyle x}$

Наконец, ковариация ошибок и минимальная среднеквадратичная ошибка, достижимая с помощью такой оценки, равна

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX},}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}.}$

Вывод с использованием принципа ортогональности

Пусть у нас есть оптимальная линейная оценка MMSE, заданная как , где нам требуется найти выражение для и . Требуется, чтобы оценка MMSE была несмещенной. Это означает, ${\displaystyle {\hat {x}}=Wy+b}$ ${\displaystyle W}$ ${\displaystyle b}$

${\displaystyle \operatorname {E} \{{\hat {x}}\}=\operatorname {E} \{x\}.}$

Подставляя выражение выше, получаем ${\displaystyle {\hat {x}}}$

${\displaystyle b={\bar {x}}-W{\bar {y}},}$

где и . Таким образом, мы можем переписать оценку как ${\displaystyle {\bar {x}}=\operatorname {E} \{x\}}$ ${\displaystyle {\bar {y}}=\operatorname {E} \{y\}}$

${\displaystyle {\hat {x}}=W(y-{\bar {y}})+{\bar {x}}}$

и выражение для ошибки оценки становится

${\displaystyle {\hat {x}}-x=W(y-{\bar {y}})-(x-{\bar {x}}).}$

Из принципа ортогональности можно получить , где берем . Здесь левосторонний член равен ${\displaystyle \operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}=0}$ ${\displaystyle g(y)=y-{\bar {y}}}$

${\displaystyle {\begin{aligned}\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}&=\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(y-{\bar {y}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}-\operatorname {E} \{(x-{\bar {x}})(y-{\bar {y}})^{T}\}\\&=WC_{Y}-C_{XY}.\end{aligned}}}$

При приравнивании к нулю получаем искомое выражение для ${\displaystyle W}$

${\displaystyle W=C_{XY}C_{Y}^{-1}.}$

Это матрица взаимной ковариации между X и Y, а это матрица автоковариации Y. Поскольку , выражение также можно переписать в терминах как ${\displaystyle C_{XY}}$ ${\displaystyle C_{Y}}$ ${\displaystyle C_{XY}=C_{YX}^{T}}$ ${\displaystyle C_{YX}}$

${\displaystyle W^{T}=C_{Y}^{-1}C_{YX}.}$

Таким образом, полное выражение для линейной оценки MMSE имеет вид

${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$

Поскольку оценка сама по себе является случайной величиной с , мы также можем получить ее автоковариацию как ${\displaystyle {\hat {x}}}$ ${\displaystyle \operatorname {E} \{{\hat {x}}\}={\bar {x}}}$

${\displaystyle {\begin{aligned}C_{\hat {X}}&=\operatorname {E} \{({\hat {x}}-{\bar {x}})({\hat {x}}-{\bar {x}})^{T}\}\\&=W\operatorname {E} \{(y-{\bar {y}})(y-{\bar {y}})^{T}\}W^{T}\\&=WC_{Y}W^{T}.\\\end{aligned}}}$

Подставляя выражение для и , получаем ${\displaystyle W}$ ${\displaystyle W^{T}}$

${\displaystyle C_{\hat {X}}=C_{XY}C_{Y}^{-1}C_{YX}.}$

Наконец, ковариация линейной ошибки оценки MMSE будет тогда определяться выражением

${\displaystyle {\begin{aligned}C_{e}&=\operatorname {E} \{({\hat {x}}-x)({\hat {x}}-x)^{T}\}\\&=\operatorname {E} \{({\hat {x}}-x)(W(y-{\bar {y}})-(x-{\bar {x}}))^{T}\}\\&=\underbrace {\operatorname {E} \{({\hat {x}}-x)(y-{\bar {y}})^{T}\}} _{0}W^{T}-\operatorname {E} \{({\hat {x}}-x)(x-{\bar {x}})^{T}\}\\&=-\operatorname {E} \{(W(y-{\bar {y}})-(x-{\bar {x}}))(x-{\bar {x}})^{T}\}\\&=\operatorname {E} \{(x-{\bar {x}})(x-{\bar {x}})^{T}\}-W\operatorname {E} \{(y-{\bar {y}})(x-{\bar {x}})^{T}\}\\&=C_{X}-WC_{YX}.\end{aligned}}}$

Первый член в третьей строке равен нулю из-за принципа ортогональности. Поскольку , мы можем переписать в терминах ковариационных матриц как ${\displaystyle W=C_{XY}C_{Y}^{-1}}$ ${\displaystyle C_{e}}$

${\displaystyle C_{e}=C_{X}-C_{XY}C_{Y}^{-1}C_{YX}.}$

Мы можем признать, что это то же самое, что и Таким образом, минимальная среднеквадратичная ошибка, достижимая с помощью такой линейной оценки, равна ${\displaystyle C_{e}=C_{X}-C_{\hat {X}}.}$

${\displaystyle \operatorname {LMMSE} =\operatorname {tr} \{C_{e}\}}$.

Одномерный случай

Для особого случая, когда и являются скалярами, приведенные выше соотношения упрощаются до ${\displaystyle x}$ ${\displaystyle y}$

${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}^{2}}}(y-{\bar {y}})+{\bar {x}}=\rho {\frac {\sigma _{X}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}},}$

${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}-{\frac {\sigma _{XY}^{2}}{\sigma _{Y}^{2}}}=(1-\rho ^{2})\sigma _{X}^{2},}$

где — коэффициент корреляции Пирсона между и . ${\displaystyle \rho ={\frac {\sigma _{XY}}{\sigma _{X}\sigma _{Y}}}}$ ${\displaystyle x}$ ${\displaystyle y}$

Приведенные выше два уравнения позволяют нам интерпретировать коэффициент корреляции либо как нормализованный наклон линейной регрессии

${\displaystyle \left({\frac {{\hat {x}}-{\bar {x}}}{\sigma _{X}}}\right)=\rho \left({\frac {y-{\bar {y}}}{\sigma _{Y}}}\right)}$

или как квадратный корень из отношения двух дисперсий

${\displaystyle \rho ^{2}={\frac {\sigma _{X}^{2}-\sigma _{e}^{2}}{\sigma _{X}^{2}}}={\frac {\sigma _{\hat {X}}^{2}}{\sigma _{X}^{2}}}}$.

Когда , имеем и . В этом случае из измерения не извлекается новая информация, которая могла бы уменьшить неопределенность в . С другой стороны, когда , имеем и . Здесь полностью определяется , как указано в уравнении прямой линии. ${\displaystyle \rho =0}$ ${\displaystyle {\hat {x}}={\bar {x}}}$ ${\displaystyle \sigma _{e}^{2}=\sigma _{X}^{2}}$ ${\displaystyle x}$ ${\displaystyle \rho =\pm 1}$ ${\displaystyle {\hat {x}}={\frac {\sigma _{XY}}{\sigma _{Y}}}(y-{\bar {y}})+{\bar {x}}}$ ${\displaystyle \sigma _{e}^{2}=0}$ ${\displaystyle x}$ ${\displaystyle y}$

Вычисление

Стандартный метод, такой как исключение Гаусса , может быть использован для решения матричного уравнения для . Более численно устойчивый метод обеспечивается методом QR-разложения . Поскольку матрица является симметричной положительно определенной матрицей, ее можно решить в два раза быстрее с помощью разложения Холецкого , в то время как для больших разреженных систем метод сопряженных градиентов более эффективен. Рекурсия Левинсона является быстрым методом, когда также является матрицей Теплица . Это может произойти, когда является стационарным процессом в широком смысле . В таких стационарных случаях эти оценщики также называются фильтрами Винера–Колмогорова . ${\displaystyle W}$ ${\displaystyle C_{Y}}$ ${\displaystyle W}$ ${\displaystyle C_{Y}}$ ${\displaystyle y}$

Линейная оценка MMSE для линейного процесса наблюдения

Давайте далее смоделируем базовый процесс наблюдения как линейный процесс: , где — известная матрица, а — вектор случайного шума со средним значением и взаимной ковариацией . Здесь требуемые матрицы среднего и ковариации будут ${\displaystyle y=Ax+z}$ ${\displaystyle A}$ ${\displaystyle z}$ ${\displaystyle \operatorname {E} \{z\}=0}$ ${\displaystyle C_{XZ}=0}$

${\displaystyle \operatorname {E} \{y\}=A{\bar {x}},}$

${\displaystyle C_{Y}=AC_{X}A^{T}+C_{Z},}$

${\displaystyle C_{XY}=C_{X}A^{T}.}$

Таким образом, выражение для матрицы линейной оценки MMSE дополнительно модифицируется до ${\displaystyle W}$

${\displaystyle W=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}.}$

Подставляя все в выражение для , получаем ${\displaystyle {\hat {x}}}$

${\displaystyle {\hat {x}}=C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

Наконец, ковариация ошибок равна

${\displaystyle C_{e}=C_{X}-C_{\hat {X}}=C_{X}-C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}AC_{X}.}$

Существенное различие между рассмотренной выше задачей оценки и задачами наименьших квадратов и оценки Гаусса-Маркова заключается в том, что число наблюдений m (т. е. размерность ) не обязательно должно быть как минимум таким же большим, как число неизвестных n (т. е. размерность ). Оценка для линейного процесса наблюдения существует до тех пор, пока существует матрица m -на- m ; это имеет место для любого m , если, например, является положительно определенной. Физически причина этого свойства заключается в том, что поскольку теперь является случайной величиной, можно сформировать значимую оценку (а именно ее среднее значение) даже без измерений. Каждое новое измерение просто предоставляет дополнительную информацию, которая может изменить нашу первоначальную оценку. Другая особенность этой оценки заключается в том, что при m < n не должно быть ошибки измерения. Таким образом, мы можем иметь , поскольку, пока является положительно определенной, оценка все еще существует. Наконец, этот метод может обрабатывать случаи, когда шум коррелирован. ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle (AC_{X}A^{T}+C_{Z})^{-1}}$ ${\displaystyle C_{Z}}$ ${\displaystyle x}$ ${\displaystyle C_{Z}=0}$ ${\displaystyle AC_{X}A^{T}}$

Альтернативная форма

Альтернативную форму выражения можно получить, используя матричное тождество

${\displaystyle C_{X}A^{T}(AC_{X}A^{T}+C_{Z})^{-1}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

которое можно установить путем умножения на и умножения на, чтобы получить ${\displaystyle (AC_{X}A^{T}+C_{Z})}$ ${\displaystyle (A^{T}C_{Z}^{-1}A+C_{X}^{-1}),}$

${\displaystyle W=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}A^{T}C_{Z}^{-1},}$

и

${\displaystyle C_{e}=(A^{T}C_{Z}^{-1}A+C_{X}^{-1})^{-1}.}$

Так как теперь можно записать в терминах как , мы получаем упрощенное выражение для как ${\displaystyle W}$ ${\displaystyle C_{e}}$ ${\displaystyle W=C_{e}A^{T}C_{Z}^{-1}}$ ${\displaystyle {\hat {x}}}$

${\displaystyle {\hat {x}}=C_{e}A^{T}C_{Z}^{-1}(y-A{\bar {x}})+{\bar {x}}.}$

В этой форме приведенное выше выражение можно легко сравнить с гребневой регрессией , взвешенными наименьшими квадратами и оценкой Гаусса–Маркова . В частности, когда , что соответствует бесконечной дисперсии априорной информации относительно , ​​результат идентичен взвешенной линейной оценке наименьших квадратов с в качестве весовой матрицы. Более того, если компоненты некоррелированы и имеют одинаковую дисперсию, такую ​​что где — единичная матрица, то идентично обычной оценке наименьших квадратов. Когда априорная информация доступна как и некоррелированы и имеют одинаковую дисперсию, мы имеем , что идентично решению гребневой регрессии. ${\displaystyle C_{X}^{-1}=0}$ ${\displaystyle x}$ ${\displaystyle W=(A^{T}C_{Z}^{-1}A)^{-1}A^{T}C_{Z}^{-1}}$ ${\displaystyle C_{Z}^{-1}}$ ${\displaystyle z}$ ${\displaystyle C_{Z}=\sigma ^{2}I,}$ ${\displaystyle I}$ ${\displaystyle W=(A^{T}A)^{-1}A^{T}}$ ${\displaystyle C_{X}^{-1}=\lambda I}$ ${\displaystyle z}$ ${\displaystyle W=(A^{T}A+\lambda I)^{-1}A^{T}}$

Последовательная линейная оценка MMSE

Во многих приложениях реального времени данные наблюдений не доступны в едином пакете. Вместо этого наблюдения производятся последовательно. Один из возможных подходов — использовать последовательные наблюдения для обновления старой оценки по мере поступления дополнительных данных, что приводит к более точным оценкам. Одно из важнейших различий между пакетной оценкой и последовательной оценкой заключается в том, что последовательная оценка требует дополнительного предположения Маркова.

В байесовском подходе такая рекурсивная оценка легко осуществляется с помощью правила Байеса. Учитывая наблюдения, правило Байеса дает нам апостериорную плотность как ${\displaystyle k}$ ${\displaystyle y_{1},\ldots ,y_{k}}$ ${\displaystyle x_{k}}$

${\displaystyle {\begin{aligned}p(x_{k}|y_{1},\ldots ,y_{k})&\propto p(y_{k}|x,y_{1},\ldots ,y_{k-1})p(x_{k}|y_{1},\ldots ,y_{k-1})\\&=p(y_{k}|x_{k})p(x_{k}|y_{1},\ldots ,y_{k-1}).\end{aligned}}}$

Это называется апостериорной плотностью, называется функцией правдоподобия и является априорной плотностью k -го временного шага. Здесь мы предположили условную независимость от предыдущих наблюдений, заданную как ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$ ${\displaystyle p(y_{k}|x_{k})}$ ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$ ${\displaystyle y_{k}}$ ${\displaystyle y_{1},\ldots ,y_{k-1}}$ ${\displaystyle x}$

${\displaystyle p(y_{k}|x_{k},y_{1},\ldots ,y_{k-1})=p(y_{k}|x_{k}).}$

Это предположение Маркова.

Оценка MMSE, заданная для k -го наблюдения, является тогда средним значением апостериорной плотности . При отсутствии динамической информации о том, как состояние изменяется со временем, мы сделаем дополнительное предположение о стационарности относительно априорной: ${\displaystyle {\hat {x}}_{k}}$ ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k})}$ ${\displaystyle x}$

${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})=p(x_{k-1}|y_{1},\ldots ,y_{k-1}).}$

Таким образом, априорная плотность для k -го временного шага является апостериорной плотностью ( k -1)-го временного шага. Эта структура позволяет нам сформулировать рекурсивный подход к оценке.

В контексте линейной оценки MMSE формула для оценки будет иметь тот же вид, что и раньше: Однако матрицы среднего и ковариации и необходимо будет заменить на матрицы априорной плотности и правдоподобия соответственно. ${\displaystyle {\hat {x}}=C_{XY}C_{Y}^{-1}(y-{\bar {y}})+{\bar {x}}.}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$ ${\displaystyle p(y_{k}|x_{k})}$

Для априорной плотности ее среднее значение определяется предыдущей оценкой MMSE, ${\displaystyle p(x_{k}|y_{1},\ldots ,y_{k-1})}$

${\displaystyle {\bar {x}}_{k}=\mathrm {E} [x_{k}|y_{1},\ldots ,y_{k-1}]=\mathrm {E} [x_{k-1}|y_{1},\ldots ,y_{k-1}]={\hat {x}}_{k-1}}$,

и ее ковариационная матрица задается предыдущей ковариационной матрицей ошибок,

${\displaystyle C_{X_{k}|Y_{1},\ldots ,Y_{k-1}}=C_{X_{k-1}|Y_{1},\ldots ,Y_{k-1}}=C_{e_{k-1}},}$

в соответствии со свойствами оценок MMSE и предположением о стационарности.

Аналогично, для линейного процесса наблюдения среднее значение правдоподобия определяется как , а ковариационная матрица имеет вид: ${\displaystyle p(y_{k}|x_{k})}$ ${\displaystyle {\bar {y}}_{k}=A{\bar {x}}_{k}=A{\hat {x}}_{k-1}}$

${\displaystyle {\begin{aligned}C_{Y_{k}|X_{k}}&=AC_{X_{k}|Y_{1},\ldots ,Y_{k-1}}A^{T}+C_{Z}=AC_{e_{k-1}}A^{T}+C_{Z}.\end{aligned}}}$.

Разница между предсказанным значением , как указано , и его наблюдаемым значением дает ошибку предсказания , которая также называется инновацией или остатком. Более удобно представлять линейную MMSE в терминах ошибки предсказания, чье среднее значение и ковариация равны и . ${\displaystyle Y_{k}}$ ${\displaystyle {\bar {y}}_{k}=A{\hat {x}}_{k-1}}$ ${\displaystyle y_{k}}$ ${\displaystyle {\tilde {y}}_{k}=y_{k}-{\bar {y}}_{k}}$ ${\displaystyle \mathrm {E} [{\tilde {y}}_{k}]=0}$ ${\displaystyle C_{{\tilde {Y}}_{k}}=C_{Y_{k}|X_{k}}}$

Следовательно, в формуле обновления оценки мы должны заменить и на и , соответственно. Также мы должны заменить и на и . Наконец, мы заменяем на ${\displaystyle {\bar {x}}}$ ${\displaystyle C_{X}}$ ${\displaystyle {\hat {x}}_{k-1}}$ ${\displaystyle C_{e_{k-1}}}$ ${\displaystyle {\bar {y}}}$ ${\displaystyle C_{Y}}$ ${\displaystyle {\bar {y}}_{k-1}}$ ${\displaystyle C_{{\tilde {Y}}_{k}}}$ ${\displaystyle C_{XY}}$

${\displaystyle {\begin{aligned}C_{X_{k}Y_{k}|Y_{1},\ldots ,Y_{k-1}}&=C_{e_{k-1}{\tilde {Y}}_{k}}=C_{e_{k-1}}A^{T}.\end{aligned}}}$

Таким образом, мы получаем новую оценку по мере поступления новых наблюдений: ${\displaystyle y_{k}}$

${\displaystyle {\begin{aligned}{\hat {x}}_{k}&={\hat {x}}_{k-1}+C_{e_{k-1}{\tilde {Y}}_{k}}C_{{\tilde {Y}}_{k}}^{-1}(y_{k}-{\bar {y}}_{k})\\&={\hat {x}}_{k-1}+C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}(y_{k}-A{\hat {x}}_{k-1})\end{aligned}}}$

и новая ошибка ковариации как

${\displaystyle C_{e_{k}}=C_{e_{k-1}}-C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1}AC_{e_{k-1}}.}$

С точки зрения линейной алгебры, для последовательной оценки, если у нас есть оценка, основанная на измерениях, генерирующих пространство , то после получения другого набора измерений мы должны вычесть из этих измерений ту часть, которую можно было бы ожидать из результата первых измерений. Другими словами, обновление должно быть основано на той части новых данных, которая ортогональна старым данным. ${\displaystyle {\hat {x}}_{1}}$ ${\displaystyle Y_{1}}$

Повторное использование двух приведенных выше уравнений по мере того, как становится доступно больше наблюдений, приводит к рекурсивным методам оценки. Выражения можно записать более компактно как

${\displaystyle W_{k}=C_{e_{k-1}}A^{T}(AC_{e_{k-1}}A^{T}+C_{Z})^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

${\displaystyle C_{e_{k}}=(I-W_{k}A)C_{e_{k-1}}.}$

Матрицу часто называют коэффициентом усиления Калмана. Альтернативная формулировка вышеприведенного алгоритма даст ${\displaystyle W_{k}}$

${\displaystyle C_{e_{k}}^{-1}=C_{e_{k-1}}^{-1}+A^{T}C_{Z}^{-1}A,}$

${\displaystyle W_{k}=C_{e_{k}}A^{T}C_{Z}^{-1},}$

${\displaystyle {\hat {x}}_{k}={\hat {x}}_{k-1}+W_{k}(y_{k}-A{\hat {x}}_{k-1}),}$

Повторение этих трех шагов по мере поступления новых данных приводит к итеративному алгоритму оценки. Обобщение этой идеи на нестационарные случаи приводит к появлению фильтра Калмана . Три шага обновления, описанные выше, действительно образуют шаг обновления фильтра Калмана.

Особый случай: скалярные наблюдения

В качестве важного особого случая можно вывести простое в использовании рекурсивное выражение, когда в каждый k -й момент времени базовый линейный процесс наблюдения выдает скаляр такой, что , где — известный вектор-столбец размером n на 1, значения которого могут меняться со временем, — случайный вектор-столбец размером n на 1, подлежащий оценке, а — скалярный шумовой член с дисперсией . После ( k +1)-го наблюдения прямое использование приведенных выше рекурсивных уравнений дает выражение для оценки в виде: ${\displaystyle y_{k}=a_{k}^{T}x_{k}+z_{k}}$ ${\displaystyle a_{k}}$ ${\displaystyle x_{k}}$ ${\displaystyle z_{k}}$ ${\displaystyle \sigma _{k}^{2}}$ ${\displaystyle {\hat {x}}_{k+1}}$

${\displaystyle {\hat {x}}_{k+1}={\hat {x}}_{k}+w_{k+1}(y_{k+1}-a_{k+1}^{T}{\hat {x}}_{k})}$

где — новое скалярное наблюдение, а коэффициент усиления — вектор-столбец размером n на 1, заданный формулой ${\displaystyle y_{k+1}}$ ${\displaystyle w_{k+1}}$

${\displaystyle w_{k+1}={\frac {C_{e_{k}}a_{k+1}}{\sigma _{k+1}^{2}+a_{k+1}^{T}C_{e_{k}}a_{k+1}}}.}$

Матрица ковариации ошибок n -на- n определяется как ${\displaystyle C_{e_{k+1}}}$

${\displaystyle C_{e_{k+1}}=(I-w_{k+1}a_{k+1}^{T})C_{e_{k}}.}$

Здесь не требуется инверсия матрицы. Кроме того, коэффициент усиления, , зависит от нашей уверенности в новой выборке данных, измеренной дисперсией шума, по сравнению с предыдущими данными. Начальные значения и принимаются как среднее значение и ковариация априорной функции плотности вероятности . ${\displaystyle w_{k+1}}$ ${\displaystyle {\hat {x}}}$ ${\displaystyle C_{e}}$ ${\displaystyle x}$

Альтернативные подходы: Этот важный особый случай также породил множество других итерационных методов (или адаптивных фильтров ), таких как фильтр наименьших квадратов и рекурсивный фильтр наименьших квадратов , который напрямую решает исходную задачу оптимизации MSE с использованием стохастических градиентных спусков . Однако, поскольку ошибка оценки не может наблюдаться напрямую, эти методы пытаются минимизировать среднеквадратичную ошибку прогнозирования . Например, в случае скалярных наблюдений мы имеем градиент Таким образом, уравнение обновления для фильтра наименьших квадратов задается как ${\displaystyle e}$ ${\displaystyle \mathrm {E} \{{\tilde {y}}^{T}{\tilde {y}}\}}$ ${\displaystyle \nabla _{\hat {x}}\mathrm {E} \{{\tilde {y}}^{2}\}=-2\mathrm {E} \{{\tilde {y}}a\}.}$

${\displaystyle {\hat {x}}_{k+1}={\hat {x}}_{k}+\eta _{k}\mathrm {E} \{{\tilde {y}}_{k}a_{k}\},}$

где — скалярный размер шага, а ожидание аппроксимируется мгновенным значением . Как мы видим, эти методы обходят необходимость в ковариационных матрицах. ${\displaystyle \eta _{k}}$ ${\displaystyle \mathrm {E} \{a_{k}{\tilde {y}}_{k}\}\approx a_{k}{\tilde {y}}_{k}}$

Особый случай: векторное наблюдение с некоррелированным шумом

Во многих практических приложениях шум наблюдения некоррелирован. То есть является диагональной матрицей. В таких случаях выгодно рассматривать компоненты как независимые скалярные измерения, а не векторные измерения. Это позволяет сократить время вычислений, обрабатывая вектор измерения как скалярные измерения. Использование формулы скалярного обновления позволяет избежать инверсии матрицы при реализации уравнений обновления ковариации, тем самым повышая численную устойчивость к ошибкам округления. Обновление может быть реализовано итеративно как: ${\displaystyle C_{Z}}$ ${\displaystyle y}$ ${\displaystyle m\times 1}$ ${\displaystyle m}$

${\displaystyle w_{k+1}^{(\ell )}={\frac {C_{e_{k}}^{(\ell )}A_{k+1}^{(\ell )T}}{C_{Z_{k+1}}^{(\ell )}+A_{k+1}^{(\ell )}C_{e_{k}}^{(\ell )}(A_{k+1}^{(\ell )T})}}}$

${\displaystyle C_{e_{k+1}}^{(\ell )}=(I-w_{k+1}^{(\ell )}A_{k+1}^{(\ell )})C_{e_{k}}^{(\ell )}}$

${\displaystyle {\hat {x}}_{k+1}^{(\ell )}={\hat {x}}_{k}^{(\ell -1)}+w_{k+1}^{(\ell )}(y_{k+1}^{(\ell )}-A_{k+1}^{(\ell )}{\hat {x}}_{k}^{(\ell -1)})}$

где , используя начальные значения и . Промежуточные переменные - это -й диагональный элемент диагональной матрицы ; в то время как - -я строка матрицы . Конечные значения - это и . ${\displaystyle \ell =1,2,\ldots ,m}$ ${\displaystyle C_{e_{k+1}}^{(0)}=C_{e_{k}}}$ ${\displaystyle {\hat {x}}_{k+1}^{(0)}={\hat {x}}_{k}}$ ${\displaystyle C_{Z_{k+1}}^{(\ell )}}$ ${\displaystyle \ell }$ ${\displaystyle m\times m}$ ${\displaystyle C_{Z_{k+1}}}$ ${\displaystyle A_{k+1}^{(\ell )}}$ ${\displaystyle \ell }$ ${\displaystyle m\times n}$ ${\displaystyle A_{k+1}}$ ${\displaystyle C_{e_{k+1}}^{(m)}=C_{e_{k+1}}}$ ${\displaystyle {\hat {x}}_{k+1}^{(m)}={\hat {x}}_{k+1}}$

Примеры

Пример 1

Возьмем в качестве примера задачу линейного прогнозирования . Пусть линейная комбинация наблюдаемых скалярных случайных величин и будет использована для оценки другой будущей скалярной случайной величины, такой что . Если случайные величины являются действительными гауссовыми случайными величинами с нулевым средним значением и ее ковариационной матрицей, заданной как ${\displaystyle z_{1},z_{2}}$ ${\displaystyle z_{3}}$ ${\displaystyle z_{4}}$ ${\displaystyle {\hat {z}}_{4}=\sum _{i=1}^{3}w_{i}z_{i}}$ ${\displaystyle z=[z_{1},z_{2},z_{3},z_{4}]^{T}}$

${\displaystyle \operatorname {cov} (Z)=\operatorname {E} [zz^{T}]=\left[{\begin{array}{cccc}1&2&3&4\\2&5&8&9\\3&8&6&10\\4&9&10&15\end{array}}\right],}$

то наша задача — найти такие коэффициенты , которые дадут оптимальную линейную оценку . ${\displaystyle w_{i}}$ ${\displaystyle {\hat {z}}_{4}}$

В терминах терминологии, разработанной в предыдущих разделах, для этой задачи у нас есть вектор наблюдения , матрица оценки как вектор-строка и оцениваемая переменная как скалярная величина. Матрица автокорреляции определяется как ${\displaystyle y=[z_{1},z_{2},z_{3}]^{T}}$ ${\displaystyle W=[w_{1},w_{2},w_{3}]}$ ${\displaystyle x=z_{4}}$ ${\displaystyle C_{Y}}$

${\displaystyle C_{Y}=\left[{\begin{array}{ccc}E[z_{1},z_{1}]&E[z_{2},z_{1}]&E[z_{3},z_{1}]\\E[z_{1},z_{2}]&E[z_{2},z_{2}]&E[z_{3},z_{2}]\\E[z_{1},z_{3}]&E[z_{2},z_{3}]&E[z_{3},z_{3}]\end{array}}\right]=\left[{\begin{array}{ccc}1&2&3\\2&5&8\\3&8&6\end{array}}\right].}$

Матрица взаимной корреляции определяется как ${\displaystyle C_{YX}}$

${\displaystyle C_{YX}=\left[{\begin{array}{c}E[z_{4},z_{1}]\\E[z_{4},z_{2}]\\E[z_{4},z_{3}]\end{array}}\right]=\left[{\begin{array}{c}4\\9\\10\end{array}}\right].}$

Теперь решим уравнение , инвертируя и умножая предварительно, чтобы получить ${\displaystyle C_{Y}W^{T}=C_{YX}}$ ${\displaystyle C_{Y}}$

${\displaystyle C_{Y}^{-1}C_{YX}=\left[{\begin{array}{ccc}4.85&-1.71&-0.142\\-1.71&0.428&0.2857\\-0.142&0.2857&-0.1429\end{array}}\right]\left[{\begin{array}{c}4\\9\\10\end{array}}\right]=\left[{\begin{array}{c}2.57\\-0.142\\0.5714\end{array}}\right]=W^{T}.}$

Итак, мы имеем и как оптимальные коэффициенты для . Вычисление минимальной среднеквадратической ошибки дает . ^[2] Обратите внимание, что нет необходимости получать явную обратную матрицу для вычисления значения . Матричное уравнение можно решить хорошо известными методами, такими как метод исключения Гаусса. Более короткий, нечисловой пример можно найти в принципе ортогональности . ${\displaystyle w_{1}=2.57,}$ ${\displaystyle w_{2}=-0.142,}$ ${\displaystyle w_{3}=.5714}$ ${\displaystyle {\hat {z}}_{4}}$ ${\displaystyle \left\Vert e\right\Vert _{\min }^{2}=\operatorname {E} [z_{4}z_{4}]-WC_{YX}=15-WC_{YX}=.2857}$ ${\displaystyle C_{Y}}$ ${\displaystyle W}$

Пример 2

Рассмотрим вектор, сформированный путем взятия наблюдений фиксированного, но неизвестного скалярного параметра, возмущенного белым гауссовым шумом. Мы можем описать процесс линейным уравнением , где . В зависимости от контекста будет ясно, представляет ли скаляр или вектор. Предположим, что мы знаем, что это диапазон, в который попадет значение . Мы можем смоделировать нашу неопределенность с помощью априорного равномерного распределения на интервале , и, таким образом, получим дисперсию . Пусть вектор шума распределен нормально как , где — единичная матрица. Также и независимы и . Легко видеть, что ${\displaystyle y}$ ${\displaystyle N}$ ${\displaystyle x}$ ${\displaystyle y=1x+z}$ ${\displaystyle 1=[1,1,\ldots ,1]^{T}}$ ${\displaystyle 1}$ ${\displaystyle [-x_{0},x_{0}]}$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle [-x_{0},x_{0}]}$ ${\displaystyle x}$ ${\displaystyle \sigma _{X}^{2}=x_{0}^{2}/3.}$ ${\displaystyle z}$ ${\displaystyle N(0,\sigma _{Z}^{2}I)}$ ${\displaystyle I}$ ${\displaystyle x}$ ${\displaystyle z}$ ${\displaystyle C_{XZ}=0}$

${\displaystyle {\begin{aligned}&\operatorname {E} \{y\}=0,\\&C_{Y}=\operatorname {E} \{yy^{T}\}=\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I,\\&C_{XY}=\operatorname {E} \{xy^{T}\}=\sigma _{X}^{2}1^{T}.\end{aligned}}}$

Таким образом, линейная оценка MMSE определяется выражением

${\displaystyle {\begin{aligned}{\hat {x}}&=C_{XY}C_{Y}^{-1}y\\&=\sigma _{X}^{2}1^{T}(\sigma _{X}^{2}11^{T}+\sigma _{Z}^{2}I)^{-1}y.\end{aligned}}}$

Мы можем упростить выражение, используя альтернативную форму для ${\displaystyle W}$

${\displaystyle {\begin{aligned}{\hat {x}}&=\left(1^{T}{\frac {1}{\sigma _{Z}^{2}}}I1+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}{\frac {1}{\sigma _{Z}^{2}}}Iy\\&={\frac {1}{\sigma _{Z}^{2}}}\left({\frac {N}{\sigma _{Z}^{2}}}+{\frac {1}{\sigma _{X}^{2}}}\right)^{-1}1^{T}y\\&={\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\bar {y}},\end{aligned}}}$

где для нас есть ${\displaystyle y=[y_{1},y_{2},\ldots ,y_{N}]^{T}}$ ${\displaystyle {\bar {y}}={\frac {1^{T}y}{N}}={\frac {\sum _{i=1}^{N}y_{i}}{N}}.}$

Аналогично, дисперсия оценки равна

${\displaystyle \sigma _{\hat {X}}^{2}=C_{XY}C_{Y}^{-1}C_{YX}={\Big (}{\frac {\sigma _{X}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}\sigma _{X}^{2}.}$

Таким образом, MMSE этой линейной оценки равна

${\displaystyle \operatorname {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\Big (}{\frac {\sigma _{Z}^{2}}{\sigma _{X}^{2}+\sigma _{Z}^{2}/N}}{\Big )}{\frac {\sigma _{X}^{2}}{N}}.}$

Для очень больших мы видим, что оценка MMSE скаляра с равномерным априорным распределением может быть аппроксимирована средним арифметическим всех наблюдаемых данных ${\displaystyle N}$

${\displaystyle {\hat {x}}={\frac {1}{N}}\sum _{i=1}^{N}y_{i},}$

в то время как дисперсия не будет зависеть от данных , а LMMSE оценки будет стремиться к нулю. ${\displaystyle \sigma _{\hat {X}}^{2}=\sigma _{X}^{2},}$

Однако оценка неоптимальна, поскольку она ограничена линейностью. Если бы случайная величина также была гауссовой, то оценка была бы оптимальной. Обратите внимание, что форма оценки останется неизменной, независимо от априорного распределения , пока среднее значение и дисперсия этих распределений одинаковы. ${\displaystyle x}$ ${\displaystyle x}$

Пример 3

Рассмотрим вариант приведенного выше примера: Два кандидата баллотируются на выборах. Пусть доля голосов, которую кандидат получит в день выборов, будет Таким образом, доля голосов, которую получит другой кандидат, будет Мы возьмем в качестве случайной величины с равномерным априорным распределением по так, чтобы ее среднее значение было , а дисперсия была За несколько недель до выборов два разных опроса общественного мнения провели два независимых опроса общественного мнения. Первый опрос показал, что кандидат, скорее всего, получит часть голосов. Поскольку некоторая ошибка всегда присутствует из-за конечной выборки и конкретной принятой методологии опроса, первый опрос заявляет, что его оценка имеет ошибку с нулевым средним значением и дисперсией Аналогично, второй опрос заявляет, что его оценка имеет ошибку с нулевым средним значением и дисперсией Обратите внимание, что за исключением среднего значения и дисперсии ошибки распределение ошибок не указано. Как следует объединить два опроса, чтобы получить прогноз голосования для данного кандидата? ${\displaystyle x\in [0,1].}$ ${\displaystyle 1-x.}$ ${\displaystyle x}$ ${\displaystyle [0,1]}$ ${\displaystyle {\bar {x}}=1/2}$ ${\displaystyle \sigma _{X}^{2}=1/12.}$ ${\displaystyle y_{1}}$ ${\displaystyle z_{1}}$ ${\displaystyle \sigma _{Z_{1}}^{2}.}$ ${\displaystyle y_{2}}$ ${\displaystyle z_{2}}$ ${\displaystyle \sigma _{Z_{2}}^{2}.}$

Как и в предыдущем примере, у нас есть

${\displaystyle {\begin{aligned}y_{1}&=x+z_{1}\\y_{2}&=x+z_{2}.\end{aligned}}}$

Здесь оба . Таким образом, мы можем получить оценку LMMSE как линейную комбинацию и как ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}={\bar {x}}=1/2}$ ${\displaystyle y_{1}}$ ${\displaystyle y_{2}}$

${\displaystyle {\hat {x}}=w_{1}(y_{1}-{\bar {x}})+w_{2}(y_{2}-{\bar {x}})+{\bar {x}},}$

где веса задаются как

${\displaystyle {\begin{aligned}w_{1}&={\frac {1/\sigma _{Z_{1}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}},\\w_{2}&={\frac {1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.\end{aligned}}}$

Здесь, поскольку знаменатель является постоянным, опрос с меньшей ошибкой получает больший вес для прогнозирования результатов выборов. Наконец, дисперсия определяется как ${\displaystyle {\hat {x}}}$

${\displaystyle \sigma _{\hat {X}}^{2}={\frac {1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}\sigma _{X}^{2},}$

что делает меньше, чем Таким образом, LMMSE определяется как ${\displaystyle \sigma _{\hat {X}}^{2}}$ ${\displaystyle \sigma _{X}^{2}.}$

${\displaystyle \mathrm {LMMSE} =\sigma _{X}^{2}-\sigma _{\hat {X}}^{2}={\frac {1}{1/\sigma _{Z_{1}}^{2}+1/\sigma _{Z_{2}}^{2}+1/\sigma _{X}^{2}}}.}$

В общем случае, если у нас есть опросчики, то вес для i- го опросчика определяется как , а LMMSE определяется как ${\displaystyle N}$ ${\displaystyle {\hat {x}}=\sum _{i=1}^{N}w_{i}(y_{i}-{\bar {x}})+{\bar {x}},}$ ${\displaystyle w_{i}={\frac {1/\sigma _{Z_{i}}^{2}}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}}$ ${\displaystyle \mathrm {LMMSE} ={\frac {1}{\sum _{j=1}^{N}1/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.}$

Пример 4

Предположим, что музыкант играет на инструменте и звук принимается двумя микрофонами, каждый из которых расположен в двух разных местах. Пусть затухание звука из-за расстояния у каждого микрофона будет и , которые считаются известными константами. Аналогично, пусть шум у каждого микрофона будет и , каждый с нулевым средним значением и дисперсией и соответственно. Пусть обозначает звук, производимый музыкантом, который является случайной величиной с нулевым средним значением и дисперсией Как следует объединить записанную музыку с этих двух микрофонов после синхронизации друг с другом? ${\displaystyle a_{1}}$ ${\displaystyle a_{2}}$ ${\displaystyle z_{1}}$ ${\displaystyle z_{2}}$ ${\displaystyle \sigma _{Z_{1}}^{2}}$ ${\displaystyle \sigma _{Z_{2}}^{2}}$ ${\displaystyle x}$ ${\displaystyle \sigma _{X}^{2}.}$

Мы можем смоделировать звук, принимаемый каждым микрофоном, как

${\displaystyle {\begin{aligned}y_{1}&=a_{1}x+z_{1}\\y_{2}&=a_{2}x+z_{2}.\end{aligned}}}$

Здесь оба . Таким образом, мы можем объединить два звука как ${\displaystyle \operatorname {E} \{y_{1}\}=\operatorname {E} \{y_{2}\}=0}$

${\displaystyle y=w_{1}y_{1}+w_{2}y_{2}}$

где i -й вес задается как

${\displaystyle w_{i}={\frac {a_{i}/\sigma _{Z_{i}}^{2}}{\sum _{j}a_{j}^{2}/\sigma _{Z_{j}}^{2}+1/\sigma _{X}^{2}}}.}$

Смотрите также

• Байесовская оценка
• Среднеквадратическая ошибка
• Наименьшие квадраты
• Несмещенная оценка с минимальной дисперсией (MVUE)
• Принцип ортогональности
• фильтр Винера
• фильтр Калмана
• Линейное предсказание
• Эквалайзер с нулевым форсированием

Примечания

1. "Среднеквадратическая ошибка (MSE)". www.probabilitycourse.com . Получено 9 мая 2017 г. .
2. Мун и Стерлинг.

Дальнейшее чтение

• Джонсон, Д. "Оценки минимальной средней квадратичной ошибки". Connexions. Архивировано из Minimum Mean Squared Error Estimators оригинал 25 июля 2008 г. Получено 8 января 2013 г. {{cite web}}: Проверить |url=значение ( помощь )
• Джейнс, ET (2003). Теория вероятностей: логика науки . Cambridge University Press. ISBN 978-0521592710.
• Бибби, Дж.; Тоутенбург, Х. (1977). Прогнозирование и улучшенная оценка в линейных моделях . Wiley. ISBN 9780471016564.
• Lehmann, EL; Casella, G. (1998). "Глава 4". Теория точечной оценки (2-е изд.). Springer. ISBN 0-387-98502-6.
• Кей, СМ (1993). Основы статистической обработки сигналов: теория оценки . Prentice Hall. стр. 344–350. ISBN 0-13-042268-1.
• Luenberger, DG (1969). "Глава 4, Оценка наименьших квадратов". Оптимизация методами векторного пространства (1-е изд.). Wiley. ISBN 978-0471181170.
• Moon, TK; Stirling, WC (2000). Математические методы и алгоритмы обработки сигналов (1-е изд.). Prentice Hall. ISBN 978-0201361865.
• Van Trees, HL (1968). Теория обнаружения, оценки и модуляции, часть I. Нью-Йорк: Wiley. ISBN 0-471-09517-6.
• Хайкин, С.О. (2013). Теория адаптивного фильтра (5-е изд.). Prentice Hall. ISBN 978-0132671453.