Среднеквадратическая ошибка

Мера погрешности оценщика

В статистике средняя квадратичная ошибка ( MSE ) ^[1] или среднеквадратичное отклонение ( MSD ) оценщика (процедуры оценки ненаблюдаемой величины) измеряет среднее квадратов ошибок — то есть среднеквадратичную разность между оценочными значениями и фактическим значением. MSE — это функция риска , соответствующая ожидаемому значению квадрата потери ошибки . ^[2] Тот факт, что MSE почти всегда строго положительна (и не равна нулю), объясняется случайностью или тем, что оценщик не учитывает информацию , которая могла бы дать более точную оценку. ^[3] В машинном обучении , в частности, минимизации эмпирического риска , MSE может относиться к эмпирическому риску (средним потерям в наблюдаемом наборе данных) как к оценке истинного MSE (истинного риска: средних потерь в фактическом распределении популяции).

MSE является мерой качества оценщика. Поскольку она выводится из квадрата евклидова расстояния , она всегда является положительным значением, которое уменьшается по мере того, как ошибка приближается к нулю.

MSE — это второй момент (относительно источника) ошибки, и, таким образом, включает в себя как дисперсию оценщика (насколько широко разбросаны оценки от одной выборки данных к другой), так и его смещение (насколько далеко среднее оценочное значение от истинного значения). ^{[ требуется ссылка ]} Для несмещенного оценщика MSE — это дисперсия оценщика. Как и дисперсия, MSE имеет те же единицы измерения, что и квадрат оцениваемой величины. По аналогии со стандартным отклонением , извлечение квадратного корня из MSE дает среднеквадратичную ошибку или среднеквадратичное отклонение (RMSE или RMSD), которое имеет те же единицы, что и оцениваемая величина; для несмещенного оценщика RMSE — это квадратный корень из дисперсии , известный как стандартная ошибка .

Определение и основные свойства

MSE либо оценивает качество предиктора ( т. е. функции, отображающей произвольные входные данные в выборку значений некоторой случайной величины ), либо оценщика ( т. е. математической функции, отображающей выборку данных в оценку параметра совокупности , из которой берутся данные). В контексте прогнозирования понимание интервала прогнозирования также может быть полезным, поскольку оно обеспечивает диапазон, в который с определенной вероятностью попадет будущее наблюдение. Определение MSE различается в зависимости от того, описывается ли предиктор или оценщик.

Предсказатель

Если вектор прогнозов генерируется из выборки точек данных по всем переменным и представляет собой вектор наблюдаемых значений прогнозируемой переменной, причем являются прогнозируемыми значениями (например, как в случае подгонки по методу наименьших квадратов ), то среднеквадратическая ошибка предиктора внутри выборки вычисляется как ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle Y}$ ${\displaystyle {\hat {Y}}}$

${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$

Другими словами, MSE — это среднее квадратов ошибок . Это легко вычисляемая величина для конкретной выборки (и, следовательно, зависящая от выборки). ${\textstyle \left({\frac {1}{n}}\sum _{i=1}^{n}\right)}$ ${\textstyle \left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$

В матричной записи,

${\displaystyle \operatorname {MSE} ={\frac {1}{n}}\sum _{i=1}^{n}(e_{i})^{2}={\frac {1}{n}}\mathbf {e} ^{\mathsf {T}}\mathbf {e} }$

где — вектор-столбец , а — вектор -столбец. ${\displaystyle e_{i}}$ ${\displaystyle (Y_{i}-{\hat {Y_{i}}})}$ ${\displaystyle \mathbf {e} }$ ${\displaystyle n\times 1}$

MSE также может быть вычислена на основе q точек данных, которые не использовались при оценке модели, либо потому, что они были сохранены для этой цели, либо потому, что эти данные были получены заново. В рамках этого процесса, известного как перекрестная проверка , MSE часто называют тестовой MSE, ^[4] и вычисляется как

${\displaystyle \operatorname {MSE} ={\frac {1}{q}}\sum _{i=n+1}^{n+q}\left(Y_{i}-{\hat {Y_{i}}}\right)^{2}}$

Оценщик

Среднеквадратическая ошибка оценки относительно неизвестного параметра определяется как ^[1] ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta }$

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right].}$

Это определение зависит от неизвестного параметра, но MSE является априори свойством оценщика. MSE может быть функцией неизвестных параметров, в этом случае любой оценщик MSE, основанный на оценках этих параметров, будет функцией данных (и, следовательно, случайной величиной). Если оценщик выводится как выборочная статистика и используется для оценки некоторого параметра популяции, то ожидание относится к выборочному распределению выборочной статистики. ${\displaystyle {\hat {\theta }}}$

Среднеквадратичную ошибку можно записать как сумму дисперсии оценщика и квадрата смещения оценщика, что обеспечивает полезный способ вычисления среднеквадратичной ошибки и подразумевает, что в случае несмещенных оценок среднеквадратическая ошибка и дисперсия эквивалентны. ^[5]

${\displaystyle \operatorname {MSE} ({\hat {\theta }})=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} ({\hat {\theta }},\theta )^{2}.}$

Доказательство связи дисперсии и смещения

${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\operatorname {E} _{\theta }\left[({\hat {\theta }}-\theta )^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]+\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}+2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\operatorname {E} _{\theta }\left[2\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\right]+\operatorname {E} _{\theta }\left[\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\right]\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\operatorname {E} _{\theta }\left[{\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta ={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+2\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}&&\operatorname {E} _{\theta }[{\hat {\theta }}]={\text{const.}}\\&=\operatorname {E} _{\theta }\left[\left({\hat {\theta }}-\operatorname {E} _{\theta }[{\hat {\theta }}]\right)^{2}\right]+\left(\operatorname {E} _{\theta }[{\hat {\theta }}]-\theta \right)^{2}\\&=\operatorname {Var} _{\theta }({\hat {\theta }})+\operatorname {Bias} _{\theta }({\hat {\theta }},\theta )^{2}\end{aligned}}}$

Еще более короткое доказательство можно получить, используя известную формулу, что для случайной величины , . Заменяя на , мы имеем Но в реальном случае моделирования MSE можно было бы описать как сложение дисперсии модели, смещения модели и неснижаемой неопределенности (см. Компромисс смещения и дисперсии ). Согласно соотношению, MSE оценщиков можно было бы просто использовать для сравнения эффективности , которое включает информацию о дисперсии и смещении оценщика. Это называется критерием MSE. ${\textstyle X}$ ${\textstyle \mathbb {E} (X^{2})=\operatorname {Var} (X)+(\mathbb {E} (X))^{2}}$ ${\textstyle X}$ ${\textstyle {\hat {\theta }}-\theta }$ $${\displaystyle {\begin{aligned}\operatorname {MSE} ({\hat {\theta }})&=\mathbb {E} [({\hat {\theta }}-\theta )^{2}]\\&=\operatorname {Var} ({\hat {\theta }}-\theta )+(\mathbb {E} [{\hat {\theta }}-\theta ])^{2}\\&=\operatorname {Var} ({\hat {\theta }})+\operatorname {Bias} ^{2}({\hat {\theta }},\theta )\end{aligned}}}$$

В регрессе

В регрессионном анализе построение графика является более естественным способом просмотра общей тенденции всех данных. Среднее значение расстояния от каждой точки до прогнозируемой модели регрессии может быть вычислено и показано как среднеквадратическая ошибка. Возведение в квадрат имеет решающее значение для уменьшения сложности с отрицательными знаками. Чтобы минимизировать MSE, модель может быть более точной, что будет означать, что модель ближе к фактическим данным. Одним из примеров линейной регрессии с использованием этого метода является метод наименьших квадратов , который оценивает пригодность модели линейной регрессии для моделирования двумерного набора данных ^[6] , но ограничение которого связано с известным распределением данных.

Термин «среднеквадратичная ошибка» иногда используется для обозначения несмещенной оценки дисперсии ошибки: остаточная сумма квадратов, деленная на число степеней свободы . Это определение для известной вычисленной величины отличается от приведенного выше определения для вычисленной MSE предиктора тем, что используется другой знаменатель. Знаменатель — это размер выборки, уменьшенный на количество параметров модели, оцененных по тем же данным, ( n − p ) для p регрессоров или ( n − p −1), если используется отсекаемый член (более подробную информацию см . в разделе «Ошибки и остатки в статистике» ). ^[7] Хотя MSE (как определено в этой статье) не является несмещенной оценкой дисперсии ошибки, она является последовательной , учитывая последовательность предиктора.

В регрессионном анализе "среднеквадратическая ошибка", часто называемая среднеквадратической ошибкой предсказания или "среднеквадратической ошибкой вне выборки", может также относиться к среднему значению квадратичных отклонений предсказаний от истинных значений в тестовом пространстве вне выборки , сгенерированному моделью, оцененной в конкретном пространстве выборки . Это также известная, вычисляемая величина, и она меняется в зависимости от выборки и тестового пространства вне выборки.

В контексте алгоритмов градиентного спуска принято вводить фактор MSE для простоты вычислений после взятия производной. Таким образом, значение, которое технически равно половине среднего квадрата ошибок, можно назвать MSE. ${\displaystyle 1/2}$

Примеры

Иметь в виду

Предположим, что у нас есть случайная выборка размера из популяции, . Предположим, что единицы выборки были выбраны с заменой . То есть единицы выбираются по одной за раз, и ранее выбранные единицы по-прежнему имеют право на выборку для всех розыгрышей. Обычная оценка для является выборочным средним ${\displaystyle n}$ ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle n}$ ${\displaystyle n}$ ${\displaystyle \mu }$

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

который имеет ожидаемое значение, равное истинному среднему (поэтому он является несмещенным) и среднеквадратичную ошибку ${\displaystyle \mu }$

${\displaystyle \operatorname {MSE} \left({\overline {X}}\right)=\operatorname {E} \left[\left({\overline {X}}-\mu \right)^{2}\right]=\left({\frac {\sigma }{\sqrt {n}}}\right)^{2}={\frac {\sigma ^{2}}{n}}}$

где - дисперсия популяции . ${\displaystyle \sigma ^{2}}$

Для гауссовского распределения это наилучшая несмещенная оценка (т. е. оценка с наименьшим значением MSE среди всех несмещенных оценок), но, скажем, не для равномерного распределения .

Дисперсия

Обычной оценкой дисперсии является скорректированная выборочная дисперсия :

${\displaystyle S_{n-1}^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\right)^{2}={\frac {1}{n-1}}\left(\sum _{i=1}^{n}X_{i}^{2}-n{\overline {X}}^{2}\right).}$

Это несмещено (его ожидаемое значение равно ), поэтому его также называют несмещенной выборочной дисперсией, а его среднеквадратическая ошибка равна ^[8] ${\displaystyle \sigma ^{2}}$

${\displaystyle \operatorname {MSE} (S_{n-1}^{2})={\frac {1}{n}}\left(\mu _{4}-{\frac {n-3}{n-1}}\sigma ^{4}\right)={\frac {1}{n}}\left(\gamma _{2}+{\frac {2n}{n-1}}\right)\sigma ^{4},}$

где — четвертый центральный момент распределения или совокупности, а — избыточный эксцесс . ${\displaystyle \mu _{4}}$ ${\displaystyle \gamma _{2}=\mu _{4}/\sigma ^{4}-3}$

Однако можно использовать другие оценки, для которых пропорциональны , и соответствующий выбор всегда может дать более низкую среднеквадратичную ошибку. Если мы определим ${\displaystyle \sigma ^{2}}$ ${\displaystyle S_{n-1}^{2}}$

${\displaystyle S_{a}^{2}={\frac {n-1}{a}}S_{n-1}^{2}={\frac {1}{a}}\sum _{i=1}^{n}\left(X_{i}-{\overline {X}}\,\right)^{2}}$

затем вычисляем:

${\displaystyle {\begin{aligned}\operatorname {MSE} (S_{a}^{2})&=\operatorname {E} \left[\left({\frac {n-1}{a}}S_{n-1}^{2}-\sigma ^{2}\right)^{2}\right]\\&=\operatorname {E} \left[{\frac {(n-1)^{2}}{a^{2}}}S_{n-1}^{4}-2\left({\frac {n-1}{a}}S_{n-1}^{2}\right)\sigma ^{2}+\sigma ^{4}\right]\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\operatorname {E} \left[S_{n-1}^{2}\right]\sigma ^{2}+\sigma ^{4}\\&={\frac {(n-1)^{2}}{a^{2}}}\operatorname {E} \left[S_{n-1}^{4}\right]-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{2}\right]=\sigma ^{2}\\&={\frac {(n-1)^{2}}{a^{2}}}\left({\frac {\gamma _{2}}{n}}+{\frac {n+1}{n-1}}\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}&&\operatorname {E} \left[S_{n-1}^{4}\right]=\operatorname {MSE} (S_{n-1}^{2})+\sigma ^{4}\\&={\frac {n-1}{na^{2}}}\left((n-1)\gamma _{2}+n^{2}+n\right)\sigma ^{4}-2\left({\frac {n-1}{a}}\right)\sigma ^{4}+\sigma ^{4}\end{aligned}}}$

Это сводится к минимуму, когда

${\displaystyle a={\frac {(n-1)\gamma _{2}+n^{2}+n}{n}}=n+1+{\frac {n-1}{n}}\gamma _{2}.}$

Для гауссовского распределения , где , это означает, что MSE минимизируется при делении суммы на . Минимальный избыточный эксцесс равен , ^[a] что достигается распределением Бернулли с p  = 1/2 (подбрасывание монеты), а MSE минимизируется для Следовательно, независимо от эксцесса, мы получаем «лучшую» оценку (в смысле наличия более низкого MSE), немного уменьшая несмещенную оценку; это простой пример оценки сжатия : мы «сжимаем» оценку до нуля (уменьшаем несмещенную оценку). ${\displaystyle \gamma _{2}=0}$ ${\displaystyle a=n+1}$ ${\displaystyle \gamma _{2}=-2}$ ${\displaystyle a=n-1+{\tfrac {2}{n}}.}$

Кроме того, хотя скорректированная выборочная дисперсия является наилучшей несмещенной оценкой (минимальная средняя квадратическая ошибка среди несмещенных оценок) дисперсии для гауссовых распределений, если распределение не является гауссовым, то даже среди несмещенных оценок наилучшая несмещенная оценка дисперсии может не быть ${\displaystyle S_{n-1}^{2}.}$

Распределение Гаусса

В следующей таблице приведены несколько оценок истинных параметров популяции, μ и σ ² , для гауссовского случая. ^[9]

Интерпретация

Идеальным значением является среднеквадратическая ошибка (СКО), равная нулю, что означает, что оценщик предсказывает наблюдения параметра с идеальной точностью (но обычно это невозможно). ${\displaystyle {\hat {\theta }}}$ ${\displaystyle \theta }$

Значения MSE могут использоваться для сравнительных целей. Две или более статистических моделей можно сравнивать, используя их MSE — как меру того, насколько хорошо они объясняют заданный набор наблюдений: Несмещенная оценка (оцененная с помощью статистической модели) с наименьшей дисперсией среди всех несмещенных оценок является лучшей несмещенной оценкой или MVUE ( несмещенная оценка с минимальной дисперсией ).

Оба метода анализа дисперсии и линейной регрессии оценивают MSE как часть анализа и используют оцененную MSE для определения статистической значимости изучаемых факторов или предикторов. Целью экспериментального дизайна является построение экспериментов таким образом, чтобы при анализе наблюдений MSE была близка к нулю относительно величины хотя бы одного из оцененных эффектов лечения.

В однофакторном дисперсионном анализе MSE может быть рассчитана путем деления суммы квадратов ошибок на степень свободы. Также f-значение является отношением среднего квадрата обработки и MSE.

MSE также используется в нескольких методах пошаговой регрессии как часть определения того, сколько предикторов из набора кандидатов следует включить в модель для заданного набора наблюдений.

Приложения

• Минимизация MSE является ключевым критерием при выборе оценщиков: см. минимальная среднеквадратичная ошибка . Среди несмещенных оценщиков минимизация MSE эквивалентна минимизации дисперсии, и оценщик, который это делает, является несмещенным оценщиком с минимальной дисперсией . Однако смещенный оценщик может иметь более низкую MSE; см. смещение оценщика .
• В статистическом моделировании MSE может представлять разницу между фактическими наблюдениями и значениями наблюдений, предсказанными моделью. В этом контексте она используется для определения степени соответствия модели данным, а также для определения того, возможно ли удаление некоторых объясняющих переменных без существенного ущерба для предсказательной способности модели.
• В прогнозировании и предсказании показатель Бриера является мерой точности прогнозирования, основанной на средней квадратической ошибке (СКО).

Функция потерь

Квадратичная ошибка потерь является одной из наиболее широко используемых функций потерь в статистике, хотя ее широкое использование обусловлено скорее математическим удобством, чем соображениями фактических потерь в приложениях. Карл Фридрих Гаусс , который ввел использование средней квадратичной ошибки, знал о ее произвольности и был согласен с возражениями против нее на этом основании. ^[3] Математические преимущества средней квадратичной ошибки особенно очевидны при ее использовании при анализе производительности линейной регрессии , поскольку она позволяет разделить вариацию в наборе данных на вариацию, объясняемую моделью, и вариацию, объясняемую случайностью.

Критика

Использование среднеквадратической ошибки без вопросов подверглось критике со стороны теоретика принятия решений Джеймса Бергера . Среднеквадратическая ошибка — это отрицательное ожидаемое значение одной конкретной функции полезности , квадратичной функции полезности, которая может не быть подходящей функцией полезности для использования при заданном наборе обстоятельств. Однако существуют некоторые сценарии, в которых среднеквадратическая ошибка может служить хорошим приближением к функции потерь, естественным образом возникающей в приложении. ^[10]

Подобно дисперсии , среднеквадратическая ошибка имеет недостаток, заключающийся в сильном взвешивании выбросов . ^[11] Это является результатом возведения в квадрат каждого члена, что фактически взвешивает большие ошибки сильнее, чем маленькие. Это свойство, нежелательное во многих приложениях, привело исследователей к использованию альтернатив, таких как средняя абсолютная ошибка или те, которые основаны на медиане .

Смотрите также

• Компромисс между смещением и дисперсией
• Оценка Ходжеса
• Оценка Джеймса–Стейна
• Средняя процентная ошибка
• Среднеквадратическая ошибка квантования
• Среднеквадратичное взвешенное отклонение
• Среднеквадратичное смещение
• Среднеквадратическая ошибка прогноза
• Минимальная среднеквадратическая ошибка
• Оценка минимальной среднеквадратической ошибки
• Переобучение
• Пиковое отношение сигнал/шум

Примечания

1. Это можно доказать с помощью неравенства Йенсена следующим образом. Четвертый центральный момент является верхней границей для квадрата дисперсии, так что наименьшее значение для их отношения равно единице, следовательно, наименьшее значение для избыточного эксцесса равно −2, достигаемого, например, Бернулли с p = 1/2.

Ссылки

1. "Среднеквадратическая ошибка (MSE)". www.probabilitycourse.com . Получено 12.09.2020 .
2. Бикель, Питер Дж .; Доксум, Кьелл А. (2015). Математическая статистика: основные идеи и избранные темы . Том I (Второе изд.). С. 20. Если мы используем квадратичные потери, наша функция риска называется средней квадратичной ошибкой (MSE) ...
3. Lehmann, EL; Casella, George (1998). Теория точечной оценки (2-е изд.). Нью-Йорк: Springer. ISBN 978-0-387-98502-2. МР  1639875.
4. Гарет, Джеймс; Виттен, Даниэла; Хасти, Тревор; Тибширани, Роб (2021). Введение в статистическое обучение: с приложениями в R. Springer. ISBN 978-1071614174.
5. Wackerly, Dennis; Mendenhall, William; Scheaffer, Richard L. (2008). Математическая статистика с приложениями (7-е изд.). Belmont, CA, USA: Thomson Higher Education. ISBN 978-0-495-38508-0.
6. Современное введение в вероятность и статистику: понимание почему и как . Деккинг, Мишель, 1946-. Лондон: Springer. 2005. ISBN 978-1-85233-896-1. OCLC  262680588.{{cite book}}: CS1 maint: others (link)
7. Стил, РГД и Торри, Дж. Х., Принципы и процедуры статистики с особым упором на биологические науки. , McGraw Hill , 1960, стр. 288.
8. Mood, A.; Graybill, F.; Boes, D. (1974). Введение в теорию статистики (3-е изд.). McGraw-Hill. стр. 229.
9. ДеГрут, Моррис Х. (1980). Вероятность и статистика (2-е изд.). Эддисон-Уэсли.
10. Бергер, Джеймс О. (1985). "2.4.2 Определенные стандартные функции потерь". Статистическая теория принятия решений и байесовский анализ (2-е изд.). Нью-Йорк: Springer-Verlag. стр. 60. ISBN 978-0-387-96098-2. МР  0804611.
11. Бермехо, Серхио; Кабестани, Джоан (2001). «Ориентированный главный компонентный анализ для классификаторов с большим запасом». Нейронные сети . 14 (10): 1447–1461. doi :10.1016/S0893-6080(01)00106-X. PMID  11771723.