Ошибки и остатки

Концепция статистики

В статистике и оптимизации ошибки и остатки — это две тесно связанные и легко путаемые меры отклонения наблюдаемого значения элемента статистической выборки от его « истинного значения » (не обязательно наблюдаемого). Ошибка наблюдения — это отклонение наблюдаемого значения от истинного значения интересующей величины (например, среднего значения совокупности ). Остаток — это разница между наблюдаемым значением и оценочным значением интересующей величины (например, среднего значения выборки ). Различие наиболее важно в регрессионном анализе , где эти концепции иногда называют ошибками регрессии и остатками регрессии и где они приводят к концепции стьюдентизированных остатков . В эконометрике «ошибки» также называются возмущениями . ^{[1] [2] [3]}

Введение

Предположим, что есть ряд наблюдений из одномерного распределения , и мы хотим оценить среднее значение этого распределения (так называемая модель местоположения ). В этом случае ошибки представляют собой отклонения наблюдений от среднего значения популяции, а остатки представляют собой отклонения наблюдений от среднего значения выборки.

Статистическая ошибка (или возмущение ) — это величина, на которую наблюдение отличается от его ожидаемого значения , причем последнее основано на всей популяции, из которой статистическая единица была выбрана случайным образом. Например, если средний рост в популяции 21-летних мужчин составляет 1,75 метра, а один случайно выбранный мужчина имеет рост 1,80 метра, то «ошибка» составляет 0,05 метра; если случайно выбранный мужчина имеет рост 1,70 метра, то «ошибка» составляет −0,05 метра. Ожидаемое значение, являющееся средним значением всей популяции, обычно ненаблюдаемо, и, следовательно, статистическая ошибка также не может быть наблюдаема.

Остаточное (или подходящее) отклонение, с другой стороны, является наблюдаемой оценкой ненаблюдаемой статистической ошибки. Рассмотрим предыдущий пример с ростом мужчин и предположим, что у нас есть случайная выборка из n человек . Выборочное среднее может служить хорошей оценкой среднего значения популяции . Тогда мы имеем:

• Разница между ростом каждого мужчины в выборке и ненаблюдаемым средним значением популяции является статистической ошибкой , тогда как
• Разница между ростом каждого мужчины в выборке и наблюдаемым средним значением выборки является остатком .

Обратите внимание, что из-за определения выборочного среднего сумма остатков в случайной выборке обязательно равна нулю, и, таким образом, остатки обязательно не являются независимыми . Статистические ошибки, с другой стороны, независимы, и их сумма в случайной выборке почти наверняка не равна нулю.

Можно стандартизировать статистические ошибки (особенно нормального распределения ) в z-оценке (или «стандартной оценке») и стандартизировать остатки в t -статистике или, в более общем смысле, стьюдентизированные остатки .

В одномерных распределениях

Если предположить, что популяция распределена нормально со средним значением μ и стандартным отклонением σ, и выбирать особей независимо, то мы имеем

${\displaystyle X_{1},\dots ,X_{n}\sim N\left(\mu ,\sigma ^{2}\right)\,}$

и выборочное среднее

${\displaystyle {\overline {X}}={X_{1}+\cdots +X_{n} \over n}}$

— случайная величина, распределенная таким образом, что:

${\displaystyle {\overline {X}}\sim N\left(\mu ,{\frac {\sigma ^{2}}{n}}\right).}$

Статистические ошибки тогда

${\displaystyle e_{i}=X_{i}-\mu ,\,}$

с ожидаемыми значениями, равными нулю, ^[4] тогда как остатки

${\displaystyle r_{i}=X_{i}-{\overline {X}}.}$

Сумма квадратов статистических ошибок , деленная на σ2 , имеет распределение хи-квадрат ^с n степенями свободы :

${\displaystyle {\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}e_{i}^{2}\sim \chi _{n}^{2}.}$

Однако эта величина не наблюдаема, поскольку среднее значение совокупности неизвестно. Сумма квадратов остатков , с другой стороны, наблюдаема. Частное этой суммы по σ ² имеет распределение хи-квадрат только с n  − 1 степенями свободы:

${\displaystyle {\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}r_{i}^{2}\sim \chi _{n-1}^{2}.}$

Эта разница между n и n  − 1 степенями свободы приводит к поправке Бесселя для оценки выборочной дисперсии совокупности с неизвестным средним значением и неизвестной дисперсией. Поправка не нужна, если известно среднее значение совокупности.

Замечание

Примечательно, что можно показать, что сумма квадратов остатков и выборочное среднее не зависят друг от друга, используя, например, теорему Басу . Этот факт, а также нормальное и хи-квадрат распределения, приведенные выше, образуют основу вычислений, включающих t-статистику:

${\displaystyle T={\frac {{\overline {X}}_{n}-\mu _{0}}{S_{n}/{\sqrt {n}}}},}$

где представляет ошибки, представляет стандартное отклонение выборки для выборки размером n и неизвестного σ , а знаменатель учитывает стандартное отклонение ошибок в соответствии с: ^[5] ${\displaystyle {\overline {X}}_{n}-\mu _{0}}$ ${\displaystyle S_{n}}$ ${\displaystyle S_{n}/{\sqrt {n}}}$

$${\displaystyle \operatorname {Var} \left({\overline {X}}_{n}\right)={\frac {\sigma ^{2}}{n}}}$$

Распределения вероятностей числителя и знаменателя по отдельности зависят от значения ненаблюдаемого стандартного отклонения популяции σ , но σ появляется как в числителе, так и в знаменателе и сокращается. Это удача, потому что это означает, что даже если мы не знаем  σ , мы знаем распределение вероятностей этого частного: оно имеет распределение Стьюдента с n  − 1 степенями свободы. Поэтому мы можем использовать это частное, чтобы найти доверительный интервал для  μ . Эту t-статистику можно интерпретировать как «количество стандартных ошибок вдали от линии регрессии». ^[6]

Регрессии

В регрессионном анализе различие между ошибками и остатками является тонким и важным и приводит к концепции стьюдентизированных остатков . При наличии ненаблюдаемой функции, которая связывает независимую переменную с зависимой переменной, например, линии, отклонения наблюдений зависимой переменной от этой функции являются ненаблюдаемыми ошибками. Если запустить регрессию на некоторых данных, то отклонения наблюдений зависимой переменной от подобранной функции являются остатками. Если применима линейная модель, диаграмма рассеяния остатков, построенная против независимой переменной, должна быть случайной около нуля без тенденции к остаткам. ^[5] Если данные демонстрируют тенденцию, регрессионная модель, скорее всего, неверна; например, истинная функция может быть квадратичным или полиномом более высокого порядка. Если они случайны или не имеют тенденции, но «разветвляются» — они демонстрируют явление, называемое гетероскедастичностью . Если все остатки равны или не разветвляются, они демонстрируют гомоскедастичность .

Однако терминологическое различие возникает в выражении средняя квадратичная ошибка (MSE). Средняя квадратичная ошибка регрессии — это число, вычисленное из суммы квадратов вычисленных остатков , а не ненаблюдаемых ошибок . Если эта сумма квадратов делится на n , число наблюдений, результатом является среднее квадратов остатков. Поскольку это смещенная оценка дисперсии ненаблюдаемых ошибок, смещение устраняется путем деления суммы квадратов остатков на df = n  −  p  − 1, вместо n , где df — число степеней свободы ( n минус число оцениваемых параметров (исключая отсекаемый член) p - 1). Это формирует несмещенную оценку дисперсии ненаблюдаемых ошибок и называется средней квадратичной ошибкой. ^[7]

Другой метод расчета среднего квадрата ошибки при анализе дисперсии линейной регрессии с использованием техники, подобной той, что используется в ANOVA (они одинаковы, поскольку ANOVA — это тип регрессии), сумма квадратов остатков (также известная как сумма квадратов ошибки) делится на степени свободы (где степени свободы равны n  −  p  − 1, где p — это количество параметров, оцененных в модели (по одному для каждой переменной в уравнении регрессии, не включая отсекаемый член)). Затем можно также рассчитать средний квадрат модели, разделив сумму квадратов модели минус степени свободы, что является просто количеством параметров. Затем значение F можно рассчитать, разделив средний квадрат модели на средний квадрат ошибки, и затем мы можем определить значимость (именно поэтому вам нужны средние квадраты для начала.) ^[8]

Однако из-за поведения процесса регрессии распределения остатков в различных точках данных (входной переменной) могут различаться, даже если сами ошибки распределены одинаково. Конкретно, в линейной регрессии , где ошибки распределены одинаково, изменчивость остатков входов в середине домена будет выше , чем изменчивость остатков на концах домена: ^[9] линейные регрессии лучше соответствуют конечным точкам, чем середине. Это также отражено в функциях влияния различных точек данных на коэффициенты регрессии : конечные точки имеют большее влияние.

Таким образом, чтобы сравнить остатки на разных входах, необходимо скорректировать остатки на ожидаемую изменчивость остатков, что называется стьюдентизацией . Это особенно важно в случае обнаружения выбросов , когда рассматриваемый случай каким-то образом отличается от других в наборе данных. Например, большой остаток может ожидаться в середине домена, но считаться выбросом в конце домена.

Другие варианты использования слова «ошибка» в статистике

Использование термина «ошибка», как обсуждалось в разделах выше, имеет смысл отклонения значения от гипотетического ненаблюдаемого значения. По крайней мере два других использования также встречаются в статистике, оба относятся к наблюдаемым ошибкам прогнозирования :

Среднеквадратическая ошибка (MSE) относится к величине, на которую значения, предсказанные оценщиком, отличаются от оцениваемых величин (обычно за пределами выборки, на основе которой оценивалась модель). Среднеквадратическая ошибка (RMSE) — это квадратный корень из MSE. Сумма квадратов ошибок (SSE) — это MSE, умноженная на размер выборки.

Сумма квадратов остатков (SSR) — это сумма квадратов отклонений фактических значений от прогнозируемых значений в пределах выборки, используемой для оценки. Это основа для оценки наименьших квадратов , где коэффициенты регрессии выбираются таким образом, чтобы SSR был минимальным (т. е. его производная равна нулю).

Аналогично, сумма абсолютных ошибок (SAE) представляет собой сумму абсолютных значений остатков, которая минимизируется при подходе к регрессии с наименьшими абсолютными отклонениями .

Средняя ошибка (ME) — это смещение. Средний остаток (MR) всегда равен нулю для оценок наименьших квадратов.

Смотрите также

• Математический портал

• Абсолютное отклонение
• Консенсусные прогнозы
• Обнаружение и исправление ошибок
• Объясненная сумма квадратов
• Инновации (обработка сигналов)
• Сумма квадратов несоответствия
• Допустимая погрешность
• Средняя абсолютная ошибка
• Ошибка наблюдения
• Распространение ошибки
• Вероятная ошибка
• Случайные и систематические ошибки
• Сокращенная статистика хи-квадрат
• Регрессионное разбавление
• Среднеквадратичное отклонение
• Ошибка выборки
• Стандартная ошибка
• Стьюдентизированный остаток
• Ошибки типа I и типа II

Ссылки

1. Кеннеди, П. (2008). Руководство по эконометрике. Wiley. стр. 576. ISBN 978-1-4051-8257-7. Получено 13.05.2022 .
2. Вулдридж, Дж. М. (2019). Введение в эконометрику: современный подход. Cengage Learning. стр. 57. ISBN 978-1-337-67133-0. Получено 13.05.2022 .
3. Дас, П. (2019). Эконометрика в теории и практике: анализ перекрестных сечений, временных рядов и панельных данных с помощью Stata 15.1. Springer Singapore. стр. 7. ISBN 978-981-329-019-8. Получено 13.05.2022 .
4. Wetherill, G. Barrie. (1981). Промежуточные статистические методы . Лондон: Chapman and Hall. ISBN 0-412-16440-X. OCLC  7779780.
5. Фредерик Мишель Деккинг; Корнелис Краайкамп; Хендрик Пол Лопухаа; Людольф Эрвин Мистер (2005-06-15). Современное введение в вероятность и статистику: понимание почему и как . Лондон: Springer London. ISBN 978-1-85233-896-1. OCLC  262680588.
6. Питер Брюс; Эндрю Брюс (2017-05-10). Практическая статистика для специалистов по данным: 50 основных концепций (Первое издание). Севастополь, Калифорния: O'Reilly Media Inc. ISBN 978-1-4919-5296-2. OCLC  987251007.
7. Стил, Роберт Г. Д.; Торри, Джеймс Х. (1960). Принципы и процедуры статистики, со специальными ссылками на биологические науки . McGraw-Hill. стр. 288.
8. Зельтерман, Дэниел (2010). Прикладные линейные модели с помощью SAS (Online-Ausg. Ed.). Кембридж: Издательство Кембриджского университета. ISBN 9780521761598.
9. "7.3: Типы выбросов в линейной регрессии". Статистика LibreTexts . 2013-11-21 . Получено 2019-11-22 .

Дальнейшее чтение

• Кук, Р. Деннис; Вайсберг, Сэнфорд (1982). Остатки и влияние в регрессии (переиздание). Нью-Йорк: Chapman and Hall . ISBN 041224280X. Получено 23 февраля 2013 г.
• Кокс, Дэвид Р.; Снелл , Э. Джойс (1968). «Общее определение остатков». Журнал Королевского статистического общества, Серия B. 30 ( 2): 248–275. JSTOR  2984505.
• Вайсберг, Сэнфорд (1985). Прикладная линейная регрессия (2-е изд.). Нью-Йорк: Wiley. ISBN 9780471879572. Получено 23 февраля 2013 г.
• «Ошибки, теория», Энциклопедия математики , EMS Press , 2001 [1994]

Внешние ссылки

• Медиа, связанные с Ошибки и остатки на Wikimedia Commons