Интервал прогнозирования

Оценка интервала, в который попадут будущие наблюдения

В статистическом выводе , в частности, предиктивном выводе , интервал прогнозирования — это оценка интервала , в который попадет будущее наблюдение с определенной вероятностью, учитывая то, что уже наблюдалось. Интервалы прогнозирования часто используются в регрессионном анализе .

Простой пример — шестигранная игральная кость с номиналами от 1 до 6. Доверительный интервал для предполагаемого ожидаемого значения номинала составит около 3,5 и станет уже с увеличением размера выборки. Однако интервал прогнозирования для следующего броска будет примерно в диапазоне от 1 до 6, даже при любом количестве просмотренных образцов.

Интервалы прогнозирования используются как в частотной, так и в байесовской статистике : интервал прогнозирования имеет такое же отношение к будущему наблюдению, как частотный доверительный интервал или байесовский правдоподобный интервал к ненаблюдаемому параметру популяции: интервалы прогнозирования предсказывают распределение отдельных будущих точек, тогда как доверительные интервалы и правдоподобные интервалы параметров предсказывают распределение оценок истинного среднего значения популяции или другой интересующей величины, которую невозможно наблюдать.

Введение

Если сделать параметрическое предположение о том, что базовое распределение является нормальным распределением и имеет выборочный набор { X ₁ , ...,  X _n }, то доверительные интервалы и правдоподобные интервалы могут быть использованы для оценки среднего значения совокупности μ и стандартного отклонения совокупности σ базовой совокупности, в то время как интервалы прогнозирования могут быть использованы для оценки значения следующей выборочной переменной X _{n +1} .

Альтернативно, в байесовских терминах, интервал прогнозирования можно описать как достоверный интервал для самой переменной, а не для параметра ее распределения.

Концепция интервалов прогнозирования не должна ограничиваться выводом об одном будущем значении выборки, но может быть распространена на более сложные случаи. Например, в контексте речных наводнений, где анализы часто основаны на годовых значениях самого большого потока в течение года, может быть интересно сделать выводы о самом большом наводнении, которое, вероятно, произойдет в течение следующих 50 лет.

Поскольку интервалы прогнозирования касаются только прошлых и будущих наблюдений, а не ненаблюдаемых параметров популяции, некоторые статистики, такие как Сеймур Гейссер , ^{[ требуется ссылка ]} считают их лучшим методом, чем доверительные интервалы, следуя акценту на наблюдаемых величинах, предложенному Бруно де Финетти . ^{[ требуется ссылка ]}

Нормальное распределение

При наличии выборки из нормального распределения , параметры которой неизвестны, можно задать интервалы прогнозирования в частотном смысле, т. е. интервал [ a ,  b ], основанный на статистике выборки, такой, что при повторных экспериментах X _{n +1} попадает в интервал желаемый процент времени; их можно назвать « интервалами прогнозирования доверия ». ^[1]

Общая техника частотных интервалов прогнозирования заключается в поиске и вычислении основной величины наблюдаемых X ₁ , ...,  X _n ,  X _{n +1} – то есть функции наблюдаемых и параметров, распределение вероятностей которых не зависит от параметров – которую можно инвертировать, чтобы получить вероятность того, что будущее наблюдение X _{n +1} попадет в некоторый интервал, вычисленный в терминах наблюдаемых значений до сих пор. Такая основная величина, зависящая только от наблюдаемых, называется вспомогательной статистикой . ^[2] Обычный метод построения основных величин заключается в том, чтобы взять разность двух переменных, зависящих от местоположения, так что местоположение сокращается, а затем взять отношение двух переменных, зависящих от масштаба, так что масштаб сокращается. Наиболее известной основной величиной является t-статистика Стьюдента , которая может быть выведена этим методом и используется в дальнейшем. ${\displaystyle X_{1},\dots ,X_{n}.}$

Известное среднее значение, известная дисперсия

Интервал прогнозирования [ ℓ , u ] для будущего наблюдения X в нормальном распределении N ( μ , σ2 ) с известным средним значением и дисперсией может быть рассчитан ^из

${\displaystyle \gamma =P(\ell <X<u)=P\left({\frac {\ell -\mu }{\sigma }}<{\frac {X-\mu }{\sigma }}<{\frac {u-\mu }{\sigma }}\right)=P\left({\frac {\ell -\mu }{\sigma }}<Z<{\frac {u-\mu }{\sigma }}\right),}$

где , стандартная оценка X , распределена как стандартное нормальное. ${\displaystyle Z={\frac {X-\mu }{\sigma }}}$

Следовательно

${\displaystyle {\frac {\ell -\mu }{\sigma }}=-z,\quad {\frac {u-\mu }{\sigma }}=z,}$

или

${\displaystyle \ell =\mu -z\sigma ,\quad u=\mu +z\sigma ,}$

где z — квантиль в стандартном нормальном распределении, для которого:

${\displaystyle \gamma =P(-z<Z<z).}$

или эквивалентно;

${\displaystyle {\tfrac {1}{2}}(1-\gamma )=P(Z>z).}$

Интервал прогнозирования (по оси Y ) задан z (квантиль стандартной оценки по оси X ). Ось Y логарифмически сжата (но значения на ней не изменяются).

Интервал прогнозирования условно записывается как:

${\displaystyle \left[\mu -z\sigma ,\ \mu +z\sigma \right].}$

Например, чтобы вычислить 95% интервал прогнозирования для нормального распределения со средним значением ( μ ), равным 5, и стандартным отклонением ( σ ), равным 1, z приблизительно равно 2. Таким образом, нижний предел интервала прогнозирования приблизительно равен 5 ‒ (2⋅1) = 3, а верхний предел приблизительно равен 5 + (2⋅1) = 7, что дает интервал прогнозирования приблизительно от 3 до 7.

Диаграмма, показывающая кумулятивную функцию распределения для нормального распределения со средним значением ( μ ) 0 и дисперсией ( σ2 ) 1. В дополнение к _{^{функции}} квантиля интервал прогнозирования для любой стандартной оценки может быть рассчитан как (1 − (1 −  Φ _{μ ,} ^σ2 (стандартная оценка))⋅2). Например, стандартная оценка x  = 1,96 дает Φ _{μ , σ2 (1,96) = 0,9750 ,} что соответствует интервалу прогнозирования (1 − (1 − 0,9750)⋅2) = 0,9500 = 95% _^.

Оценка параметров

Для распределения с неизвестными параметрами прямой подход к прогнозированию заключается в оценке параметров и последующем использовании связанной функции квантиля — например, можно использовать выборочное среднее в качестве оценки для μ и выборочную дисперсию s ² в качестве оценки для σ ² . Здесь есть два естественных выбора для s ² — деление на дает несмещенную оценку, в то время как деление на n дает оценку максимального правдоподобия , и можно использовать любой из них. Затем можно использовать функцию квантиля с этими оцененными параметрами, чтобы получить интервал прогнозирования. ${\displaystyle {\overline {X}}}$ ${\displaystyle (n-1)}$ ${\displaystyle \Phi _{{\overline {X}},s^{2}}^{-1}}$

Этот подход пригоден для использования, но полученный интервал не будет иметь интерпретации повторной выборки ^[4] – это не прогнозируемый доверительный интервал.

Для дальнейшего используйте выборочное среднее:

${\displaystyle {\overline {X}}={\overline {X}}_{n}=(X_{1}+\cdots +X_{n})/n}$

и (несмещенная) выборочная дисперсия:

${\displaystyle s^{2}=s_{n}^{2}={1 \over n-1}\sum _{i=1}^{n}(X_{i}-{\overline {X}}_{n})^{2}}$

Неизвестное среднее, известная дисперсия

При условии ^[5] нормального распределения с неизвестным средним значением μ, но известной дисперсией 1, выборочное среднее значение наблюдений имеет распределение , в то время как будущее наблюдение имеет распределение. Взяв разницу между ними, мы сокращаем μ и получаем нормальное распределение дисперсии, таким образом ${\displaystyle {\overline {X}}}$ ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle N(\mu ,1/n),}$ ${\displaystyle X_{n+1}}$ ${\displaystyle N(\mu ,1).}$ ${\displaystyle 1+(1/n),}$

${\displaystyle {\frac {X_{n+1}-{\overline {X}}}{\sqrt {1+(1/n)}}}\sim N(0,1).}$

Решение для дает распределение предсказания, из которого можно вычислить интервалы, как и раньше. Это интервал предсказания доверия в том смысле, что если использовать квантильный диапазон 100 p %, то при повторных применениях этого вычисления будущее наблюдение будет попадать в предсказанный интервал 100 p % времени. ${\displaystyle X_{n+1}}$ ${\displaystyle N({\overline {X}},1+(1/n)),}$ ${\displaystyle X_{n+1}}$

Обратите внимание, что это распределение прогноза более консервативно, чем использование оценочного среднего и известной дисперсии 1, поскольку оно использует дисперсию , следовательно, дает более широкие интервалы. Это необходимо для сохранения желаемого свойства доверительного интервала. ${\displaystyle {\overline {X}}}$ ${\displaystyle 1+(1/n)}$

Известное среднее, неизвестная дисперсия

Наоборот, если задано нормальное распределение с известным средним значением 0, но неизвестной дисперсией , то выборочная дисперсия наблюдений имеет, с точностью до масштаба, распределение ; точнее: ${\displaystyle \sigma ^{2}}$ ${\displaystyle s^{2}}$ ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \scriptstyle \chi _{n-1}^{2}}$

${\displaystyle {\frac {(n-1)s_{n}^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}.}$

в то время как будущее наблюдение имеет распределение. Взяв отношение будущего наблюдения и выборочного стандартного отклонения ^{[ необходимо разъяснение ]} , мы сокращаем σ, получая распределение Стьюдента с n  – 1 степенями свободы : ${\displaystyle X_{n+1}}$ ${\displaystyle N(0,\sigma ^{2}).}$

${\displaystyle {\frac {X_{n+1}}{s}}\sim T^{n-1}.}$

Решение дает прогнозируемое распределение , из которого можно вычислить интервалы, как и раньше. ${\displaystyle X_{n+1}}$ ${\displaystyle sT^{n-1},}$

Обратите внимание, что это распределение прогноза более консервативно, чем использование нормального распределения с оценкой стандартного отклонения и известным средним значением 0, поскольку оно использует t-распределение вместо нормального распределения, следовательно, дает более широкие интервалы. Это необходимо для сохранения желаемого свойства доверительного интервала. ${\displaystyle s}$

Неизвестное среднее, неизвестная дисперсия

Объединяя вышеизложенное для нормального распределения с неизвестными μ и σ ^{2 ,} получаем следующую вспомогательную статистику: ^[6] ${\displaystyle N(\mu ,\sigma ^{2})}$

${\displaystyle {\frac {X_{n+1}-{\overline {X}}_{n}}{s_{n}{\sqrt {1+1/n}}}}\sim T^{n-1}}$

Эта простая комбинация возможна, поскольку выборочное среднее значение и выборочная дисперсия нормального распределения являются независимыми статистиками; это справедливо только для нормального распределения и фактически характеризует нормальное распределение.

Решение дает прогнозируемое распределение ${\displaystyle X_{n+1}}$

${\displaystyle {\overline {X}}_{n}+s_{n}{\sqrt {1+1/n}}\cdot T^{n-1}}$

Вероятность попадания в заданный интервал тогда равна: ${\displaystyle X_{n+1}}$

${\displaystyle \Pr \left({\overline {X}}_{n}-T_{a}s_{n}{\sqrt {1+(1/n)}}\leq X_{n+1}\leq {\overline {X}}_{n}+T_{a}s_{n}{\sqrt {1+(1/n)}}\,\right)=p}$

где T _a — 100((1 −  p )/2) ^-й процентиль распределения Стьюдента с n  − 1 степенями свободы. Следовательно, числа

${\displaystyle {\overline {X}}_{n}\pm T_{a}s_{n}{\sqrt {1+(1/n)}}}$

являются конечными точками 100(1 −  p )% интервала прогнозирования для . ${\displaystyle X_{n+1}}$

Непараметрические методы

Можно вычислить интервалы прогнозирования без каких-либо предположений относительно популяции, т.е. непараметрическим способом .

Метод остаточного бутстрапа можно использовать для построения непараметрических интервалов прогнозирования.

Конформное предсказание

В целом, метод конформного прогнозирования более общий. Давайте рассмотрим частный случай использования минимума и максимума в качестве границ для интервала прогнозирования: если у нас есть выборка идентичных случайных величин { X ₁ , ...,  X _n }, то вероятность того, что следующее наблюдение X _{n +1} будет наибольшим, равна 1/( n  + 1), поскольку все наблюдения имеют одинаковую вероятность быть максимальным. Точно так же вероятность того, что X _{n +1} будет наименьшим, равна 1/( n  + 1). В остальное ( n  − 1)/( n  + 1) время X _{n +1} попадает между максимумом и минимумом выборки { X ₁ , ...,  X _n }. Таким образом, обозначая максимум и минимум выборки через M и m, мы получаем ( n  − 1)/( n  + 1) интервал прогнозирования [ m ,  M ].

Обратите внимание, что хотя это дает вероятность того, что будущее наблюдение попадет в диапазон, это не дает никакой оценки того, где в сегменте оно попадет – в частности, если оно выходит за пределы диапазона наблюдаемых значений, оно может быть далеко за пределами диапазона. См. теорию экстремальных значений для дальнейшего обсуждения. Формально это применимо не только к выборке из популяции, но и к любой заменяемой последовательности случайных величин, не обязательно независимых или одинаково распределенных .

Контраст с другими интервалами

Контраст с доверительными интервалами

В формуле для прогнозного доверительного интервала не упоминаются ненаблюдаемые параметры μ и σ среднего значения совокупности и стандартного отклонения — используются наблюдаемые выборочные статистики , а также выборочное среднее значение и стандартное отклонение, а оценивается результат будущих выборок. ${\displaystyle {\overline {X}}_{n}}$ ${\displaystyle S_{n}}$

При рассмотрении интервалов прогнозирования вместо использования выборочной статистики в качестве оценщиков параметров популяции и применения доверительных интервалов к этим оценкам рассматривается «следующая выборка» как сама по себе статистика и вычисляется ее выборочное распределение . ${\displaystyle X_{n+1}}$

В доверительных интервалах параметров оцениваются параметры популяции; если кто-то хочет интерпретировать это как прогнозирование следующей выборки, он моделирует «следующую выборку» как выборку из этой оценочной популяции, используя (оцененное) распределение популяции . Напротив, в доверительных интервалах прогнозирования используется выборочное распределение (статистика) выборки из n или n  + 1 наблюдений из такой популяции, и распределение популяции напрямую не используется, хотя предположение о его форме (но не значения его параметров) используется при вычислении выборочного распределения.

В регрессионном анализе

Распространенным применением интервалов прогнозирования является регрессионный анализ .

Предположим, что данные моделируются с помощью прямой линейной регрессии:

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}\,}$

где — переменная отклика , — объясняющая переменная , ε _i — случайная ошибка, а и — параметры. ${\displaystyle y_{i}}$ ${\displaystyle x_{i}}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$

При заданных оценках и параметрах, например, из простой линейной регрессии , прогнозируемое значение отклика y _d для заданного объясняющего значения x _d равно ${\displaystyle {\hat {\alpha }}}$ ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\hat {y}}_{d}={\hat {\alpha }}+{\hat {\beta }}x_{d},}$

(точка на линии регрессии), тогда как фактический ответ будет

${\displaystyle y_{d}=\alpha +\beta x_{d}+\varepsilon _{d}.\,}$

Точечная оценка называется средним откликом и _{представляет} собой оценку ожидаемого значения y d , ${\displaystyle {\hat {y}}_{d}}$ ${\displaystyle E(y\mid x_{d}).}$

Вместо этого интервал прогнозирования дает интервал, в котором ожидается падение y _d ; это не обязательно, если известны фактические параметры α и β (вместе с ошибкой ε _i ), но если оценка выполняется на основе выборки , то можно использовать стандартную ошибку оценок для отсекаемого значения и наклона ( и ), а также их корреляцию, чтобы вычислить интервал прогнозирования. ${\displaystyle {\hat {\alpha }}}$ ${\displaystyle {\hat {\beta }}}$

В регрессии Фаравей (2002, стр. 39) проводит различие между интервалами для прогнозов среднего отклика и для прогнозов наблюдаемого отклика, что по существу влияет на включение или невключение единичного члена в квадратный корень в коэффициентах расширения выше; подробности см. в Фаравее (2002).

Байесовская статистика

Сеймур Гейссер , сторонник предсказательного вывода, предлагает предсказательное применение байесовской статистики . ^[7]

В байесовской статистике можно вычислить (байесовские) интервалы предсказания из апостериорной вероятности случайной величины, как достоверный интервал . В теоретической работе достоверные интервалы часто вычисляются не для предсказания будущих событий, а для вывода параметров – т. е. достоверные интервалы параметра, а не для результатов самой переменной. Однако, особенно там, где приложения связаны с возможными экстремальными значениями еще не наблюдавшихся случаев, достоверные интервалы для таких значений могут иметь практическое значение.

Приложения

Интервалы прогнозирования обычно используются в качестве определений референтных диапазонов , таких как референтные диапазоны для анализов крови, чтобы дать представление о том, является ли анализ крови нормальным или нет. Для этой цели наиболее часто используемым интервалом прогнозирования является 95%-ный интервал прогнозирования, а референтный диапазон, основанный на нем, можно назвать стандартным референтным диапазоном .

Смотрите также

• Экстраполяция
• Апостериорная вероятность
• Прогноз
• Диапазон предсказаний
• Сеймур Гейссер
• Статистическая проверка модели
• Оценка тренда

Примечания

1. Гейссер (1993, стр. 6): Глава 2: Небайесовские прогностические подходы
2. Гейссер (1993, стр. 7)
3. Таблица A2 в Sterne & Kirkwood (2003, стр. 472)
4. Гейссер (1993, стр. 8–9)
5. Гейссер (1993, стр. 7–)
6. Гейссер (1993, пример 2.2, стр. 9–10)
7. Гейссер (1993)

Ссылки

• Фаравей, Джулиан Дж. (2002), Практическая регрессия и дисперсионный анализ с использованием R (PDF)
• Гейссер, Сеймур (1993), Предсказательный вывод , CRC Press
• Стерн, Джонатан; Кирквуд, Бетти Р. (2003), Essential Medical Statistics , Blackwell Science , ISBN 0-86542-871-9

Дальнейшее чтение

• Чатфилд, К. (1993). «Расчет интервальных прогнозов». Журнал деловой и экономической статистики . 11 (2): 121–135. doi :10.2307/1391361. JSTOR  1391361.
• Лоулесс, Дж. Ф.; Фредетт, М. (2005). «Частотные интервалы прогнозирования и предсказательные распределения». Biometrika . 92 (3): 529–542. doi : 10.1093/biomet/92.3.529 .
• Мид, Н.; Ислам, Т. (1995). «Интервалы прогнозирования для прогнозов кривой роста». Журнал прогнозирования . 14 (5): 413–430. doi :10.1002/for.3980140502.
• ISO 16269-8 Стандарт интерпретации данных, часть 8, определение интервалов прогнозирования