Регион доверия

В статистике доверительная область — это многомерное обобщение доверительного интервала . Это набор точек в n -мерном пространстве, часто представленный в виде эллипсоида вокруг точки, которая является предполагаемым решением задачи, хотя могут встречаться и другие формы.

Интерпретация

Доверительная область рассчитывается таким образом, что если бы набор измерений был повторен много раз и доверительная область рассчитывалась бы одинаково для каждого набора измерений, то определенный процент времени (например, 95%) доверительная область включала бы точку, представляющую «истинные» значения набора оцениваемых переменных. Однако, если не сделаны определенные предположения о априорных вероятностях , это не означает, что при расчете одной доверительной области существует 95%-ная вероятность того, что «истинные» значения лежат внутри области, поскольку мы не предполагаем какого-либо конкретного распределения вероятностей «истинных» значений, и у нас может быть или не быть другой информации о том, где они, вероятно, будут лежать.

Случай независимых, одинаково нормально распределенных ошибок

Предположим, что мы нашли решение следующей переопределенной задачи: ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$

где Y — n -мерный вектор-столбец, содержащий наблюдаемые значения зависимой переменной , X — матрица размером n на p наблюдаемых значений независимых переменных (которая может представлять физическую модель), которая, как предполагается, известна точно, — вектор-столбец, содержащий p параметров, которые необходимо оценить, и — n -мерный вектор-столбец ошибок, которые, как предполагается, распределены независимо с нормальным распределением с нулевым средним и каждая из которых имеет одинаковую неизвестную дисперсию . ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\boldsymbol {\varepsilon }}}$ ${\displaystyle \sigma ^{2}}$

Совместная область 100(1 −  α ) % доверительной вероятности для элементов представлена ​​набором значений вектора b , которые удовлетворяют следующему неравенству: ^[1] ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle ({\boldsymbol {\hat {\beta }}}-\mathbf {b} )^{\operatorname {T} }\mathbf {X} ^{\operatorname {T} }\mathbf {X} ({\boldsymbol {\hat {\beta }}}-\mathbf {b} )\leq ps^{2}F_{1-\alpha }(p,\nu ),}$

где переменная b представляет любую точку в доверительной области, p - число параметров, т.е. число элементов вектора - вектор оцененных параметров, а s ² - приведенный хи-квадрат , несмещенная оценка , равная ${\displaystyle {\boldsymbol {\beta }},}$ ${\displaystyle {\boldsymbol {\hat {\beta }}}}$ ${\displaystyle \sigma ^{2}}$

${\displaystyle s^{2}={\frac {\varepsilon ^{\operatorname {T} }\varepsilon }{n-p}}.}$

Далее, F — это квантильная функция F-распределения , где p и степени свободы — уровень статистической значимости , а символ означает транспонирование . ${\displaystyle \nu =n-p}$ ${\displaystyle \alpha }$ ${\displaystyle X^{\operatorname {T} }}$ ${\displaystyle X}$

Выражение можно переписать так:

${\displaystyle ({\boldsymbol {\hat {\beta }}}-\mathbf {b} )^{\operatorname {T} }\mathbf {C} _{\mathbf {\beta } }^{-1}({\boldsymbol {\hat {\beta }}}-\mathbf {b} )\leq pF_{1-\alpha }(p,\nu ),}$

где — ковариационная матрица, масштабированная по методу наименьших квадратов . ${\displaystyle \mathbf {C} _{\mathbf {\beta } }=s^{2}\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}}$ ${\displaystyle {\boldsymbol {\hat {\beta }}}}$

Вышеуказанное неравенство определяет эллипсоидальную область в p -мерном декартовом пространстве параметров R ^p . Центр эллипсоида находится в точке . Согласно Прессу и др., проще построить эллипсоид после выполнения сингулярного разложения . Длины осей эллипсоида пропорциональны обратным величинам значений на диагоналях диагональной матрицы, а направления этих осей задаются строками 3-й матрицы разложения. ${\displaystyle {\boldsymbol {\hat {\beta }}}}$

Взвешенные и обобщенные наименьшие квадраты

Теперь рассмотрим более общий случай, когда некоторые отдельные элементы имеют известную ненулевую ковариацию (другими словами, ошибки в наблюдениях не распределены независимо), и/или стандартные отклонения ошибок не все равны. Предположим, что ковариационная матрица равна , где V — невырожденная матрица размером n на n , которая была равна в более конкретном случае, рассмотренном в предыдущем разделе (где I — единичная матрица ,), но здесь допускается наличие ненулевых недиагональных элементов, представляющих ковариацию пар отдельных наблюдений, а также не обязательно наличие всех диагональных элементов равными. ${\displaystyle {\boldsymbol {\varepsilon }}}$ ${\displaystyle {\boldsymbol {\varepsilon }}}$ ${\displaystyle \mathbf {V} \sigma ^{2}}$ ${\displaystyle \mathbf {I} }$

Можно найти ^[2] невырожденную симметричную матрицу P такую, что

${\displaystyle \mathbf {P} ^{\prime }\mathbf {P} =\mathbf {P} \mathbf {P} =\mathbf {V} }$

По сути, P представляет собой квадратный корень ковариационной матрицы V.

Задача наименьших квадратов

${\displaystyle \mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$

затем можно преобразовать, умножив слева каждый член на обратный член P , сформировав новую формулировку задачи

${\displaystyle \mathbf {Z} =\mathbf {Q} {\boldsymbol {\beta }}+\mathbf {f} ,}$

где

${\displaystyle \mathbf {Z} =\mathbf {P} ^{-1}\mathbf {Y} }$

${\displaystyle \mathbf {Q} =\mathbf {P} ^{-1}\mathbf {X} }$и

${\displaystyle \mathbf {f} =\mathbf {P} ^{-1}{\boldsymbol {\varepsilon }}}$

Совместная доверительная область для параметров, т.е. для элементов , тогда ограничивается эллипсоидом, заданным формулой: ^[3] ${\displaystyle {\boldsymbol {\beta }}}$

${\displaystyle (\mathbf {b} -{\boldsymbol {\hat {\beta }}})^{\prime }\mathbf {Q} ^{\prime }\mathbf {Q} (\mathbf {b} -{\boldsymbol {\hat {\beta }}})={\frac {p}{n-p}}(\mathbf {Z} ^{\prime }\mathbf {Z} -\mathbf {b} ^{\prime }\mathbf {Q} ^{\prime }\mathbf {Z} )F_{1-\alpha }(p,n-p).}$

Здесь F представляет собой процентную точку F -распределения , а величины p и np — степени свободы , которые являются параметрами этого распределения.

Нелинейные проблемы

Доверительные области могут быть определены для любого распределения вероятностей. Экспериментатор может выбрать уровень значимости и форму области, а затем размер области определяется распределением вероятностей. Естественным выбором является использование в качестве границы набора точек с постоянными ( хи-квадрат ) значениями. ${\displaystyle \chi ^{2}}$

Один из подходов заключается в использовании линейного приближения к нелинейной модели, которое может быть близким приближением в окрестности решения, а затем применении анализа для линейной задачи для нахождения приблизительной доверительной области. Это может быть разумным подходом, если доверительная область не очень велика и вторые производные модели также не очень велики.

Также можно использовать подходы бутстрэппинга . ^[4]

Смотрите также

• Вероятная круговая ошибка
• Линейная регрессия
• Полоса уверенности
• Достоверный регион

Примечания

1. Дрейпер и Смит (1981, стр. 94)
2. Дрейпер и Смит (1981, стр. 108)
3. Дрейпер и Смит (1981, стр. 109)
4. Hutton TJ, Buxton BF, Hammond P, Potts HWW (2003). Оценка траекторий среднего роста в пространстве форм с использованием сглаживания ядра. IEEE Transactions on Medical Imaging , 22 (6):747-53

Ссылки

• Draper, NR; H. Smith (1981) [1966]. Прикладной регрессионный анализ (2-е изд.). США: John Wiley and Sons Ltd. ISBN 0-471-02995-5.
• Press, WH; SA Teukolsky; WT Vetterling; BP Flannery (1992) [1988]. Численные рецепты на языке C: Искусство научных вычислений (2-е изд.). Кембридж, Великобритания: Cambridge University Press.