Теорема Кокрена

В статистике теорема Кокрана , разработанная Уильямом Г. Кокраном , ^[1] представляет собой теорему , используемую для обоснования результатов, касающихся вероятностных распределений статистики, которые используются в дисперсионном анализе . ^[2]

Заявление

Пусть U ₁ , ..., UN — стандартные нормально распределенные _{случайные} величины и . Пусть – симметричные матрицы . Определите r _i как ранг . _ Определим , так что Q _i являются квадратичными формами . Дальше предположим . ${\displaystyle U=[U_{1},...,U_{N}]^{T}}$ ${\displaystyle B^{(1)},B^{(2)},\ldots ,B^{(k)}}$ ${\displaystyle B^{(i)}}$ ${\displaystyle Q_{i}=U^{T}B^{(i)}U}$ ${\displaystyle \sum _{i}Q_{i}=U^{T}U}$

Теорема Кокрана утверждает, что следующие утверждения эквивалентны:

• ${\displaystyle r_{1}+\cdots +r_{k}=N}$,
• Q _i независимы _ _
• каждый Q _i имеет распределение хи-квадрат с r _i степенями свободы . ^{[1] [3]}

Часто это указывается как , где идемпотент, и заменяется на . Но после ортогонального преобразования , и так мы сводимся к приведенной выше теореме. ${\displaystyle \sum _{i}A_{i}=A}$ ${\displaystyle A}$ ${\displaystyle \sum _{i}r_{i}=N}$ ${\displaystyle \sum _{i}r_{i}=rank(A)}$ ${\displaystyle A=diag(I_{M},0)}$

Доказательство

Утверждение : Пусть будет стандартным гауссианом в , тогда для любых симметричных матриц , если и имеют одинаковое распределение, то имеют одинаковые собственные значения (с точностью до кратности). ${\displaystyle X}$ ${\displaystyle \mathbb {R} ^{n}}$ ${\displaystyle Q,Q'}$ ${\displaystyle X^{T}QX}$ ${\displaystyle X^{T}Q'X}$ ${\displaystyle Q,Q'}$

Доказательство

Пусть собственные значения будут , затем вычислите характеристическую функцию . Оказывается, ${\displaystyle Q}$ ${\displaystyle \lambda _{1},...,\lambda _{n}}$ ${\displaystyle X^{T}QX}$

${\displaystyle \phi (t)=\left(\prod _{j}(1-2i\lambda _{j}t)\right)^{-1/2}}$

(Чтобы его вычислить, сначала диагонализуйте , перейдите в эту систему отсчета, а затем используйте тот факт, что характеристическая функция суммы независимых переменных является произведением их характеристических функций.) ${\displaystyle Q}$

Для того чтобы и были равны, их характеристические функции должны быть равны, а значит, иметь одинаковые собственные значения (с точностью до кратности). ${\displaystyle X^{T}QX}$ ${\displaystyle X^{T}Q'X}$ ${\displaystyle Q,Q'}$

Требовать : . ${\displaystyle I=\sum _{i}B_{i}}$

Доказательство

${\displaystyle U^{T}(I-\sum _{i}B_{i})U=0}$. Поскольку симметричен, и по предыдущему утверждению имеет те же собственные значения, что и 0. ${\displaystyle (I-\sum _{i}B_{i})}$ ${\displaystyle U^{T}(I-\sum _{i}B_{i})U=^{d}U^{T}0U}$ ${\displaystyle (I-\sum _{i}B_{i})}$

Лемма : Если все симметричны и имеют собственные значения 0, 1, то они одновременно диагонализуемы. ${\displaystyle \sum _{i}M_{i}=I}$ ${\displaystyle M_{i}}$

Доказательство

Зафиксируйте i и рассмотрим собственные векторы v такого, что . Дальше у нас так все . Таким образом, мы получаем расщепление на , такое, что V является 1-собственным пространством , и в 0-собственных пространствах всех остальных . Теперь проведите индукцию, перейдя в . ${\displaystyle M_{i}}$ ${\displaystyle M_{i}v=v}$ ${\displaystyle v^{T}v=v^{T}Iv=v^{T}v+\sum _{j\neq i}v^{T}M_{j}v}$ ${\displaystyle v^{T}M_{j}v=0}$ ${\displaystyle \mathbb {R} ^{N}}$ ${\displaystyle V\oplus V^{\perp }}$ ${\displaystyle M_{i}}$ ${\displaystyle M_{j}}$ ${\displaystyle V^{\perp }}$

Теперь докажем исходную теорему. Мы докажем, что эти три случая эквивалентны, доказав, что каждый случай влечет за собой следующий в цикле ( ). ${\displaystyle 1\to 2\to 3\to 1}$

Доказательство

Случай : Все независимы ${\displaystyle Q_{i}}$

Исправьте некоторые , определите и диагонализируйте с помощью ортогонального преобразования . Тогда считайте . Он также диагонализирован. ${\displaystyle i}$ ${\displaystyle C_{i}=I-B_{i}=\sum _{j\neq i}B_{j}}$ ${\displaystyle B_{i}}$ ${\displaystyle O}$ ${\displaystyle OC_{i}O^{T}=I-OB_{i}O^{T}}$

Пусть , тогда оно также является стандартным гауссовским. Тогда у нас есть ${\displaystyle W=OU}$

${\displaystyle Q_{i}=W^{T}(OB_{i}O^{T})W;\quad \sum _{j\neq i}Q_{j}=W^{T}(I-OB_{i}O^{T})W}$

Проверьте их диагональные элементы и убедитесь, что это означает, что их ненулевые диагональные элементы не пересекаются. ${\displaystyle Q_{i}\perp \sum _{j\neq i}Q_{j}}$

Таким образом, все собственные значения равны 0, 1, как и расстояние со степенями свободы. ${\displaystyle B_{i}}$ ${\displaystyle Q_{i}}$ ${\displaystyle \chi ^{2}}$ ${\displaystyle r_{i}}$

Случай : Каждый является распределением. ${\displaystyle Q_{i}}$ ${\displaystyle \chi ^{2}(r_{i})}$

Исправьте любой , диагонализуйте его ортогональным преобразованием и переиндексируйте так, чтобы . Тогда для некоторых сферическое вращение . ${\displaystyle i}$ ${\displaystyle O}$ ${\displaystyle OB_{i}O^{T}=diag(\lambda _{1},...,\lambda _{r_{i}},0,...,0)}$ ${\displaystyle Q_{i}=\sum _{j}\lambda _{j}{U'}_{j}^{2}}$ ${\displaystyle U'_{j}}$ ${\displaystyle U_{i}}$

Так как мы получаем все . Так что все и имеют собственные значения . ${\displaystyle Q_{i}\sim \chi ^{2}(r_{i})}$ ${\displaystyle \lambda _{j}=1}$ ${\displaystyle B_{i}\succeq 0}$ ${\displaystyle 0,1}$

Так что диагонали их одновременно, сложите их, чтобы найти . ${\displaystyle \sum _{i}r_{i}=N}$

Случай : . ${\displaystyle r_{1}+\cdots +r_{k}=N}$

Сначала мы покажем, что матрицы B ^{( i )} могут быть одновременно диагонализированы ортогональной матрицей и что все их ненулевые собственные значения равны +1. Как только это будет показано, примените это ортогональное преобразование к этому одновременному собственному базису , в котором случайный вектор становится , но все еще независимы и стандартны по Гауссу. Затем следует результат. ${\displaystyle [U_{1},...,U_{N}]^{T}}$ ${\displaystyle [U'_{1},...,U'_{N}]^{T}}$ ${\displaystyle U_{i}'}$

Каждая из матриц B ^{( i )} имеет ранг r _i и, следовательно, r _i ненулевые собственные значения . Для каждого i сумма имеет не более ранга . Поскольку , отсюда следует, что C ^{( i )} имеет ровно ранг N  −  r _i . ${\displaystyle C^{(i)}\equiv \sum _{j\neq i}B^{(j)}}$ ${\displaystyle \sum _{j\neq i}r_{j}=N-r_{i}}$ ${\displaystyle B^{(i)}+C^{(i)}=I_{N\times N}}$

Следовательно, B ^{( i )} и C ^{( i )} могут быть одновременно диагонализированы . Это можно показать, сначала диагонализуя B ^{( i )} по спектральной теореме . В этом базисе он имеет вид:

${\displaystyle {\begin{bmatrix}\lambda _{1}&0&0&\cdots &\cdots &&0\\0&\lambda _{2}&0&\cdots &\cdots &&0\\0&0&\ddots &&&&\vdots \\\vdots &\vdots &&\lambda _{r_{i}}&&\\\vdots &\vdots &&&0&\\0&\vdots &&&&\ddots \\0&0&\ldots &&&&0\end{bmatrix}}.}$

Таким образом, нижние строки равны нулю. Так как , то из этого следует, что эти строки в C ^{( i )} в этом базисе содержат правый блок, который является единичной матрицей, с нулями в остальных этих строках. Но поскольку C ^{( i )} имеет ранг N  −  r _i , в другом месте он должен быть равен нулю. Следовательно, и в этом базисе он диагональен. Отсюда следует, что все ненулевые собственные значения как B ^{( i ),} так и C ^{( i )} равны +1. Этот аргумент применим для всех i , поэтому все B ^{( i )} положительно полуопределены. ${\displaystyle (N-r_{i})}$ ${\displaystyle C^{(i)}=I-B^{(i)}}$ ${\displaystyle (N-r_{i})\times (N-r_{i})}$

Более того, приведенный выше анализ можно повторить в диагональном базисе для . В этом базисе находится тождество векторного пространства, поэтому следует, что оба B ⁽²⁾ и одновременно диагонализуемы в этом векторном пространстве (а значит, и вместе с B ⁽¹⁾ ). Путем итерации следует, что все B -s одновременно диагонализуемы. ${\displaystyle C^{(1)}=B^{(2)}+\sum _{j>2}B^{(j)}}$ ${\displaystyle C^{(1)}}$ ${\displaystyle (N-r_{1})\times (N-r_{1})}$ ${\displaystyle \sum _{j>2}B^{(j)}}$

Таким образом, существует ортогональная матрица такая, что для всех , является диагональной, где любой элемент с индексами , , равен 1, а любой элемент с другими индексами равен 0. ${\displaystyle S}$ ${\displaystyle i}$ ${\displaystyle S^{\mathrm {T} }B^{(i)}S\equiv B^{(i)\prime }}$ ${\displaystyle B_{x,y}^{(i)\prime }}$ ${\displaystyle x=y}$ ${\displaystyle \sum _{j=1}^{i-1}r_{j}<x=y\leq \sum _{j=1}^{i}r_{j}}$

Примеры

Выборочное среднее и выборочная дисперсия

Если X ₁ , ..., X _n — независимые нормально распределенные случайные величины со средним значением µ и стандартным отклонением σ , то

${\displaystyle U_{i}={\frac {X_{i}-\mu }{\sigma }}}$

является стандартным нормальным для каждого i . Обратите внимание, что общее количество Q равно сумме квадратов U , как показано здесь:

${\displaystyle \sum _{i}Q_{i}=\sum _{jik}U_{j}B_{jk}^{(i)}U_{k}=\sum _{jk}U_{j}U_{k}\sum _{i}B_{jk}^{(i)}=\sum _{jk}U_{j}U_{k}\delta _{jk}=\sum _{j}U_{j}^{2}}$

что вытекает из исходного предположения, что . Поэтому вместо этого мы рассчитаем эту величину, а затем разделим ее на Q _i . Можно написать ${\displaystyle B_{1}+B_{2}\ldots =I}$

${\displaystyle \sum _{i=1}^{n}U_{i}^{2}=\sum _{i=1}^{n}\left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}}$

(вот выборочное среднее значение ). Чтобы увидеть это тождество, умножьте все на и обратите внимание, что ${\displaystyle {\overline {X}}}$ ${\displaystyle \sigma ^{2}}$

${\displaystyle \sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}}+{\overline {X}}-\mu )^{2}}$

и расширить, чтобы дать

${\displaystyle \sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+\sum ({\overline {X}}-\mu )^{2}+2\sum (X_{i}-{\overline {X}})({\overline {X}}-\mu ).}$

Третий член равен нулю, поскольку он равен константе, умноженной на

${\displaystyle \sum ({\overline {X}}-X_{i})=0,}$

а второй член состоит из n одинаковых членов, сложенных вместе. Таким образом

${\displaystyle \sum (X_{i}-\mu )^{2}=\sum (X_{i}-{\overline {X}})^{2}+n({\overline {X}}-\mu )^{2},}$

и поэтому

${\displaystyle \sum \left({\frac {X_{i}-\mu }{\sigma }}\right)^{2}=\sum \left({\frac {X_{i}-{\overline {X}}}{\sigma }}\right)^{2}+n\left({\frac {{\overline {X}}-\mu }{\sigma }}\right)^{2}=\overbrace {\sum _{i}\left(U_{i}-{\frac {1}{n}}\sum _{j}{U_{j}}\right)^{2}} ^{Q_{1}}+\overbrace {{\frac {1}{n}}\left(\sum _{j}{U_{j}}\right)^{2}} ^{Q_{2}}=Q_{1}+Q_{2}.}$

Теперь с матрицей единиц ранга 1. В свою очередь, учитывая, что . Это выражение также можно получить, разложив его в матричной записи. Можно показать, что ранг функции равен нулю, поскольку сумма всех ее строк равна нулю. Таким образом, условия теоремы Кокрена выполнены. ${\displaystyle B^{(2)}={\frac {J_{n}}{n}}}$ ${\displaystyle J_{n}}$ ${\displaystyle B^{(1)}=I_{n}-{\frac {J_{n}}{n}}}$ ${\displaystyle I_{n}=B^{(1)}+B^{(2)}}$ ${\displaystyle Q_{1}}$ ${\displaystyle B^{(1)}}$ ${\displaystyle n-1}$

Теорема Кокрена тогда утверждает, что Q ₁ и Q ₂ независимы, с распределениями хи-квадрат с n - 1 и 1 степенью свободы соответственно. Это показывает, что выборочное среднее и выборочная дисперсия независимы. Это также можно показать с помощью теоремы Басу , и фактически это свойство характеризует нормальное распределение – поскольку никакое другое распределение не является независимым от выборочного среднего и выборочной дисперсии. ^[4]

Распределения

Результат для распределений символически записывается как

${\displaystyle \sum \left(X_{i}-{\overline {X}}\right)^{2}\sim \sigma ^{2}\chi _{n-1}^{2}.}$

${\displaystyle n({\overline {X}}-\mu )^{2}\sim \sigma ^{2}\chi _{1}^{2},}$

Обе эти случайные величины пропорциональны истинной, но неизвестной дисперсии σ ² . При этом их соотношение не зависит от σ ² а, поскольку они статистически независимы. Распределение их отношения определяется выражением

${\displaystyle {\frac {n\left({\overline {X}}-\mu \right)^{2}}{{\frac {1}{n-1}}\sum \left(X_{i}-{\overline {X}}\right)^{2}}}\sim {\frac {\chi _{1}^{2}}{{\frac {1}{n-1}}\chi _{n-1}^{2}}}\sim F_{1,n-1}}$

где F _{1, n  − 1} — F-распределение с 1 и n  − 1 степенями свободы (см. также t-распределение Стьюдента ). Последним шагом здесь является определение случайной величины, имеющей F-распределение.

Оценка дисперсии

Для оценки дисперсии σ2 иногда используется оценка максимального правдоподобия дисперсии нормального распределения ^.

${\displaystyle {\widehat {\sigma }}^{2}={\frac {1}{n}}\sum \left(X_{i}-{\overline {X}}\right)^{2}.}$

Теорема Кокрена показывает, что

${\displaystyle {\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\sim \chi _{n-1}^{2}}$

а свойства распределения хи-квадрат показывают, что

${\displaystyle {\begin{aligned}E\left({\frac {n{\widehat {\sigma }}^{2}}{\sigma ^{2}}}\right)&=E\left(\chi _{n-1}^{2}\right)\\{\frac {n}{\sigma ^{2}}}E\left({\widehat {\sigma }}^{2}\right)&=(n-1)\\E\left({\widehat {\sigma }}^{2}\right)&={\frac {\sigma ^{2}(n-1)}{n}}\end{aligned}}}$

Альтернативная формулировка

Следующая версия часто встречается при рассмотрении линейной регрессии. ^[5] Предположим, что это стандартный многомерный нормальный случайный вектор (здесь обозначает n -n единичную матрицу ), и if - все n -n симметричные матрицы с . Тогда при определении любое из следующих условий влечет за собой два других: ${\displaystyle Y\sim N_{n}(0,\sigma ^{2}I_{n})}$ ${\displaystyle I_{n}}$ ${\displaystyle A_{1},\ldots ,A_{k}}$ ${\displaystyle \sum _{i=1}^{k}A_{i}=I_{n}}$ ${\displaystyle r_{i}=\operatorname {Rank} (A_{i})}$

• ${\displaystyle \sum _{i=1}^{k}r_{i}=n,}$
• ${\displaystyle Y^{T}A_{i}Y\sim \sigma ^{2}\chi _{r_{i}}^{2}}$ (таким образом, они положительно полуопределенны ) ${\displaystyle A_{i}}$
• ${\displaystyle Y^{T}A_{i}Y}$не зависит от ${\displaystyle Y^{T}A_{j}Y}$ ${\displaystyle i\neq j.}$

Смотрите также

• Теорема Крамера о разложении нормального распределения
• Бесконечная делимость (вероятность)

Рекомендации

1. Кокран, WG (апрель 1934 г.). «Распределение квадратичных форм в нормальной системе с приложениями к ковариационному анализу». Математические труды Кембриджского философского общества . 30 (2): 178–191. дои : 10.1017/S0305004100016595.
2. Бапат, РБ (2000). Линейная алгебра и линейные модели (второе изд.). Спрингер. ISBN 978-0-387-98871-9.
3. «Теорема Кокрана», Статистический словарь , Oxford University Press, 01 января 2008 г., doi : 10.1093/acref/9780199541454.001.0001/acref-9780199541454-e-294, ISBN 978-0-19-954145-4, получено 18 мая 2022 г.
4. Гири, RC (1936). «Распределение коэффициента «Студента» для ненормальных выборок». Приложение к журналу Королевского статистического общества . 3 (2): 178–184. дои : 10.2307/2983669. ЖФМ  63.1090.03. JSTOR  2983669.
5. «Теорема Кокрана (Краткое руководство)» (PDF) .