Квадратичная форма (статистика)

В многомерной статистике , если - вектор случайных величин и -мерная симметричная матрица , то скалярная величина известна как квадратичная форма в . ${\displaystyle \varepsilon }$ ${\displaystyle n}$ ${\displaystyle \Lambda }$ ${\displaystyle n}$ ${\displaystyle \varepsilon ^{T}\Lambda \varepsilon }$ ${\displaystyle \varepsilon }$

Ожидание

Можно показать, что ^[1]

${\displaystyle \operatorname {E} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=\operatorname {tr} \left[\Lambda \Sigma \right]+\mu ^{T}\Lambda \mu }$

где и являются ожидаемым значением и матрицей дисперсии-ковариации соответственно , а tr обозначает след матрицы. Этот результат зависит только от существования и ; в частности , нормальность не требуется . ${\displaystyle \mu }$ ${\displaystyle \Sigma }$ ${\displaystyle \varepsilon }$ ${\displaystyle \mu }$ ${\displaystyle \Sigma }$ ${\displaystyle \varepsilon }$

Книжная трактовка темы квадратичных форм случайных величин принадлежит Матаи и Провосту. ^[2]

Доказательство

Поскольку квадратичная форма является скалярной величиной, . ${\displaystyle \varepsilon ^{T}\Lambda \varepsilon =\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )}$

Далее, по циклическому свойству оператора трассировки ,

${\displaystyle \operatorname {E} [\operatorname {tr} (\varepsilon ^{T}\Lambda \varepsilon )]=\operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})].}$

Поскольку оператор следа представляет собой линейную комбинацию компонентов матрицы, из линейности оператора ожидания следует, что

${\displaystyle \operatorname {E} [\operatorname {tr} (\Lambda \varepsilon \varepsilon ^{T})]=\operatorname {tr} (\Lambda \operatorname {E} (\varepsilon \varepsilon ^{T})).}$

Стандартное свойство дисперсий говорит нам, что это

${\displaystyle \operatorname {tr} (\Lambda (\Sigma +\mu \mu ^{T})).}$

Снова применяя циклическое свойство оператора трассировки, получаем

${\displaystyle \operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\Lambda \mu \mu ^{T})=\operatorname {tr} (\Lambda \Sigma )+\operatorname {tr} (\mu ^{T}\Lambda \mu )=\operatorname {tr} (\Lambda \Sigma )+\mu ^{T}\Lambda \mu .}$

Дисперсия в гауссовском случае

В общем, дисперсия квадратичной формы сильно зависит от распределения . Однако если оно действительно следует многомерному нормальному распределению, дисперсия квадратичной формы становится особенно управляемой. Предположим на данный момент, что это симметричная матрица. Затем, ${\displaystyle \varepsilon }$ ${\displaystyle \varepsilon }$ ${\displaystyle \Lambda }$

${\displaystyle \operatorname {var} \left[\varepsilon ^{T}\Lambda \varepsilon \right]=2\operatorname {tr} \left[\Lambda \Sigma \Lambda \Sigma \right]+4\mu ^{T}\Lambda \Sigma \Lambda \mu }$. ^[3]

Фактически, это можно обобщить, чтобы найти ковариацию между двумя квадратичными формами (опять же, и обе должны быть симметричными): ${\displaystyle \varepsilon }$ ${\displaystyle \Lambda _{1}}$ ${\displaystyle \Lambda _{2}}$

${\displaystyle \operatorname {cov} \left[\varepsilon ^{T}\Lambda _{1}\varepsilon ,\varepsilon ^{T}\Lambda _{2}\varepsilon \right]=2\operatorname {tr} \left[\Lambda _{1}\Sigma \Lambda _{2}\Sigma \right]+4\mu ^{T}\Lambda _{1}\Sigma \Lambda _{2}\mu }$. ^[4]

Кроме того, такая квадратичная форма соответствует обобщенному распределению хи-квадрат .

Вычисление дисперсии в несимметричном случае

Случай общего можно вывести, заметив, что ${\displaystyle \Lambda }$

${\displaystyle \varepsilon ^{T}\Lambda ^{T}\varepsilon =\varepsilon ^{T}\Lambda \varepsilon }$

так

${\displaystyle \varepsilon ^{T}{\tilde {\Lambda }}\varepsilon =\varepsilon ^{T}\left(\Lambda +\Lambda ^{T}\right)\varepsilon /2}$

является квадратичной формой в симметричной матрице , поэтому выражения среднего и дисперсии одинаковы, если они заменены на . ${\displaystyle {\tilde {\Lambda }}=\left(\Lambda +\Lambda ^{T}\right)/2}$ ${\displaystyle \Lambda }$ ${\displaystyle {\tilde {\Lambda }}}$

Примеры квадратичных форм

В ситуации, когда имеется набор наблюдений и операторная матрица , остаточная сумма квадратов может быть записана в виде квадратичной формы : ${\displaystyle y}$ ${\displaystyle H}$ ${\displaystyle y}$

${\displaystyle {\textrm {RSS}}=y^{T}(I-H)^{T}(I-H)y.}$

Для процедур , где матрица симметрична и идемпотентна , а ошибки являются гауссовскими с ковариационной матрицей , имеет распределение хи-квадрат со степенями свободы и параметром нецентральности , где ${\displaystyle H}$ ${\displaystyle \sigma ^{2}I}$ ${\displaystyle {\textrm {RSS}}/\sigma ^{2}}$ ${\displaystyle k}$ ${\displaystyle \lambda }$

${\displaystyle k=\operatorname {tr} \left[(I-H)^{T}(I-H)\right]}$

${\displaystyle \lambda =\mu ^{T}(I-H)^{T}(I-H)\mu /2}$

может быть найден путем сопоставления первых двух центральных моментов нецентральной случайной величины хи-квадрат с выражениями, приведенными в первых двух разделах. Если оценки без смещения , то нецентральность равна нулю и соответствует центральному распределению хи-квадрат. ${\displaystyle Hy}$ ${\displaystyle \mu }$ ${\displaystyle \lambda }$ ${\displaystyle {\textrm {RSS}}/\sigma ^{2}}$

Смотрите также

• Квадратичная форма
• Ковариационная матрица
• Матричное представление конических сечений

Рекомендации

1. Бейтс, Дуглас. «Квадратичные формы случайных величин» (PDF) . СТАТ 849 лекций . Проверено 21 августа 2011 г.
2. Матай, AM и проректор, Серж Б. (1992). Квадратичные формы со случайными величинами . ЦРК Пресс. п. 424. ИСБН 978-0824786915.
3. Ренчер, Элвин С.; Шаалье, Г. Брюс. (2008). Линейные модели в статистике (2-е изд.). Хобокен, Нью-Джерси: Wiley-Interscience. ISBN 9780471754985. ОСЛК  212120778.
4. Грейбилл, Франклин А. Матрицы с применением в статистике (2-е изд.). Уодсворт: Белмонт, Калифорния, с. 367. ИСБН 0534980384.