Линейная модель

Тип статистической модели

В статистике термин «линейная модель» относится к любой модели, которая предполагает линейность в системе. Наиболее распространенное явление связано с регрессионными моделями, и этот термин часто воспринимается как синоним линейной регрессионной модели. Однако этот термин также используется в анализе временных рядов с другим значением. В каждом случае обозначение «линейный» используется для идентификации подкласса моделей, для которых возможно существенное снижение сложности соответствующей статистической теории .

Модели линейной регрессии

Для случая регрессии статистическая модель выглядит следующим образом. При наличии (случайной) выборки связь между наблюдениями и независимыми переменными формулируется как ${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{ij}}$

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n}$

где могут быть нелинейными функциями. В приведенном выше примере величины являются случайными величинами, представляющими ошибки в соотношении. «Линейная» часть обозначения относится к появлению коэффициентов регрессии , линейным образом в приведенном выше соотношении. В качестве альтернативы можно сказать, что предсказанные значения, соответствующие приведенной выше модели, а именно ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{j}}$

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

являются линейными функциями . ${\displaystyle \beta _{j}}$

Учитывая, что оценка выполняется на основе анализа наименьших квадратов , оценки неизвестных параметров определяются путем минимизации функции суммы квадратов. ${\displaystyle \beta _{j}}$

${\displaystyle S=\sum _{i=1}^{n}\varepsilon _{i}^{2}=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

Из этого легко увидеть, что «линейный» аспект модели означает следующее:

• минимизируемая функция является квадратичной функцией , для которой минимизация является относительно простой задачей; ${\displaystyle \beta _{j}}$
• производные функции являются линейными функциями, что позволяет легко найти минимизирующие значения; ${\displaystyle \beta _{j}}$
• минимизируемые значения являются линейными функциями наблюдений ; ${\displaystyle \beta _{j}}$ ${\displaystyle Y_{i}}$
• минимизирующие значения являются линейными функциями случайных ошибок , что позволяет относительно легко определить статистические свойства оценочных значений . ${\displaystyle \beta _{j}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{j}}$

Модели временных рядов

Примером линейной модели временного ряда является модель авторегрессионного скользящего среднего . Здесь модель для значений { } во временном ряду можно записать в виде ${\displaystyle X_{t}}$

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

где снова величины являются случайными переменными, представляющими инновации , которые являются новыми случайными эффектами, которые появляются в определенное время, но также влияют на значения в более поздние моменты времени. В этом случае использование термина «линейная модель» относится к структуре вышеуказанного отношения в представлении в виде линейной функции прошлых значений того же временного ряда и текущих и прошлых значений инноваций. ^[1] Этот конкретный аспект структуры означает, что относительно просто вывести соотношения для свойств среднего и ковариации временного ряда. Обратите внимание, что здесь «линейная» часть термина «линейная модель» не относится к коэффициентам и , как это было бы в случае регрессионной модели, которая выглядит структурно похожей. ${\displaystyle \varepsilon _{i}}$ ${\displaystyle X}$ ${\displaystyle X_{t}}$ ${\displaystyle \phi _{i}}$ ${\displaystyle \theta _{i}}$

Другие применения в статистике

Есть и другие случаи, когда «нелинейная модель» используется для противопоставления линейно структурированной модели, хотя термин «линейная модель» обычно не применяется. Одним из примеров этого является нелинейное снижение размерности .

Смотрите также

• Общая линейная модель
• Обобщенная линейная модель
• Линейная предикторная функция
• Линейная система
• Линейная регрессия
• Статистическая модель

Ссылки

1. Пристли, МБ (1988) Нелинейный и нестационарный анализ временных рядов , Academic Press. ISBN  0-12-564911-8