Линейная модель

Тип статистической модели

В статистике термин « линейная модель» относится к любой модели, которая предполагает линейность системы. Наиболее распространенное явление связано с моделями регрессии, и этот термин часто воспринимается как синоним модели линейной регрессии . Однако этот термин также используется в анализе временных рядов в другом значении. В каждом случае обозначение «линейные» используется для обозначения подкласса моделей, для которых возможно существенное снижение сложности соответствующей статистической теории .

Модели линейной регрессии

Для случая регрессии статистическая модель выглядит следующим образом. Для (случайной) выборки связь между наблюдениями и независимыми переменными формулируется как ${\displaystyle (Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n}$ ${\displaystyle Y_{i}}$ ${\displaystyle X_{ij}}$

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n}$

где могут быть нелинейные функции. В приведенном выше примере величины представляют собой случайные величины , представляющие ошибки в отношениях. «Линейная» часть обозначения относится к появлению коэффициентов регрессии , линейным образом в приведенной выше зависимости. Альтернативно можно сказать, что прогнозируемые значения, соответствующие приведенной выше модели, а именно ${\displaystyle \phi _{1},\ldots ,\phi _{p}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{j}}$

${\displaystyle {\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),}$

являются линейными функциями . ${\displaystyle \beta _{j}}$

Учитывая, что оценка проводится на основе анализа наименьших квадратов , оценки неизвестных параметров определяются путем минимизации функции суммы квадратов ${\displaystyle \beta _{j}}$

${\displaystyle S=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.}$

Отсюда легко видеть, что «линейный» аспект модели означает следующее:

• функция, подлежащая минимизации, является квадратичной функцией от , для которой минимизация является относительно простой задачей; ${\displaystyle \beta _{j}}$
• производные функции являются линейными функциями, позволяющими легко найти минимизирующие значения; ${\displaystyle \beta _{j}}$
• минимизирующие значения являются линейными функциями наблюдений ; ${\displaystyle \beta _{j}}$ ${\displaystyle Y_{i}}$
• минимизирующие значения являются линейными функциями случайных ошибок , что позволяет относительно легко определить статистические свойства оцененных значений . ${\displaystyle \beta _{j}}$ ${\displaystyle \varepsilon _{i}}$ ${\displaystyle \beta _{j}}$

Модели временных рядов

Примером модели линейного временного ряда является модель авторегрессионного скользящего среднего . Здесь модель значений { } во временном ряду можно записать в виде ${\displaystyle X_{t}}$

${\displaystyle X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\phi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,}$

где снова величины являются случайными переменными, представляющими инновации , которые представляют собой новые случайные эффекты, которые появляются в определенное время, но также влияют на значения в более поздние моменты времени. В этом случае использование термина «линейная модель» относится к структуре вышеуказанных отношений, представляющих линейную функцию прошлых значений одного и того же временного ряда, а также текущих и прошлых значений инноваций. ^[1] Этот конкретный аспект структуры означает, что относительно просто вывести соотношения для среднего значения и ковариационных свойств временного ряда. Обратите внимание, что здесь «линейная» часть термина «линейная модель» не относится к коэффициентам и , как это было бы в случае с регрессионной моделью, которая выглядит структурно аналогично. ${\displaystyle \varepsilon _{i}}$ ${\displaystyle X}$ ${\displaystyle X_{t}}$ ${\displaystyle \phi _{i}}$ ${\displaystyle \theta _{i}}$

Другое использование в статистике

Есть и другие случаи, когда «нелинейная модель» используется в отличие от модели с линейной структурой, хотя термин «линейная модель» обычно не применяется. Одним из примеров этого является нелинейное уменьшение размерности .

Смотрите также

• Общая линейная модель
• Обобщенная линейная модель
• Функция линейного прогнозирования
• Линейная система
• Линейная регрессия
• Статистическая модель

Рекомендации

1. Пристли, МБ (1988) Нелинейный и нестационарный анализ временных рядов , Academic Press. ISBN  0-12-564911-8