Полиномиальная регрессия

Концепция статистики

В статистике полиномиальная регрессия — это форма регрессионного анализа , в которой взаимосвязь между независимой переменной x и зависимой переменной y моделируется как полином n- й степени по x . Полиномиальная регрессия соответствует нелинейной зависимости между значением x и соответствующим условным средним значением y , обозначаемым E( y  | x ). Хотя полиномиальная регрессия соответствует данным нелинейной модели, как задача статистической оценки она является линейной в том смысле, что функция регрессии E( y  |  x ) линейна относительно неизвестных параметров , которые оцениваются на основе данных . По этой причине полиномиальная регрессия считается частным случаем множественной линейной регрессии .

Объясняющие (независимые) переменные, возникающие в результате полиномиального разложения «базовых» переменных, известны как члены более высокой степени. Такие переменные также используются в настройках классификации . ^[1]

История

Модели полиномиальной регрессии обычно подбираются с использованием метода наименьших квадратов . Метод наименьших квадратов минимизирует дисперсию несмещенных оценок коэффициентов в условиях теоремы Гаусса – Маркова . Метод наименьших квадратов был опубликован в 1805 году Лежандром и в 1809 году Гауссом . Первый план эксперимента по полиномиальной регрессии появился в статье Жергонна 1815 года . ^{[2] [3]} В двадцатом веке полиномиальная регрессия сыграла важную роль в развитии регрессионного анализа с большим упором на вопросы проектирования и вывода . ^[4] Совсем недавно использование полиномиальных моделей было дополнено другими методами, причем неполиномиальные модели имеют преимущества для некоторых классов задач. ^{[ нужна цитата ]}

Определение и пример

Кубическая полиномиальная регрессия, соответствующая моделируемому набору данных. Доверительный диапазон представляет собой 95%-ный одновременный доверительный интервал, построенный с использованием подхода Шеффе .

Цель регрессионного анализа — смоделировать ожидаемое значение зависимой переменной y с точки зрения значения независимой переменной (или вектора независимых переменных) x . В простой линейной регрессии модель

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}$

используется, где ε — ненаблюдаемая случайная ошибка со средним нулевым значением, обусловленным скалярной переменной x . В этой модели при каждом увеличении значения x на единицу условное ожидание y увеличивается на β ₁ единиц.

Во многих случаях такая линейная зависимость может не соблюдаться. Например, если мы моделируем выход химического синтеза с точки зрения температуры, при которой происходит синтез, мы можем обнаружить, что выход улучшается за счет увеличения количества на каждую единицу повышения температуры. В этом случае мы могли бы предложить квадратичную модель вида

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}$

В этой модели, когда температура увеличивается с x до x  + 1 единиц, ожидаемый выход изменяется на (Это можно увидеть, заменив x в этом уравнении на x +1 и вычитая уравнение в x из уравнения в x +1 .) Для бесконечно малых изменений x влияние на y определяется полной производной по x : Тот факт, что изменение доходности зависит от x , делает связь между x и y нелинейной, даже если модель является линейной по отношению к x. параметры, подлежащие оценке. ${\displaystyle \beta _{1}+\beta _{2}(2x+1).}$ ${\displaystyle \beta _{1}+2\beta _{2}x.}$

В общем, мы можем смоделировать ожидаемое значение y как полином n- й степени, получив общую модель полиномиальной регрессии.

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}$

Удобно, что все эти модели линейны с точки зрения оценки , поскольку функция регрессии линейна с точки зрения неизвестных параметров β ₀ , β ₁ , .... Следовательно, для анализа методом наименьших квадратов вычислительные и логические задачи Полиномиальную регрессию можно полностью решить с помощью методов множественной регрессии . Это делается путем рассмотрения x ,  x ² , ... как отдельных независимых переменных в модели множественной регрессии.

Матричная форма и расчет сметы

Модель полиномиальной регрессии

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

может быть выражено в матричной форме через матрицу проекта , вектор ответа , вектор параметров и вектор случайных ошибок. i - я строка и будет содержать значения x и y для i -й выборки данных. Тогда модель можно записать в виде системы линейных уравнений : ${\displaystyle \mathbf {X} }$ ${\displaystyle {\vec {y}}}$ ${\displaystyle {\vec {\beta }}}$ ${\displaystyle {\vec {\varepsilon }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\vec {y}}}$

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

который при использовании чисто матричной записи записывается как

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

Вектор оцененных коэффициентов полиномиальной регрессии (с использованием обычной оценки методом наименьших квадратов ) равен

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

предполагая, что m < n , что необходимо для того, чтобы матрица была обратимой; тогда, поскольку является матрицей Вандермонда , условие обратимости гарантированно выполняется, если все значения различны. Это уникальное решение методом наименьших квадратов. ${\displaystyle \mathbf {X} }$ ${\displaystyle x_{i}}$

Расширенные формулы

Приведенные выше матричные уравнения хорошо объясняют поведение полиномиальной регрессии. Однако для физической реализации полиномиальной регрессии для набора пар точек xy полезна более подробная информация. Приведенные ниже матричные уравнения для полиномиальных коэффициентов расширены из теории регрессии без вывода и легко реализуются. ^{[5] [6] [7]}

${\displaystyle {\begin{bmatrix}\sum _{i=1}^{n}x_{i}^{0}&\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\cdots &\sum _{i=1}^{n}x_{i}^{m}\\\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\cdots &\sum _{i=1}^{n}x_{i}^{m+1}\\\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\sum _{i=1}^{n}x_{i}^{4}&\cdots &\sum _{i=1}^{n}x_{i}^{m+2}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{i}^{m}&\sum _{i=1}^{n}x_{i}^{m+1}&\sum _{i=1}^{n}x_{i}^{m+2}&\dots &\sum _{i=1}^{n}x_{i}^{2m}\\\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\cdots \\\beta _{m}\\\end{bmatrix}}={\begin{bmatrix}\sum _{i=0}^{n}y_{i}x_{i}^{0}\\\sum _{i=0}^{n}y_{i}x_{i}^{1}\\\sum _{i=0}^{n}y_{i}x_{i}^{2}\\\cdots \\\sum _{i=0}^{n}y_{i}x_{i}^{m}\\\end{bmatrix}}}$

После решения приведенной выше системы линейных уравнений для полином регрессии можно построить следующим образом: ${\displaystyle \beta _{0}{\text{ through }}\beta _{m}}$

${\displaystyle {\begin{aligned}&\qquad {\widehat {y}}=\beta _{0}x^{0}+\beta _{1}x^{1}+\beta _{2}x^{2}+\cdots +\beta _{m}x^{m}\\&\qquad \\&\qquad {\text{Where:}}\\&\qquad n={\text{number of }}x_{i}y_{i}{\text{ variable pairs in the data}}\\&\qquad m={\text{order of the polynomial to be used for regression}}\\&\qquad \beta _{(0-m)}={\text{polynomial coeffecient for each cooresponding }}x^{(0-m)}\\&\qquad {\widehat {y}}={\text{estimated y variable based on the polynomial regression calculations.}}\end{aligned}}}$

Интерпретация

Хотя полиномиальная регрессия технически является частным случаем множественной линейной регрессии, интерпретация подобранной модели полиномиальной регрессии требует несколько иной точки зрения. Часто бывает трудно интерпретировать отдельные коэффициенты при аппроксимации полиномиальной регрессией, поскольку лежащие в основе мономы могут быть сильно коррелированы. Например, x и x ² имеют корреляцию около 0,97, когда x равномерно распределен в интервале (0, 1). Хотя корреляцию можно уменьшить с помощью ортогональных полиномов , обычно более информативно рассматривать подобранную функцию регрессии в целом. Затем можно использовать точечные или одновременные доверительные интервалы , чтобы дать представление о неопределенности в оценке функции регрессии.

Альтернативные подходы

Полиномиальная регрессия — один из примеров регрессионного анализа с использованием базисных функций для моделирования функциональной связи между двумя величинами. Более конкретно, он заменяет в линейной регрессии полиномиальный базис , например . Недостаток полиномиальных базисов заключается в том, что базисные функции являются «нелокальными», а это означает, что подобранное значение y при заданном значении x  =  x ₀ сильно зависит от значений данных с x , далеким от x ₀ . ^[8] В современной статистике полиномиальные базисные функции используются наряду с новыми базисными функциями , такими как сплайны , радиальные базисные функции и вейвлеты . Эти семейства базисных функций более экономично подходят для многих типов данных. ${\displaystyle x\in \mathbb {R} ^{d_{x}}}$ ${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$ ${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$

Цель полиномиальной регрессии — смоделировать нелинейную связь между независимыми и зависимыми переменными (технически между независимой переменной и условным средним значением зависимой переменной). Это похоже на цель непараметрической регрессии , целью которой является уловить нелинейные регрессионные отношения. Следовательно, подходы непараметрической регрессии, такие как сглаживание , могут быть полезной альтернативой полиномиальной регрессии. Некоторые из этих методов используют локализованную форму классической полиномиальной регрессии. ^[9] Преимущество традиционной полиномиальной регрессии заключается в том, что можно использовать структуру вывода множественной регрессии (это также справедливо при использовании других семейств базисных функций, таких как сплайны).

Последней альтернативой является использование ядерных моделей, таких как регрессия опорных векторов с полиномиальным ядром .

Если остатки имеют неравную дисперсию , для учета этого можно использовать взвешенный метод наименьших квадратов . ^[10]

Смотрите также

• Подгонка кривой
• Линейная регрессия
• Локальная полиномиальная регрессия
• Полиномиальное и рациональное функциональное моделирование
• Полиномиальная интерполяция
• Методология поверхности реагирования
• Сглаживающий сплайн

Примечания

• Microsoft Excel использует полиномиальную регрессию при подгонке линии тренда к точкам данных на диаграмме рассеяния XY. ^[11]

Рекомендации

1. Инь-Вэнь Чанг; Чо-Джуй Се; Кай-Вэй Чанг; Майкл Ринггаард; Чи-Джен Линь (2010). «Обучение и тестирование отображений полиномиальных данных низкой степени с помощью линейного SVM». Журнал исследований машинного обучения . 11 : 1471–1490.
2. Жергонн, JD (ноябрь 1974 г.) [1815]. «Применение метода наименьших квадратов для интерполяции последовательностей». Historia Mathematica (Перевод Ральфа Сент-Джона и С.М. Стиглера из французского издания 1815 г.). 1 (4): 439–447. дои : 10.1016/0315-0860(74)90034-2.
3. Стиглер, Стивен М. (ноябрь 1974 г.). «Документ Жергонна 1815 года о разработке и анализе экспериментов по полиномиальной регрессии». История Математики . 1 (4): 431–439. дои : 10.1016/0315-0860(74)90033-0.
4. Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее констант, а также о рекомендациях, которые они дают для правильного выбора распределения наблюдений». Биометрика . 12 (1/2): 1–85. дои : 10.2307/2331929. JSTOR  2331929.
5. Мутукришнан, Гоури (17 июня 2018 г.). «Математика полиномиальной регрессии, Мутукришнан». Математика, лежащая в основе полиномиальной регрессии . Проверено 30 января 2024 г.
6. «Математика полиномиальной регрессии». Полиномиальная регрессия. Класс регрессии PHP .
7. Девор, Джей Л. (1995). Вероятность и статистика для техники и наук (4-е изд.). США: Издательство Brooks/Cole Publishing Company. стр. 539–542. ISBN 0-534-24264-2.
8. Такое «нелокальное» поведение является свойством аналитических функций , которые не являются постоянными (везде). Такое «нелокальное» поведение широко обсуждается в статистике:
   • Маги, Лонни (1998). «Нелокальное поведение в полиномиальных регрессиях». Американский статистик . 52 (1): 20–22. дои : 10.2307/2685560. JSTOR  2685560.
9. Фань, Цзяньцин (1996). Локальное полиномиальное моделирование и его приложения: от линейной регрессии к нелинейной регрессии . Монографии по статистике и прикладной теории вероятности. Чепмен и Холл/CRC. ISBN 978-0-412-98321-4.
10. Конте, С.Д.; Де Бур, К. (2018). Элементарный численный анализ: алгоритмический подход. Классика прикладной математики. Общество промышленной и прикладной математики (SIAM, 3600 Market Street, этаж 6, Филадельфия, Пенсильвания, 19104). п. 259. ИСБН 978-1-61197-520-8. Проверено 28 августа 2020 г.
11. Стивенсон, Кристофер. «Учебник: Полиномиальная регрессия в Excel». Facialstaff.richmond.edu . Проверено 22 января 2017 г.

Внешние ссылки

• Подбор кривой, интерактивное моделирование PhET , Университет Колорадо в Боулдере