Полиномиальная регрессия

Концепция статистики

В статистике полиномиальная регрессия — это форма регрессионного анализа , в которой связь между независимой переменной x и зависимой переменной y моделируется как полином n- й степени относительно x . Полиномиальная регрессия подгоняет нелинейную связь между значением x и соответствующим условным средним значением y , обозначаемым E( y  | x ). Хотя полиномиальная регрессия подгоняет нелинейную модель к данным, как задача статистической оценки она линейна в том смысле, что функция регрессии E( y  |  x ) линейна относительно неизвестных параметров , которые оцениваются по данным . По этой причине полиномиальная регрессия считается частным случаем множественной линейной регрессии . ^[1]

Объяснительные (независимые) переменные, полученные в результате полиномиального расширения «базовых» переменных, известны как члены более высокой степени. Такие переменные также используются в настройках классификации . ^[2]

История

Полиномиальные регрессионные модели обычно подгоняются с использованием метода наименьших квадратов . Метод наименьших квадратов минимизирует дисперсию несмещенных оценок коэффициентов в условиях теоремы Гаусса-Маркова . Метод наименьших квадратов был опубликован в 1805 году Лежандром и в 1809 году Гауссом . Первый план эксперимента для полиномиальной регрессии появился в статье Жергонна 1815 года . ^{[3] [4]} В двадцатом веке полиномиальная регрессия сыграла важную роль в развитии регрессионного анализа , с большим акцентом на вопросах дизайна и вывода . ^{[5] Совсем} недавно использование полиномиальных моделей было дополнено другими методами, при этом неполиномиальные модели имели преимущества для некоторых классов задач. ^{[ необходима ссылка ]}

Определение и пример

Кубическая полиномиальная регрессия, соответствующая смоделированному набору данных. Доверительная полоса представляет собой 95%-ную одновременную доверительную полосу, построенную с использованием подхода Шеффе .

Целью регрессионного анализа является моделирование ожидаемого значения зависимой переменной y в терминах значения независимой переменной (или вектора независимых переменных) x . В простой линейной регрессии модель

${\displaystyle y=\beta _{0}+\beta _{1}x+\varepsilon ,\,}$

используется, где ε — ненаблюдаемая случайная ошибка со средним значением, равным нулю, обусловленная скалярной переменной x . В этой модели для каждого единичного увеличения значения x условное ожидание y увеличивается на β ₁ единиц.

Во многих случаях такая линейная зависимость может не соблюдаться. Например, если мы моделируем выход химического синтеза в зависимости от температуры, при которой происходит синтез, мы можем обнаружить, что выход улучшается за счет увеличения количества для каждой единицы повышения температуры. В этом случае мы могли бы предложить квадратичную модель вида

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\varepsilon .\,}$

В этой модели при повышении температуры от x до x  + 1 единиц ожидаемый выход изменяется на (это можно увидеть, заменив x в этом уравнении на x + 1 и вычтя уравнение с x из уравнения с x + 1.) Для бесконечно малых изменений x влияние на y определяется полной производной по x : Тот факт, что изменение выхода зависит от x , делает связь между x и y нелинейной, даже если модель линейна по оцениваемым параметрам. ${\displaystyle \beta _{1}+\beta _{2}(2x+1).}$ ${\displaystyle \beta _{1}+2\beta _{2}x.}$

В общем случае мы можем смоделировать ожидаемое значение y как полином n- й степени, что даст общую модель полиномиальной регрессии

${\displaystyle y=\beta _{0}+\beta _{1}x+\beta _{2}x^{2}+\beta _{3}x^{3}+\cdots +\beta _{n}x^{n}+\varepsilon .\,}$

Удобно, что все эти модели линейны с точки зрения оценки , поскольку функция регрессии линейна относительно неизвестных параметров β ₀ , β ₁ , .... Поэтому для анализа наименьших квадратов вычислительные и выводные проблемы полиномиальной регрессии могут быть полностью решены с использованием методов множественной регрессии . Это делается путем рассмотрения x ,  x ² , ... как отдельных независимых переменных в модели множественной регрессии.

Матричная форма и расчет оценок

Модель полиномиальной регрессии

${\displaystyle y_{i}\,=\,\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\cdots +\beta _{m}x_{i}^{m}+\varepsilon _{i}\ (i=1,2,\dots ,n)}$

может быть выражена в матричной форме в терминах матрицы дизайна , вектора отклика , вектора параметров и вектора случайных ошибок. i -я строка и будет содержать значения x и y для i -й выборки данных. Тогда модель может быть записана как система линейных уравнений : ${\displaystyle \mathbf {X} }$ ${\displaystyle {\vec {y}}}$ ${\displaystyle {\vec {\beta }}}$ ${\displaystyle {\vec {\varepsilon }}}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle {\vec {y}}}$

${\displaystyle {\begin{bmatrix}y_{1}\\y_{2}\\y_{3}\\\vdots \\y_{n}\end{bmatrix}}={\begin{bmatrix}1&x_{1}&x_{1}^{2}&\dots &x_{1}^{m}\\1&x_{2}&x_{2}^{2}&\dots &x_{2}^{m}\\1&x_{3}&x_{3}^{2}&\dots &x_{3}^{m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n}&x_{n}^{2}&\dots &x_{n}^{m}\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\vdots \\\beta _{m}\end{bmatrix}}+{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\varepsilon _{3}\\\vdots \\\varepsilon _{n}\end{bmatrix}},}$

что при использовании чисто матричной записи записывается как

${\displaystyle {\vec {y}}=\mathbf {X} {\vec {\beta }}+{\vec {\varepsilon }}.\,}$

Вектор оценочных коэффициентов полиномиальной регрессии (с использованием обычного метода наименьших квадратов ) равен

${\displaystyle {\widehat {\vec {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\;\mathbf {X} ^{\mathsf {T}}{\vec {y}},\,}$

предполагая m < n, что требуется для того, чтобы матрица была обратимой; тогда, поскольку является матрицей Вандермонда , условие обратимости гарантированно выполняется, если все значения различны. Это единственное решение наименьших квадратов. ${\displaystyle \mathbf {X} }$ ${\displaystyle x_{i}}$

Расширенные формулы

Приведенные выше матричные уравнения хорошо объясняют поведение полиномиальной регрессии. Однако для физической реализации полиномиальной регрессии для набора пар точек xy полезно больше подробностей. Приведенные ниже матричные уравнения для полиномиальных коэффициентов расширяются из теории регрессии без вывода и легко реализуются. ^{[6] [7] [8]}

${\displaystyle {\begin{bmatrix}\sum _{i=1}^{n}x_{i}^{0}&\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\cdots &\sum _{i=1}^{n}x_{i}^{m}\\\sum _{i=1}^{n}x_{i}^{1}&\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\cdots &\sum _{i=1}^{n}x_{i}^{m+1}\\\sum _{i=1}^{n}x_{i}^{2}&\sum _{i=1}^{n}x_{i}^{3}&\sum _{i=1}^{n}x_{i}^{4}&\cdots &\sum _{i=1}^{n}x_{i}^{m+2}\\\vdots &\vdots &\vdots &\ddots &\vdots \\\sum _{i=1}^{n}x_{i}^{m}&\sum _{i=1}^{n}x_{i}^{m+1}&\sum _{i=1}^{n}x_{i}^{m+2}&\dots &\sum _{i=1}^{n}x_{i}^{2m}\\\end{bmatrix}}{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\beta _{2}\\\cdots \\\beta _{m}\\\end{bmatrix}}={\begin{bmatrix}\sum _{i=1}^{n}y_{i}x_{i}^{0}\\\sum _{i=1}^{n}y_{i}x_{i}^{1}\\\sum _{i=1}^{n}y_{i}x_{i}^{2}\\\cdots \\\sum _{i=1}^{n}y_{i}x_{i}^{m}\\\end{bmatrix}}}$

После решения приведенной выше системы линейных уравнений относительно полином регрессии может быть построен следующим образом: ${\displaystyle \beta _{0}{\text{ through }}\beta _{m}}$

${\displaystyle {\begin{aligned}&\qquad {\widehat {y}}=\beta _{0}x^{0}+\beta _{1}x^{1}+\beta _{2}x^{2}+\cdots +\beta _{m}x^{m}\\&\qquad \\&\qquad {\text{Where:}}\\&\qquad n={\text{number of }}x_{i}y_{i}{\text{ variable pairs in the data}}\\&\qquad m={\text{order of the polynomial to be used for regression}}\\&\qquad \beta _{(0-m)}={\text{polynomial coefficient for each corresponding }}x^{(0-m)}\\&\qquad {\widehat {y}}={\text{estimated y variable based on the polynomial regression calculations.}}\end{aligned}}}$

Интерпретация

Хотя полиномиальная регрессия технически является частным случаем множественной линейной регрессии, интерпретация подобранной модели полиномиальной регрессии требует несколько иной перспективы. Часто бывает трудно интерпретировать отдельные коэффициенты в подгонке полиномиальной регрессии, поскольку базовые мономы могут быть сильно коррелированы. Например, x и x ² имеют корреляцию около 0,97, когда x равномерно распределен на интервале (0, 1). Хотя корреляцию можно уменьшить с помощью ортогональных полиномов , обычно более информативно рассматривать подобранную функцию регрессии в целом. Затем можно использовать точечные или одновременные доверительные интервалы для получения представления о неопределенности в оценке функции регрессии.

Альтернативные подходы

Полиномиальная регрессия является одним из примеров регрессионного анализа, использующего базисные функции для моделирования функциональной связи между двумя величинами. Более конкретно, она заменяет линейную регрессию полиномиальным базисом , например . Недостатком полиномиальных базисов является то, что базисные функции являются «нелокальными», что означает, что подобранное значение y при заданном значении x  =  x ₀ сильно зависит от значений данных с x, далеким от x ₀ . ^[9] В современной статистике полиномиальные базисные функции используются вместе с новыми базисными функциями , такими как сплайны , радиальные базисные функции и вейвлеты . Эти семейства базисных функций предлагают более экономичную подгонку для многих типов данных. ${\displaystyle x\in \mathbb {R} ^{d_{x}}}$ ${\displaystyle \varphi (x)\in \mathbb {R} ^{d_{\varphi }}}$ ${\displaystyle [1,x]{\mathbin {\stackrel {\varphi }{\rightarrow }}}[1,x,x^{2},\ldots ,x^{d}]}$

Целью полиномиальной регрессии является моделирование нелинейной связи между независимыми и зависимыми переменными (технически, между независимой переменной и условным средним зависимой переменной). Это похоже на цель непараметрической регрессии , которая направлена ​​на захват нелинейных регрессионных связей. Поэтому непараметрические регрессионные подходы, такие как сглаживание, могут быть полезными альтернативами полиномиальной регрессии. Некоторые из этих методов используют локализованную форму классической полиномиальной регрессии. ^[10] Преимущество традиционной полиномиальной регрессии заключается в том, что может быть использована выводная структура множественной регрессии (это также справедливо при использовании других семейств базисных функций, таких как сплайны).

Последней альтернативой является использование ядерных моделей, таких как регрессия опорных векторов с полиномиальным ядром .

Если остатки имеют неравную дисперсию , для учета этого можно использовать оценку методом наименьших квадратов . ^[11]

Смотрите также

• Подгонка кривой
• Линейная регрессия
• Локальная полиномиальная регрессия
• Моделирование полиномиальных и рациональных функций
• Полиномиальная интерполяция
• Методология поверхности отклика
• Сглаживающий сплайн

Примечания

• Microsoft Excel использует полиномиальную регрессию при подгонке линии тренда к точкам данных на диаграмме рассеяния XY. ^[12]

Ссылки

1. "Реализация полиномиальной регрессии". GeeksforGeeks . 2018-10-03 . Получено 2024-08-25 .
2. Инь-Вэнь Чанг; Чо-Джуй Хси; Кай-Вэй Чанг; Майкл Ринггаард; Чи-Джен Линь (2010). «Обучение и тестирование отображений полиномиальных данных низкой степени с помощью линейного SVM». Журнал исследований машинного обучения . 11 : 1471–1490.
3. Gergonne, JD (ноябрь 1974 г.) [1815]. «Применение метода наименьших квадратов к интерполяции последовательностей». Historia Mathematica . 1 (4) (Перевод Ральфа Сент-Джона и С.М. Стиглера с французского издания 1815 г.): 439–447. doi :10.1016/0315-0860(74)90034-2.
4. Стиглер, Стивен М. (ноябрь 1974 г.). «Статья Жергонна 1815 года о планировании и анализе экспериментов по полиномиальной регрессии». Historia Mathematica . 1 (4): 431–439. doi :10.1016/0315-0860(74)90033-0.
5. Смит, Кирстин (1918). «О стандартных отклонениях скорректированных и интерполированных значений наблюдаемой полиномиальной функции и ее константах и ​​о руководстве, которое они дают для правильного выбора распределения наблюдений». Biometrika . 12 (1/2): 1–85. doi :10.2307/2331929. JSTOR  2331929.
6. Muthukrishnan, Gowri (17 июня 2018 г.). "Математика за полиномиальной регрессией, Muthukrishnan". Maths behind Polynomial regression . Получено 30 января 2024 г.
7. "Математика полиномиальной регрессии". Полиномиальная регрессия, класс регрессии PHP .
8. Девор, Джей Л. (1995). Вероятность и статистика для инженерии и наук (4-е изд.). США: Brooks/Cole Publishing Company. стр. 539–542. ISBN 0-534-24264-2.
9. Такое "нелокальное" поведение является свойством аналитических функций , которые не являются постоянными (везде). Такое "нелокальное" поведение широко обсуждалось в статистике:
   • Маги, Лонни (1998). «Нелокальное поведение в полиномиальных регрессиях». Американский статистик . 52 (1): 20–22. doi :10.2307/2685560. JSTOR  2685560.
10. Фань, Цзяньцин (1996). Локальное полиномиальное моделирование и его применение: от линейной регрессии к нелинейной регрессии . Монографии по статистике и прикладной вероятности. Chapman & Hall/CRC. ISBN 978-0-412-98321-4.
11. Конте, SD; Де Бур, C. (2018). Элементарный численный анализ: алгоритмический подход. Классика прикладной математики. Общество промышленной и прикладной математики (SIAM, 3600 Market Street, Floor 6, Philadelphia, PA 19104). стр. 259. ISBN 978-1-61197-520-8. Получено 28.08.2020 .
12. Стивенсон, Кристофер. "Учебник: Полиномиальная регрессия в Excel". Facultystaff.richmond.edu . Получено 22 января 2017 г. .

Внешние ссылки

• Подгонка кривой, интерактивное моделирование PhET , Университет Колорадо в Боулдере