Линейный метод наименьших квадратов

Аппроксимация линейных функций к данным методом наименьших квадратов

Линейный метод наименьших квадратов ( МНК ) — это аппроксимация линейных функций данными методом наименьших квадратов . Это набор формул для решения статистических задач, связанных с линейной регрессией , включая варианты для обычных (невзвешенных), взвешенных и обобщенных (коррелированных) остатков . Численные методы для линейных наименьших квадратов включают обращение матрицы нормальных уравнений и методы ортогонального разложения .

Основная формула

Рассмотрим линейное уравнение

где и заданы и является переменной для вычисления. Когда это обычно так, что ( 1 ) не имеет решения. Например, нет значения , которое удовлетворяет, потому что первые две строки требуют этого , но тогда третья строка не удовлетворяет. Таким образом, для цели решения ( 1 ) точно обычно заменяется нахождением значения , которое минимизирует некоторую ошибку. Существует много способов определения ошибки, но один из наиболее распространенных — определить ее как Это создает задачу минимизации, называемую задачей наименьших квадратов ${\displaystyle A\in \mathbb {R} ^{m\times n}}$ ${\displaystyle b\in \mathbb {R} ^{m}}$ ${\displaystyle x\in \mathbb {R} ^{n}}$ ${\displaystyle m>n,}$ ${\displaystyle x}$ $${\displaystyle {\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}x={\begin{bmatrix}1\\1\\0\end{bmatrix}},}$$ ${\displaystyle x=(1,1),}$ ${\displaystyle m>n,}$ ${\displaystyle x}$ ${\displaystyle \|Ax-b\|^{2}.}$

Решение задачи наименьших квадратов ( 1 ) вычисляется путем решения нормального уравнения ^[1]

где обозначает транспонирование . ​ ${\displaystyle A^{\top }}$ ${\displaystyle A}$

Продолжая пример выше, находим и Решение нормального уравнения дает $${\displaystyle A={\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}\quad {\text{and}}\quad b={\begin{bmatrix}1\\1\\0\end{bmatrix}},}$$ $${\displaystyle A^{\top }A={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1&0\\0&1\\1&1\end{bmatrix}}={\begin{bmatrix}2&1\\1&2\end{bmatrix}}}$$ $${\displaystyle A^{\top }b={\begin{bmatrix}1&0&1\\0&1&1\end{bmatrix}}{\begin{bmatrix}1\\1\\0\end{bmatrix}}={\begin{bmatrix}1\\1\end{bmatrix}}.}$$ ${\displaystyle x=(1/3,1/3).}$

Формулировки для линейной регрессии

Три основные формулы линейного метода наименьших квадратов:

• Обычный метод наименьших квадратов (МНК) является наиболее распространенным методом оценки. Оценки МНК обычно используются для анализа как экспериментальных , так и наблюдательных данных.
  Метод OLS минимизирует сумму квадратов остатков и приводит к выражению в замкнутой форме для оценочного значения неизвестного вектора параметров β : где — вектор, i -й элемент которого является i -м наблюдением зависимой переменной , а — матрица, ij-й элемент которой является i -м наблюдением j -й независимой переменной . Оценка является несмещенной и последовательной, если ошибки имеют конечную дисперсию и не коррелируют с регрессорами: ^[2] где — транспонированная строка i матрицы Он также эффективен при предположении, что ошибки имеют конечную дисперсию и являются гомоскедастичными , что означает, что E[ ε _i ² | x _i ] не зависит от i . Условие того, что ошибки не коррелируют с регрессорами, обычно будет выполняться в эксперименте, но в случае данных наблюдений трудно исключить возможность пропущенной ковариаты z , которая связана как с наблюдаемыми ковариатами, так и с переменной отклика. Существование такого ковариата обычно приводит к корреляции между регрессорами и переменной отклика, и, следовательно, к несостоятельной оценке β . Условие гомоскедастичности может не выполняться как с экспериментальными, так и с наблюдательными данными. Если целью является либо вывод, либо предиктивное моделирование, производительность оценок OLS может быть плохой, если присутствует мультиколлинеарность , если только размер выборки не большой. $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} ,}$$ ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {X} }$ $${\displaystyle \operatorname {E} [\,\mathbf {x} _{i}\varepsilon _{i}\,]=0,}$$ ${\displaystyle \mathbf {x} _{i}}$ ${\displaystyle \mathbf {X} .}$
• Метод взвешенных наименьших квадратов (WLS) используется, когдав ошибках модели присутствует гетероскедастичность .
• Обобщенные наименьшие квадраты (GLS) — это расширение метода OLS, которое позволяет эффективно оценивать β, когда среди ошибок модели присутствуют либо гетероскедастичность , либо корреляции, либо и то, и другое, при условии, что форма гетероскедастичности и корреляции известна независимо от данных. Для обработки гетероскедастичности, когда ошибки не коррелируют друг с другом, GLS минимизирует взвешенный аналог суммы квадратов остатков из регрессии OLS, где вес для i ^-го случая обратно пропорционален var( ε _i ). Этот особый случай GLS называется «взвешенными наименьшими квадратами». Решение GLS для задачи оценки —где Ω — ковариационная матрица ошибок. GLS можно рассматривать как применение линейного преобразования к данным таким образом, чтобы предположения OLS выполнялись для преобразованных данных. Для применения GLS ковариационная структура ошибок должна быть известна с точностью до мультипликативной константы. $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {y} ,}$$

Альтернативные формулировки

Другие формулировки включают:

• Метод наименьших квадратов с итеративным повторным взвешиванием (IRLS) используется, когда гетероскедастичность , или корреляции, или и то, и другое присутствуют среди членов ошибки модели, но мало что известно о ковариационной структуре ошибок независимо от данных. ^[3] В первой итерации выполняется OLS или GLS с предварительной ковариационной структурой, и остатки получаются из подгонки. На основе остатков обычно можно получить улучшенную оценку ковариационной структуры ошибок. Затем выполняется последующая итерация GLS с использованием этой оценки структуры ошибок для определения весов. Процесс можно повторять до сходимости, но во многих случаях достаточно одной итерации для достижения эффективной оценки β . ^{[4] [5]}
• Регрессия инструментальных переменных (IV) может быть выполнена, когда регрессоры коррелируют с ошибками. В этом случае нам необходимо существование некоторых вспомогательных инструментальных переменных z _i таких, что E[ z _i ε _i ] = 0. Если Z — матрица инструментов, то оценщик может быть задан в замкнутой форме как Регрессия оптимальных инструментов является расширением классической регрессии IV на ситуацию, когда E[ ε _i | z _i ] = 0 . $${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {Z} (\mathbf {Z} ^{\mathsf {T}}\mathbf {Z} )^{-1}\mathbf {Z} ^{\mathsf {T}}\mathbf {y} .}$$
• Метод наименьших квадратов (TLS) ^[6] — это подход к оценке наименьших квадратов линейной регрессионной модели, который обрабатывает ковариаты и переменную отклика более геометрически симметрично, чем OLS. Это один из подходов к решению проблемы «ошибок в переменных», а также иногда используется, даже когда предполагается, что ковариаты не содержат ошибок.

• Линейная подгонка шаблона (LTF) ^[7] объединяет линейную регрессию с (обобщенными) наименьшими квадратами для определения наилучшей оценки. Линейная подгонка шаблона решает частую проблему, когда остатки не могут быть выражены аналитически или требуют слишком много времени для многократной оценки, как это часто бывает в итеративных алгоритмах минимизации. В линейной подгонке шаблона остатки оцениваются из случайных величин и из линейной аппроксимации базовой истинной модели, в то время как истинная модель должна быть предоставлена ​​как минимум для (где — число оценщиков) различных опорных значений β . Затем истинное распределение аппроксимируется линейной регрессией, и наилучшие оценки получаются в замкнутой форме как , где обозначает матрицу шаблона со значениями известной или ранее определенной модели для любого из опорных значений β , — случайные величины (например, измерение), а матрица и вектор вычисляются из значений β . LTF также может быть выражена для распределенных по логарифмически нормальному распределению случайных величин. Обобщением LTF является квадратичный шаблонный подход, который предполагает регрессию второго порядка модели, требует прогнозов по крайней мере для различных значений β и находит наилучшую оценку с помощью метода Ньютона . ${\displaystyle n+1}$ ${\displaystyle n}$ $${\displaystyle {\hat {\boldsymbol {\beta }}}=((\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}\mathbf {Y{\tilde {M}}} )^{-1}(\mathbf {Y{\tilde {M}}} )^{\mathsf {T}}{\boldsymbol {\Omega }}^{-1}(\mathbf {y} -\mathbf {Y{\bar {m}})} ,}$$ ${\displaystyle \mathbf {Y} }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {\tilde {M}} }$ ${\displaystyle \mathbf {\tilde {m}} }$ ${\displaystyle n^{2}+2n}$

• Процент наименьших квадратов фокусируется на снижении процентных ошибок, что полезно в области прогнозирования или анализа временных рядов. Он также полезен в ситуациях, когда зависимая переменная имеет широкий диапазон без постоянной дисперсии, так как здесь большие остатки в верхней части диапазона доминировали бы, если бы использовался OLS. Когда процентная или относительная ошибка распределена нормально, процентная регрессия наименьших квадратов обеспечивает оценки максимального правдоподобия. Процентная регрессия связана с мультипликативной моделью ошибок, тогда как OLS связана с моделями, содержащими аддитивный член ошибок. ^[8]

• Ограниченные наименьшие квадраты — это линейная задача наименьших квадратов с дополнительными ограничениями на решение.

Целевая функция

В OLS (т.е. предполагая невзвешенные наблюдения) оптимальное значение целевой функции находится путем подстановки оптимального выражения для вектора коэффициентов: где , последнее равенство выполняется, поскольку является симметричным и идемпотентным. Из этого можно показать ^[9] , что при соответствующем назначении весов ожидаемое значение S равно . Если вместо этого предполагаются единичные веса, ожидаемое значение S равно , где — дисперсия каждого наблюдения. $${\displaystyle S=\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} =\mathbf {y} ^{\mathsf {T}}(\mathbf {I} -\mathbf {H} )\mathbf {y} ,}$$ ${\displaystyle \mathbf {H} =\mathbf {X} (\mathbf {X} ^{\mathsf {T}}\mathbf {X} )^{-1}\mathbf {X} ^{\mathsf {T}}}$ ${\displaystyle (\mathbf {I} -\mathbf {H} )}$ ${\textstyle m-n}$ ${\displaystyle (m-n)\sigma ^{2}}$ ${\displaystyle \sigma ^{2}}$

Если предположить, что остатки принадлежат нормальному распределению, то целевая функция, будучи суммой взвешенных квадратов остатков, будет принадлежать распределению хи-квадрат ( ) ${\displaystyle \chi ^{2}}$ с m  −  n степенями свободы . Некоторые иллюстративные процентильные значения приведены в следующей таблице. ^[10] ${\displaystyle \chi ^{2}}$

Эти значения могут быть использованы для статистического критерия качества соответствия . При использовании удельных весов числа следует делить на дисперсию наблюдения.

Для WLS обычная целевая функция, указанная выше, заменяется на средневзвешенное значение остатков.

Обсуждение

В статистике и математике линейный метод наименьших квадратов представляет собой подход к подгонке математической или статистической модели к данным в случаях, когда идеализированное значение, предоставляемое моделью для любой точки данных, линейно выражается через неизвестные параметры модели. Полученная подогнанная модель может использоваться для обобщения данных, для прогнозирования ненаблюдаемых значений из той же системы и для понимания механизмов, которые могут лежать в основе системы.

Математически линейный метод наименьших квадратов — это задача приближенного решения переопределенной системы линейных уравнений A x = b , где b не является элементом пространства столбцов матрицы A . Приближенное решение реализуется как точное решение A x = b' , где b' — проекция b на пространство столбцов матрицы A . Наилучшим приближением тогда является то, которое минимизирует сумму квадратов разностей между значениями данных и их соответствующими смоделированными значениями. Подход называется линейным методом наименьших квадратов, поскольку предполагаемая функция линейна по оцениваемым параметрам. Линейные задачи наименьших квадратов являются выпуклыми и имеют решение в замкнутой форме , которое является единственным, при условии, что число точек данных, используемых для подгонки, равно или превышает число неизвестных параметров, за исключением особых вырожденных ситуаций. Напротив, нелинейные задачи наименьших квадратов обычно должны решаться с помощью итеративной процедуры , и задачи могут быть невыпуклыми с несколькими оптимумами для целевой функции. Если доступны априорные распределения, то даже недоопределенную систему можно решить с помощью байесовского оценщика MMSE .

В статистике линейные задачи наименьших квадратов соответствуют особо важному типу статистической модели, называемой линейной регрессией , которая возникает как особая форма регрессионного анализа . Одной из основных форм такой модели является обычная модель наименьших квадратов. Настоящая статья концентрируется на математических аспектах линейных задач наименьших квадратов, а обсуждение формулировки и интерпретации статистических регрессионных моделей и статистических выводов , связанных с ними, рассматривается в только что упомянутых статьях. См. схему регрессионного анализа для краткого обзора темы.

Характеристики

Если экспериментальные ошибки, , некоррелированы, имеют нулевое среднее значение и постоянную дисперсию, , теорема Гаусса-Маркова утверждает, что оценка наименьших квадратов, , имеет минимальную дисперсию всех оценок, которые являются линейными комбинациями наблюдений. В этом смысле это наилучшая или оптимальная оценка параметров. Обратите особое внимание, что это свойство не зависит от статистической функции распределения ошибок. Другими словами, функция распределения ошибок не обязательно должна быть нормальным распределением . Однако для некоторых распределений вероятностей нет гарантии, что решение наименьших квадратов вообще возможно с учетом наблюдений; тем не менее, в таких случаях это наилучшая оценка, которая является как линейной, так и несмещенной. ${\displaystyle \varepsilon }$ ${\displaystyle \sigma }$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$

Например, легко показать, что среднее арифметическое набора измерений величины является оценкой наименьших квадратов значения этой величины. Если условия теоремы Гаусса–Маркова применимы, среднее арифметическое является оптимальным, каким бы ни было распределение ошибок измерений.

Однако в случае, если экспериментальные ошибки действительно принадлежат нормальному распределению, оценка наименьших квадратов также является оценкой максимального правдоподобия . ^[11]

Эти свойства лежат в основе использования метода наименьших квадратов для всех типов подгонки данных, даже если предположения не являются строго верными.

Ограничения

Предположение, лежащее в основе обработки, приведенной выше, заключается в том, что независимая переменная x не содержит ошибок. На практике ошибки измерений независимой переменной обычно намного меньше ошибок зависимой переменной и поэтому могут быть проигнорированы. Если это не так, следует использовать общие наименьшие квадраты или, в более общем смысле, модели ошибок в переменных , или строгие наименьшие квадраты . Это можно сделать, скорректировав схему взвешивания, чтобы учесть ошибки как зависимой, так и независимой переменных, а затем следуя стандартной процедуре. ^{[12] [13]}

В некоторых случаях (взвешенная) матрица нормальных уравнений X ^T X плохо обусловлена . При подгонке полиномов матрица нормальных уравнений является матрицей Вандермонда . Матрицы Вандермонда становятся все более плохо обусловленными по мере увеличения порядка матрицы. ^{[ необходима цитата ]} В этих случаях оценка наименьших квадратов усиливает шум измерения и может быть крайне неточной. ^{[ необходима цитата ]} В таких случаях могут применяться различные методы регуляризации , наиболее распространенный из которых называется гребневой регрессией . Если известна дополнительная информация о параметрах, например, диапазон возможных значений , то для повышения устойчивости решения могут использоваться различные методы. Например, см. ограниченные наименьшие квадраты. ${\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }$

Другим недостатком метода наименьших квадратов является тот факт, что норма остатков, минимизируется, тогда как в некоторых случаях действительно заинтересованы в получении небольшой ошибки в параметре , например, небольшого значения . ^{[ необходима цитата ]} Однако, поскольку истинный параметр обязательно неизвестен, эта величина не может быть напрямую минимизирована. Если известна априорная вероятность , то можно использовать байесовскую оценку для минимизации среднеквадратической ошибки , . Метод наименьших квадратов часто применяется, когда априорная вероятность неизвестна. Когда несколько параметров оцениваются совместно, можно построить лучшие оценки, эффект, известный как явление Стейна . Например, если ошибка измерения гауссова , известно несколько оценок, которые доминируют или превосходят метод наименьших квадратов; наиболее известной из них является оценка Джеймса–Стейна . Это пример более общих оценок сжатия , которые применялись к задачам регрессии. ${\displaystyle \|\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}\|}$ ${\displaystyle \mathbf {\hat {\boldsymbol {\beta }}} }$ ${\displaystyle \|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|}$ ${\displaystyle {\boldsymbol {\beta }}}$ ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ ${\displaystyle E\left\{\|{\boldsymbol {\beta }}-{\hat {\boldsymbol {\beta }}}\|^{2}\right\}}$

Приложения

Аппроксимация методом наименьших квадратов с линейными, квадратичными и кубическими полиномами.

• Полиномиальная подгонка : модели представляют собой полиномы относительно независимой переменной x :
  • Прямая линия: . ^[14] ${\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x}$
  • Квадратичный: . ${\displaystyle f(x,{\boldsymbol {\beta }})=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}}$
  • Кубические, четвертые и более высокие полиномы. Для регрессии с полиномами высокого порядка рекомендуется использовать ортогональные полиномы . ^[15]
• Численное сглаживание и дифференцирование — это применение полиномиальной подгонки.
• Многочлены с более чем одной независимой переменной, включая подгонку поверхности
• Аппроксимация кривой с помощью B-сплайнов ^[12]
• Хемометрика , Калибровочная кривая , Стандартная добавка , График Грана , Анализ смесей

Использование в подгонке данных

Основное применение метода наименьших квадратов — подгонка данных . Дан набор из m точек данных , состоящий из экспериментально измеренных значений, взятых при m значениях независимой переменной ( могут быть скалярными или векторными величинами), и дана модельная функция с желательно найти параметры , чтобы модельная функция «лучше всего» соответствовала данным. В методе наименьших квадратов линейность подразумевается относительно параметров, поэтому ${\displaystyle y_{1},y_{2},\dots ,y_{m},}$ ${\displaystyle x_{1},x_{2},\dots ,x_{m}}$ ${\displaystyle x_{i}}$ ${\displaystyle y=f(x,{\boldsymbol {\beta }}),}$ ${\displaystyle {\boldsymbol {\beta }}=(\beta _{1},\beta _{2},\dots ,\beta _{n}),}$ ${\displaystyle \beta _{j}}$ ${\displaystyle \beta _{j},}$ $${\displaystyle f(x,{\boldsymbol {\beta }})=\sum _{j=1}^{n}\beta _{j}\varphi _{j}(x).}$$

Здесь функции могут быть нелинейными относительно переменной x . ${\displaystyle \varphi _{j}}$

В идеале модельная функция точно соответствует данным, поэтому для всех На практике это обычно невозможно, поскольку точек данных больше, чем параметров, которые нужно определить. Выбранный подход заключается в том, чтобы найти минимально возможное значение суммы квадратов остатков , чтобы минимизировать функцию $${\displaystyle y_{i}=f(x_{i},{\boldsymbol {\beta }})}$$ ${\displaystyle i=1,2,\dots ,m.}$ $${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}),\ (i=1,2,\dots ,m)}$$ $${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{m}r_{i}^{2}({\boldsymbol {\beta }}).}$$

После замены на , а затем на эта задача минимизации становится квадратичной задачей минимизации, представленной выше, причем наилучшее соответствие можно найти, решив нормальные уравнения. ${\displaystyle r_{i}}$ ${\displaystyle f}$ $${\displaystyle X_{ij}=\varphi _{j}(x_{i}),}$$

Пример

График точек данных (красный), линия наименьших квадратов наилучшего соответствия (синий) и остатки (зеленый)

Гипотетический исследователь проводит эксперимент и получает четыре точки данных: и (показаны красным на диаграмме справа). Из-за разведочного анализа данных или предшествующих знаний о предмете исследователь подозревает, что -значения зависят от -значений систематически. Предполагается, что -значения точны, но -значения содержат некоторую неопределенность или «шум» из-за изучаемого явления, несовершенств измерений и т. д. ${\displaystyle (x,y)}$ ${\displaystyle (1,6),}$ ${\displaystyle (2,5),}$ ${\displaystyle (3,7),}$ ${\displaystyle (4,10)}$ ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle y}$

Установка линии

Одной из самых простых возможных связей между и является линия . Пересечение и наклон изначально неизвестны. Исследователь хотел бы найти значения и , которые заставят линию проходить через четыре точки данных. Другими словами, исследователь хотел бы решить систему линейных уравнений С четырьмя уравнениями с двумя неизвестными эта система является переопределенной. Точного решения нет. Чтобы рассмотреть приближенные решения, в уравнения вводятся остатки , , , : Остаток th — это несоответствие между th наблюдением и th предсказанием : Среди всех приближенных решений исследователь хотел бы найти то, которое является «лучшим» в некотором смысле. ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle y=\beta _{1}+\beta _{2}x}$ ${\displaystyle \beta _{1}}$ ${\displaystyle \beta _{2}}$ ${\displaystyle \beta _{1}}$ ${\displaystyle \beta _{2}}$ $${\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}&&\;=\;&&10.&\\\end{alignedat}}}$$ ${\displaystyle r_{1}}$ ${\displaystyle r_{2}}$ ${\displaystyle r_{3}}$ ${\displaystyle r_{4}}$ $${\displaystyle {\begin{alignedat}{3}\beta _{1}+1\beta _{2}+r_{1}&&\;=\;&&6,&\\\beta _{1}+2\beta _{2}+r_{2}&&\;=\;&&5,&\\\beta _{1}+3\beta _{2}+r_{3}&&\;=\;&&7,&\\\beta _{1}+4\beta _{2}+r_{4}&&\;=\;&&10.&\\\end{alignedat}}}$$ ${\displaystyle i}$ ${\displaystyle r_{i}}$ ${\displaystyle i}$ ${\displaystyle y_{i}}$ ${\displaystyle i}$ ${\displaystyle \beta _{1}+\beta _{2}x_{i}}$ $${\displaystyle {\begin{alignedat}{3}r_{1}&&\;=\;&&6-(\beta _{1}+1\beta _{2}),&\\r_{2}&&\;=\;&&5-(\beta _{1}+2\beta _{2}),&\\r_{3}&&\;=\;&&7-(\beta _{1}+3\beta _{2}),&\\r_{4}&&\;=\;&&10-(\beta _{1}+4\beta _{2}).&\\\end{alignedat}}}$$

В методе наименьших квадратов основное внимание уделяется сумме квадратов остатков: Наилучшее решение определяется как решение, которое минимизирует по отношению к и . Минимум можно вычислить, установив частные производные от равными нулю: Эти нормальные уравнения представляют собой систему из двух линейных уравнений с двумя неизвестными. Решением является и , а наилучшей линией соответствия является . Остатки равны и (см. диаграмму справа). Минимальное значение суммы квадратов остатков равно ${\displaystyle S}$ $${\displaystyle {\begin{aligned}S(\beta _{1},\beta _{2})&=r_{1}^{2}+r_{2}^{2}+r_{3}^{2}+r_{4}^{2}\\[6pt]&=[6-(\beta _{1}+1\beta _{2})]^{2}+[5-(\beta _{1}+2\beta _{2})]^{2}+[7-(\beta _{1}+3\beta _{2})]^{2}+[10-(\beta _{1}+4\beta _{2})]^{2}\\[6pt]&=4\beta _{1}^{2}+30\beta _{2}^{2}+20\beta _{1}\beta _{2}-56\beta _{1}-154\beta _{2}+210.\\[6pt]\end{aligned}}}$$ ${\displaystyle S}$ ${\displaystyle \beta _{1}}$ ${\displaystyle \beta _{2}}$ ${\displaystyle S}$ $${\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=8\beta _{1}+20\beta _{2}-56,}$$ $${\displaystyle 0={\frac {\partial S}{\partial \beta _{2}}}=20\beta _{1}+60\beta _{2}-154.}$$ ${\displaystyle \beta _{1}=3.5}$ ${\displaystyle \beta _{2}=1.4}$ ${\displaystyle y=3.5+1.4x}$ ${\displaystyle 1.1,}$ ${\displaystyle -1.3,}$ ${\displaystyle -0.7,}$ ${\displaystyle 0.9}$ $${\displaystyle S(3.5,1.4)=1.1^{2}+(-1.3)^{2}+(-0.7)^{2}+0.9^{2}=4.2.}$$

Это вычисление можно выразить в матричной записи следующим образом. Исходная система уравнений имеет вид , где Интуитивно, Более строго, если обратимо, то матрица представляет собой ортогональную проекцию на пространство столбцов . Следовательно, среди всех векторов вида наиболее близким к является . Задавая его, очевидно, что является решением. ${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$ $${\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{cc}1&1\\1&2\\1&3\\1&4\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\\\beta _{2}\end{array}}\right].}$$ $${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} ^{\top }\mathbf {X} \mathbf {\beta } \;\;\;\;\Rightarrow \;\;\;\;\mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}3.5\\1.4\end{array}}\right].}$$ ${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$ ${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }}$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} \mathbf {\beta } }$ ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$ $${\displaystyle \mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\mathbf {X} \mathbf {\beta } ,}$$ ${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} }$

Подгонка параболы

Результат подгонки квадратичной функции (синего цвета) через набор точек данных (красного цвета). В линейном методе наименьших квадратов функция не обязательно должна быть линейной по аргументу, а только по параметрам , которые определяются для наилучшего подгона. ${\displaystyle y=\beta _{1}+\beta _{2}x+\beta _{3}x^{2}\,}$ ${\displaystyle (x_{i},y_{i})}$ ${\displaystyle x,}$ ${\displaystyle \beta _{j}}$

Предположим, что гипотетический исследователь хочет подогнать параболу формы . Важно, что эта модель все еще линейна по неизвестным параметрам (теперь просто ), поэтому линейный метод наименьших квадратов все еще применим. Система уравнений, включающая остатки, имеет вид ${\displaystyle y=\beta _{1}x^{2}}$ ${\displaystyle \beta _{1}}$ $${\displaystyle {\begin{alignedat}{2}6&&\;=\beta _{1}(1)^{2}+r_{1}\\5&&\;=\beta _{1}(2)^{2}+r_{2}\\7&&\;=\beta _{1}(3)^{2}+r_{3}\\10&&\;=\beta _{1}(4)^{2}+r_{4}\\\end{alignedat}}}$$

Сумма квадратов остатков равна Остается только одна частная производная, которую нужно приравнять к 0: Решение равно , а подходящая модель равна . $${\displaystyle S(\beta _{1})=(6-\beta _{1})^{2}+(5-4\beta _{1})^{2}+(7-9\beta _{1})^{2}+(10-16\beta _{1})^{2}.}$$ $${\displaystyle 0={\frac {\partial S}{\partial \beta _{1}}}=708\beta _{1}-498.}$$ ${\displaystyle \beta _{1}=0.703}$ ${\displaystyle y=0.703x^{2}}$

В матричной записи уравнения без остатков снова будут иметь вид , где теперь По той же логике, что и выше, решение будет иметь вид ${\displaystyle \mathbf {y} =\mathbf {X} \mathbf {\beta } }$ $${\displaystyle \mathbf {y} =\left[{\begin{array}{c}6\\5\\7\\10\end{array}}\right],\;\;\;\;\mathbf {X} =\left[{\begin{array}{c}1\\4\\9\\16\end{array}}\right],\;\;\;\;\mathbf {\beta } =\left[{\begin{array}{c}\beta _{1}\end{array}}\right].}$$ $${\displaystyle \mathbf {\beta } =\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {y} =\left[{\begin{array}{c}0.703\end{array}}\right].}$$

На рисунке показано расширение подгонки трехпараметрической параболы с использованием матрицы проектирования с тремя столбцами (по одному для , , и ) и одной строкой для каждой из красных точек данных. ${\displaystyle \mathbf {X} }$ ${\displaystyle x^{0}}$ ${\displaystyle x^{1}}$ ${\displaystyle x^{2}}$

Подгонка других кривых и поверхностей

В более общем смысле можно иметь регрессоры и линейную модель ${\displaystyle n}$ ${\displaystyle x_{j}}$ $${\displaystyle y=\beta _{0}+\sum _{j=1}^{n}\beta _{j}x_{j}.}$$

Смотрите также

• Пересечение линии с линией
• Линия монтажа
• Нелинейный метод наименьших квадратов
• Регуляризованный метод наименьших квадратов
• Простая линейная регрессия
• Частичная регрессия наименьших квадратов
• Линейная функция

Ссылки

1. Weisstein, Eric W. "Normal Equation". MathWorld . Wolfram . Получено 18 декабря 2023 г. .
2. Lai, TL; Robbins, H.; Wei, CZ (1978). «Сильная согласованность оценок наименьших квадратов во множественной регрессии». PNAS . 75 (7): 3034–3036. Bibcode :1978PNAS...75.3034L. doi : 10.1073/pnas.75.7.3034 . JSTOR  68164. PMC 392707 . PMID  16592540. 
3. дель Пино, Гвидо (1989). «Объединяющая роль итеративных обобщенных наименьших квадратов в статистических алгоритмах». Статистическая наука . 4 (4): 394–403. doi : 10.1214/ss/1177012408 . JSTOR  2245853.
4. Кэрролл, Рэймонд Дж. (1982). «Адаптация к гетероскедастичности в линейных моделях». Анналы статистики . 10 (4): 1224–1233. doi : 10.1214/aos/1176345987 . JSTOR  2240725.
5. Коэн, Майкл; Далал, Сиддхартха Р.; Тьюки, Джон В. (1993). «Надежная, гладко неоднородная дисперсионная регрессия». Журнал Королевского статистического общества, Серия C. 42 ( 2): 339–353. JSTOR  2986237.
6. Нивергельт, Ив (1994). «Общие наименьшие квадраты: современная регрессия в численном анализе». Обзор SIAM . 36 (2): 258–264. doi :10.1137/1036055. JSTOR  2132463.
7. Britzger, Daniel (2022). "The Linear Template Fit". Eur. Phys. J. C. 82 ( 8): 731. arXiv : 2112.01548 . Bibcode : 2022EPJC...82..731B. doi : 10.1140/epjc/s10052-022-10581-w. S2CID  244896511.
8. Tofallis, C (2009). «Процентная регрессия по наименьшим квадратам». Журнал современных прикладных статистических методов . 7 : 526–534. doi :10.2139/ssrn.1406472. hdl : 2299/965 . SSRN  1406472.
9. Гамильтон, WC (1964). Статистика в физических науках . Нью-Йорк: Ronald Press.
10. Шпигель, Мюррей Р. (1975). Очерк Шаума по теории и проблемам вероятности и статистики . Нью-Йорк: McGraw-Hill. ISBN 978-0-585-26739-5.
11. Маргенау, Генри; Мерфи, Джордж Мозели (1956). Математика физики и химии . Принстон: Van Nostrand.
12. Gans, Peter (1992). Подгонка данных в химических науках . Нью-Йорк: Wiley. ISBN 978-0-471-93412-7.
13. Деминг, У. Э. (1943). Статистическая корректировка данных . Нью-Йорк: Wiley.
14. Актон, Ф. С. (1959). Анализ линейных данных . Нью-Йорк: Wiley.
15. Гест, ПГ (1961). Численные методы подгонки кривых . Кембридж: Издательство Кембриджского университета.^{[ нужна страница ]}

Дальнейшее чтение

• Бевингтон, Филип Р.; Робинсон, Кит Д. (2003). Сокращение данных и анализ ошибок для физических наук . McGraw-Hill. ISBN 978-0-07-247227-1.

Внешние ссылки

• Подгонка методом наименьших квадратов – от MathWorld
• Метод наименьших квадратов - полиномиальная подгонка – Из MathWorld