Локальная регрессия

Метод скользящей средней и полиномиальной регрессии для сглаживания данных

Кривая LOESS, подобранная к выборке, полученной из синусоиды с добавлением равномерного шума. Кривая LOESS аппроксимирует исходную синусоиду.

Локальная регрессия или локальная полиномиальная регрессия , ^[1] также известная как скользящая регрессия , ^[2] является обобщением скользящего среднего и полиномиальной регрессии . ^[3] Наиболее распространенными ее методами, изначально разработанными для сглаживания диаграмм рассеяния , являются LOESS ( локально оцененное сглаживание диаграмм рассеяния ) и LOWESS ( локально взвешенное сглаживание диаграмм рассеяния ), оба произносятся как / ˈ l oʊ ɛ s / LOH -ess . Это два тесно связанных непараметрических метода регрессии, которые объединяют модели множественной регрессии в метамодели на основе k -ближайших соседей . В некоторых областях LOESS известен и обычно называется фильтром Савицкого–Голея ^{[4] [5]} (предложен за 15 лет до LOESS).

Таким образом, LOESS и LOWESS основываются на «классических» методах , таких как линейная и нелинейная регрессия наименьших квадратов . Они решают ситуации, в которых классические процедуры не работают хорошо или не могут быть эффективно применены без неоправданного труда. LOESS сочетает в себе большую часть простоты линейной регрессии наименьших квадратов с гибкостью нелинейной регрессии . Он делает это путем подгонки простых моделей под локализованные подмножества данных для построения функции, которая описывает детерминированную часть вариации в данных, точка за точкой. Фактически, одно из главных преимуществ этого метода заключается в том, что аналитику данных не требуется указывать глобальную функцию любой формы для подгонки модели к данным, а только для подгонки сегментов данных.

Компромиссом для этих функций является увеличение вычислений. Поскольку это настолько вычислительно интенсивно, LOESS было бы практически невозможно использовать в эпоху, когда разрабатывалась регрессия наименьших квадратов. Большинство других современных методов моделирования процессов похожи на LOESS в этом отношении. Эти методы были сознательно разработаны для использования наших текущих вычислительных возможностей с максимально возможным преимуществом для достижения целей, которые нелегко достичь традиционными подходами.

Гладкая кривая через набор точек данных, полученных с помощью этого статистического метода, называется кривой лесса , в частности, когда каждое сглаженное значение дается взвешенной квадратичной регрессией наименьших квадратов по диапазону значений критериальной переменной диаграммы рассеяния оси y . Когда каждое сглаженное значение дается взвешенной линейной регрессией наименьших квадратов по диапазону, это известно как кривая лоусса ; однако некоторые специалисты рассматривают лоус и лоус как синонимы. ^{[6] [7]}

Определение модели

В 1964 году Савицкий и Голей предложили метод, эквивалентный LOESS, который обычно называют фильтром Савицкого–Голея . Уильям С. Кливленд заново открыл метод в 1979 году и дал ему отдельное название. Метод был дополнительно разработан Кливлендом и Сьюзен Дж. Девлин (1988). LOWESS также известен как локально взвешенная полиномиальная регрессия.

В каждой точке диапазона набора данных полином низкой степени подгоняется к подмножеству данных со значениями объясняющей переменной вблизи точки, ответ которой оценивается. Полином подгоняется с использованием взвешенных наименьших квадратов , давая больший вес точкам вблизи точки, ответ которой оценивается, и меньший вес точкам, расположенным дальше. Значение функции регрессии для точки затем получается путем оценки локального полинома с использованием значений объясняющей переменной для этой точки данных. Подгонка LOESS завершается после вычисления значений функции регрессии для каждой из точек данных. Многие детали этого метода, такие как степень полиномиальной модели и веса, являются гибкими. Диапазон выбора для каждой части метода и типичные значения по умолчанию кратко обсуждаются далее. ${\displaystyle n}$

Локализованные подмножества данных

Подмножества данных , используемые для каждого взвешенного наименьшего квадрата в LOESS, определяются алгоритмом ближайших соседей. Указанный пользователем ввод в процедуру, называемый «полосой пропускания» или «параметром сглаживания», определяет, какая часть данных используется для подгонки каждого локального полинома. Параметр сглаживания, , представляет собой долю от общего числа n точек данных, которые используются в каждом локальном подгоне. Подмножество данных, используемое в каждом взвешенном наименьшем квадрате, таким образом, включает точки (округленные до следующего большего целого числа), значения объясняющих переменных которых находятся ближе всего к точке, в которой оценивается отклик. ^[7] ${\displaystyle \alpha }$ ${\displaystyle n\alpha }$

 Поскольку для подгонки полинома степени k требуется не менее k + 1 точек, параметр сглаживания должен быть в пределах от 0 до 1, при этом обозначается степень локального полинома. ${\displaystyle \alpha }$ ${\displaystyle \left(\lambda +1\right)/n}$ ${\displaystyle \lambda }$

${\displaystyle \alpha }$называется параметром сглаживания, поскольку он контролирует гибкость функции регрессии LOESS. Большие значения создают самые гладкие функции, которые меньше всего колеблются в ответ на колебания данных. Чем меньше , тем лучше функция регрессии будет соответствовать данным. Однако использование слишком малого значения параметра сглаживания нежелательно, поскольку функция регрессии в конечном итоге начнет улавливать случайную ошибку в данных. ${\displaystyle \alpha }$ ${\displaystyle \alpha }$

Степень локальных полиномов

Локальные полиномы, соответствующие каждому подмножеству данных, почти всегда имеют первую или вторую степень; то есть либо локально линейны (в смысле прямой линии), либо локально квадратичны. Использование полинома нулевой степени превращает LOESS во взвешенное скользящее среднее . Полиномы более высокой степени работали бы в теории, но давали бы модели, которые на самом деле не соответствуют духу LOESS. LOESS основан на идеях о том, что любая функция может быть хорошо аппроксимирована в небольшой окрестности полиномом низкого порядка и что простые модели могут быть легко подогнаны к данным. Полиномы высокой степени имеют тенденцию переподгонять данные в каждом подмножестве и являются численно нестабильными, что затрудняет точные вычисления.

Весовая функция

Как упоминалось выше, весовая функция дает наибольший вес точкам данных, ближайшим к точке оценки, и наименьший вес точкам данных, которые находятся дальше всего. Использование весов основано на идее, что точки, расположенные близко друг к другу в пространстве объясняющих переменных, с большей вероятностью будут связаны друг с другом простым образом, чем точки, которые находятся дальше друг от друга. Следуя этой логике, точки, которые, скорее всего, будут следовать локальной модели, больше всего влияют на оценки параметров локальной модели. Точки, которые с меньшей вероятностью фактически соответствуют локальной модели, оказывают меньшее влияние на оценки параметров локальной модели .

Традиционная весовая функция, используемая для LOESS, — это трехкубовая весовая функция ,

${\displaystyle w(d)=(1-|d|^{3})^{3}}$

где d — расстояние заданной точки данных от точки на подгоняемой кривой, масштабированное так, чтобы находиться в диапазоне от 0 до 1. ^[7]

Однако можно использовать и любую другую весовую функцию, которая удовлетворяет свойствам, перечисленным в Cleveland (1979). Вес для конкретной точки в любом локализованном подмножестве данных получается путем оценки весовой функции на расстоянии между этой точкой и точкой оценки после масштабирования расстояния таким образом, чтобы максимальное абсолютное расстояние по всем точкам в подмножестве данных было ровно единицей.

Рассмотрим следующее обобщение линейной регрессионной модели с метрикой на целевом пространстве , которая зависит от двух параметров, . Предположим, что линейная гипотеза основана на входных параметрах и что, как обычно в таких случаях, мы встраиваем входное пространство в , и рассмотрим следующую функцию потерь ${\displaystyle w(x,z)}$ ${\displaystyle \mathbb {R} ^{m}}$ ${\displaystyle x,z\in \mathbb {R} ^{p}}$ ${\displaystyle p}$ ${\displaystyle \mathbb {R} ^{p}}$ ${\displaystyle \mathbb {R} ^{p+1}}$ ${\displaystyle x\mapsto {\hat {x}}:=(1,x)}$

${\displaystyle \operatorname {RSS} _{x}(A)=\sum _{i=1}^{N}(y_{i}-A{\hat {x}}_{i})^{T}w_{i}(x)(y_{i}-A{\hat {x}}_{i}).}$

Здесь — вещественная матрица коэффициентов, а индекс i перечисляет входные и выходные векторы из обучающего набора. Поскольку — метрика, это симметричная, положительно определенная матрица, и, как таковая, существует другая симметричная матрица, такая что . Вышеуказанную функцию потерь можно преобразовать в след, заметив, что . Расположив векторы и в столбцах матрицы и матрицы соответственно , вышеприведенную функцию потерь можно записать как ${\displaystyle A}$ ${\displaystyle m\times (p+1)}$ ${\displaystyle w_{i}(x):=w(x_{i},x)}$ ${\displaystyle w}$ ${\displaystyle h}$ ${\displaystyle w=h^{2}}$ ${\displaystyle y^{T}wy=(hy)^{T}(hy)=\operatorname {Tr} (hyy^{T}h)=\operatorname {Tr} (wyy^{T})}$ ${\displaystyle y_{i}}$ ${\displaystyle {\hat {x}}_{i}}$ ${\displaystyle m\times N}$ ${\displaystyle Y}$ ${\displaystyle (p+1)\times N}$ ${\displaystyle {\hat {X}}}$

${\displaystyle \operatorname {Tr} (W(x)(Y-A{\hat {X}})^{T}(Y-A{\hat {X}}))}$

где — квадратная диагональная матрица, элементами которой являются s. Дифференцируя по и приравнивая результат к 0, находим экстремальное матричное уравнение ${\displaystyle W}$ ${\displaystyle N\times N}$ ${\displaystyle w_{i}(x)}$ ${\displaystyle A}$

${\displaystyle A{\hat {X}}W(x){\hat {X}}^{T}=YW(x){\hat {X}}^{T}}$.

Если далее предположить, что квадратная матрица невырожденная, то функция потерь достигает своего минимума при ${\displaystyle {\hat {X}}W(x){\hat {X}}^{T}}$ ${\displaystyle \operatorname {RSS} _{x}(A)}$

${\displaystyle A(x)=YW(x){\hat {X}}^{T}({\hat {X}}W(x){\hat {X}}^{T})^{-1}}$.

Типичным выбором является гауссовский вес ${\displaystyle w(x,z)}$

${\displaystyle w(x,z)=\exp \left(-{\frac {\|x-z\|^{2}}{2\alpha ^{2}}}\right)}$.

Преимущества

Как обсуждалось выше, самое большое преимущество LOESS перед многими другими методами заключается в том, что процесс подгонки модели к данным выборки не начинается со спецификации функции. Вместо этого аналитик должен только указать значение параметра сглаживания и степень локального полинома. Кроме того, LOESS очень гибок, что делает его идеальным для моделирования сложных процессов, для которых не существует теоретических моделей. Эти два преимущества в сочетании с простотой метода делают LOESS одним из самых привлекательных современных методов регрессии для приложений, которые соответствуют общей структуре регрессии наименьших квадратов, но которые имеют сложную детерминированную структуру.

Хотя это менее очевидно, чем для некоторых других методов, связанных с линейной регрессией наименьших квадратов, LOESS также получает большинство преимуществ, обычно разделяемых этими процедурами. Наиболее важной из них является теория вычисления неопределенностей для прогнозирования и калибровки. Многие другие тесты и процедуры, используемые для проверки моделей наименьших квадратов, также могут быть распространены на модели LOESS ^{[ требуется цитата ]} .

Недостатки

LOESS менее эффективно использует данные, чем другие методы наименьших квадратов. Для создания хороших моделей требуются довольно большие, плотно отобранные наборы данных. Это связано с тем, что LOESS опирается на локальную структуру данных при выполнении локальной подгонки. Таким образом, LOESS обеспечивает менее сложный анализ данных в обмен на более высокие экспериментальные затраты. ^[7]

Другим недостатком LOESS является тот факт, что он не создает функцию регрессии, которую легко представить математической формулой. Это может затруднить передачу результатов анализа другим людям. Чтобы передать функцию регрессии другому человеку, ему понадобятся набор данных и программное обеспечение для расчетов LOESS. С другой стороны, в нелинейной регрессии необходимо только записать функциональную форму, чтобы предоставить оценки неизвестных параметров и оцененной неопределенности. В зависимости от приложения это может быть как основным, так и незначительным недостатком использования LOESS. В частности, простая форма LOESS не может использоваться для механистического моделирования, где подобранные параметры определяют конкретные физические свойства системы.

Наконец, как обсуждалось выше, LOESS является вычислительно интенсивным методом (за исключением равномерно распределенных данных, где регрессия может быть сформулирована как некаузальный фильтр с конечной импульсной характеристикой ). LOESS также подвержен влиянию выбросов в наборе данных, как и другие методы наименьших квадратов. Существует итеративная, надежная версия LOESS [Кливленд (1979)], которая может быть использована для снижения чувствительности LOESS к выбросам , но слишком большое количество экстремальных выбросов все еще может преодолеть даже надежный метод.

Смотрите также

• Степени свободы (статистика)#В нестандартной регрессии
• Регрессия ядра
• Перемещение наименьших квадратов
• Скользящая средняя
• Многомерные адаптивные регрессионные сплайны
• Непараметрическая статистика
• Фильтр Савицкого-Голея
• Сегментированная регрессия

Ссылки

Цитаты

1. Фокс и Вайсберг 2018, Приложение.
2. Харрелл 2015, стр. 29.
3. Гаримелла 2017.
4. "Фильтрация Савицкого-Голея - MATLAB sgolayfilt" . Mathworks.com .
5. "scipy.signal.savgol_filter — Справочное руководство SciPy v0.16.1". Docs.scipy.org .
6. Кристен Павлик, Агентство по охране окружающей среды США, Loess (или Lowess) , Nutrient Steps , июль 2016 г.
7. NIST, "LOESS (он же LOWESS)", раздел 4.1.4.4, NIST/SEMATECH e-Handbook of Statistical Methods, (дата обращения: 14 апреля 2017 г.)

Источники

• Кливленд, Уильям С. (1979). «Надежная локально взвешенная регрессия и сглаживающие диаграммы рассеяния». Журнал Американской статистической ассоциации . 74 (368): 829–836. doi :10.2307/2286407. JSTOR  2286407. MR  0556476.
• Кливленд, Уильям С. (1981). "LOWESS: Программа сглаживания диаграмм рассеяния с помощью надежной локально взвешенной регрессии". The American Statistician . 35 (1): 54. doi :10.2307/2683591. JSTOR  2683591.
• Кливленд, Уильям С.; Девлин , Сьюзен Дж. (1988). «Локально-взвешенная регрессия: подход к регрессионному анализу с помощью локальной подгонки». Журнал Американской статистической ассоциации . 83 (403): 596–610. doi :10.2307/2289282. JSTOR  2289282.
• Фокс, Джон; Вайсберг, Сэнфорд (2018). «Приложение: Непараметрическая регрессия в R» (PDF) . Компаньон R для прикладной регрессии (3-е изд.). SAGE. ISBN 978-1-5443-3645-9.
• Фридман, Джером Х. (1984). "A Variable Span Smoother" (PDF) . Лаборатория вычислительной статистики. Технический отчет LCS 5, SLAC PUB-3466. Стэнфордский университет. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
• Гаримелла, Рао Вирабхадра (22 июня 2017 г.). «Простое введение в метод наименьших квадратов и оценку локальной регрессии». doi : 10.2172/1367799. OSTI  1367799. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
• Харрелл, Фрэнк Э. младший (2015). Стратегии регрессионного моделирования: с приложениями к линейным моделям, логистической и порядковой регрессии и анализу выживаемости. Springer. ISBN 978-3-319-19425-7.

Внешние ссылки

• Локальная регрессия и моделирование выборов
• Сглаживание локальной регрессией: принципы и методы (документ PostScript)
• Раздел справочника по технической статистике NIST, посвященный LOESS
• Программное обеспечение для локальной подгонки
• Сглаживание диаграммы рассеяния
• R: Локальная полиномиальная регрессия. Подгонка функции Лесса в R.
• R: Сглаживание диаграммы рассеяния Функция Лоуесса в R
• Функция supsmu (SuperSmoother Фридмана) в R
• Квантиль LOESS – метод выполнения локальной регрессии на квантильном скользящем окне (с кодом R)
• Нейт Сильвер, Как меняется мнение об однополых браках и что это значит – пример LOESS против линейной регрессии

 В статье использованы материалы, являющиеся общественным достоянием Национального института стандартов и технологий.