Сглаживающий сплайн

Метод сглаживания с использованием сплайн-функции

Сглаживающие сплайны — это оценки функции, , полученные из набора зашумленных наблюдений цели , чтобы сбалансировать меру качества подгонки для с мерой гладкости на основе производной . Они предоставляют средства для сглаживания зашумленных данных. Наиболее известным примером является кубический сглаживающий сплайн, но есть много других возможностей, включая случай, когда — векторная величина. ${\displaystyle {\hat {f}}(x)}$ ${\displaystyle y_{i}}$ ${\displaystyle f(x_{i})}$ ${\displaystyle {\hat {f}}(x_{i})}$ ${\displaystyle y_{i}}$ ${\displaystyle {\hat {f}}(x)}$ ${\displaystyle x_{i},y_{i}}$ ${\displaystyle x}$

Определение кубического сплайна

Пусть будет набором наблюдений, смоделированным отношением , где являются независимыми случайными величинами с нулевым средним. Оценка кубического сглаживающего сплайна функции определяется как единственный минимизатор в пространстве Соболева на компактном интервале ^{[1] [2]} ${\displaystyle \{x_{i},Y_{i}:i=1,\dots ,n\}}$ ${\displaystyle Y_{i}=f(x_{i})+\epsilon _{i}}$ ${\displaystyle \epsilon _{i}}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle f}$ ${\displaystyle W_{2}^{2}}$

${\displaystyle \sum _{i=1}^{n}\{Y_{i}-{\hat {f}}(x_{i})\}^{2}+\lambda \int {\hat {f}}^{\prime \prime }(x)^{2}\,dx.}$

Замечания:

• ${\displaystyle \lambda \geq 0}$является параметром сглаживания, контролирующим компромисс между точностью данных и грубостью оценки функции. Это часто оценивается с помощью обобщенной перекрестной проверки ^[3] или ограниченного предельного правдоподобия (REML) ^{[ требуется ссылка ]} , которое использует связь между сглаживанием сплайна и байесовской оценкой (штраф за сглаживание можно рассматривать как вызванный априорным значением на ). ^[4] ${\displaystyle f}$
• Интеграл часто вычисляется по всей действительной оси, хотя также можно ограничить диапазон до . ${\displaystyle x_{i}}$
• Так как (сглаживание отсутствует), то сглаживающий сплайн сходится к интерполяционному сплайну . ${\displaystyle \lambda \to 0}$
• При (бесконечном сглаживании) штраф за шероховатость становится первостепенным, и оценка сходится к линейной оценке наименьших квадратов . ${\displaystyle \lambda \to \infty }$
• Штраф за грубость, основанный на второй производной, является наиболее распространенным в современной статистической литературе, хотя этот метод можно легко адаптировать к штрафам, основанным на других производных.
• В ранней литературе при равномерном упорядочении в качестве штрафа использовались разности второго или третьего порядка, а не производные. ^[5] ${\displaystyle x_{i}}$
• Цель сглаживания на основе штрафной суммы квадратов можно заменить целью штрафного правдоподобия , в которой сумма квадратов членов заменяется другой мерой верности данным, основанной на логарифмическом правдоподобии. ^[1] Член суммы квадратов соответствует штрафному правдоподобию с гауссовым предположением о . ${\displaystyle \epsilon _{i}}$

Вывод кубического сглаживающего сплайна

Полезно представить себе подгонку сглаживающего сплайна в два этапа:

1. Сначала выведем значения . ${\displaystyle {\hat {f}}(x_{i});i=1,\ldots ,n}$
2. Из этих значений выведите для всех x . ${\displaystyle {\hat {f}}(x)}$

Теперь сначала займитесь вторым этапом.

Учитывая вектор подобранных значений, сумма квадратов критерия сплайна фиксируется. Остается только минимизировать , а минимизатор представляет собой естественный кубический сплайн, который интерполирует точки . Этот интерполирующий сплайн является линейным оператором и может быть записан в виде ${\displaystyle {\hat {m}}=({\hat {f}}(x_{1}),\ldots ,{\hat {f}}(x_{n}))^{T}}$ ${\displaystyle \int {\hat {f}}''(x)^{2}\,dx}$ ${\displaystyle (x_{i},{\hat {f}}(x_{i}))}$

${\displaystyle {\hat {f}}(x)=\sum _{i=1}^{n}{\hat {f}}(x_{i})f_{i}(x)}$

где — набор базисных функций сплайна. В результате штраф за шероховатость имеет вид ${\displaystyle f_{i}(x)}$

${\displaystyle \int {\hat {f}}''(x)^{2}dx={\hat {m}}^{T}A{\hat {m}}.}$

где элементы A равны . Базисные функции, а следовательно, и матрица A , зависят от конфигурации предикторных переменных , но не от откликов или . ${\displaystyle \int f_{i}''(x)f_{j}''(x)dx}$ ${\displaystyle x_{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle {\hat {m}}}$

A — это матрица размера n × n , заданная формулой . ${\displaystyle A=\Delta ^{T}W^{-1}\Delta }$

Δ — это матрица (n-2) × n вторых разностей с элементами:

${\displaystyle \Delta _{ii}=1/h_{i}}$, , ${\displaystyle \Delta _{i,i+1}=-1/h_{i}-1/h_{i+1}}$ ${\displaystyle \Delta _{i,i+2}=1/h_{i+1}}$

W — симметричная трехдиагональная матрица (n-2) × (n-2) с элементами:

${\displaystyle W_{i-1,i}=W_{i,i-1}=h_{i}/6}$, и , расстояния между последовательными узлами (или значения x). ${\displaystyle W_{ii}=(h_{i}+h_{i+1})/3}$ ${\displaystyle h_{i}=\xi _{i+1}-\xi _{i}}$

Теперь вернемся к первому шагу. Оштрафованную сумму квадратов можно записать как

${\displaystyle \{Y-{\hat {m}}\}^{T}\{Y-{\hat {m}}\}+\lambda {\hat {m}}^{T}A{\hat {m}},}$

где . ${\displaystyle Y=(Y_{1},\ldots ,Y_{n})^{T}}$

Минимизация по дифференцированию по . Это приводит к: ^[6] и ${\displaystyle {\hat {m}}}$ ${\displaystyle {\hat {m}}}$ ${\displaystyle -2\{Y-{\hat {m}}\}+2\lambda A{\hat {m}}=0}$ ${\displaystyle {\hat {m}}=(I+\lambda A)^{-1}Y.}$

Подход Де Бура

Подход Де Бура использует ту же идею — нахождение баланса между гладкостью кривой и близостью к заданным данным. ^[7]

${\displaystyle p\sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}+\left(1-p\right)\int \left({\hat {f}}^{\left(m\right)}\left(x\right)\right)^{2}\,dx}$

где — параметр, называемый коэффициентом сглаживания, и принадлежит интервалу , а — величины, контролирующие степень сглаживания (они представляют вес каждой точки ). На практике, поскольку в основном используются кубические сплайны , обычно . Решение для было предложено Кристианом Райншем в 1967 году. ^[8] Для , когда приближается к , сходится к «естественному» сплайн-интерполянту к заданным данным. ^[7] Когда приближается к , сходится к прямой линии (самой гладкой кривой). Поскольку нахождение подходящего значения является задачей проб и ошибок, для удобства была введена избыточная константа. ^[8] используется для численного определения значения так, чтобы функция удовлетворяла следующему условию: ${\displaystyle p}$ ${\displaystyle [0,1]}$ ${\displaystyle \delta _{i};i=1,\dots ,n}$ ${\displaystyle \delta _{i}^{-2}}$ ${\displaystyle Y_{i}}$ ${\displaystyle m}$ ${\displaystyle 2}$ ${\displaystyle m=2}$ ${\displaystyle m=2}$ ${\displaystyle p}$ ${\displaystyle 1}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle p}$ ${\displaystyle 0}$ ${\displaystyle {\hat {f}}}$ ${\displaystyle p}$ ${\displaystyle S}$ ${\displaystyle S}$ ${\displaystyle p}$ ${\displaystyle {\hat {f}}}$

${\displaystyle \sum _{i=1}^{n}\left({\frac {Y_{i}-{\hat {f}}\left(x_{i}\right)}{\delta _{i}}}\right)^{2}\leq S}$

Алгоритм, описанный де Буром, начинается с и увеличивается до тех пор, пока не будет выполнено условие. ^[7] Если — оценка стандартного отклонения для , то рекомендуется выбирать константу в интервале . Наличие означает, что решение — «естественный» сплайн-интерполянт. ^[8] Увеличение означает, что мы получаем более гладкую кривую, удаляясь от заданных данных. ${\displaystyle p=0}$ ${\displaystyle p}$ ${\displaystyle \delta _{i}}$ ${\displaystyle Y_{i}}$ ${\displaystyle S}$ ${\displaystyle \left[n-{\sqrt {2n}},n+{\sqrt {2n}}\right]}$ ${\displaystyle S=0}$ ${\displaystyle S}$

Многомерные сплайны

Существует два основных класса методов для обобщения от сглаживания относительно скаляра до сглаживания относительно вектора . Первый подход просто обобщает штраф сглаживания сплайна на многомерную настройку. Например, если мы пытаемся оценить, мы можем использовать штраф сплайна тонкой пластины и найти минимизирующий ${\displaystyle x}$ ${\displaystyle x}$ ${\displaystyle f(x,z)}$ ${\displaystyle {\hat {f}}(x,z)}$

${\displaystyle \sum _{i=1}^{n}\{y_{i}-{\hat {f}}(x_{i},z_{i})\}^{2}+\lambda \int \left[\left({\frac {\partial ^{2}{\hat {f}}}{\partial x^{2}}}\right)^{2}+2\left({\frac {\partial ^{2}{\hat {f}}}{\partial x\partial z}}\right)^{2}+\left({\frac {\partial ^{2}{\hat {f}}}{\partial z^{2}}}\right)^{2}\right]{\textrm {d}}x\,{\textrm {d}}z.}$

Подход с использованием тонкого сплайна можно обобщить для сглаживания по отношению к более чем двум измерениям и к другим порядкам дифференциации в штрафе. ^[1] По мере увеличения размерности существуют некоторые ограничения на наименьший порядок дифференциала, который может быть использован, ^[1] но на самом деле оригинальная статья Дюшона ^[9] дает немного более сложные штрафы, которые позволяют обойти это ограничение.

Сплайны тонкой пластины изотропны, что означает, что если мы повернем систему координат, оценка не изменится, но также и то, что мы предполагаем, что один и тот же уровень сглаживания уместен во всех направлениях. Это часто считается разумным при сглаживании относительно пространственного положения, но во многих других случаях изотропия не является подходящим предположением и может привести к чувствительности к, по-видимому, произвольному выбору единиц измерения. Например, если сглаживание относительно расстояния и времени, изотропный сглаживатель даст разные результаты, если расстояние измеряется в метрах, а время в секундах, к тому, что произойдет, если мы изменим единицы на сантиметры и часы. ${\displaystyle x,z}$

Второй класс обобщений для многомерного сглаживания имеет дело непосредственно с этой проблемой масштабной инвариантности с использованием конструкций тензорных сплайнов. ^{[10] [11] [12]} Такие сплайны имеют штрафы за сглаживание при наличии нескольких параметров сглаживания, что является ценой, которую приходится платить за то, что не предполагается, что одинаковая степень гладкости подходит во всех направлениях.

Связанные методы

Сглаживающие сплайны связаны, но отличаются от:

• Сплайны регрессии . В этом методе данные подгоняются под набор базисных функций сплайна с сокращенным набором узлов, как правило, методом наименьших квадратов. Штраф за шероховатость не используется. (См. также многомерные адаптивные сплайны регрессии .)
• Оштрафованные сплайны . Это объединяет уменьшенные узлы регрессионных сплайнов со штрафом за шероховатость сглаживающих сплайнов. ^{[13] [14]}
• Сплайны тонких пластин иметод эластичных карт для обучения многообразия . Этот метод объединяет штраф наименьших квадратов за ошибку аппроксимации со штрафом за изгиб и растяжение аппроксимирующего многообразия и использует грубую дискретизацию задачи оптимизации.

Исходный код

Исходный код для сглаживания сплайнов можно найти в примерах из книги Карла де Бура «Практическое руководство по сплайнам» . Примеры написаны на языке программирования Fortran . Обновленные исходники также доступны на официальном сайте Карла де Бура [1].

Ссылки

1. Грин, П. Дж.; Сильверман, Б. В. (1994). Непараметрическая регрессия и обобщенные линейные модели: подход с использованием штрафа за грубость . Чепмен и Холл.
2. Хасти, Т. Дж.; Тибширани, Р. Дж. (1990). Обобщенные аддитивные модели . Чепмен и Холл. ISBN 978-0-412-34390-2.
3. Крейвен, П.; Вахба, Г. (1979). «Сглаживание зашумленных данных с помощью сплайн-функций». Numerische Mathematik . 31 (4): 377–403. doi :10.1007/bf01404567.
4. Кимельдорф, Г. С.; Вахба, Г. (1970). «Соответствие между байесовской оценкой стохастических процессов и сглаживанием сплайнами». Анналы математической статистики . 41 (2): 495–502. doi : 10.1214/aoms/1177697089 .
5. Уиттекер, ET (1922). «О новом методе градуировки». Труды Эдинбургского математического общества . 41 : 63–75.
6. Родригес, Герман (весна 2001 г.). «Сглаживание и непараметрическая регрессия» (PDF) . 2.3.1 Вычисление. стр. 12. Получено 28 апреля 2024 г.{{cite web}}: CS1 maint: location (link)
7. De Boor, C. (2001). Практическое руководство по сплайнам (пересмотренное издание) . Springer. стр. 207–214. ISBN 978-0-387-90356-9.
8. Рейнш, Кристиан Х (1967). «Сглаживание сплайн-функциями». Числовая математика . 10 (3): 177–183. дои : 10.1007/BF02162161.
9. J. Duchon, 1976, Сплайны, минимизирующие инвариантные относительно вращения полунормы в пространствах Соболева. С. 85–100, В: Конструктивная теория функций нескольких переменных, Обервольфах, 1976, W. Schempp и K. Zeller , ред., Lecture Notes in Math., том 571, Springer, Берлин, 1977
10. Вахба, Грейс. Сплайновые модели для данных наблюдений . SIAM.
11. Гу, Чонг (2013). Модели сглаживающего сплайна ANOVA (2-е изд.) . Springer.
12. Wood, SN (2017). Обобщенные аддитивные модели: введение в R (2-е изд.) . Chapman & Hall/CRC. ISBN 978-1-58488-474-3.
13. Эйлерс, ПХК и Маркс Б. (1996). «Гибкое сглаживание с B-сплайнами и штрафами». Статистическая наука . 11 (2): 89–121.
14. Рупперт, Дэвид; Ванд, MP; Кэрролл, RJ (2003). Полупараметрическая регрессия . Cambridge University Press. ISBN 978-0-521-78050-6.

Дальнейшее чтение

• Вахба, Г. (1990). Сплайновые модели для данных наблюдений . SIAM, Филадельфия.
• Грин, П. Дж. и Сильверман, Б. В. (1994). Непараметрическая регрессия и обобщенные линейные модели . CRC Press.
• Де Бур, К. (2001). Практическое руководство по сплайнам (пересмотренное издание) . Springer.