Регрессия ядра

Методика в статистике

В статистике ядерная регрессия — это непараметрический метод оценки условного ожидания случайной величины . Целью является нахождение нелинейной связи между парой случайных величин X и Y.

В любой непараметрической регрессии условное ожидание переменной относительно переменной можно записать: ${\displaystyle Y}$ ${\displaystyle X}$

${\displaystyle \operatorname {E} (Y\mid X)=m(X)}$

где — неизвестная функция. ${\displaystyle m}$

Регрессия ядра Надарая – Ватсона

Надарая и Уотсон в 1964 году предложили оценивать как локально взвешенное среднее, используя ядро ​​в качестве весовой функции. ^{[1] [2] [3]} Оценка Надарая–Уотсона выглядит следующим образом: ${\displaystyle m}$

${\displaystyle {\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

где — ядро ​​с полосой пропускания , имеющей порядок не менее 1, то есть . ${\displaystyle K_{h}(t)={\frac {1}{h}}K\left({\frac {t}{h}}\right)}$ ${\displaystyle h}$ ${\displaystyle K(\cdot )}$ ${\displaystyle \int _{-\infty }^{\infty }uK(u)\,du=0}$

Вывод

Начиная с определения условного ожидания ,

${\displaystyle \operatorname {E} (Y\mid X=x)=\int yf(y\mid x)\,dy=\int y{\frac {f(x,y)}{f(x)}}\,dy}$

мы оцениваем совместные распределения f ( x , y ) и f ( x ) с помощью оценки плотности ядра с ядром K :

${\displaystyle {\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i}),}$

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i}),}$

Получаем:

${\displaystyle {\begin{aligned}\operatorname {\hat {E}} (Y\mid X=x)&=\int y{\frac {{\hat {f}}(x,y)}{{\hat {f}}(x)}}\,dy,\\[6pt]&=\int y{\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})K_{h}(y-y_{i})}{\sum _{j=1}^{n}K_{h}(x-x_{j})}}\,dy,\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})\int y\,K_{h}(y-y_{i})\,dy}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\\[6pt]&={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{j=1}^{n}K_{h}(x-x_{j})}},\end{aligned}}}$

что является оценкой Надарая-Уотсона.

Оценка ядра Пристли–Чао

${\displaystyle {\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=2}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}}$

где — полоса пропускания (или параметр сглаживания). ${\displaystyle h}$

Оценка ядра Гассера-Мюллера

${\displaystyle {\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)\,du\right]y_{i}}$

где ^[4] ${\displaystyle s_{i}={\frac {x_{i-1}+x_{i}}{2}}.}$

Пример

Оценочная функция регрессии.

Этот пример основан на канадских данных о поперечной заработной плате, состоящих из случайной выборки, взятой из канадских лент общественного пользования переписи 1971 года для лиц мужского пола с общим образованием (13 класс). Всего 205 наблюдений. ^{[ необходима ссылка ]}

На рисунке справа показана оценочная функция регрессии с использованием гауссовского ядра второго порядка вместе с асимптотическими границами изменчивости.

Скрипт для примера

Следующие команды языка программирования R используют npreg()функцию для обеспечения оптимального сглаживания и создания приведенной выше фигуры. Эти команды можно ввести в командной строке с помощью копирования и вставки.

install.packages ( "np" ) библиотека ( np ) # непараметрические данные библиотеки ( cps71 ) прикрепить ( cps71 ) m <- npreg ( logwage ~ age )  plot ( m , plot.errors.method = "асимптотический" , plot.errors.style = "полоса" , ylim = c ( 11 , 15.2 ))    баллы ( возраст , логарифмическая заработная плата , cex = . 25 ) отсоединить ( cps71 )  

Связанный

По словам Дэвида Сальсбурга , алгоритмы, используемые в ядерной регрессии, были независимо разработаны и использованы в нечетких системах : «Нечеткие системы и ядерная регрессия, основанные на плотности ядер, по-видимому, были разработаны совершенно независимо друг от друга, поскольку они представляют собой практически одинаковый компьютерный алгоритм». ^[5]

Статистическая реализация

• Пакет математических программ GNU Octave
• Джулия : KernelEstimator.jl
• MATLAB : бесплатный набор инструментов MATLAB с реализацией ядерной регрессии, ядерной оценки плотности, ядерной оценки функции риска и многих других доступен на этих страницах (этот набор инструментов является частью книги ^[6] ).
• Python : KernelRegкласс для смешанных типов данных в statsmodels.nonparametricподпакете (включает другие классы, связанные с плотностью ядра), пакет kernel_regression как расширение scikit-learn (неэффективен с точки зрения памяти, полезен только для небольших наборов данных)
• R : функция npregпакета np может выполнять регрессию ядра. ^{[7] [8]}
• Стата : npregress, kernreg2

Смотрите также

• Ядро сглаживает
• Локальная регрессия

Ссылки

1. Надарая, EA (1964). «Об оценке регрессии». Теория вероятностей и ее приложения . 9 (1): 141–2. doi :10.1137/1109020.
2. Уотсон, ГС (1964). «Анализ плавной регрессии». Санкхья: Индийский журнал статистики, серия A. 26 ( 4): 359–372. JSTOR  25049340.
3. Биренс, Герман Дж. (1994). "Оценка функции регрессии ядра Надарая–Уотсона". Темы в Advanced Econometrics . Нью-Йорк: Cambridge University Press. С. 212–247. ISBN 0-521-41900-X.
4. Гассер, Тео; Мюллер, Ханс-Георг (1979). "Оценка ядра функций регрессии". Методы сглаживания для оценки кривой (Proc. Workshop, Гейдельберг, 1979) . Lecture Notes in Math. Vol. 757. Springer, Берлин. стр. 23–68. ISBN 3-540-09706-6. МР  0564251.
5. Salsburg, D. (2002). Леди, дегустирующая чай: как статистика произвела революцию в науке в двадцатом веке . WH Freeman. стр. 290–91. ISBN 0-8050-7134-2.
6. Горова, И.; Колачек Ю.; Зелинка, Дж. (2012). Ядерное сглаживание в MATLAB: Теория и практика ядерного сглаживания . Сингапур: Мировое научное издательство. ISBN 978-981-4405-48-5.
7. np: Непараметрические методы сглаживания ядра для смешанных типов данных
8. Клоке, Джон; МакКин, Джозеф В. (2014). Непараметрические статистические методы с использованием R. CRC Press. стр. 98–106. ISBN 978-1-4398-7343-4.

Дальнейшее чтение

• Хендерсон, Дэниел Дж.; Парметер, Кристофер Ф. (2015). Прикладная непараметрическая эконометрика. Cambridge University Press. ISBN 978-1-107-01025-3.
• Ли, Ци; Расин, Джеффри С. (2007). Непараметрическая эконометрика: теория и практика. Princeton University Press. ISBN 978-0-691-12161-1.
• Паган, А.; Улла, А. (1999). Непараметрическая эконометрика . Cambridge University Press. ISBN 0-521-35564-8.
• Расин, Джеффри С. (2019). Введение в передовую теорию и практику непараметрической эконометрики: воспроизводимый подход с использованием R. Cambridge University Press. ISBN 9781108483407.
• Симонофф, Джеффри С. (1996). Методы сглаживания в статистике. Springer. ISBN 0-387-94716-7.

Внешние ссылки

• Масштабируемо-адаптивная ядерная регрессия (с использованием программного обеспечения Matlab).
• Учебное пособие по регрессии ядра с использованием электронных таблиц (с Microsoft Excel ).
• Онлайн-демонстрация регрессии ядра. Требуется .NET 3.0 или более поздняя версия.
• Регрессия ядра с автоматическим выбором полосы пропускания (с Python)