Непараметрическая регрессия

Категория регрессионного анализа

Непараметрическая регрессия — это категория регрессионного анализа , в которой предиктор не принимает предопределенную форму, а конструируется в соответствии с информацией, полученной из данных. То есть, не предполагается параметрическая форма для связи между предикторами и зависимой переменной. Непараметрическая регрессия требует больших размеров выборки, чем регрессия, основанная на параметрических моделях, поскольку данные должны предоставлять структуру модели, а также ее оценки.

Определение

В непараметрической регрессии мы имеем случайные величины и и предполагаем следующую взаимосвязь: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}$

где — некоторая детерминированная функция. Линейная регрессия — это ограниченный случай непараметрической регрессии, где предполагается аффинной. Некоторые авторы используют немного более сильное предположение об аддитивном шуме: ${\displaystyle m(x)}$ ${\displaystyle m(x)}$

${\displaystyle Y=m(X)+U,}$

где случайная величина — это «шумовой член» со средним значением 0. Без предположения, что принадлежит определенному параметрическому семейству функций, невозможно получить несмещенную оценку для , однако большинство оценок являются состоятельными при подходящих условиях. ${\displaystyle U}$ ${\displaystyle m}$ ${\displaystyle m}$

Список непараметрических регрессионных алгоритмов общего назначения

Это неполный список непараметрических моделей регрессии.

• ближайшие соседи, см. интерполяцию ближайших соседей и алгоритм k-ближайших соседей
• деревья регрессии
• регрессия ядра
• локальная регрессия
• многомерные адаптивные регрессионные сплайны
• сглаживание сплайнов
• нейронные сети ^[1]

Примеры

Гауссовская регрессия процесса или Кригинг

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается гауссовское априорное распределение. Предполагается, что ошибки имеют многомерное нормальное распределение , а кривая регрессии оценивается по ее апостериорной моде . Гауссовское априорное распределение может зависеть от неизвестных гиперпараметров, которые обычно оцениваются с помощью эмпирического байесовского алгоритма . Гиперпараметры обычно указывают априорное ковариационное ядро. В случае, если ядро ​​также должно быть выведено непараметрически из данных, можно использовать критический фильтр .

Сглаживающие сплайны интерпретируются как апостериорная мода регрессии гауссовского процесса.

Регрессия ядра

Пример кривой (красная линия), подходящей к небольшому набору данных (черные точки) с непараметрической регрессией с использованием сглаживателя ядра Гаусса. Розовая затененная область иллюстрирует функцию ядра, примененную для получения оценки y для заданного значения x. Функция ядра определяет вес, присвоенный каждой точке данных при получении оценки для целевой точки.

Ядерная регрессия оценивает непрерывную зависимую переменную из ограниченного набора точек данных путем свертки местоположений точек данных с функцией ядра — грубо говоря, функция ядра указывает, как «размыть» влияние точек данных, чтобы их значения можно было использовать для прогнозирования значений для близлежащих местоположений.

Деревья регрессии

Алгоритмы обучения на основе дерева решений можно применять для обучения прогнозированию зависимой переменной на основе данных. ^[2] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды. ^[3]

Смотрите также

• Лассо (статистика)
• Локальная регрессия
• Непараметрическая статистика
• Полупараметрическая регрессия
• Изотоническая регрессия
• Многомерные адаптивные регрессионные сплайны

Ссылки

1. Черкасский, Владимир; Мюльер, Филипп (1994). Чизман, П.; Олдфорд, Р.У. (ред.). «Статистические и нейросетевые методы непараметрической регрессии». Выбор моделей из данных . Конспект лекций по статистике. Нью-Йорк, Нью-Йорк: Springer: 383–392. doi :10.1007/978-1-4612-2660-4_39. ISBN 978-1-4612-2660-4.
2. Брейман, Лео; Фридман, Дж. Х.; Олшен, Р. А.; Стоун, К. Дж. (1984). Деревья классификации и регрессии . Монтерей, Калифорния: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8.
3. Segal, MR (1992). «Методы древовидной структуры для продольных данных». Журнал Американской статистической ассоциации . 87 (418). Американская статистическая ассоциация, Тейлор и Фрэнсис: 407–418. doi :10.2307/2290271. JSTOR  2290271.

Дальнейшее чтение

• Боуман, AW; Аццалини, А. (1997). Прикладные методы сглаживания для анализа данных. Оксфорд: Clarendon Press. ISBN 0-19-852396-3.
• Fan, J.; Gijbels, I. (1996). Локальное полиномиальное моделирование и его приложения. Boca Raton: Chapman and Hall. ISBN 0-412-98321-4.
• Хендерсон, DJ; Парметер, CF (2015). Прикладная непараметрическая эконометрика. Нью-Йорк: Cambridge University Press. ISBN 978-1-107-01025-3.
• Ли, К.; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика. Принстон: Princeton University Press. ISBN 978-0-691-12161-1.
• Паган, А.; Улла, А. (1999). Непараметрическая эконометрика . Нью-Йорк: Cambridge University Press. ISBN 0-521-35564-8.

Внешние ссылки

• HyperNiche, программное обеспечение для непараметрической мультипликативной регрессии.
• Масштабно-адаптивная непараметрическая регрессия (с использованием программного обеспечения Matlab).