Непараметрическая регрессия

Категория регрессионного анализа

Непараметрическая регрессия — это категория регрессионного анализа , в которой предиктор не принимает заранее заданную форму, а строится в соответствии с информацией, полученной из данных. То есть для связи между предикторами и зависимой переменной не предполагается никакой параметрической формы. Непараметрическая регрессия требует большего размера выборки, чем регрессия, основанная на параметрических моделях, поскольку данные должны обеспечивать структуру модели, а также оценки модели.

Определение

В непараметрической регрессии мы имеем случайные переменные и предполагаем следующую взаимосвязь: ${\displaystyle X}$ ${\displaystyle Y}$

${\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}$

где – некоторая детерминированная функция. Линейная регрессия — это ограниченный случай непараметрической регрессии, где предполагается, что она аффинна. Некоторые авторы используют несколько более сильное предположение об аддитивном шуме: ${\displaystyle m(x)}$ ${\displaystyle m(x)}$

${\displaystyle Y=m(X)+U,}$

где случайная величина представляет собой «шумовой член» со средним значением 0. Без предположения о принадлежности к определенному параметрическому семейству функций невозможно получить несмещенную оценку для , однако большинство оценок непротиворечивы при подходящих условиях. ${\displaystyle U}$ ${\displaystyle m}$ ${\displaystyle m}$

Список алгоритмов непараметрической регрессии общего назначения

Это неполный список непараметрических моделей регрессии.

• ближайшие соседи, см. интерполяцию ближайших соседей и алгоритм k-ближайших соседей.
• деревья регрессии
• регрессия ядра
• локальная регрессия
• сплайны многомерной адаптивной регрессии
• сглаживание сплайнов
• нейронные сети ^[1]

Примеры

Регрессия гауссовского процесса или кригинг

В регрессии гауссовского процесса, также известной как кригинг, для кривой регрессии предполагается априорная гауссова величина. Предполагается, что ошибки имеют многомерное нормальное распределение , а кривая регрессии оценивается по ее апостериорной моде . Гауссов априор может зависеть от неизвестных гиперпараметров, которые обычно оцениваются с помощью эмпирического метода Байеса . Гиперпараметры обычно указывают априорное ковариационное ядро. В случае, если ядро ​​также должно быть выведено непараметрически из данных, можно использовать критический фильтр .

Сглаживающие сплайны интерпретируются как апостериорная мода регрессии гауссовского процесса.

Регрессия ядра

Пример кривой (красная линия), подходящей к небольшому набору данных (черные точки) с помощью непараметрической регрессии с использованием сглаживателя ядра Гаусса. Область, заштрихованная розовым цветом, иллюстрирует функцию ядра, применяемую для получения оценки y для заданного значения x. Функция ядра определяет вес, присваиваемый каждой точке данных при вычислении оценки целевой точки.

Регрессия ядра оценивает непрерывную зависимую переменную на основе ограниченного набора точек данных путем свертки местоположений точек данных с помощью функции ядра — грубо говоря, функция ядра определяет, как «размыть» влияние точек данных, чтобы их значения можно было используется для прогнозирования значения для близлежащих местоположений.

Деревья регрессии

Алгоритмы обучения дерева решений можно применять, чтобы научиться прогнозировать зависимую переменную на основе данных. ^[2] Хотя исходная формулировка дерева классификации и регрессии (CART) применялась только для прогнозирования одномерных данных, эту структуру можно использовать для прогнозирования многомерных данных, включая временные ряды. ^[3]

Смотрите также

• Лассо (статистика)
• Локальная регрессия
• Непараметрическая статистика
• Полупараметрическая регрессия
• Изотоническая регрессия
• Сплайны многомерной адаптивной регрессии

Рекомендации

1. Черкасский, Владимир; Мюлиер, Филип (1994). Чизмен, П.; Олдфорд, RW (ред.). «Статистические и нейросетевые методы для непараметрической регрессии». Выбор моделей из данных . Конспект лекций по статистике. Нью-Йорк, штат Нью-Йорк: Спрингер: 383–392. дои : 10.1007/978-1-4612-2660-4_39. ISBN 978-1-4612-2660-4.
2. Брейман, Лео; Фридман, Дж. Х.; Ольшен, РА; Стоун, CJ (1984). Деревья классификации и регрессии . Монтерей, Калифорния: Wadsworth & Brooks/Cole Advanced Books & Software. ISBN 978-0-412-04841-8.
3. Сигал, MR (1992). «Древовидные методы для продольных данных». Журнал Американской статистической ассоциации . Американская статистическая ассоциация, Тейлор и Фрэнсис. 87 (418): 407–418. дои : 10.2307/2290271. JSTOR  2290271.

дальнейшее чтение

• Боуман, AW; Аззалини, А. (1997). Прикладные методы сглаживания для анализа данных. Оксфорд: Кларендон Пресс. ISBN 0-19-852396-3.
• Фан, Дж.; Гейбельс, И. (1996). Локальное полиномиальное моделирование и его приложения. Бока-Ратон: Чепмен и Холл. ISBN 0-412-98321-4.
• Хендерсон, диджей; Парметр, CF (2015). Прикладная непараметрическая эконометрика. Нью-Йорк: Издательство Кембриджского университета. ISBN 978-1-107-01025-3.
• Ли, К.; Расин, Дж. (2007). Непараметрическая эконометрика: теория и практика. Принстон: Издательство Принстонского университета. ISBN 978-0-691-12161-1.
• Пэган, А .; Улла, А. (1999). Непараметрическая эконометрика . Нью-Йорк: Издательство Кембриджского университета. ISBN 0-521-35564-8.

Внешние ссылки

• HyperNiche, программное обеспечение для непараметрической мультипликативной регрессии.
• Масштабно-адаптивная непараметрическая регрессия (с программным обеспечением Matlab).