Аддитивная модель

Статистическая регрессионная модель

В статистике аддитивная модель ( АМ ) — это метод непараметрической регрессии . Он был предложен Джеромом Х. Фридманом и Вернером Штетцле (1981) ^[1] и является важной частью алгоритма ACE . AM использует одномерный сглаживатель для построения ограниченного класса моделей непараметрической регрессии. Из-за этого на него меньше влияет проклятие размерности, чем на p -мерный сглаживатель. Кроме того, АМ более гибкая, чем стандартная линейная модель , но при этом более интерпретируемая, чем общая поверхность регрессии, за счет ошибок аппроксимации. Проблемы с AM , как и со многими другими методами машинного обучения, включают выбор модели , переобучение и мультиколлинеарность .

Описание

Учитывая набор данных из n статистических единиц , где представляют собой предикторы и является результатом, аддитивная модель принимает форму ${\displaystyle \{y_{i},\,x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}}$ ${\displaystyle \{x_{i1},\ldots ,x_{ip}\}_{i=1}^{n}}$ ${\displaystyle y_{i}}$

${\displaystyle \mathrm {E} [y_{i}|x_{i1},\ldots ,x_{ip}]=\beta _{0}+\sum _{j=1}^{p}f_{j}(x_{ij})}$

или

${\displaystyle Y=\beta _{0}+\sum _{j=1}^{p}f_{j}(X_{j})+\varepsilon }$

Где и .​ Функции неизвестны, гладкие функции соответствуют данным. Подбор АМ (т.е. функций ) можно выполнить с помощью алгоритма обратного подгонки , предложенного Андреасом Буйей, Тревором Хасти и Робертом Тибширани (1989). ^[2] ${\displaystyle \mathrm {E} [\epsilon ]=0}$ ${\displaystyle \mathrm {Var} (\epsilon )=\sigma ^{2}}$ ${\displaystyle \mathrm {E} [f_{j}(X_{j})]=0}$ ${\displaystyle f_{j}(x_{ij})}$ ${\displaystyle f_{j}(x_{ij})}$

Смотрите также

• Обобщенная аддитивная модель
• Алгоритм обратной подгонки
• Регрессия преследования проекций
• Обобщенная аддитивная модель местоположения, масштаба и формы (GAMLSS)
• Срединный блеск
• Погоня за проекцией

Рекомендации

1. Фридман, Дж. Х. и Штетцле, В. (1981). «Регрессия преследования проекции», Журнал Американской статистической ассоциации 76: 817–823. дои : 10.1080/01621459.1981.10477729
2. Буджа А., Хасти Т. и Тибширани Р. (1989). «Линейные сглаживатели и аддитивные модели», Анналы статистики 17 (2): 453–555. JSTOR  2241560

дальнейшее чтение

• Брейман Л. и Фридман Дж. Х. (1985). «Оценка оптимальных преобразований для множественной регрессии и корреляции», Журнал Американской статистической ассоциации 80: 580–598. дои : 10.1080/01621459.1985.10478157