Повышение градиента

Метод машинного обучения

Градиентный бустинг — это метод машинного обучения, основанный на бустинге в функциональном пространстве, где целью являются псевдоостатки вместо остатков , как в традиционном бустинге. Он дает модель прогнозирования в виде ансамбля слабых моделей прогнозирования, т. е. моделей, которые делают очень мало предположений о данных, которые обычно являются простыми деревьями решений . ^{[1] [2]} Когда дерево решений является слабым учеником, результирующий алгоритм называется деревьями градиентного бустинга; он обычно превосходит случайный лес . ^[1] Как и в других методах бустинга , модель деревьев градиентного бустинга строится поэтапно, но она обобщает другие методы, позволяя оптимизировать произвольную дифференцируемую функцию потерь .

История

Идея градиентного бустинга возникла из наблюдения Лео Бреймана , что бустинг можно интерпретировать как алгоритм оптимизации на подходящей функции стоимости. ^[3] Явные алгоритмы регрессионного градиентного бустинга были впоследствии разработаны Джеромом Х. Фридманом ^[4] [ ^2] (в 1999 году и позднее в 2001 году) одновременно с более общей перспективой функционального градиентного бустинга Лью Мейсона, Джонатана Бакстера, Питера Бартлетта и Маркуса Фрина. ^{[5] [6]} В последних двух статьях был представлен взгляд на алгоритмы бустинга как на итеративные алгоритмы функционального градиентного спуска . То есть, алгоритмы, которые оптимизируют функцию стоимости по функциональному пространству путем итеративного выбора функции (слабая гипотеза), которая указывает в отрицательном направлении градиента. Этот функциональный градиентный взгляд на бустинг привел к разработке алгоритмов бустинга во многих областях машинного обучения и статистики за пределами регрессии и классификации.

Неформальное знакомство

(Этот раздел следует изложению Чэн Ли. ^[7] )

Как и другие методы усиления, градиентное усиление итеративно объединяет слабых "обучающихся" в одного сильного обучающегося. Это проще всего объяснить в условиях регрессии наименьших квадратов , где цель состоит в том, чтобы "научить" модель предсказывать значения формы путем минимизации среднеквадратической ошибки , где индексы по некоторому обучающему набору размера фактических значений выходной переменной : ${\displaystyle F}$ ${\displaystyle {\hat {y}}=F(x)}$ ${\displaystyle {\tfrac {1}{n}}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}}$ ${\displaystyle i}$ ${\displaystyle n}$ ${\displaystyle y}$

• ${\displaystyle {\hat {y}}_{i}=}$прогнозируемое значение ${\displaystyle F(x_{i})}$
• ${\displaystyle y_{i}=}$наблюдаемое значение
• ${\displaystyle n=}$количество образцов в ${\displaystyle y}$

Если алгоритм имеет этапы, на каждом этапе ( ), предположим, что некоторая несовершенная модель (для низкого , эта модель может просто предсказать , что будет , среднее значение ). Чтобы улучшить , наш алгоритм должен добавить некоторую новую оценку, . Таким образом, ${\displaystyle M}$ ${\displaystyle m}$ ${\displaystyle 1\leq m\leq M}$ ${\displaystyle F_{m}}$ ${\displaystyle m}$ ${\displaystyle {\hat {y}}_{i}}$ ${\displaystyle {\bar {y}}}$ ${\displaystyle y}$ ${\displaystyle F_{m}}$ ${\displaystyle h_{m}(x)}$

${\displaystyle F_{m+1}(x_{i})=F_{m}(x_{i})+h_{m}(x_{i})=y_{i}}$

или, что то же самое,

${\displaystyle h_{m}(x_{i})=y_{i}-F_{m}(x_{i})}$.

Следовательно, градиентный бустинг будет соответствовать остатку . Как и в других вариантах бустинга, каждый пытается исправить ошибки своего предшественника . Обобщение этой идеи на функции потерь , отличные от квадратичной ошибки, и на задачи классификации и ранжирования следует из наблюдения, что остатки для данной модели пропорциональны отрицательным градиентам функции потерь среднеквадратичной ошибки (MSE) (относительно ): ${\displaystyle h_{m}}$ ${\displaystyle y_{i}-F_{m}(x_{i})}$ ${\displaystyle F_{m+1}}$ ${\displaystyle F_{m}}$ ${\displaystyle h_{m}(x_{i})}$ ${\displaystyle F(x_{i})}$

${\displaystyle L_{\rm {MSE}}={\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-F(x_{i})\right)^{2}}$

${\displaystyle -{\frac {\partial L_{\rm {MSE}}}{\partial F(x_{i})}}={\frac {2}{n}}(y_{i}-F(x_{i}))={\frac {2}{n}}h_{m}(x_{i})}$.

Таким образом, градиентный бустинг можно обобщить до алгоритма градиентного спуска , «подключив» другую потерю и ее градиент.

Алгоритм

Многие задачи контролируемого обучения включают выходную переменную y и вектор входных переменных x , связанных друг с другом некоторым вероятностным распределением. Цель состоит в том, чтобы найти некоторую функцию , которая наилучшим образом приближает выходную переменную из значений входных переменных. Это формализуется путем введения некоторой функции потерь и минимизации ее в ожидание: ${\displaystyle {\hat {F}}(x)}$ ${\displaystyle L(y,F(x))}$

${\displaystyle {\hat {F}}={\underset {F}{\arg \min }}\,\mathbb {E} _{x,y}[L(y,F(x))]}$.

Метод градиентного усиления предполагает действительное значение y . Он ищет приближение в виде взвешенной суммы функций M из некоторого класса , называемых базовыми (или слабыми ) учениками: ${\displaystyle {\hat {F}}(x)}$ ${\displaystyle h_{m}(x)}$ ${\displaystyle {\mathcal {H}}}$

${\displaystyle {\hat {F}}(x)=\sum _{m=1}^{M}\gamma _{m}h_{m}(x)+{\mbox{const}}}$.

Обычно нам дается обучающий набор известных значений x и соответствующих значений y . В соответствии с принципом минимизации эмпирического риска , метод пытается найти приближение , которое минимизирует среднее значение функции потерь на обучающем наборе, т.е. минимизирует эмпирический риск. Он делает это, начиная с модели, состоящей из постоянной функции , и постепенно расширяет ее жадным образом: ${\displaystyle \{(x_{1},y_{1}),\dots ,(x_{n},y_{n})\}}$ ${\displaystyle {\hat {F}}(x)}$ ${\displaystyle F_{0}(x)}$

${\displaystyle F_{0}(x)={\underset {h_{m}\in {\mathcal {H}}}{\arg \min }}{\sum _{i=1}^{n}{L(y_{i},h_{m}(x_{i}))}}}$,

${\displaystyle F_{m}(x)=F_{m-1}(x)+\left({\underset {h_{m}\in {\mathcal {H}}}{\operatorname {arg\,min} }}\left[{\sum _{i=1}^{n}{L(y_{i},F_{m-1}(x_{i})+h_{m}(x_{i}))}}\right]\right)(x)}$,

для , где — базовая функция обучения. ${\displaystyle m\geq 1}$ ${\displaystyle h_{m}\in {\mathcal {H}}}$

К сожалению, выбор лучшей функции на каждом шаге для произвольной функции потерь L является вычислительно невыполнимой задачей оптимизации в целом. Поэтому мы ограничиваем наш подход упрощенной версией проблемы. Идея состоит в том, чтобы применить шаг наискорейшего спуска к этой задаче минимизации (функциональный градиентный спуск). Основная идея состоит в том, чтобы найти локальный минимум функции потерь путем итерации по . Фактически, направление локального максимального спуска функции потерь является отрицательным градиентом. ^[8] Следовательно, перемещение на небольшую величину таким образом, чтобы линейное приближение оставалось действительным: ${\displaystyle h_{m}}$ ${\displaystyle F_{m-1}(x)}$ ${\displaystyle \gamma }$

${\displaystyle F_{m}(x)=F_{m-1}(x)-\gamma \sum _{i=1}^{n}{\nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))}}$

где . Для малых это означает, что . ${\displaystyle \gamma >0}$ ${\displaystyle \gamma }$ ${\displaystyle L(y_{i},F_{m}(x_{i}))\leq L(y_{i},F_{m-1}(x_{i}))}$

Кроме того, мы можем провести оптимизацию , найдя значение, при котором функция потерь имеет минимум: ${\displaystyle \gamma }$ ${\displaystyle \gamma }$

${\displaystyle \gamma _{m}={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L(y_{i},F_{m}(x_{i}))}}={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L\left(y_{i},F_{m-1}(x_{i})-\gamma \nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))\right)}}.}$

Если бы мы рассматривали непрерывный случай, т.е. когда — множество произвольных дифференцируемых функций на , мы бы обновили модель в соответствии со следующими уравнениями: ${\displaystyle {\mathcal {H}}}$ ${\displaystyle \mathbb {R} }$

${\displaystyle F_{m}(x)=F_{m-1}(x)-\gamma _{m}\sum _{i=1}^{n}{\nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))}}$

где — длина шага, определяемая как Однако в дискретном случае, т. е. когда набор конечен ^{[ необходимо разъяснение ]} , мы выбираем функцию-кандидат h, ближайшую к градиенту L , для которой коэффициент γ затем может быть вычислен с помощью линейного поиска по приведенным выше уравнениям. Обратите внимание, что этот подход является эвристическим и, следовательно, не дает точного решения данной задачи, а скорее приближения. В псевдокоде общий метод градиентного бустинга выглядит следующим образом: ^{[4] [1]} ${\displaystyle \gamma _{m}}$ $${\displaystyle \gamma _{m}={\underset {\gamma }{\arg \min }}{\sum _{i=1}^{n}{L\left(y_{i},F_{m-1}(x_{i})-\gamma \nabla _{F_{m-1}}L(y_{i},F_{m-1}(x_{i}))\right)}}.}$$ ${\displaystyle {\mathcal {H}}}$

Вход: обучающий набор с дифференцируемой функцией потерь и числом итераций M. ${\displaystyle \{(x_{i},y_{i})\}_{i=1}^{n},}$ ${\displaystyle L(y,F(x)),}$

Алгоритм:

1. Инициализируйте модель постоянным значением:

   ${\displaystyle F_{0}(x)={\underset {\gamma }{\arg \min }}\sum _{i=1}^{n}L(y_{i},\gamma ).}$

2. Для m = 1 до M :
   1. Вычислить так называемые псевдоостатки :

      ${\displaystyle r_{im}=-\left[{\frac {\partial L(y_{i},F(x_{i}))}{\partial F(x_{i})}}\right]_{F(x)=F_{m-1}(x)}\quad {\mbox{for }}i=1,\ldots ,n.}$

   2. Подогнать базовый обучающийся алгоритм (или слабый обучающийся алгоритм, например, дерево), близкий к масштабированию , к псевдоостаткам, т.е. обучить его с использованием обучающего набора . ${\displaystyle h_{m}(x)}$ ${\displaystyle \{(x_{i},r_{im})\}_{i=1}^{n}}$
   3. Вычислите множитель , решив следующую одномерную задачу оптимизации: ${\displaystyle \gamma _{m}}$

      ${\displaystyle \gamma _{m}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{i=1}^{n}L\left(y_{i},F_{m-1}(x_{i})+\gamma h_{m}(x_{i})\right).}$

   4. Обновить модель:

      ${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma _{m}h_{m}(x).}$

3. Выход ${\displaystyle F_{M}(x).}$

Градиентное усиление дерева

Градиентный бустинг обычно используется с деревьями решений (особенно CART ) фиксированного размера в качестве базовых обучающихся. Для этого особого случая Фридман предлагает модификацию метода градиентного бустинга, которая улучшает качество соответствия каждого базового обучающегося.

Общий градиентный бустинг на m -м шаге подгонит дерево решений к псевдоостаткам. Пусть будет числом его листьев. Дерево разбивает входное пространство на непересекающиеся области и предсказывает постоянное значение в каждой области. Используя индикаторную нотацию , выход для входного x можно записать как сумму: ${\displaystyle h_{m}(x)}$ ${\displaystyle J_{m}}$ ${\displaystyle J_{m}}$ ${\displaystyle R_{1m},\ldots ,R_{J_{m}m}}$ ${\displaystyle h_{m}(x)}$

${\displaystyle h_{m}(x)=\sum _{j=1}^{J_{m}}b_{jm}\mathbf {1} _{R_{jm}}(x),}$

где — прогнозируемое значение в регионе . ^[9] ${\displaystyle b_{jm}}$ ${\displaystyle R_{jm}}$

Затем коэффициенты умножаются на некоторое значение , выбранное с помощью линейного поиска таким образом, чтобы минимизировать функцию потерь, и модель обновляется следующим образом: ${\displaystyle b_{jm}}$ ${\displaystyle \gamma _{m}}$

${\displaystyle F_{m}(x)=F_{m-1}(x)+\gamma _{m}h_{m}(x),\quad \gamma _{m}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{i=1}^{n}L(y_{i},F_{m-1}(x_{i})+\gamma h_{m}(x_{i})).}$

Фридман предлагает модифицировать этот алгоритм так, чтобы он выбирал отдельное оптимальное значение для каждой из областей дерева, а не одно для всего дерева. Он называет модифицированный алгоритм «TreeBoost». Коэффициенты из процедуры подгонки дерева затем можно просто отбросить, и правило обновления модели становится следующим: ${\displaystyle \gamma _{jm}}$ ${\displaystyle \gamma _{m}}$ ${\displaystyle b_{jm}}$

${\displaystyle F_{m}(x)=F_{m-1}(x)+\sum _{j=1}^{J_{m}}\gamma _{jm}\mathbf {1} _{R_{jm}}(x),\quad \gamma _{jm}={\underset {\gamma }{\operatorname {arg\,min} }}\sum _{x_{i}\in R_{jm}}L(y_{i},F_{m-1}(x_{i})+\gamma ).}$

Размер дерева

Число конечных узлов в деревьях — это параметр, который контролирует максимально допустимый уровень взаимодействия между переменными в модели. При ( пни решений ) взаимодействие между переменными не допускается. При этом модель может включать эффекты взаимодействия между двумя переменными и т. д. может быть скорректирована для имеющегося набора данных. ${\displaystyle J}$ ${\displaystyle J=2}$ ${\displaystyle J=3}$ ${\displaystyle J}$

Хасти и др. ^[1] отмечают, что обычно хорошо подходит для усиления, а результаты довольно нечувствительны к выбору в этом диапазоне, недостаточны для многих приложений и вряд ли потребуются. ${\displaystyle 4\leq J\leq 8}$ ${\displaystyle J}$ ${\displaystyle J=2}$ ${\displaystyle J>10}$

Регуляризация

Слишком близкая подгонка обучающего набора может привести к ухудшению способности модели к обобщению, то есть ее производительности на невиданных примерах. Несколько так называемых методов регуляризации уменьшают этот эффект переобучения , ограничивая процедуру подгонки.

Одним из естественных параметров регуляризации является число итераций градиентного бустинга M (т.е. число базовых моделей). Увеличение M уменьшает ошибку на обучающем наборе, но увеличивает риск переобучения. Оптимальное значение M часто выбирается путем мониторинга ошибки прогнозирования на отдельном наборе данных проверки.

Другим параметром регуляризации для древовидного бустинга является глубина дерева. Чем выше это значение, тем больше вероятность того, что модель будет переобучать обучающие данные.

Усадка

Важной частью градиентного усиления является регуляризация путем сжатия, которая использует модифицированное правило обновления:

${\displaystyle F_{m}(x)=F_{m-1}(x)+\nu \cdot \gamma _{m}h_{m}(x),\quad 0<\nu \leq 1,}$

где параметр называется «скоростью обучения». ${\displaystyle \nu }$

Эмпирически было обнаружено, что использование малых скоростей обучения (таких как ) приводит к значительному улучшению обобщающей способности моделей по сравнению с градиентным бустингом без сжатия ( ). ^[1] Однако это достигается ценой увеличения времени вычислений как во время обучения, так и во время запросов : более низкая скорость обучения требует большего количества итераций. ${\displaystyle \nu <0.1}$ ${\displaystyle \nu =1}$

Стохастическое градиентное усиление

Вскоре после введения градиентного бустинга Фридман предложил небольшую модификацию алгоритма, мотивированную методом бутстрап-агрегации ( «бэггинга») Бреймана . ^[2] В частности, он предложил, чтобы на каждой итерации алгоритма базовый обучающийся алгоритм подгонялся под подвыборку обучающего набора, взятую случайным образом без замены. ^[10] Фридман наблюдал существенное улучшение точности градиентного бустинга с этой модификацией.

Размер подвыборки — это некоторая постоянная доля размера обучающего набора. Когда , алгоритм детерминирован и идентичен описанному выше. Меньшие значения вносят случайность в алгоритм и помогают предотвратить переобучение , действуя как своего рода регуляризация . Алгоритм также становится быстрее, поскольку деревья регрессии должны подгоняться к меньшим наборам данных на каждой итерации. Фридман ^[2] получил , что приводит к хорошим результатам для небольших и средних по размеру обучающих наборов. Поэтому обычно устанавливается равным 0,5, что означает, что половина обучающего набора используется для построения каждого базового ученика. ${\displaystyle f}$ ${\displaystyle f=1}$ ${\displaystyle f}$ ${\displaystyle 0.5\leq f\leq 0.8}$ ${\displaystyle f}$

Также, как и в случае с бэггингом, подвыборка позволяет определить ошибку вне мешка улучшения производительности прогнозирования путем оценки прогнозов по тем наблюдениям, которые не использовались при построении следующего базового ученика. Оценки вне мешка помогают избежать необходимости в независимом наборе данных для проверки, но часто недооценивают фактическое улучшение производительности и оптимальное количество итераций. ^{[11] [12]}

Количество наблюдений в листьях

Реализации градиентного бустинга деревьев часто также используют регуляризацию, ограничивая минимальное количество наблюдений в терминальных узлах деревьев. Она используется в процессе построения деревьев, игнорируя любые разбиения, которые приводят к узлам, содержащим меньше этого количества экземпляров обучающего набора.

Введение этого ограничения помогает уменьшить дисперсию прогнозов на листьях.

Штраф за сложность

Другой полезный метод регуляризации для градиентно-бустированной модели — штрафовать ее сложность. ^[13] Для градиентно-бустированных деревьев сложность модели можно определить как пропорциональное ^{[ требуется уточнение ]} число листьев в деревьях. Совместная оптимизация потерь и сложности модели соответствует алгоритму пост-обрезки для удаления ветвей, которые не могут уменьшить потери на пороговое значение.

Для предотвращения переобучения можно также использовать другие виды регуляризации, такие как штраф по значениям листьев . ${\displaystyle \ell _{2}}$

Использование

Градиентный бустинг может использоваться в области обучения ранжированию . Коммерческие поисковые системы Yahoo ^[14] и Yandex ^[15] используют варианты градиентного бустинга в своих машинах ранжирования с машинным обучением. Градиентный бустинг также используется в физике высоких энергий при анализе данных. На Большом адронном коллайдере (БАК) варианты градиентного бустинга глубоких нейронных сетей (DNN) были успешны в воспроизведении результатов немашинных методов анализа на наборах данных, используемых для открытия бозона Хиггса . ^[16] Дерево решений градиентного бустинга также применялось в исследованиях Земли и геологии — например, в оценке качества песчаного резервуара. ^[17]

Имена

Метод имеет множество названий. Фридман представил свою технику регрессии как «Машину градиентного усиления» (GBM). ^[4] Мейсон, Бакстер и др. описали обобщенный абстрактный класс алгоритмов как «функциональное градиентное усиление». ^{[5] [6]} Фридман и др. описывают усовершенствование моделей градиентного усиления как деревья множественной аддитивной регрессии (MART); ^[18] Элит и др. описывают этот подход как «деревья усиленной регрессии» (BRT). ^[19]

Популярная реализация R с открытым исходным кодом называет ее «Обобщенной моделью усиления» ^[11] , однако пакеты, расширяющие эту работу, используют BRT. ^[20] Еще одно название — TreeNet, в честь ранней коммерческой реализации Дэна Стейнберга из Salford System, одного из исследователей, которые были пионерами в использовании методов на основе деревьев. ^[21]

Рейтинг важности функций

Градиентный бустинг может использоваться для ранжирования важности признаков, которое обычно основано на агрегирующей функции важности базовых учеников. ^[22] Например, если алгоритм градиентного бустинга деревьев разработан с использованием деревьев решений на основе энтропии , ансамблевый алгоритм ранжирует важность признаков также на основе энтропии с оговоркой, что она усредняется по всем базовым ученикам. ^{[22] [1]}

Недостатки

Хотя усиление может повысить точность базового обучающегося, такого как дерево решений или линейная регрессия, оно жертвует понятностью и интерпретируемостью . ^{[22] [23]} Например, отслеживание пути, который проходит дерево решений для принятия решения, является тривиальным и самоочевидным, но отслеживание путей сотен или тысяч деревьев гораздо сложнее. Чтобы достичь как производительности, так и интерпретируемости, некоторые методы сжатия моделей позволяют преобразовать XGBoost в единое «возрожденное» дерево решений, которое аппроксимирует ту же функцию решения. ^[24] Кроме того, его реализация может быть более сложной из-за более высоких вычислительных требований.

Смотрите также

• АдаБуст
• Случайный лес
• Catboost
• LightGBM
• XGBoost
• Обучение дереву решений

Ссылки

1. Hastie, T.; Tibshirani, R.; Friedman, JH (2009). "10. Boosting and Additive Trees". Элементы статистического обучения (2-е изд.). Нью-Йорк: Springer. С. 337–384. ISBN 978-0-387-84857-0. Архивировано из оригинала 2009-11-10.
2. Фридман, Дж. Х. (март 1999 г.). "Усиление стохастического градиента" (PDF) . Архивировано из оригинала (PDF) 2014-08-01 . Получено 2013-11-13 .
3. Брейман, Л. (июнь 1997 г.). "Arcing The Edge" (PDF) . Технический отчет 486. Статистический факультет Калифорнийского университета в Беркли.
4. Фридман, Дж. Х. (февраль 1999 г.). "Жадная аппроксимация функций: машина градиентного усиления" (PDF) . Архивировано из оригинала (PDF) 2019-11-01 . Получено 2018-08-27 .
5. Мейсон, Л.; Бакстер, Дж.; Бартлетт, ПЛ; Фрин, Маркус (1999). "Усиление алгоритмов как градиентного спуска" (PDF) . В SA Solla и TK Leen и K. Müller (ред.). Достижения в области нейронных систем обработки информации 12. MIT Press. стр. 512–518.
6. Mason, L.; Baxter, J.; Bartlett, PL; Frean, Marcus (май 1999 г.). "Усиление алгоритмов как градиентного спуска в функциональном пространстве" (PDF) . Архивировано из оригинала (PDF) 22.12.2018.
7. Ченг Ли. «Мягкое введение в градиентное усиление» (PDF) .
8. Ламберс, Джим (2011–2012). «Метод наискорейшего спуска» (PDF) .
9. Примечание: в случае обычных деревьев CART деревья подгоняются с использованием метода наименьших квадратов потерь, поэтому коэффициент для региона равен просто значению выходной переменной, усредненному по всем обучающим примерам в . ${\displaystyle b_{jm}}$ ${\displaystyle R_{jm}}$ ${\displaystyle R_{jm}}$
10. Обратите внимание, что это отличается от бэггинга, при котором выборки производятся с заменой, поскольку используются выборки того же размера, что и обучающий набор.
11. Риджуэй, Грег (2007). Обобщенные усиленные модели: руководство по пакету gbm.
12. Изучите алгоритм усиления градиента для улучшения прогнозов (с кодами на языке R)
13. Тяньци Чэнь. Введение в усиленные деревья
14. Коссок, Дэвид и Чжан, Тонг (2008). Статистический анализ оптимального ранжирования подмножеств Байеса. Архивировано 07.08.2010 на Wayback Machine , стр. 14.
15. Запись в корпоративном блоге Яндекса о новой модели ранжирования «Снежинск» Архивировано 01.03.2012 на Wayback Machine (на русском языке)
16. Лалчанд, Видхи (2020). «Извлечение большего из усиленных деревьев решений: исследование физики высоких энергий». arXiv : 2001.06033 [stat.ML].
17. Ма, Лунфэй; Сяо, Ханьмин; Тао, Цзинвэй; Чжэн, Тайи; Чжан, Хайцинь (1 января 2022 г.). «Интеллектуальный подход к оценке качества коллектора в коллекторе из плотного песчаника с использованием алгоритма дерева решений повышения градиента». Открытые геологические науки . 14 (1): 629–645. Бибкод : 2022OGeo...14..354M. дои : 10.1515/geo-2022-0354 . ISSN  2391-5447.
18. Фридман, Джером (2003). «Множественные аддитивные регрессионные деревья с применением в эпидемиологии». Статистика в медицине . 22 (9): 1365–1381. doi :10.1002/sim.1501. PMID  12704603. S2CID  41965832.
19. Elith, Jane (2008). «Рабочее руководство по усиленным деревьям регрессии». Журнал экологии животных . 77 (4): 802–813. Bibcode : 2008JAnEc..77..802E. doi : 10.1111/j.1365-2656.2008.01390.x . PMID  18397250.
20. Elith, Jane. "Boosted Regression Trees for Environmental Modeling" (PDF) . CRAN . Архивировано из оригинала (PDF) 25 июля 2020 г. . Получено 31 августа 2018 г. .
21. «Эксклюзив: Интервью с Дэном Стейнбергом, президентом Salford Systems, пионером в области интеллектуального анализа данных».
22. Пирионеси, С. Мадех; Эль-Дираби, Тамер Э. (2020-03-01). «Анализ данных в управлении активами: экономически эффективное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. ISSN  1943-555X. S2CID  213782055.
23. Wu, Xindong; Kumar, Vipin; Ross Quinlan, J.; Ghosh, Joydeep; Yang, Qiang; Motoda, Hiroshi; McLachlan, Geoffrey J.; Ng, Angus; Liu, Bing; Yu, Philip S.; Zhou, Zhi-Hua (2008-01-01). "10 лучших алгоритмов в добыче данных". Knowledge and Information Systems . 14 (1): 1–37. doi :10.1007/s10115-007-0114-2. hdl : 10983/15329 . ISSN  0219-3116. S2CID  2367747.
24. Саги, Омер; Рокач, Лиор (2021). «Аппроксимация XGBoost с помощью интерпретируемого дерева решений». Информационные науки . 572 (2021): 522–542. doi :10.1016/j.ins.2021.05.055.

Дальнейшее чтение

• Boehmke, Bradley; Greenwell, Brandon (2019). «Усиление градиента». Практическое машинное обучение с R. Chapman & Hall. стр. 221–245. ISBN 978-1-138-49568-5.

Внешние ссылки

• Как объяснить градиентный бустинг
• Деревья регрессии с градиентным усилением
• LightGBM