Гребневая регрессия

Техника регуляризации для некорректных задач

Ридж-регрессия — это метод оценки коэффициентов моделей множественной регрессии в сценариях, где независимые переменные сильно коррелируют. ^[1] Он использовался во многих областях, включая эконометрику, химию и инженерию. ^[2] Также известный как Тихоновская регуляризация , названный в честь Андрея Тихонова , это метод регуляризации некорректных задач . ^[a] Это особенно полезно для смягчения проблемы мультиколлинеарности в линейной регрессии , которая обычно возникает в моделях с большим количеством параметров. ^[3] В целом, метод обеспечивает повышенную эффективность в задачах оценки параметров в обмен на допустимую величину систематической ошибки (см . компромисс между смещением и дисперсией ). ^[4]

Теория была впервые представлена ​​Хёрлом и Кеннардом в 1970 году в их статьях по технометрике «Риджевые регрессии: смещенная оценка неортогональных задач» и «Риджевые регрессии: приложения в неортогональных задачах». ^{[5] [6] [1]} Это результат десятилетних исследований в области анализа гребней. ^[7]

Гребневая регрессия была разработана как возможное решение проблемы неточности оценок наименьших квадратов, когда модели линейной регрессии имеют некоторые мультиколлинеарные (высоко коррелированные) независимые переменные, - путем создания оценки гребневой регрессии (RR). Это обеспечивает более точную оценку параметров гребня, поскольку его дисперсия и среднеквадратическая оценка часто меньше, чем полученные ранее оценки наименьших квадратов. ^{[8] [2]}

Обзор

В простейшем случае проблема матрицы моментов, близкой к сингулярной, облегчается добавлением положительных элементов к диагоналям , тем самым уменьшая ее число обусловленности . Аналогично обычной оценке методом наименьших квадратов , простая оценка гребня тогда определяется выражением ${\displaystyle \mathbf {X} ^{\mathsf {T}}\mathbf {X} }$

$${\displaystyle {\hat {\beta }}_{R}=\left(\mathbf {X} ^{\mathsf {T}}\mathbf {X} +\lambda \mathbf {I} \right)^{-1}\mathbf {X} ^{\mathsf {T}}\mathbf {y} }$$

регрессияматрица расчетаединичная матрица^[9]наименьших квадратовограничения ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {I} }$ ${\displaystyle \lambda \geq 0}$ ${\displaystyle \beta ^{\mathsf {T}}\beta =c}$

$${\displaystyle \min _{\beta }\,\left(\mathbf {y} -\mathbf {X} \beta \right)^{\mathsf {T}}\left(\mathbf {y} -\mathbf {X} \beta \right)+\lambda \left(\beta ^{\mathsf {T}}\beta -c\right)}$$

множитель Лагранжа^[10]ограничение не является обязательнымобычному методу наименьших квадратов ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda =0}$

История

Регуляризация Тихонова была изобретена независимо во многих различных контекстах. Оно стало широко известно благодаря его применению к интегральным уравнениям в работах Андрея Тихонова ^{[11] [12] [13] [14] [15]} и Дэвида Л. Филлипса. ^[16] Некоторые авторы используют термин регуляризация Тихонова–Филлипса . Конечномерный случай был изложен Артуром Э. Хёрлом, который использовал статистический подход, ^[17] и Манусом Фостером, который интерпретировал этот метод как фильтр Винера-Колмогорова (Кригинг) . ^[18] Вслед за Хёрлем в статистической литературе она известна как гребневая регрессия, ^[19] названная в честь гребневого анализа («гребень» относится к пути от ограниченного максимума). ^[20]

Тихоновская регуляризация

Предположим, что для известных матрицы и вектора мы хотим найти вектор такой, что ${\displaystyle A}$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {x} }$

$${\displaystyle A\mathbf {x} =\mathbf {b} ,}$$

${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {b} }$ ${\displaystyle A}$

Стандартный подход — это обычная линейная регрессия по методу наименьших квадратов. ^{[ необходимо пояснение ]} Однако, если ни одно из уравнений не удовлетворяет уравнению или более чем одно (то есть решение не является единственным), задача считается некорректной . В таких случаях обычное оценивание методом наименьших квадратов приводит к переопределенной или чаще недоопределенной системе уравнений. Большинство реальных явлений имеют эффект фильтров нижних частот ^{[ необходимы пояснения ]} в прямом направлении, где отображается . Следовательно, при решении обратной задачи обратное отображение действует как фильтр верхних частот , который имеет нежелательную тенденцию к усилению шума ( собственные значения /сингулярные значения являются наибольшими при обратном отображении, тогда как они были наименьшими при прямом отображении). Кроме того, обычный метод наименьших квадратов неявно обнуляет каждый элемент реконструированной версии, находящийся в нулевом пространстве , вместо того, чтобы позволить использовать модель в качестве априорной для . Обычный метод наименьших квадратов стремится минимизировать сумму квадратов остатков , которую можно компактно записать как ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle A}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {x} }$ ${\displaystyle A}$ ${\displaystyle \mathbf {x} }$

$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2},}$$

норма ${\displaystyle \|\cdot \|_{2}}$

Чтобы отдать предпочтение конкретному решению с желаемыми свойствами, в эту минимизацию можно включить член регуляризации:

$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{2}^{2}+\left\|\Gamma \mathbf {x} \right\|_{2}^{2}}$$

тихоновской матрицыматриценормами_как регуляризация L2^[21]оператор разностиоператор Фурье ${\displaystyle \Gamma }$ ${\displaystyle \Gamma =\alpha I}$ ${\displaystyle {\hat {x}}}$

$${\displaystyle {\hat {x}}=\left(A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma \right)^{-1}A^{\mathsf {T}}\mathbf {b} .}$$

A ^T A⁻¹ ${\displaystyle \Gamma }$ ${\displaystyle \Gamma =0}$

Регуляризация L ₂ используется во многих контекстах, помимо линейной регрессии, таких как классификация с помощью логистической регрессии или машин опорных векторов , ^[22] и матричной факторизации. ^[23]

Обобщенная тихоновская регуляризация

Для общих многомерных нормальных распределений и ошибки данных можно применить преобразование переменных, чтобы свести их к описанному выше случаю. Эквивалентно, можно попытаться минимизировать ${\displaystyle \mathbf {x} }$ ${\displaystyle \mathbf {x} }$

$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{P}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2},}$$

где мы привыкли обозначать квадрат взвешенной нормы (ср. с расстоянием Махаланобиса ). В байесовской интерпретации – обратная ковариационная матрица , – ожидаемое значение , и – обратная ковариационная матрица . Матрица Тихонова затем задается как факторизация матрицы (например, факторизация Холецкого ) и считается фильтром отбеливания . ${\displaystyle \left\|\mathbf {x} \right\|_{Q}^{2}}$ ${\displaystyle \mathbf {x} ^{\mathsf {T}}Q\mathbf {x} }$ ${\displaystyle P}$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {x} _{0}}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle Q}$ ${\displaystyle \mathbf {x} }$ ${\displaystyle Q=\Gamma ^{\mathsf {T}}\Gamma }$

Эта обобщенная задача имеет оптимальное решение , которое можно записать в явном виде по формуле ${\displaystyle \mathbf {x} ^{*}}$

$${\displaystyle \mathbf {x} ^{*}=\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\mathbf {b} +Q\mathbf {x} _{0}\right),}$$

или, что то же самое, когда Q не является нулевой матрицей:

$${\displaystyle \mathbf {x} ^{*}=\mathbf {x} _{0}+\left(A^{\mathsf {T}}PA+Q\right)^{-1}\left(A^{\mathsf {T}}P\left(\mathbf {b} -A\mathbf {x} _{0}\right)\right).}$$

Лаврентьевская регуляризация

В некоторых ситуациях можно обойтись без использования транспонирования , как предложил Михаил Лаврентьев . ^[24] Например, если является симметричным положительно определенным, т. е . то же самое относится и к его обратному , что, таким образом, может быть использовано для установления квадрата взвешенной нормы в обобщенной регуляризации Тихонова, что приводит к минимизации ${\displaystyle A^{\mathsf {T}}}$ ${\displaystyle A}$ ${\displaystyle A=A^{\mathsf {T}}>0}$ ${\displaystyle A^{-1}}$ ${\displaystyle \left\|\mathbf {x} \right\|_{P}^{2}=\mathbf {x} ^{\mathsf {T}}A^{-1}\mathbf {x} }$

$${\displaystyle \left\|A\mathbf {x} -\mathbf {b} \right\|_{A^{-1}}^{2}+\left\|\mathbf {x} -\mathbf {x} _{0}\right\|_{Q}^{2}}$$

$${\displaystyle \mathbf {x} ^{\mathsf {T}}\left(A+Q\right)\mathbf {x} -2\mathbf {x} ^{\mathsf {T}}\left(\mathbf {b} +Q\mathbf {x} _{0}\right).}$$

Эта задача минимизации имеет оптимальное решение , которое можно записать явно по формуле ${\displaystyle \mathbf {x} ^{*}}$

$${\displaystyle \mathbf {x} ^{*}=\left(A+Q\right)^{-1}\left(\mathbf {b} +Q\mathbf {x} _{0}\right),}$$

${\displaystyle A=A^{\mathsf {T}}=P^{-1}.}$

Регуляризация Лаврентьева, если она применима, предпочтительнее исходной регуляризации Тихонова, поскольку матрица Лаврентьева может быть лучше обусловлена, т. е. иметь меньшее число обусловленности , по сравнению с матрицей Тихонова ${\displaystyle A+Q}$ ${\displaystyle A^{\mathsf {T}}A+\Gamma ^{\mathsf {T}}\Gamma .}$

Регуляризация в гильбертовом пространстве

Обычно дискретные линейные плохо обусловленные задачи возникают в результате дискретизации интегральных уравнений , и можно сформулировать тихоновскую регуляризацию в исходном бесконечномерном контексте. Выше мы можем интерпретировать как компактный оператор в гильбертовом пространстве и как элементы в области определения и области значений . Тогда оператор является самосопряженным ограниченным обратимым оператором. ${\displaystyle A}$ ${\displaystyle x}$ ${\displaystyle b}$ ${\displaystyle A}$ ${\displaystyle A^{*}A+\Gamma ^{\mathsf {T}}\Gamma }$

Связь с разложением по сингулярным значениям и фильтром Винера

При , это решение методом наименьших квадратов можно проанализировать особым образом, используя разложение по сингулярным значениям . Учитывая разложение по сингулярным значениям ${\displaystyle \Gamma =\alpha I}$

$${\displaystyle A=U\Sigma V^{\mathsf {T}}}$$

с сингулярными значениями регуляризованное решение Тихонова можно выразить как ${\displaystyle \sigma _{i}}$

$${\displaystyle {\hat {x}}=VDU^{\mathsf {T}}b,}$$

где имеет диагональные значения ${\displaystyle D}$

$${\displaystyle D_{ii}={\frac {\sigma _{i}}{\sigma _{i}^{2}+\alpha ^{2}}}}$$

и равен нулю в другом месте. Это демонстрирует влияние параметра Тихонова на число обусловленности регуляризованной задачи. Для обобщенного случая аналогичное представление можно получить с помощью обобщенного разложения по сингулярным значениям . ^[25]

Наконец, это связано с фильтром Винера :

$${\displaystyle {\hat {x}}=\sum _{i=1}^{q}f_{i}{\frac {u_{i}^{\mathsf {T}}b}{\sigma _{i}}}v_{i},}$$

где веса Винера и – ранг . ${\displaystyle f_{i}={\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}}$ ${\displaystyle q}$ ${\displaystyle A}$

Определение коэффициента Тихонова

Оптимальный параметр регуляризации обычно неизвестен и часто в практических задачах определяется специальным методом. Возможный подход основан на байесовской интерпретации, описанной ниже. Другие подходы включают принцип несоответствия, перекрестную проверку , метод L-кривой, ^[26] ограниченное максимальное правдоподобие и несмещенную прогнозирующую оценку риска. Грейс Вахба доказала, что оптимальный параметр в смысле перекрестной проверки с исключением одного минимизирует ^{[27] [28]} ${\displaystyle \alpha }$

$${\displaystyle G={\frac {\operatorname {RSS} }{\tau ^{2}}}={\frac {\left\|X{\hat {\beta }}-y\right\|^{2}}{\left[\operatorname {Tr} \left(I-X\left(X^{T}X+\alpha ^{2}I\right)^{-1}X^{T}\right)\right]^{2}}},}$$

где – остаточная сумма квадратов , – эффективное число степеней свободы . ${\displaystyle \operatorname {RSS} }$ ${\displaystyle \tau }$

Используя предыдущее разложение SVD, мы можем упростить приведенное выше выражение:

$${\displaystyle \operatorname {RSS} =\left\|y-\sum _{i=1}^{q}(u_{i}'b)u_{i}\right\|^{2}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}$$

$${\displaystyle \operatorname {RSS} =\operatorname {RSS} _{0}+\left\|\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}(u_{i}'b)u_{i}\right\|^{2},}$$

и

$${\displaystyle \tau =m-\sum _{i=1}^{q}{\frac {\sigma _{i}^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}=m-q+\sum _{i=1}^{q}{\frac {\alpha ^{2}}{\sigma _{i}^{2}+\alpha ^{2}}}.}$$

Связь с вероятностной формулировкой

Вероятностная формулировка обратной задачи вводит (когда все неопределенности гауссовы) матрицу ковариаций, представляющую априорные неопределенности параметров модели, и матрицу ковариаций, представляющую неопределенности наблюдаемых параметров. ^[29] В частном случае, когда эти две матрицы диагональны и изотропны, и , и в этом случае уравнения обратной теории сводятся к приведенным выше уравнениям с . ${\displaystyle C_{M}}$ ${\displaystyle C_{D}}$ ${\displaystyle C_{M}=\sigma _{M}^{2}I}$ ${\displaystyle C_{D}=\sigma _{D}^{2}I}$ ${\displaystyle \alpha ={\sigma _{D}}/{\sigma _{M}}}$

Байесовская интерпретация

Хотя на первый взгляд выбор решения этой регуляризованной задачи может показаться искусственным, да и сама матрица кажется довольно произвольной, процесс можно оправдать с байесовской точки зрения . ^[30] Заметим, что для некорректной задачи необходимо обязательно ввести некоторые дополнительные предположения, чтобы получить единственное решение. Статистически априорное распределение вероятностей иногда считается многомерным нормальным распределением . Для простоты здесь сделаны следующие предположения: средние значения равны нулю; их компоненты независимы; компоненты имеют одинаковое стандартное отклонение . Данные также подвержены ошибкам, и ошибки также считаются независимыми с нулевым средним значением и стандартным отклонением . При этих предположениях регуляризованное по Тихонову решение является наиболее вероятным решением с учетом данных и априорного распределения , согласно теореме Байеса . ^[31] ${\displaystyle \Gamma }$ ${\displaystyle x}$ ${\displaystyle \sigma _{x}}$ ${\displaystyle b}$ ${\displaystyle \sigma _{b}}$ ${\displaystyle x}$

Если предположение о нормальности заменяется предположениями о гомоскедастичности и некоррелированности ошибок и если по-прежнему предполагается нулевое среднее, то из теоремы Гаусса-Маркова следует, что решением является минимальная несмещенная линейная оценка . ^[32]

Смотрите также

• Оценщик LASSO — еще один метод регуляризации в статистике.
• Эластичная чистая регуляризация
• Регуляризация матрицы

Примечания

1. В статистике этот метод известен как гребневая регрессия , в машинном обучении он и его модификации известны как затухание веса , а после многочисленных независимых открытий он также известен по-разному как метод Тихонова-Миллера , метод Филлипса-Твуми, метод Филлипса-Твуми . метод линейной инверсии с ограничениями , L ₂ -регуляризация и метод линейной регуляризации . Он связан с алгоритмом Левенберга – Марквардта для нелинейных задач наименьших квадратов.

Рекомендации

1. Хилт, Дональд Э.; Сигрист, Дональд В. (1977). Ridge — компьютерная программа для расчета оценок регрессии гребня. дои : 10.5962/bhl.title.68934.^{[ нужна страница ]}
2. Грубер, Марвин (1998). Повышение эффективности за счет сокращения: Оценщики регрессии Джеймса-Стейна и Риджа. ЦРК Пресс. п. 2. ISBN 978-0-8247-0156-7.
3. Кеннеди, Питер (2003). Руководство по эконометрике (Пятое изд.). Кембридж: MIT Press. стр. 205–206. ISBN 0-262-61183-Х.
4. Грубер, Марвин (1998). Повышение эффективности за счет сокращения: оценки регрессии Джеймса-Стейна и Риджа. Бока-Ратон: CRC Press. стр. 7–15. ISBN 0-8247-0156-9.
5. Хорл, Артур Э.; Кеннард, Роберт В. (1970). «Гребетная регрессия: смещенная оценка неортогональных задач». Технометрика . 12 (1): 55–67. дои : 10.2307/1267351. JSTOR  1267351.
6. Хорл, Артур Э.; Кеннард, Роберт В. (1970). «Гребетная регрессия: приложения к неортогональным задачам». Технометрика . 12 (1): 69–82. дои : 10.2307/1267352. JSTOR  1267352.
7. Бек, Джеймс Вер; Арнольд, Кеннет Дж. (1977). Оценка параметров в технике и науке. Джеймс Бек. п. 287. ИСБН 978-0-471-06118-2.
8. Джоллифф, IT (2006). Анализ главных компонентов. Springer Science & Business Media. п. 178. ИСБН 978-0-387-22440-4.
9. О практическом выборе см. Халаф, Гадбан; Шукур, Гази (2005). «Выбор параметра гребня для задач регрессии». Коммуникации в статистике – теория и методы . 34 (5): 1177–1182. doi : 10.1081/STA-200056836. S2CID  122983724. ${\displaystyle \lambda }$
10. ван Виринген, Вессель (31 мая 2021 г.). «Конспекты лекций по гребневой регрессии». arXiv : 1509.09169 [stat.ME].
11. Тихонов, Андрей Николаевич (1943). «Об устойчивости обратных задач». Доклады Академии наук СССР . 39 (5): 195–198. Архивировано из оригинала 27 февраля 2005 г.
12. Тихонов, А.Н. (1963). «Об обеспечении некорректно поставленных задач и методе регламентации». Доклады Академии наук СССР . 151 : 501–504.. Переведено в «Решение неправильно сформулированных задач и метод регуляризации». Советская математика . 4 : 1035–1038.
13. Тихонов, АН; В.Я. Арсенин (1977). Решение некорректных задач . Вашингтон: Уинстон и сыновья. ISBN 0-470-99124-0.
14. Тихонов, Андрей Николаевич; Гончарский А.; Степанов В.В.; Ягола, Анатолий Григорьевич (30 июня 1995 г.). Численные методы решения некорректных задач. Нидерланды: Спрингер Нидерланды. ISBN 0-7923-3583-Х. Проверено 9 августа 2018 г.
15. Тихонов, Андрей Николаевич; Леонов, Александр С.; Ягола, Анатолий Григорьевич (1998). Нелинейные некорректные задачи. Лондон: Чепмен и Холл. ISBN 0-412-78660-5. Проверено 9 августа 2018 г.
16. Филлипс, DL (1962). «Методика численного решения некоторых интегральных уравнений первого рода». Журнал АКМ . 9 : 84–97. дои : 10.1145/321105.321114 . S2CID  35368397.
17. Хорл, Артур Э. (1962). «Применение гребневого анализа к задачам регрессии». Химический технологический прогресс . 58 (3): 54–59.
18. Фостер, М. (1961). «Применение теории сглаживания Винера-Колмогорова к обращению матриц». Журнал Общества промышленной и прикладной математики . 9 (3): 387–392. дои : 10.1137/0109031.
19. Хорл, А.Э.; Р.В. Кеннард (1970). «Гребетная регрессия: смещенная оценка неортогональных задач». Технометрика . 12 (1): 55–67. дои : 10.1080/00401706.1970.10488634.
20. Хорл, Роджер В. (01 октября 2020 г.). «Гребетная регрессия: исторический контекст». Технометрика . 62 (4): 420–425. дои : 10.1080/00401706.2020.1742207. ISSN  0040-1706.
21. Нг, Эндрю Ю. (2004). Выбор функций, регуляризация L1 и L2 и вращательная инвариантность (PDF) . Учеб. ИКМЛ .
22. Р.-Э. Вентилятор; К.-В. Чанг; К.-Ж. Се; Х.-Р. Ван; К.-Ж. Лин (2008). «LIBLINEAR: библиотека для большой линейной классификации». Журнал исследований машинного обучения . 9 : 1871–1874.
23. Гуань, Найян; Тао, Даченг; Ло, Чжиган; Юань, Бо (2012). «Онлайн-факторизация неотрицательной матрицы с устойчивой стохастической аппроксимацией». Транзакции IEEE в нейронных сетях и системах обучения . 23 (7): 1087–1099. дои : 10.1109/TNNLS.2012.2197827. PMID  24807135. S2CID  8755408.
24. Лаврентьев, ММ (1967). Некоторые некорректно поставленные задачи математической физики . Нью-Йорк: Спрингер.
25. Хансен, Пер Кристиан (1 января 1998 г.). Недостаточные ранги и дискретные некорректные задачи: численные аспекты линейной инверсии (1-е изд.). Филадельфия, США: СИАМ. ISBN 978-0-89871-403-6.
26. ПК Хансен, «L-кривая и ее использование при численном решении обратных задач», [1]
27. Вахба, Г. (1990). «Сплайн-модели для данных наблюдений». Серия региональных конференций CBMS-NSF по прикладной математике . Общество промышленной и прикладной математики. Бибкод : 1990smod.conf.....W.
28. Голуб, Г.; Хит, М.; Вахба, Г. (1979). «Обобщенная перекрестная проверка как метод выбора хорошего параметра гребня» (PDF) . Технометрика . 21 (2): 215–223. дои : 10.1080/00401706.1979.10489751.
29. Тарантола, Альберт (2005). Теория обратных задач и методы оценки параметров модели (1-е изд.). Филадельфия: Общество промышленной и прикладной математики (SIAM). ISBN 0-89871-792-2. Проверено 9 августа 2018 г.
30. Гринберг, Эдвард; Вебстер, Чарльз Э. младший (1983). Продвинутая эконометрика: мост к литературе . Нью-Йорк: Джон Уайли и сыновья. стр. 207–213. ISBN 0-471-09077-8.
31. Фогель, Кертис Р. (2002). Вычислительные методы решения обратных задач . Филадельфия: Общество промышленной и прикладной математики. ISBN 0-89871-550-4.
32. Амемия, Такеши (1985). Продвинутая эконометрика . Издательство Гарвардского университета. стр. 60–61. ISBN 0-674-00560-0.

дальнейшее чтение

• Грубер, Марвин (1998). Повышение эффективности за счет сокращения: оценки регрессии Джеймса-Стейна и Риджа. Бока-Ратон: CRC Press. ISBN 0-8247-0156-9.
• Кресс, Райнер (1998). «Тихоновская регуляризация». Численный анализ . Нью-Йорк: Спрингер. стр. 86–90. ISBN 0-387-98408-9.
• Пресс, WH; Теукольский, С.А.; Феттерлинг, WT; Фланнери, BP (2007). «Раздел 19.5. Методы линейной регуляризации». Численные рецепты: искусство научных вычислений (3-е изд.). Нью-Йорк: Издательство Кембриджского университета. ISBN 978-0-521-88068-8.
• Салех, АК, штат Мэриленд Эхсанес; Араши, Мохаммед; Кибрия, Б.М. Голам (2019). Теория оценки ридж-регрессии с помощью приложений. Нью-Йорк: Джон Уайли и сыновья. ISBN 978-1-118-64461-4.
• Тедди, Мэтт (2019). «Регуляризация». Наука о бизнес-данных: сочетание машинного обучения и экономики для оптимизации, автоматизации и ускорения принятия бизнес-решений . Нью-Йорк: МакГроу-Хилл. стр. 69–104. ISBN 978-1-260-45277-8.