Изотоническая регрессия

Тип численного анализа

Пример изотонической регрессии (сплошная красная линия) в сравнении с линейной регрессией на тех же данных, обе подходят для минимизации среднеквадратической ошибки . Свойство свободной формы изотонической регрессии означает, что линия может быть круче там, где данные круче; ограничение изотоничности означает, что линия не уменьшается.

В статистике и численном анализе изотоническая регрессия или монотонная регрессия — это метод подгонки линии свободной формы к последовательности наблюдений таким образом, что подогнанная линия является неубывающей (или невозрастающей) всюду и лежит как можно ближе к наблюдениям.

Приложения

Изотонная регрессия имеет применение в статистическом выводе . Например, ее можно использовать для подгонки изотонической кривой к средним значениям некоторого набора экспериментальных результатов, когда ожидается увеличение этих средних значений в соответствии с некоторым определенным порядком. Преимущество изотонической регрессии заключается в том, что она не ограничена какой-либо функциональной формой, такой как линейность, налагаемая линейной регрессией , пока функция монотонно возрастает.

Другое применение — неметрическое многомерное масштабирование , ^[1] , где ищется низкоразмерное вложение для точек данных, так что порядок расстояний между точками во вложении соответствует порядку различия между точками. Изотонная регрессия используется итеративно для подгонки идеальных расстояний с целью сохранения относительного порядка различия.

Изотонная регрессия также используется в вероятностной классификации для калибровки прогнозируемых вероятностей контролируемых моделей машинного обучения . ^[2]

Изотоническая регрессия для простого упорядоченного случая с одномерным применялась для оценки непрерывных соотношений доза-реакция в таких областях, как анестезиология и токсикология. В узком смысле, изотоническая регрессия обеспечивает только точечные оценки при наблюдаемых значениях Оценка полной кривой доза-реакция без дополнительных предположений обычно выполняется с помощью линейной интерполяции между точечными оценками. ^[3] ${\displaystyle x,y}$ ${\displaystyle x.}$

Программное обеспечение для вычисления изотонной (монотонной) регрессии было разработано для R , ^{[4] [5] [6]} Stata и Python . ^[7]

Постановка задачи и алгоритмы

Пусть будет заданным набором наблюдений, где и попадают в некоторый частично упорядоченный набор . Для общности каждому наблюдению может быть присвоен вес , хотя обычно для всех . ${\displaystyle (x_{1},y_{1}),\ldots ,(x_{n},y_{n})}$ ${\displaystyle y_{i}\in \mathbb {R} }$ ${\displaystyle x_{i}}$ ${\displaystyle (x_{i},y_{i})}$ ${\displaystyle w_{i}\geq 0}$ ${\displaystyle w_{i}=1}$ ${\displaystyle i}$

Изотонная регрессия ищет взвешенный метод наименьших квадратов для всех , при условии, что всякий раз, когда . Это дает следующую квадратичную программу (QP) в переменных : ${\displaystyle {\hat {y}}_{i}\approx y_{i}}$ ${\displaystyle i}$ ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}}$ ${\displaystyle x_{i}\leq x_{j}}$ ${\displaystyle {\hat {y}}_{1},\ldots ,{\hat {y}}_{n}}$

${\displaystyle \min \sum _{i=1}^{n}w_{i}({\hat {y}}_{i}-y_{i})^{2}}$при условии ${\displaystyle {\hat {y}}_{i}\leq {\hat {y}}_{j}{\text{ for all }}(i,j)\in E}$

где определяет частичное упорядочение наблюдаемых входов (и может рассматриваться как набор ребер некоторого направленного ациклического графа (dag) с вершинами ). Задачи такого вида могут быть решены с помощью общих методов квадратичного программирования. ${\displaystyle E=\{(i,j):x_{i}\leq x_{j}\}}$ ${\displaystyle x_{i}}$ ${\displaystyle 1,2,\ldots n}$

В обычной обстановке, где значения попадают в полностью упорядоченный набор, такой как , мы можем предположить WLOG , что наблюдения были отсортированы так, что , и взять . В этом случае простой итеративный алгоритм для решения квадратичной программы — это алгоритм pool neighbor violators. Наоборот, Бест и Чакраварти ^[8] изучали проблему как проблему идентификации активного набора и предложили основной алгоритм. Эти два алгоритма можно рассматривать как двойственные друг другу, и оба имеют вычислительную сложность на уже отсортированных данных. ^[8] ${\displaystyle x_{i}}$ ${\displaystyle \mathbb {R} }$ ${\displaystyle x_{1}\leq x_{2}\leq \cdots \leq x_{n}}$ ${\displaystyle E=\{(i,i+1):1\leq i<n\}}$ ${\displaystyle O(n)}$

Чтобы завершить задачу изотонической регрессии, мы можем выбрать любую неубывающую функцию, такую, что для всех i. Любая такая функция, очевидно, решает ${\displaystyle f(x)}$ ${\displaystyle f(x_{i})={\hat {y}}_{i}}$

${\displaystyle \min _{f}\sum _{i=1}^{n}w_{i}(f(x_{i})-y_{i})^{2}}$при условии неубывания ${\displaystyle f}$

и может быть использовано для прогнозирования значений для новых значений . Обычным выбором, когда будет линейная интерполяция между точками , как показано на рисунке, что даст непрерывную кусочно-линейную функцию: ${\displaystyle y}$ ${\displaystyle x}$ ${\displaystyle x_{i}\in \mathbb {R} }$ ${\displaystyle (x_{i},{\hat {y}}_{i})}$

${\displaystyle f(x)={\begin{cases}{\hat {y}}_{1}&{\text{if }}x\leq x_{1}\\{\hat {y}}_{i}+{\frac {x-x_{i}}{x_{i+1}-x_{i}}}({\hat {y}}_{i+1}-{\hat {y}}_{i})&{\text{if }}x_{i}\leq x\leq x_{i+1}\\{\hat {y}}_{n}&{\text{if }}x\geq x_{n}\end{cases}}}$

Центрированная изотоническая регрессия

Как показывает первый рисунок этой статьи, при наличии нарушений монотонности результирующая интерполированная кривая будет иметь плоские (постоянные) интервалы. В приложениях доза-реакция обычно известно, что является не только монотонным, но и гладким . Плоские интервалы несовместимы с предполагаемой формой и могут быть показаны как смещенные. Простое улучшение для таких приложений, названное центрированной изотонической регрессией (CIR), было разработано Ороном и Флурной и показало, что существенно снижает ошибку оценки как для приложений доза-реакция, так и для приложений по поиску дозы. ^[9] Как CIR, так и стандартная изотоническая регрессия для одномерного, просто упорядоченного случая реализованы в пакете R "cir". ^[4] Этот пакет также предоставляет аналитические оценки доверительного интервала. ${\displaystyle f(x)}$ ${\displaystyle f(x)}$

Ссылки

1. Kruskal, JB (1964). «Неметрическое многомерное шкалирование: численный метод». Psychometrika . 29 (2): 115–129. doi :10.1007/BF02289694. S2CID  11709679.
2. Никулеску-Мизил, Александру; Каруана, Рич (2005). «Предсказание хороших вероятностей с помощью контролируемого обучения». В De Raedt, Luc; Wrobel, Stefan (ред.). Труды Двадцать второй международной конференции по машинному обучению (ICML 2005), Бонн, Германия, 7–11 августа 2005 г. Серия трудов международной конференции ACM. Том 119. Ассоциация вычислительной техники. стр. 625–632. doi :10.1145/1102351.1102430.
3. Stylianou, MP; Flournoy, N (2002). «Определение дозы с использованием смещенной монеты вверх-вниз и изотонической регрессии». Биометрия . 58 (1): 171–177. doi :10.1111/j.0006-341x.2002.00171.x. PMID  11890313. S2CID  8743090.
4. Oron, Assaf. "Пакет 'cir'". CRAN . R Foundation for Statistical Computing . Получено 26 декабря 2020 г. .
5. Leeuw, Jan de; Hornik, Kurt; Mair, Patrick (2009). «Оптимизация изотона в R: алгоритм Pool-Adjacent-Violators (PAVA) и методы активного набора». Журнал статистического программного обеспечения . 32 (5): 1–24. doi : 10.18637/jss.v032.i05 . ISSN  1548-7660.
6. Сюй, Чжипен; Сунь, Ченкай; Карунакаран, Аман. «Пакет UniIsoReгрессия» (PDF) . КРАН . R Фонд статистических вычислений . Проверено 29 октября 2021 г.
7. Педрегоса, Фабиан и др. (2011). «Scikit-learn: Машинное обучение на Python». Журнал исследований машинного обучения . 12 : 2825–2830. arXiv : 1201.0490 . Bibcode : 2011JMLR...12.2825P.
8. Best, Michael J.; Chakravarti, Nilotpal (1990). «Алгоритмы активного множества для изотонической регрессии; унифицирующая структура». Математическое программирование . 47 (1–3): 425–439. doi :10.1007/bf01580873. ISSN  0025-5610. S2CID  31879613.
9. Орон, AP; Флурной, N (2017). «Центрированная изотоническая регрессия: точечная и интервальная оценка для исследований зависимости «доза-ответ»». Статистика в биофармацевтических исследованиях . 9 (3): 258–267. arXiv : 1701.05964 . doi : 10.1080/19466315.2017.1286256. S2CID  88521189.

Дальнейшее чтение

• Робертсон, Т.; Райт, Ф.Т.; Дайкстра, Р.Л. (1988). Статистический вывод с ограниченным порядком . Нью-Йорк: Wiley. ISBN 978-0-471-91787-8.
• Barlow, RE; Bartholomew, DJ; Bremner, JM; Brunk, HD (1972). Статистический вывод при ограничениях порядка; теория и применение изотонической регрессии . Нью-Йорк: Wiley. ISBN 978-0-471-04970-8.
• Shively, TS, Sager, TW, Walker, SG (2009). «Байесовский подход к непараметрической оценке монотонной функции». Журнал Королевского статистического общества, серия B. 71 ( 1): 159–175. CiteSeerX  10.1.1.338.3846 . doi :10.1111/j.1467-9868.2008.00677.x. S2CID  119761196.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Wu, WB ; Woodroofe, M. ; Mentz, G. (2001). «Изотоническая регрессия: еще один взгляд на проблему точки изменения». Biometrika . 88 (3): 793–804. doi :10.1093/biomet/88.3.793.