Рабочая характеристика приемника

Диагностический график способности бинарного классификатора

Кривая ROC трех предикторов расщепления пептида в протеасоме .

Кривая рабочей характеристики приемника , или кривая ROC , представляет собой графический график , который иллюстрирует производительность модели двоичного классификатора (также может использоваться для многоклассовой классификации) при различных пороговых значениях.

Кривая ROC представляет собой график зависимости истинно положительного результата (TPR) от уровня ложноположительного результата (FPR) при каждой настройке порога.

ROC также можно рассматривать как график статистической мощности как функции ошибки типа I правила принятия решения (когда производительность рассчитывается только на основе выборки совокупности, ее можно рассматривать как оценку этих величин). ). Таким образом, кривая ROC представляет собой чувствительность или отзыв как функцию частоты ложных срабатываний .

Учитывая, что распределения вероятностей как для истинно положительного, так и для ложноположительного результата известны, кривая ROC получается как кумулятивная функция распределения (CDF, ​​площадь под распределением вероятностей от до порога дискриминации) вероятности обнаружения по оси y в зависимости от CDF. вероятности ложного положительного результата по оси x. ${\displaystyle -\infty }$

ROC-анализ предоставляет инструменты для выбора возможно оптимальных моделей и исключения неоптимальных моделей независимо от (и до определения) контекста затрат или распределения классов. ROC-анализ напрямую и естественным образом связан с анализом затрат/выгод принятия диагностических решений .

Терминология

Существует множество синонимов компонентов кривой ROC. Они представлены в таблице справа.

Уровень истинно положительных результатов также известен как чувствительность , отзыв или вероятность обнаружения . ^[11] Уровень ложноположительных результатов также известен как вероятность ложной тревоги ^[11] и равен (1 – специфичность ). ROC также известен как кривая относительной рабочей характеристики, поскольку она представляет собой сравнение двух рабочих характеристик (TPR и FPR) при изменении критерия. ^[12]

История

Кривая ROC была впервые разработана инженерами-электриками и радиолокационными инженерами во время Второй мировой войны для обнаружения объектов противника на полях сражений, начиная с 1941 года, что и привело к ее названию («рабочая характеристика приемника»).

Вскоре он был введен в психологию для объяснения перцептивного обнаружения стимулов. ROC-анализ с тех пор использовался в медицине , радиологии , биометрии , прогнозировании природных опасностей , ^[13] метеорологии , ^[14] оценке эффективности моделей, ^[15] и других областях на протяжении многих десятилетий и все чаще используется в машинном обучении и интеллектуальном анализе данных. исследовать.

Основная концепция

Модель классификации ( классификатор или диагноз ^[16] ) — это отображение экземпляров между определенными классами/группами. Поскольку результат классификатора или диагностики может быть произвольным действительным значением (непрерывный вывод), граница классификатора между классами должна определяться пороговым значением (например, чтобы определить, есть ли у человека гипертония, на основе измерения артериального давления ). Или это может быть дискретная метка класса, указывающая на один из классов.

Рассмотрим задачу прогнозирования двух классов ( бинарная классификация ), в которой результаты помечены либо как положительные ( p ), либо как отрицательные ( n ). Есть четыре возможных результата бинарного классификатора. Если результат прогноза равен p и фактическое значение также равно p , то это называется истинно положительным (TP); однако, если фактическое значение равно n , то оно считается ложноположительным ( FP). И наоборот, истинно отрицательный результат (TN) имеет место, когда и результат прогнозирования, и фактическое значение равны n , а ложноотрицательный результат (FN) — когда результат прогнозирования равен n , а фактическое значение равно p .

Чтобы получить подходящий пример реальной проблемы, рассмотрим диагностический тест, целью которого является определить, есть ли у человека определенное заболевание. Ложноположительный результат в этом случае возникает, когда у человека положительный результат теста, но на самом деле он не болен. С другой стороны, ложноотрицательный результат возникает, когда у человека отрицательный результат теста, что позволяет предположить, что он здоров, хотя на самом деле у него действительно есть заболевание.

Рассмотрим эксперимент с P положительными и N отрицательными экземплярами для некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств или матрицы путаницы 2×2 следующим образом:

пространство РПЦ

Пространство ROC и графики четырех примеров прогнозирования.

Пространство ROC для «лучшего» и «худшего» классификатора.

Таблица непредвиденных обстоятельств может содержать несколько «показателей» оценки (см. информационное окно). Чтобы нарисовать кривую ROC, необходимы только частота истинно положительных результатов (TPR) и частота ложных срабатываний (FPR) (как функции некоторого параметра классификатора). TPR определяет, сколько правильных положительных результатов получено среди всех положительных образцов, доступных во время теста. FPR, с другой стороны, определяет, сколько ошибочных положительных результатов встречается среди всех отрицательных образцов, доступных во время теста.

Пространство ROC определяется FPR и TPR как оси X и Y соответственно, что отображает относительные компромиссы между истинным положительным результатом (выгоды) и ложным положительным результатом (затраты). Поскольку TPR эквивалентен чувствительности, а FPR равен 1 – специфичности, график ROC иногда называют графиком зависимости чувствительности от (1 – специфичности). Каждый результат прогнозирования или экземпляр матрицы путаницы представляет одну точку в пространстве ROC.

Наилучший возможный метод прогнозирования дал бы точку в верхнем левом углу или координату (0,1) пространства ROC, что представляет 100% чувствительность (без ложноотрицательных результатов) и 100% специфичность (без ложноположительных результатов). Точка (0,1) также называется идеальной классификацией . Случайное предположение даст точку на диагональной линии (так называемая линия отсутствия дискриминации ) от нижнего левого угла до верхнего правого угла (независимо от положительных и отрицательных базовых ставок ). ^[26] Интуитивный пример случайного угадывания — решение путем подбрасывания монеты. По мере увеличения размера выборки точка ROC случайного классификатора стремится к диагональной линии. В случае сбалансированной монеты она будет стремиться к точке (0,5, 0,5).

Диагональ делит пространство РПЦ. Точки над диагональю представляют хорошие результаты классификации (лучше, чем случайная); точки ниже линии представляют собой плохие результаты (хуже, чем случайные результаты). Обратите внимание, что результат неизменно плохого предсказателя можно просто инвертировать, чтобы получить хороший предиктор.

Рассмотрим четыре результата прогнозирования из 100 положительных и 100 отрицательных случаев:

Графики четырех приведенных выше результатов в пространстве ROC приведены на рисунке. Результат метода A ясно показывает лучшую предсказательную силу среди A , B и C . Результат B лежит на линии случайного предположения (диагональной линии), и из таблицы видно, что точность B составляет 50 %. Однако, когда C отражается через центральную точку (0,5,0,5), результирующий метод C' даже лучше, чем A. Этот зеркальный метод просто меняет предсказания любого метода или теста, создавшего таблицу непредвиденных обстоятельств C. Хотя исходный метод C имеет отрицательную предсказательную силу, простой пересмотр его решений приводит к новому методу прогнозирования C' , который имеет положительную предсказательную силу. Когда метод C предсказывает p или n , метод C' будет прогнозировать n или p соответственно. Таким образом, тест C' будет работать лучше всего. Чем ближе результат таблицы непредвиденных обстоятельств к верхнему левому углу, тем лучше он прогнозирует, но расстояние от линии случайного предположения в любом направлении является лучшим индикатором того, какой прогностической силой обладает метод. Если результат находится ниже линии (т. е. метод хуже, чем случайное предположение), все предсказания метода должны быть отменены, чтобы использовать его мощность, тем самым перемещая результат выше линии случайного предположения.

Кривые в пространстве ROC

В бинарной классификации прогноз класса для каждого экземпляра часто делается на основе непрерывной случайной величины , которая представляет собой «оценку», вычисленную для экземпляра (например, оценочную вероятность в логистической регрессии). Учитывая пороговый параметр , экземпляр классифицируется как «положительный», если , и «отрицательный» в противном случае. соответствует плотности вероятности , если экземпляр действительно принадлежит классу «положительный», и если нет. Таким образом, истинный положительный уровень определяется как , а уровень ложных положительных результатов определяется как . Кривая ROC построена параметрически в зависимости от изменяющегося параметра. ${\displaystyle X}$ ${\displaystyle T}$ ${\displaystyle X>T}$ ${\displaystyle X}$ ${\displaystyle f_{1}(x)}$ ${\displaystyle f_{0}(x)}$ ${\displaystyle {\mbox{TPR}}(T)=\int _{T}^{\infty }f_{1}(x)\,dx}$ ${\displaystyle {\mbox{FPR}}(T)=\int _{T}^{\infty }f_{0}(x)\,dx}$ ${\displaystyle {\mbox{TPR}}(T)}$ ${\displaystyle {\mbox{FPR}}(T)}$ ${\displaystyle T}$

Например, представьте, что уровни белка в крови у больных и здоровых людей обычно распределяются со средними значениями 2 г / дл и 1 г/дл соответственно. Медицинский тест может измерить уровень определенного белка в образце крови и классифицировать любое число, превышающее определенный порог, как указывающее на заболевание. Экспериментатор может настроить порог (зеленая вертикальная линия на рисунке), что, в свою очередь, изменит частоту ложных срабатываний. Увеличение порога приведет к меньшему количеству ложноположительных результатов (и большему количеству ложноотрицательных результатов), что соответствует движению кривой влево. Фактическая форма кривой определяется тем, насколько сильно перекрываются два распределения.

Критика

Пример кривой рабочей характеристики приемника (ROC), выделенной подобластью области под кривой (AUC) с низкой чувствительностью и низкой специфичностью красным цветом, а подобластью с высокой или достаточной чувствительностью и специфичностью зеленым цветом. ^[27]

В некоторых исследованиях критикуются определенные применения кривой ROC и ее площади под кривой как меры для оценки бинарных классификаций, когда они не фиксируют информацию, относящуюся к приложению. ^{[28] [27] [29] [30] [31]}

Основная критика кривой ROC, описанной в этих исследованиях, касается включения областей с низкой чувствительностью и низкой специфичностью (оба ниже 0,5) для расчета общей площади под кривой (AUC). ^[29] , как описано на графике справа.

По мнению авторов этих исследований, та часть области под кривой (с низкой чувствительностью и низкой специфичностью) относится к матрицам путаницы, где бинарные прогнозы дают плохие результаты, и поэтому не должна включаться в оценку общей производительности. Более того, эта часть AUC указывает на пространство с высоким или низким порогом матрицы неточности, что редко представляет интерес для ученых, выполняющих бинарную классификацию в какой-либо области. ^[29]

Дальнейшие интерпретации

Иногда ROC используется для создания сводной статистики. Распространенные версии:

• точка пересечения кривой ROC с линией под углом 45 градусов, ортогональной линии отсутствия дискриминации - точка баланса, где чувствительность = специфичность
• точка пересечения кривой ROC с касательной под углом 45 градусов, параллельной линии отсутствия дискриминации, которая находится ближе всего к безошибочной точке (0,1) – также называемая J-статистикой Юдена и обобщаемая ^{как информированность .}
• площадь между кривой ROC и линией недискриминации, умноженная на два, называется коэффициентом Джини , особенно в контексте кредитного скоринга . ^[32] Его не следует путать с показателем статистической дисперсии, также называемым коэффициентом Джини .
• область между полной кривой ROC и треугольной кривой ROC, включающая только (0,0), (1,1) и одну выбранную рабочую точку – Согласованность ^[33] ${\displaystyle (tpr,fpr)}$
• площадь под кривой ROC, или «AUC» («площадь под кривой»), или A' (произносится как «a-prime»), ^[34] или «c-статистика» («статистика соответствия»). ^[35]
• индекс чувствительности d' (произносится как «d-prime»), расстояние между средним значением распределения активности в системе в условиях только шума и ее распределением в условиях только сигнала, деленное на их стандартное отклонение , при допущении что оба этих распределения нормальны с одинаковым стандартным отклонением. При этих предположениях форма ROC полностью определяется d' .

Однако любая попытка свести кривую ROC к единому числу теряет информацию о характере компромиссов конкретного алгоритма дискриминатора.

Вероятностная интерпретация

При использовании нормализованных единиц площадь под кривой (часто называемая просто AUC) равна вероятности того, что классификатор поставит случайно выбранный положительный экземпляр выше, чем случайно выбранный отрицательный (при условии, что «положительный» ранг выше, чем ' отрицательный»). ^[36] Другими словами, при наличии одного случайно выбранного положительного экземпляра и одного случайно выбранного отрицательного экземпляра AUC — это вероятность того, что классификатор сможет определить, какой из них какой.

Это можно увидеть следующим образом: площадь под кривой определяется выражением (границы интеграла меняются местами, поскольку большой порог имеет меньшее значение на оси x) ${\displaystyle T}$

${\displaystyle \operatorname {TPR} (T):T\to y(x)}$

${\displaystyle \operatorname {FPR} (T):T\to x}$

${\displaystyle {\begin{aligned}A&=\int _{x=0}^{1}{\mbox{TPR}}({\mbox{FPR}}^{-1}(x))\,dx\\[5pt]&=\int _{\infty }^{-\infty }{\mbox{TPR}}(T){\mbox{FPR}}'(T)\,dT\\[5pt]&=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }I(T'\geq T)f_{1}(T')f_{0}(T)\,dT'\,dT=P(X_{1}\geq X_{0})\end{aligned}}}$

где — оценка положительного экземпляра, — оценка отрицательного экземпляра, и — плотности вероятности, определенные в предыдущем разделе. ${\displaystyle X_{1}}$ ${\displaystyle X_{0}}$ ${\displaystyle f_{0}}$ ${\displaystyle f_{1}}$

Площадь под кривой

Можно показать, что AUC тесно связана с U Манна-Уитни , ^{[37] [38]} , который проверяет, оцениваются ли положительные значения выше, чем отрицательные. Это также эквивалентно критерию рангов Уилкоксона . ^[38] Для предиктора несмещенная оценка его AUC может быть выражена следующей статистикой Уилкоксона-Манна-Уитни : ^[39] ${\textstyle f}$

${\displaystyle {\text{AUC}}(f)={\frac {\sum _{t_{0}\in {\mathcal {D}}^{0}}\sum _{t_{1}\in {\mathcal {D}}^{1}}{\textbf {1}}[f(t_{0})<f(t_{1})]}{|{\mathcal {D}}^{0}|\cdot |{\mathcal {D}}^{1}|}},}$

где обозначает индикаторную функцию , которая возвращает 1, если в противном случае возвращает 0; – это набор отрицательных примеров, а – это набор положительных примеров. ${\textstyle {\textbf {1}}[f(t_{0})<f(t_{1})]}$ ${\displaystyle f(t_{0})<f(t_{1})}$ ${\displaystyle {\mathcal {D}}^{0}}$ ${\displaystyle {\mathcal {D}}^{1}}$

AUC связана с индексом примесей Джини ( ) по формуле , где: ${\displaystyle G_{1}}$ ${\displaystyle G_{1}=2\operatorname {AUC} -1}$

${\displaystyle G_{1}=1-\sum _{k=1}^{n}(X_{k}-X_{k-1})(Y_{k}+Y_{k-1})}$^[40]

Таким образом, можно рассчитать AUC, используя среднее значение ряда трапециевидных приближений. не следует путать с мерой статистической дисперсии, которую также называют коэффициентом Джини . ${\displaystyle G_{1}}$

Также принято рассчитывать площадь под выпуклой оболочкой ROC (ROC AUCH = ROCH AUC), поскольку любая точка на отрезке линии между двумя результатами прогнозирования может быть получена путем случайного использования одной или другой системы с вероятностями, пропорциональными относительной длине противоположный компонент сегмента. ^[41] Также возможно инвертировать вогнутости – так же, как на рисунке худшее решение может стать лучшим решением; вогнутости могут быть отражены в любом сегменте линии, но эта более крайняя форма слияния с гораздо большей вероятностью приведет к переобучению данных. ^[42]

Сообщество машинного обучения чаще всего использует статистику ROC AUC для сравнения моделей. ^[43] Эта практика подвергается сомнению, поскольку оценки AUC довольно зашумлены и страдают от других проблем. ^{[44] [45] [46]} Тем не менее, согласованность AUC как меры совокупной эффективности классификации была подтверждена с точки зрения равномерного распределения ставок, ^[47] и AUC была связана с рядом других показателей эффективности, таких как как оценка Брайера . ^[48]

Другая проблема с ROC AUC заключается в том, что при уменьшении кривой ROC до одного числа игнорируется тот факт, что речь идет о компромиссах между различными системами или нанесенными точками производительности, а не о производительности отдельной системы, а также игнорируется возможность устранения вогнутости. , поэтому рекомендуются соответствующие альтернативные меры, такие как информированность ^{[ нужна ссылка ] или DeltaP. [33] [49]} Эти меры по существу эквивалентны индексу Джини для одной точки прогнозирования с DeltaP' = Информированность = 2AUC-1, в то время как DeltaP = Маркированность представляет собой двойную (а именно прогнозирование прогноза на основе реального класса) и их геометрическую среднее значение – коэффициент корреляции Мэтьюза . ^{[ нужна цитата ]}

В то время как ROC AUC варьируется от 0 до 1 — с неинформативным классификатором, дающим 0,5 — альтернативные меры, известные как Информированность , ^{[ нужна ссылка ]} Уверенность ^[33] и Коэффициент Джини (в случае одной параметризации или одной системы) ^{[ нужна ссылка ]} имеют преимущество в том, что 0 представляет собой случайную результативность, тогда как 1 представляет собой идеальную результативность, а -1 представляет собой «извращенный» случай полной информированности, всегда дающей неправильный ответ. ^[50] Доведение случайных результатов до 0 позволяет интерпретировать эти альтернативные шкалы как статистику Каппа. Было показано, что информированность имеет желательные характеристики для машинного обучения по сравнению с другими распространенными определениями каппы, такими как Коэн Каппа и Флейс Каппа . ^{[ нужна ссылка ] [51]}

Иногда бывает полезнее взглянуть на конкретную область кривой ROC, а не на всю кривую. Можно вычислить частичную AUC . ^[52] Например, можно сосредоточиться на области кривой с низким уровнем ложноположительных результатов, которая часто представляет главный интерес для скрининговых тестов населения. ^[53] Другой распространенный подход к задачам классификации, в которых P ≪ N (распространенный в приложениях биоинформатики), заключается в использовании логарифмической шкалы для оси x. ^[54]

Область ROC под кривой также называется c-статистикой или c-статистикой . ^[55]

Другие меры

Кривая TOC

Общая операционная характеристика (TOC) также характеризует диагностические возможности, предоставляя при этом больше информации, чем ROC. Для каждого порога ROC выявляет два соотношения: TP/(TP + FN) и FP/(FP + TN). Другими словами, РПЦ раскрывает и . С другой стороны, TOC показывает общую информацию в таблице непредвиденных обстоятельств для каждого порога. ^[56] Метод TOC раскрывает всю информацию, которую предоставляет метод ROC, а также дополнительную важную информацию, которую ROC не раскрывает, то есть размер каждой записи в таблице непредвиденных обстоятельств для каждого порога. TOC также предоставляет популярный AUC ROC. ^[57] ${\displaystyle {\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}}$ ${\displaystyle {\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}}$

ROC-кривая

Эти цифры представляют собой кривые TOC и ROC, в которых используются одни и те же данные и пороговые значения. Рассмотрим точку, которая соответствует порогу 74. Кривая TOC показывает количество попаданий, равное 3, и, следовательно, количество промахов, равное 7. Кроме того, кривая TOC показывает, что количество ложных срабатываний равно 4 и число правильных отклонений равно 16. В любой заданной точке ROC-кривой можно подобрать значения отношений и . Например, при пороге 74 очевидно, что координата x равна 0,2, а координата y равна 0,3. Однако этих двух значений недостаточно для построения всех записей базовой таблицы сопряженности два на два. ${\displaystyle {\frac {\text{false alarms}}{{\text{false alarms}}+{\text{correct rejections}}}}}$ ${\displaystyle {\frac {\text{hits}}{{\text{hits}}+{\text{misses}}}}}$

График компромисса ошибок обнаружения

Пример графика DET

Альтернативой кривой ROC является график компромисса ошибок обнаружения (DET), который отображает долю ложноотрицательных результатов (пропущенных обнаружений) по сравнению с частотой ложных срабатываний (ложных тревог) на нелинейно преобразованных осях X и Y. Функция преобразования представляет собой функцию квантиля нормального распределения, т.е. обратную кумулятивному нормальному распределению. По сути, это то же преобразование, что и zROC, описанное ниже, за исключением того, что используется дополнение к частоте попаданий, частоте промахов или ложноотрицательной частоте. Эта альтернатива затрачивает больше площади графика на интересующую область. Большая часть территории Китайской Республики не представляет особого интереса; в первую очередь важна область, прилегающая к оси Y и верхнему левому углу, который из-за использования частоты промахов вместо его дополнения, частоты попаданий, является нижним левым углом на графике DET. Кроме того, графики DET обладают полезным свойством линейности и линейным пороговым поведением для нормальных распределений. ^[58] График DET широко используется в сообществе автоматического распознавания говорящих , где впервые было использовано название DET. Анализ производительности ROC на графиках с таким искажением осей использовался психологами в исследованиях восприятия в середине 20-го века, ^где это было названо «бумагой двойной вероятности ^{» . [59]}

Z-оценка

Если к кривой ROC применить стандартную оценку , кривая преобразуется в прямую линию. ^[60] Этот z-показатель основан на нормальном распределении со средним значением, равным нулю, и стандартным отклонением, равным единице. В теории прочности памяти следует предположить, что zROC не только линейен, но и имеет наклон 1,0. Нормальное распределение целей (изученных объектов, которые испытуемые должны вспомнить) и приманок (неизученных объектов, которые испытуемые пытаются вспомнить) является фактором, вызывающим линейность zROC.

Линейность кривой zROC зависит от стандартных отклонений распределения силы цели и приманки. Если стандартные отклонения равны, наклон будет равен 1,0. Если стандартное отклонение распределения силы цели больше, чем стандартное отклонение распределения силы приманки, то наклон будет меньше 1,0. В большинстве исследований было обнаружено, что наклон кривой zROC постоянно падает ниже 1, обычно между 0,5 и 0,9. ^[61] Многие эксперименты дали наклон zROC 0,8. Наклон 0,8 означает, что изменчивость распределения силы цели на 25% больше, чем изменчивость распределения силы приманки. ^[62]

Другая используемая переменная - это  d' (d prime) (обсуждаемая выше в разделе «Другие меры»), которую легко выразить через z-значения. Хотя d ' является широко используемым параметром, следует признать, что он имеет значение только при строгом соблюдении очень строгих предположений теории прочности, сделанных выше. ^[63]

Как и предполагалось, z-показатель ROC-кривой всегда линейен, за исключением особых ситуаций. Модель знакомства-воспоминания Йонелинаса представляет собой двумерное описание памяти узнавания. Вместо того, чтобы субъект просто отвечал «да» или «нет» на конкретный входной сигнал, субъект дает ощущение знакомства, которое действует как исходная кривая ROC. Что меняется, так это параметр Воспоминания (R). Предполагается, что воспоминание работает по принципу «все или ничего», и оно превосходит знакомство. Если бы не было компонента воспоминания, zROC имел бы прогнозируемый наклон 1. Однако при добавлении компонента воспоминания кривая zROC будет вогнутой вверх с уменьшенным наклоном. Эта разница в форме и наклоне является результатом дополнительного элемента изменчивости из-за того, что некоторые элементы вспоминаются. Пациенты с антероградной амнезией не могут вспомнить, поэтому их кривая Yonelinas zROC будет иметь наклон, близкий к 1,0. ^[64]

История

Кривая ROC была впервые использована во время Второй мировой войны для анализа радиолокационных сигналов , прежде чем она была использована в теории обнаружения сигналов . ^[65] После нападения на Перл-Харбор в 1941 году военные США начали новые исследования, направленные на повышение точности прогнозирования правильности обнаружения японских самолетов по сигналам радаров. Для этих целей они измеряли способность оператора радиолокационного приемника различать эти важные различия, что было названо рабочей характеристикой приемника. ^[66]

В 1950-х годах кривые ROC использовались в психофизике для оценки обнаружения слабых сигналов человеком (а иногда и животными, не являющимися людьми). ^[65] В медицине ROC-анализ широко используется при оценке диагностических тестов . ^{[67] [68]} Кривые ROC также широко используются в эпидемиологии и медицинских исследованиях и часто упоминаются в связи с доказательной медициной . В радиологии ROC-анализ является распространенным методом оценки новых радиологических методов. ^[69] В социальных науках ROC-анализ часто называют коэффициентом точности ROC, распространенным методом оценки точности вероятностных моделей по умолчанию. Кривые ROC широко используются в лабораторной медицине для оценки диагностической точности теста, выбора оптимального порогового значения теста и сравнения диагностической точности нескольких тестов.

Кривые ROC также оказались полезными для оценки методов машинного обучения . Первое применение ROC в машинном обучении было сделано Спэкманом, который продемонстрировал ценность кривых ROC при сравнении и оценке различных алгоритмов классификации . ^[70]

Кривые ROC также используются при проверке прогнозов в метеорологии. ^[71]

Радар в деталях

Как уже упоминалось, кривые ROC имеют решающее значение для работы и теории радара . Сигналы, полученные на приемной станции, отраженные от цели, часто имеют очень низкую энергию по сравнению с минимальным уровнем шума . Отношение сигнала к шуму является важным показателем при определении того, будет ли обнаружена цель. Это соотношение сигнал/шум напрямую коррелирует с рабочими характеристиками приемника всей радиолокационной системы, которые используются для количественной оценки возможностей радиолокационной системы.

Рассмотрим разработку радиолокационной системы. Спецификация возможностей системы может быть предоставлена ​​с точки зрения вероятности обнаружения с определенной допуском на ложные срабатывания . Упрощенную аппроксимацию требуемого отношения сигнал/шум на приемной станции можно рассчитать, решив ^[72] ${\displaystyle P_{D}}$ ${\displaystyle P_{FA}}$

${\displaystyle P_{D}={\frac {1}{2}}\operatorname {erfc} \left(\operatorname {erfc} ^{-1}\left(2P_{FA}\right)-{\sqrt {\mathcal {X}}}\right)}$

по отношению сигнал/шум . Здесь не в децибелах , как это принято во многих радиолокационных приложениях. Преобразование в децибелы осуществляется через . На основе этого рисунка можно решить общие записи в уравнении дальности действия радара (с коэффициентами шума), чтобы оценить требуемую эффективную излучаемую мощность . ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {X}}}$ ${\displaystyle {\mathcal {X}}_{dB}=10\log _{10}{\mathcal {X}}}$

Кривые ROC за пределами бинарной классификации

Расширение ROC-кривых для задач классификации с более чем двумя классами является громоздким. Двумя распространенными подходами для случаев, когда существует несколько классов, являются (1) среднее значение по всем парным значениям AUC ^[73] и (2) вычисление объема под поверхностью (VUS). ^{[74] [75]} Чтобы усреднить все парные классы, вычисляют AUC для каждой пары классов, используя только примеры из этих двух классов, как если бы других классов не было, а затем усредняют эти значения AUC по всем возможным парам. Если существует c классов, то будет c ( c − 1)/2 возможных пар классов.

Подход «объем под поверхностью» предполагает построение гиперповерхности, а не кривой, а затем измерение гиперобъема под этой гиперповерхностью. Каждое возможное правило принятия решения, которое можно было бы использовать для классификатора классов c , можно описать с точки зрения его истинно положительных показателей (TPR ₁ ,..., TPR _c ) . Именно этот набор скоростей определяет точку, а набор всех возможных правил принятия решений дает облако точек, определяющих гиперповерхность. Согласно этому определению, VUS — это вероятность того, что классификатор сможет правильно пометить все примеры c , когда ему дан набор, в котором есть один случайно выбранный пример из каждого класса. ^{Реализация классификатора, который знает ,} что его входной набор состоит из одного примера из каждого класса, может сначала вычислить оценку согласия для каждой из двух возможных пар примера с классом, а затем использовать венгерский алгоритм для максимизировать сумму c выбранных оценок по всем c ! возможные способы назначить ровно один пример каждому классу.

Учитывая успех кривых ROC для оценки моделей классификации, также исследовалось расширение кривых ROC для других контролируемых задач. Заметными предложениями по проблемам регрессии являются так называемые кривые характеристики ошибок регрессии (REC) ^[76] и кривые регрессии ROC (RROC). ^[77] В последнем случае кривые RROC становятся чрезвычайно похожими на кривые ROC для классификации с понятиями асимметрии, доминирования и выпуклой оболочки. Кроме того, площадь под кривыми RROC пропорциональна дисперсии ошибки регрессионной модели.

Смотрите также

• Математический портал

• Оценка Брайера
• Коэффициент детерминации
• Постоянная частота ложных тревог
• Компромисс ошибки обнаружения
• Теория обнаружения
• Оценка F1
• Ложная сигнализация
• Проверка гипотез на точность
• Точность и отзыв
• РОКЦЕТ
• Чувствительность и специфичность
• Общая рабочая характеристика

Рекомендации

1. Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
2. Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
3. Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
4. Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
5. Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов». Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
6. Чикко Д.; Юрман Г. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
7. Чикко Д.; Тётч Н.; Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и выраженность при оценке двухклассовой матрицы путаницы». Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД  33541410. 
8. Чикко Д.; Джурман Г. (2023). «Коэффициент корреляции Мэтьюза (MCC) должен заменить ROC AUC в качестве стандартного показателя для оценки бинарной классификации». Добыча биоданных . 16 (1): 4. дои : 10.1186/s13040-023-00322-4 . ПМЦ 9938573 . ПМИД  36800973. 
9. Тарват А. (август 2018 г.). «Классификация методов оценки». Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
10. Балайла, Жак (2020). «Порог распространенности (φe) и геометрия кривых скрининга». ПЛОС ОДИН . 15 (10): e0240215. arXiv : 2006.00398 . Бибкод : 2020PLoSO..1540215B. дои : 10.1371/journal.pone.0240215 . ПМЦ 7540853 . ПМИД  33027310. 
11. «Анализ производительности детектора с использованием кривых ROC — пример MATLAB и Simulink». www.mathworks.com . Проверено 11 августа 2016 г.
12. Светс, Джон А.; Теория обнаружения сигналов и ROC-анализ в психологии и диагностике: сборник статей, Lawrence Erlbaum Associates, Махва, Нью-Джерси, 1996.
13. Перес, диджей; Кансельер, А. (08 декабря 2014 г.). «Вывод и оценка порогов возникновения оползней с помощью метода Монте-Карло». Гидрол. Система Земли. Наука . 18 (12): 4913–4931. Бибкод : 2014HESS...18.4913P. дои : 10.5194/hess-18-4913-2014 . ISSN  1607-7938.
14. Мерфи, Аллан Х. (1 марта 1996 г.). «Дело Финли: знаковое событие в истории проверки прогнозов». Погода и прогнозирование . 11 (1): 3–20. Бибкод : 1996WtFor..11....3M. doi : 10.1175/1520-0434(1996)011<0003:tfaase>2.0.co;2 . ISSN  0882-8156.
15. Перес, диджей; Юппа, К.; Кавалларо, Л.; Кансельер, А.; Фоти, Э. (01 октября 2015 г.). «Значительное расширение рекордов высоты волн с помощью нейронных сетей и повторного анализа данных о ветре». Моделирование океана . 94 : 128–140. Бибкод : 2015OcMod..94..128P. doi :10.1016/j.ocemod.2015.08.002.
16. Сушкова, Ольга; Морозов, Алексей; Габова, Александра; Карабанов Алексей; Иллариошкин, Сергей (2021). «Статистический метод исследовательского анализа данных на основе 2D и 3D площади под кривыми диаграммами: исследование болезни Паркинсона». Датчики . 21 (14): 4700. Бибкод : 2021Senso..21.4700S. дои : 10.3390/s21144700 . ПМЦ 8309570 . ПМИД  34300440. 
17. Балайла, Жак (2020). «Порог распространенности (φe) и геометрия кривых скрининга». ПЛОС ОДИН . 15 (10): e0240215. дои : 10.1371/journal.pone.0240215 . ПМИД  33027310.
18. Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
19. Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
20. Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
21. Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
22. Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов». Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
23. Чикко Д., Джурман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
24. Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и выраженность при оценке двухклассовой матрицы путаницы». Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД  33541410. 
25. Тарват А. (август 2018 г.). «Классификация методов оценки». Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
26. «Классификация - AUC-ROC случайного классификатора» . Обмен стеками науки о данных . Проверено 30 ноября 2020 г.
27. Чикко, Давиде; Юрман, Джузеппе (17 февраля 2023 г.). «Коэффициент корреляции Мэтьюза (MCC) должен заменить ROC AUC в качестве стандартного показателя для оценки бинарной классификации». Добыча биоданных . ООО «Спрингер Сайенс энд Бизнес Медиа». 16 (1). дои : 10.1186/s13040-023-00322-4 . hdl : 10281/430042 . ISSN  1756-0381.
28. Мусчелли, Джон (23 декабря 2019 г.). «ROC и AUC с бинарным предиктором: потенциально вводящая в заблуждение метрика». Журнал классификации . ООО «Спрингер Сайенс энд Бизнес Медиа». 37 (3): 696–708. дои : 10.1007/s00357-019-09345-1. ISSN  0176-4268. ПМЦ 7695228 . 
29. Лобо, Хорхе М.; Хименес-Вальверде, Альберто; Реал, Раймундо (2008). «AUC: вводящий в заблуждение показатель эффективности моделей прогнозируемого распределения». Глобальная экология и биогеография . Уайли. 17 (2): 145–151. дои : 10.1111/j.1466-8238.2007.00358.x. ISSN  1466-822X.
30. Халлиган, Стив; Альтман, Дуглас Г.; Маллетт, Сьюзен (20 января 2015 г.). «Недостатки использования площади под рабочей характеристикой приемника для оценки тестов визуализации: обсуждение и предложение альтернативного подхода». Европейская радиология . ООО «Спрингер Сайенс энд Бизнес Медиа». 25 (4): 932–939. дои : 10.1007/s00330-014-3487-0 . ISSN  0938-7994. ПМЦ 4356897 . 
31. Беррар, Д.; Флах, П. (21 марта 2011 г.). «Предостережения и подводные камни ROC-анализа в клинических исследованиях с использованием микрочипов (и как их избежать)». Брифинги по биоинформатике . Издательство Оксфордского университета (ОУП). 13 (1): 83–97. дои : 10.1093/нагрудник/bbr008 . ISSN  1467-5463.
32. Ржезач, М., Ржезач, Ф. (2011). «Как измерить качество моделей кредитного скоринга». Чешский журнал экономики и финансов (Finance a úvěr) . Карлов университет Праги, факультет социальных наук. 61 (5): 486–507.
33. Powers, Дэвид М.В. (2012). «ROC-ConCert: измерение согласованности и достоверности на основе ROC» (PDF) . Весенний конгресс по технике и технологиям (SCET) . Том. 2. ИИЭР. стр. 238–241.^{[ мертвая ссылка ]}
34. Фогарти, Джеймс; Бейкер, Райан С.; Хадсон, Скотт Э. (2005). «Тематические исследования по использованию анализа кривой ROC для оценок на основе датчиков при взаимодействии человека с компьютером». Серия материалов международной конференции ACM, Труды графического интерфейса, 2005 г. Ватерлоо, Онтарио: Канадское общество человеко-компьютерных коммуникаций.
35. Хасти, Тревор ; Тибширани, Роберт ; Фридман, Джером Х. (2009). Элементы статистического обучения: интеллектуальный анализ данных, логические выводы и прогнозирование (2-е изд.).
36. Фосетт, Том (2006); Введение в ROC-анализ , Письма о распознавании образов, 27, 861–874.
37. Хэнли, Джеймс А.; Макнил, Барбара Дж. (1982). «Значение и использование площади под кривой рабочей характеристики приемника (ROC)». Радиология . 143 (1): 29–36. doi : 10.1148/radiology.143.1.7063747. PMID  7063747. S2CID  10511727.
38. Мейсон, Саймон Дж.; Грэм, Николас Э. (2002). «Области под кривыми относительных рабочих характеристик (ROC) и относительных рабочих уровней (ROL): статистическая значимость и интерпретация» (PDF) . Ежеквартальный журнал Королевского метеорологического общества . 128 (584): 2145–2166. Бибкод : 2002QJRMS.128.2145M. CiteSeerX 10.1.1.458.8392 . дои : 10.1256/003590002320603584. S2CID  121841664. Архивировано из оригинала (PDF) 20 ноября 2008 г. 
39. Колдерс, Мульт; Ярошевич, Шимон (2007). Кок, Йост Н.; Коронацкий, Яцек; Лопес де Мантарас, Рамон; Мэтвин, Стэн; Младенич, Дуня; Сковрон, Анджей (ред.). «Эффективная оптимизация AUC для классификации». Обнаружение знаний в базах данных: PKDD 2007 . Конспекты лекций по информатике. Берлин, Гейдельберг: Springer. 4702 : 42–53. дои : 10.1007/978-3-540-74976-9_8 . ISBN 978-3-540-74976-9.
40. Хэнд, Дэвид Дж.; и Тилль, Роберт Дж. (2001); Простое обобщение площади под кривой ROC для задач классификации нескольких классов , Machine Learning, 45, 171–186.
41. Провост, Ф.; Фосетт, Т. (2001). «Надежная классификация для неточных сред». Машинное обучение . 42 (3): 203–231. arXiv : cs/0009007 . дои : 10.1023/а: 1007601015854. S2CID  5415722.
42. Флах, Пенсильвания; Ву, С. (2005). «Устранение вогнутостей в кривых ROC». (PDF) . 19-я Международная совместная конференция по искусственному интеллекту (IJCAI'05) . стр. 702–707.
43. Хэнли, Джеймс А.; Макнил, Барбара Дж. (1 сентября 1983 г.). «Метод сравнения площадей под кривыми рабочих характеристик приемника, полученными на основе одних и тех же случаев». Радиология . 148 (3): 839–843. дои : 10.1148/radiology.148.3.6878708 . ПМИД  6878708.
44. Ханчар, Блез; Хуа, Цзяньпин; Сыма, Чао; Вайнштейн, Джон; Биттнер, Майкл; Догерти, Эдвард Р. (2010). «Точность малой выборки оценок, связанных с ROC». Биоинформатика . 26 (6): 822–830. doi : 10.1093/биоинформатика/btq037 . ПМИД  20130029.
45. Лобо, Хорхе М.; Хименес-Вальверде, Альберто; Реал, Раймундо (2008). «AUC: вводящий в заблуждение показатель эффективности моделей прогнозируемого распределения». Глобальная экология и биогеография . 17 (2): 145–151. дои : 10.1111/j.1466-8238.2007.00358.x. S2CID  15206363.
46. Хэнд, Дэвид Дж (2009). «Измерение производительности классификатора: последовательная альтернатива площади под кривой ROC». Машинное обучение . 77 : 103–123. дои : 10.1007/s10994-009-5119-5 . hdl : 10044/1/18420 .
47. Флах, Пенсильвания; Эрнандес-Оралло, Дж.; Ферри, К. (2011). «Последовательная интерпретация AUC как меры совокупной эффективности классификации». (PDF) . Материалы 28-й Международной конференции по машинному обучению (ICML-11) . стр. 657–664.
48. Эрнандес-Оралло, Дж.; Флах, Пенсильвания; Ферри, К. (2012). «Единое представление показателей производительности: преобразование выбора порога в ожидаемую потерю классификации» (PDF) . Журнал исследований машинного обучения . 13 : 2813–2869.
49. Пауэрс, Дэвид М.В. (2012). «Проблема площади под кривой». Международная конференция по информатике и технологиям .
50. Пауэрс, Дэвид М.В. (2003). «Отзыв и точность против букмекерской конторы» (PDF) . Труды Международной конференции по когнитивной науке (ICSC-2003), Сидней, Австралия, 2003, стр. 529–534 .
51. Пауэрс, Дэвид М.В. (2012). «Проблема с Каппой» (PDF) . Конференция Европейского отделения Ассоциации компьютерной лингвистики (EACL2012) Совместный семинар ROBUS-UNSUP . Архивировано из оригинала (PDF) 18 мая 2016 г. Проверено 20 июля 2012 г.
52. МакКлиш, Донна Кацман (1 августа 1989 г.). «Анализ части кривой ROC». Принятие медицинских решений . 9 (3): 190–195. дои : 10.1177/0272989X8900900307. PMID  2668680. S2CID  24442201.
53. Додд, Лори Э.; Пепе, Маргарет С. (2003). «Частичная оценка и регрессия AUC». Биометрия . 59 (3): 614–623. дои : 10.1111/1541-0420.00071 . PMID  14601762. S2CID  23054670.
54. Карплюс, Кевин (2011); Лучше, чем шанс: важность нулевых моделей, Калифорнийский университет, Санта-Крус, в материалах первого международного семинара по распознаванию образов в протеомике, структурной биологии и биоинформатике (PR PS BB 2011).
55. «C-статистика: определение, примеры, взвешивание и значение». Статистика Как сделать . 28 августа 2016 г.
56. Понтиус, Роберт Гилмор; Пармантье, Бенуа (2014). «Рекомендации по использованию относительной эксплуатационной характеристики (ROC)». Ландшафтная экология . 29 (3): 367–382. дои : 10.1007/s10980-013-9984-8. S2CID  15924380.
57. Понтиус, Роберт Гилмор; Си, Канпин (2014). «Общая рабочая характеристика для измерения диагностических возможностей для нескольких порогов». Международный журнал географической информатики . 28 (3): 570–583. дои : 10.1080/13658816.2013.862623. S2CID  29204880.
58. Навратил, Дж.; Клюсачек, Д. (1 апреля 2007 г.). «О линейных ДЭТ». 2007 Международная конференция IEEE по акустике, речи и обработке сигналов — ICASSP '07 . Том. 4. С. IV–229–IV–232. дои : 10.1109/ICASSP.2007.367205. ISBN 978-1-4244-0727-9. S2CID  18173315.
59. Дев П. Чакраборти (14 декабря 2017 г.). «двойная+вероятность+бумага»&pg=PT214 Методы работы наблюдателя для диагностической визуализации: основы, моделирование и приложения с примерами на основе R. ЦРК Пресс. п. 214. ИСБН 9781351230711. Проверено 11 июля 2019 г.
60. Макмиллан, Нил А.; Крилман, К. Дуглас (2005). Теория обнаружения: Руководство пользователя (2-е изд.). Махва, Нью-Джерси: Lawrence Erlbaum Associates. ISBN 978-1-4106-1114-7.
61. Гланцер, Мюррей; Кисок, Ким; Хилфорд, Энди; Адамс, Джон К. (1999). «Наклон рабочей характеристики приемника в памяти распознавания». Журнал экспериментальной психологии: обучение, память и познание . 25 (2): 500–513. дои : 10.1037/0278-7393.25.2.500.
62. Рэтклифф, Роджер; МакКун, Гейл; Тиндалл, Майкл (1994). «Эмпирическая общность данных из функций ROC памяти распознавания и их значение для GMM». Журнал экспериментальной психологии: обучение, память и познание . 20 (4): 763–785. CiteSeerX 10.1.1.410.2114 . дои : 10.1037/0278-7393.20.4.763. ПМИД  8064246. 
63. Чжан, Цзюнь; Мюллер, Шейн Т. (2005). «Заметки о ROC-анализе и непараметрической оценке чувствительности». Психометрика . 70 : 203–212. CiteSeerX 10.1.1.162.1515 . дои : 10.1007/s11336-003-1119-8. S2CID  122355230. 
64. Йонелинас, Эндрю П.; Кролл, Нил Э.А.; Доббинс, Ян Г.; Лаззара, Мишель; Найт, Роберт Т. (1998). «Дефицит воспоминаний и знакомств при амнезии: конвергенция данных о запоминании, диссоциации процессов и данных о рабочих характеристиках приемника». Нейропсихология . 12 (3): 323–339. дои : 10.1037/0894-4105.12.3.323. ПМИД  9673991.
65. Грин, Дэвид М.; Светс, Джон А. (1966). Теория обнаружения сигналов и психофизика . Нью-Йорк, штат Нью-Йорк: ISBN John Wiley and Sons Inc. 978-0-471-32420-1.
66. «Использование кривой рабочих характеристик приемника (ROC) для анализа модели классификации: последнее примечание, представляющее исторический интерес» (PDF) . Департамент математики Университета Юты . Архивировано (PDF) из оригинала 22 августа 2020 г. Проверено 25 мая 2017 г.
67. Цвейг, Марк Х.; Кэмпбелл, Грегори (1993). «Графики рабочих характеристик приемника (ROC): фундаментальный инструмент оценки в клинической медицине» (PDF) . Клиническая химия . 39 (8): 561–577. дои : 10.1093/клинчем/39.4.561 . ПМИД  8472349.
68. Пепе, Маргарет С. (2003). Статистическая оценка медицинских тестов для классификации и прогнозирования . Нью-Йорк, штат Нью-Йорк: Оксфорд. ISBN 978-0-19-856582-6.
69. Обуховски, Нэнси А. (2003). «Кривые рабочие характеристики приемника и их использование в радиологии». Радиология . 229 (1): 3–8. дои : 10.1148/radiol.2291010898. ПМИД  14519861.
70. Спэкман, Кент А. (1989). «Теория обнаружения сигналов: ценные инструменты для оценки индуктивного обучения». Материалы шестого международного семинара по машинному обучению . Сан-Матео, Калифорния: Морган Кауфманн . стр. 160–163.
71. Харин, Вячеслав (2003). «О шкале ROC вероятностных прогнозов». Журнал климата . 16 (24): 4145–4150. Бибкод : 2003JCli...16.4145K. doi : 10.1175/1520-0442(2003)016<4145:OTRSOP>2.0.CO;2 .
72. «Основы радиолокации», Методы цифровой обработки сигналов и их применение в обработке радиолокационных изображений , Хобокен, Нью-Джерси, США: John Wiley & Sons, Inc., стр. 93–115, 29 января 2008 г., doi : 10.1002/9780470377765. глава 4, ISBN 9780470377765, получено 20 мая 2023 г.
73. Тилль, диджей; Хэнд, Р.Дж. (2001). «Простое обобщение площади под кривой ROC для задач классификации нескольких классов». Машинное обучение . 45 (2): 171–186. дои : 10.1023/А:1010920819831 .
74. Моссман, Д. (1999). «Трёхсторонние РПЦ». Принятие медицинских решений . 19 (1): 78–89. дои : 10.1177/0272989x9901900110. PMID  9917023. S2CID  24623127.
75. Ферри, К.; Эрнандес-Оралло, Дж.; Салидо, Массачусетс (2003). «Объем под поверхностью ROC для многоклассовых задач». Машинное обучение: ECML 2003 . стр. 108–120.
76. Би, Дж.; Беннетт, КП (2003). «Характеристические кривые ошибок регрессии» (PDF) . Двадцатая международная конференция по машинному обучению (ICML-2003). Вашингтон .
77. Эрнандес-Оралло, Дж. (2013). «Кривые ROC для регрессии». Распознавание образов . 46 (12): 3395–3411. Бибкод : 2013PatRe..46.3395H. дои : 10.1016/j.patcog.2013.06.014. hdl : 10251/40252 . S2CID  15651724.

Внешние ссылки

• Анимированная демо-версия ROC
• демо РПЦ
• еще одна демонстрация РПЦ
• Видеообъяснение РПЦ
• Введение в общую операционную характеристику: полезность в оценке модели изменения земель
• Как запустить пакет TOC в R
• Пакет TOC R на Github
• Рабочая книга Excel для создания кривых TOC

дальнейшее чтение

• Балакришнан, Нараянасвами (1991); Справочник по логистическому распределению , Marcel Dekker, Inc., ISBN 978-0-8247-8587-1 
• Браун, Кристофер Д.; Дэвис, Герберт Т. (2006). «Кривые рабочие характеристики приемника и соответствующие меры принятия решений: учебное пособие». Хемометрика и интеллектуальные лабораторные системы . 80 : 24–38. doi :10.1016/j.chemolab.2005.05.004.
• Ротелло, Карен М.; Хейт, Эван; Дубе, Чад (2014). «Когда больше данных направляет нас неправильно: повторение с неправильной зависимой мерой закрепляет ошибочные выводы» (PDF) . Психономический бюллетень и обзор . 22 (4): 944–954. дои : 10.3758/s13423-014-0759-2 . PMID  25384892. S2CID  6046065.
• Фосетт, Том (2004). «Графики ROC: примечания и практические рекомендации для исследователей» (PDF) . Буквы для распознавания образов . 27 (8): 882–891. CiteSeerX  10.1.1.145.4649 . doi :10.1016/j.patrec.2005.10.012.
• Гонен, Митхат (2007); Анализ кривых рабочих характеристик приемника с использованием SAS , SAS Press, ISBN 978-1-59994-298-8 
• Грин, Уильям Х., (2003) Эконометрический анализ , пятое издание, Prentice Hall , ISBN 0-13-066189-9 
• Хигерти, Патрик Дж.; Ламли, Томас; Пепе, Маргарет С. (2000). «Зависящие от времени кривые ROC для цензурированных данных о выживании и диагностический маркер». Биометрия . 56 (2): 337–344. дои : 10.1111/j.0006-341x.2000.00337.x. PMID  10877287. S2CID  8822160.
• Хосмер, Дэвид В.; и Лемешоу, Стэнли (2000); Прикладная логистическая регрессия , 2-е изд., Нью-Йорк, штат Нью-Йорк: Wiley , ISBN 0-471-35632-8 
• Ласко, Томас А.; Бхагват, Джуй Г.; Цзоу, Келли Х.; Оно-Мачадо, Люсила (2005). «Использование кривых рабочих характеристик приемников в биомедицинской информатике». Журнал биомедицинской информатики . 38 (5): 404–415. CiteSeerX  10.1.1.97.9674 . дои : 10.1016/j.jbi.2005.02.008. ПМИД  16198999.
• Мас, Жан-Франсуа; Фильо, Бритальдо Соареш; Понтиус-младший, Роберт Гилмор; Гутьеррес, Мишель Фарфан; Родригес, Герман (2013). «Набор инструментов для ROC-анализа пространственных моделей». Международный геоинформационный журнал ISPRS . 2 (3): 869–887. Бибкод : 2013IJGI....2..869M. дои : 10.3390/ijgi2030869 .{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Понтиус-младший, Роберт Гилмор; Пармантье, Бенуа (2014). «Рекомендации по использованию относительной эксплуатационной характеристики (ROC)». Ландшафтная экология . 29 (3): 367–382. дои : 10.1007/s10980-013-9984-8. S2CID  15924380.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Понтиус-младший, Роберт Гилмор; Пачеко, Пабло (2004). «Калибровка и проверка модели нарушения лесов в Западных Гатах, Индия, 1920–1990». Геожурнал . 61 (4): 325–334. дои : 10.1007/s10708-004-5049-5. S2CID  155073463.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Понтиус-младший, Роберт Гилмор; Батчу, Киран (2003). «Использование относительных рабочих характеристик для количественной оценки уверенности в прогнозировании места изменения земного покрова в Индии». Транзакции в ГИС . 7 (4): 467–484. дои : 10.1111/1467-9671.00159. S2CID  14452746.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Понтиус-младший, Роберт Гилмор; Шнайдер, Лаура (2001). «Проверка модели изменения землепользования методом ROC для водораздела Ипсвича, Массачусетс, США». Сельское хозяйство, экосистемы и окружающая среда . 85 (1–3): 239–248. дои : 10.1016/S0167-8809(01)00187-6.{{cite journal}}: CS1 maint: multiple names: authors list (link)
• Стефан, Карстен; Весселинг, Себастьян; Шинк, Таня; Юнг, Клаус (2003). «Сравнение восьми компьютерных программ для анализа рабочих характеристик приемника». Клиническая химия . 49 (3): 433–439. дои : 10.1373/49.3.433 . ПМИД  12600955.
• Светс, Джон А.; Доус, Робин М.; и Монахан, Джон (2000); Лучшие решения посредством науки , Scientific American , октябрь, стр. 82–87.
• Цзоу, Келли Х.; О'Мэлли, А. Джеймс; Маури, Лаура (2007). «Анализ рабочих характеристик приемника для оценки диагностических тестов и прогнозирующих моделей». Тираж . 115 (5): 654–7. дои : 10.1161/circulationaha.105.594929 . ПМИД  17283280.
• Чжоу, Сяо-Хуа; Обуховски, Нэнси А .; МакКлиш, Донна К. (2002). Статистические методы в диагностической медицине . Нью-Йорк, штат Нью-Йорк: Wiley & Sons. ISBN 978-0-471-34772-9.
• Чикко Д.; Джурман Г. (2023). «Коэффициент корреляции Мэтьюза (MCC) должен заменить ROC AUC в качестве стандартного показателя для оценки бинарной классификации». Добыча биоданных . 16 (1): 4. дои : 10.1186/s13040-023-00322-4 . ПМЦ  9938573 . ПМИД  36800973.