Чувствительность и специфичность

Статистические показатели эффективности теста бинарной классификации

Чувствительность и специфичность. Левая половина изображения со сплошными точками представляет людей, страдающих этим заболеванием, а правая половина изображения с пустыми точками представляет людей, у которых нет этого заболевания. Круг представляет всех людей с положительным результатом теста.

В медицине и статистике чувствительность и специфичность математически описывают точность теста , который сообщает о наличии или отсутствии заболевания. Если люди, у которых есть это заболевание, считаются «положительными», а те, у кого его нет, считаются «отрицательными», то чувствительность является мерой того, насколько хорошо тест может выявлять истинно положительные результаты, а специфичность — это мера того, насколько хорошо тест может выявлять истинно отрицательные результаты. :

• Чувствительность (истинно положительный результат) — это вероятность положительного результата теста при условии , что человек действительно положительный.
• Специфичность (истинно отрицательный показатель) — это вероятность отрицательного результата теста при условии, что у человека действительно отрицательный результат.

Если истинный статус заболевания неизвестен, чувствительность и специфичность можно определить относительно « теста золотого стандарта », который считается правильным. Для любого тестирования, как для диагностики , так и для скрининга , обычно существует компромисс между чувствительностью и специфичностью: более высокая чувствительность будет означать более низкую специфичность, и наоборот.

Тест, который надежно выявляет наличие заболевания и дает большое количество истинно положительных результатов и малое количество ложноотрицательных результатов, будет иметь высокую чувствительность. Это особенно важно, когда последствия отсутствия лечения заболевания являются серьезными и/или лечение очень эффективно и имеет минимальные побочные эффекты.

Тест, который надежно исключает лиц, у которых нет этого заболевания, что приводит к большому количеству истинно отрицательных результатов и низкому количеству ложноположительных результатов, будет иметь высокую специфичность. Это особенно важно, когда люди, у которых выявлено заболевание, могут подвергаться дополнительному тестированию, расходам, стигматизации, тревоге и т. д.

Чувствительность и специфичность

Термины «чувствительность» и «специфичность» были введены американским биостатистиком Джейкобом Йерушалми в 1947 году. ^[1]

В рамках лабораторного контроля качества существуют различные определения , где «аналитическая чувствительность» определяется как наименьшее количество вещества в образце, которое может быть точно измерено с помощью анализа (синоним предела обнаружения ), а «аналитическая специфичность» определяется как способность анализа для измерения одного конкретного организма или вещества, а не других. ^[12] Однако в этой статье речь идет о диагностической чувствительности и специфичности, как они определены выше.

Заявление на скрининговое исследование

Представьте себе исследование, оценивающее тест, проверяющий людей на наличие заболевания. Каждый человек, проходящий тест, либо страдает этим заболеванием, либо не страдает им. Результат теста может быть положительным (классифицируя человека как больного) или отрицательным (классифицируя человека как не страдающего заболеванием). Результаты теста для каждого субъекта могут соответствовать или не соответствовать фактическому статусу субъекта. В этой обстановке: ^{[ нужна ссылка ]}

• Истинно положительный результат: больных людей правильно идентифицируют как больных.
• Ложное срабатывание: здоровых людей ошибочно идентифицируют как больных.
• Истинно отрицательный результат: здоровых людей правильно идентифицируют как здоровых.
• Ложноотрицательный результат: больных ошибочно принимают за здоровых.

После получения количества истинно положительных, ложно положительных, истинно отрицательных и ложно отрицательных результатов можно рассчитать чувствительность и специфичность теста. Если окажется, что чувствительность высока, то любой человек, у которого есть это заболевание, скорее всего, будет классифицирован как положительный по результатам теста. С другой стороны, если специфичность высока, любой человек, у которого нет заболевания, скорее всего, будет классифицирован тестом как отрицательный. На веб-сайте НИЗ есть обсуждение того, как рассчитываются эти коэффициенты. ^[13]

Определение

Чувствительность

Рассмотрим пример медицинского теста для диагностики состояния. Чувствительность (иногда также называемая уровнем выявления в клинических условиях) относится к способности теста правильно выявлять больных пациентов среди тех, у кого действительно есть это заболевание. ^[14] Математически это можно выразить так:

${\displaystyle {\begin{aligned}{\text{sensitivity}}&={\frac {\text{number of true positives}}{{\text{number of true positives}}+{\text{number of false negatives}}}}\\[8pt]&={\frac {\text{number of true positives}}{\text{total number of sick individuals in population}}}\\[8pt]&={\text{probability of a positive test given that the patient has the disease}}\end{aligned}}}$

Отрицательный результат теста с высокой чувствительностью может быть полезен для «исключения» заболевания ^[14] , поскольку он редко ставит ошибочный диагноз тем, у кого заболевание действительно есть. Тест со 100% чувствительностью позволит распознать всех пациентов с заболеванием при положительном результате теста. В этом случае отрицательный результат теста окончательно исключит наличие заболевания у пациента. Однако положительный результат теста с высокой чувствительностью не обязательно является основанием для «подтверждения» заболевания. Предположим, что «поддельный» тестовый набор спроектирован таким образом, чтобы всегда давать положительные результаты. При использовании на больных пациентах все пациенты получают положительный результат, что дает тесту 100% чувствительность. Однако чувствительность не учитывает ложные срабатывания. Фальшивый тест также дает положительный результат у всех здоровых пациентов, что дает процент ложноположительных результатов в 100%, что делает его бесполезным для обнаружения или «вынесения решения» о заболевании. ^{[ нужна цитата ]}

При расчете чувствительности не учитываются неопределенные результаты испытаний. Если тест невозможно повторить, неопределенные образцы либо должны быть исключены из анализа (количество исключений должно быть указано при указании чувствительности), либо могут рассматриваться как ложноотрицательные (что дает наихудшее значение чувствительности и, следовательно, может ее занижать). ). ^{[ нужна цитата ]}

Тест с более высокой чувствительностью имеет меньшую частоту ошибок второго рода .

Специфика

Рассмотрим пример медицинского теста для диагностики заболевания. Специфичность относится к способности теста правильно отклонять тест от здоровых пациентов без каких-либо заболеваний. Математически это можно записать так:

${\displaystyle {\begin{aligned}{\text{specificity}}&={\frac {\text{number of true negatives}}{{\text{number of true negatives}}+{\text{number of false positives}}}}\\[8pt]&={\frac {\text{number of true negatives}}{\text{total number of well individuals in population}}}\\[8pt]&={\text{probability of a negative test given that the patient is well}}\end{aligned}}}$

Положительный результат теста с высокой специфичностью может быть полезен для «подтверждения» заболевания, поскольку тест редко дает положительные результаты у здоровых пациентов. ^[15] Тест со 100%-ной специфичностью позволит распознать всех пациентов без заболевания по отрицательному результату теста, поэтому положительный результат теста будет окончательно определять наличие заболевания. Однако отрицательный результат теста с высокой специфичностью не обязательно позволяет «исключить» заболевание. Например, тест, который всегда возвращает отрицательный результат, будет иметь специфичность 100 %, поскольку специфичность не учитывает ложноотрицательные результаты. Подобный тест даст отрицательный результат для пациентов с этим заболеванием, что сделает его бесполезным для «исключения» заболевания.

Тест с более высокой специфичностью имеет меньшую частоту ошибок I рода .

Графическая иллюстрация

• 
  Высокая чувствительность и низкая специфичность
• 
  Низкая чувствительность и высокая специфичность
• 
  Графическая иллюстрация чувствительности и специфичности.

Приведенная выше графическая иллюстрация призвана показать взаимосвязь между чувствительностью и специфичностью. Черная пунктирная линия в центре графика указывает на то, что чувствительность и специфичность одинаковы. При движении влево от черной пунктирной линии чувствительность увеличивается, достигая максимального значения 100% на линии А, а специфичность снижается. Чувствительность линии А составляет 100 %, поскольку в этот момент нет ложноотрицательных результатов, а это означает, что все отрицательные результаты теста являются истинно отрицательными. При движении вправо действует обратное: специфичность увеличивается, пока не достигает линии B и не становится 100%, а чувствительность снижается. Специфичность в строке B составляет 100%, поскольку количество ложноположительных результатов в этой строке равно нулю, что означает, что все положительные результаты теста являются истинно положительными.

Средняя сплошная линия на обоих рисунках, показывающих уровень чувствительности и специфичности, является точкой отсечения теста. Как описано ранее, перемещение этой линии приводит к компромиссу между уровнем чувствительности и специфичности. Левая часть этой линии содержит точки данных, которые тестируются ниже точки отсечения и считаются отрицательными (синие точки обозначают ложноотрицательные результаты (FN), белые точки — истинные отрицательные результаты (TN)). В правой части линии показаны точки данных, которые тестируются выше точки отсечения и считаются положительными (красные точки обозначают ложные срабатывания (FP)). Каждая сторона содержит 40 точек данных.

На рисунке, показывающем высокую чувствительность и низкую специфичность, имеются 3 ФН и 8 ФП. Используя тот факт, что положительные результаты = истинные положительные результаты (ТП) + FP, получаем TP = положительные результаты - FP, или TP = 40 - 8 = 32. Число заболевших в наборе данных равно TP + FN, или 32 + 3 = 35. Таким образом, чувствительность составляет 32/35 = 91,4%. Используя тот же метод, получаем TN = 40 - 3 = 37, а количество здоровых людей 37 + 8 = 45, что дает специфичность 37/45 = 82,2 %.

На рисунке, показывающем низкую чувствительность и высокую специфичность, имеется 8 ФН и 3 ФП. Используя тот же метод, что и предыдущий рисунок, получаем ТП = 40 – 3 = 37. Число заболевших составляет 37 + 8 = 45, что дает чувствительность 37/45 = 82,2 %. Их 40 – 8 = 32 ТН. Таким образом, специфичность составляет 32/35 = 91,4%.

• 
  Результат теста со 100-процентной чувствительностью
• 
  Результат теста со 100-процентной специфичностью

Красная точка указывает на пациента с заболеванием. Красный фон указывает на область, в которой тест прогнозирует, что точка данных будет положительной. Истинно положительный результат на этом рисунке равен 6, а ложноотрицательный — 0 (поскольку все положительные условия правильно прогнозируются как положительные). Поэтому чувствительность 100% (от 6/(6+0) ). Эта ситуация также проиллюстрирована на предыдущем рисунке, где пунктирная линия находится в позиции A (левая часть прогнозируется моделью как отрицательная, правая часть прогнозируется моделью как положительная). Когда пунктирная линия, граница теста, находится в положении A, тест правильно предсказывает всю совокупность истинно положительного класса, но он не сможет правильно идентифицировать точку данных из истинно отрицательного класса.

Как и на ранее объясненном рисунке, красная точка обозначает пациента с заболеванием. Однако в этом случае зеленый фон указывает на то, что тест прогнозирует отсутствие у всех пациентов данного заболевания. Тогда число истинно отрицательных точек данных составит 26, а количество ложноположительных результатов равно 0. Это приводит к 100% специфичности (от 26 / (26 + 0) ). Следовательно, чувствительность или специфичность сами по себе не могут использоваться для измерения эффективности теста.

Медицинское использование

В медицинской диагностике чувствительность теста — это способность теста правильно идентифицировать людей с заболеванием (истинно положительный показатель), тогда как специфичность теста — это способность теста правильно идентифицировать людей без заболевания (истинно отрицательный уровень). Если было проверено 100 пациентов с известным заболеванием и у 43 пациентов результат оказался положительным, то чувствительность теста составит 43%. Если протестировано 100 пациентов без каких-либо заболеваний, а 96 дают полностью отрицательный результат, то специфичность теста составляет 96%. Чувствительность и специфичность не зависят от распространенности теста, поскольку их значения являются неотъемлемой частью теста и не зависят от распространенности заболевания в интересующей популяции. ^[16] Положительные и отрицательные прогностические значения , но не чувствительность или специфичность, представляют собой значения, на которые влияет распространенность заболевания в тестируемой популяции. Эти концепции графически проиллюстрированы в этой прикладной байесовской клинической диагностической модели, которая показывает положительную и отрицательную прогностическую ценность в зависимости от распространенности, чувствительности и специфичности.

Заблуждения

Часто утверждают, что высокоспецифичный тест эффективен для исключения заболевания, если он положительный, тогда как высокочувствительный тест считается эффективным для исключения заболевания, если он отрицательный. ^{[17] [18]} Это привело к широко используемой мнемонике SPPIN и SNNOUT, согласно которой высокоспецифичный тест при положительном результате определяет заболевание (SP-P- IN ), а высокочувствительный тест , когда n отрицательный, исключает заболевание (SN-N-OUT). Однако оба эмпирических правила вводят в заблуждение, поскольку диагностическая эффективность любого теста определяется распространенностью тестируемого состояния, чувствительностью теста и его специфичностью. ^{[19] [20] [21]} Мнемоника SNNOUT имеет некоторую обоснованность, когда распространенность рассматриваемого состояния в тестируемой выборке чрезвычайно низка.

Компромисс между специфичностью и чувствительностью исследуется в ROC-анализе как компромисс между TPR и FPR (то есть отзывом и последствиями ). ^[22] Придание им одинакового веса оптимизирует информированность = специфичность + чувствительность – 1 = TPR – FPR, величина которого дает вероятность принятия обоснованного решения между двумя классами (> 0 представляет собой надлежащее использование информации, 0 представляет эффективность на уровне шансов). , < 0 представляет собой неправильное использование информации). ^[23]

Индекс чувствительности

Индекс чувствительности или d' (произносится как «ди-простой») — это статистика , используемая в теории обнаружения сигналов . Он обеспечивает разделение между средствами распределения сигнала и шума по сравнению со стандартным отклонением распределения шума. Для нормально распределенного сигнала и шума со средними и стандартными отклонениями и , и , соответственно, d' определяется как: ${\displaystyle \mu _{S}}$ ${\displaystyle \sigma _{S}}$ ${\displaystyle \mu _{N}}$ ${\displaystyle \sigma _{N}}$

${\displaystyle d^{\prime }={\frac {\mu _{S}-\mu _{N}}{\sqrt {{\frac {1}{2}}\left(\sigma _{S}^{2}+\sigma _{N}^{2}\right)}}}}$^[24]

Оценку d' можно также получить на основе измерений частоты попаданий и частоты ложных тревог . Он рассчитывается как:

d′ = Z (частота попаданий) − Z (частота ложных тревог), ^[25]

где функция Z ( p ), p ∈ [0, 1], является обратной кумулятивному распределению Гаусса .

d' — безразмерная статистика . Более высокий d' указывает на то, что сигнал легче обнаружить.

Матрица путаницы

Взаимосвязь между чувствительностью, специфичностью и подобными терминами можно понять, используя следующую таблицу. Рассмотрим группу с P положительными и N отрицательными экземплярами некоторого условия. Четыре результата можно сформулировать в виде таблицы непредвиденных обстоятельств или матрицы путаницы 2×2 , а также вывести несколько показателей с использованием этих четырех результатов, а именно:

• вид
• разговаривать
• редактировать

Проработанный пример

Диагностический тест с чувствительностью 67% и специфичностью 91% применен к 2030 людям для поиска расстройства с распространенностью в популяции 1,48%.

Связанные расчеты

• Частота ложноположительных результатов (α) = ошибка I рода = 1 − специфичность = FP / (FP + TN) = 180 / (180 + 1820) = 9%
• Частота ложноотрицательных результатов (β) = ошибка II рода = 1 − чувствительность = FN / (TP + FN) = 10 / (20 + 10) ≈ 33%
• Мощность = чувствительность = 1 − β
• Отношение правдоподобия положительного результата = чувствительность / (1 — специфичность) ≈ 0,67 / (1 — 0,91) ≈ 7,4
• Отрицательное отношение правдоподобия = (1 – чувствительность)/специфичность ≈ (1 – 0,67)/0,91 ≈ 0,37.
• Порог распространенности = ≈ 0,2686 ≈ 26,9% ${\displaystyle PT={\frac {{\sqrt {TPR(-TNR+1)}}+TNR-1}{(TPR+TNR-1)}}}$

Этот гипотетический скрининговый тест (анализ кала на скрытую кровь) правильно выявил две трети (66,7%) пациентов с колоректальным раком. ^[a] К сожалению, учет показателей распространенности показывает, что этот гипотетический тест имеет высокий уровень ложноположительных результатов и не позволяет надежно выявлять колоректальный рак в общей популяции бессимптомных людей (PPV = 10%).

С другой стороны, этот гипотетический тест демонстрирует очень точное выявление лиц, свободных от рака (NPV ≈ 99,5%). Таким образом, при рутинном скрининге колоректального рака у бессимптомных взрослых отрицательный результат дает важную информацию для пациента и врача, например, исключает рак как причину желудочно-кишечных симптомов или успокаивает пациентов, обеспокоенных развитием колоректального рака.

Оценка ошибок в указанной чувствительности или специфичности

Значения чувствительности и специфичности сами по себе могут вводить в заблуждение. Необходимо рассчитать чувствительность или специфичность «наихудшего случая», чтобы не полагаться на эксперименты с небольшим количеством результатов. Например, конкретный тест может легко показать 100% чувствительность, если его протестировать на соответствие золотому стандарту четыре раза, но один дополнительный тест на соответствие золотому стандарту, давший плохой результат, будет означать чувствительность только 80%. Распространенный способ сделать это — указать доверительный интервал биномиальной пропорции , часто рассчитываемый с использованием интервала оценки Вильсона.

Можно рассчитать доверительные интервалы чувствительности и специфичности, определяя диапазон значений, в пределах которого находится правильное значение при заданном уровне достоверности (например, 95%). ^[37]

Терминология в поиске информации

В поиске информации положительная прогностическая ценность называется точностью , а чувствительность — отзывом . В отличие от компромисса между специфичностью и чувствительностью, эти показатели не зависят от количества истинных отрицательных результатов, которое обычно неизвестно и намного превышает фактическое количество соответствующих и полученных документов. Такое предположение об очень большом количестве истинно отрицательных результатов по сравнению с положительными редко встречается в других приложениях. ^[23]

F -показатель можно использовать как единственный показатель эффективности теста для положительного класса. F-оценка — это среднее гармоническое значение точности и полноты:

${\displaystyle F=2\times {\frac {{\text{precision}}\times {\text{recall}}}{{\text{precision}}+{\text{recall}}}}}$

На традиционном языке проверки статистических гипотез чувствительность теста называется статистической мощностью теста, хотя слово « мощность» в этом контексте имеет более общее значение, которое неприменимо в данном контексте. Чувствительный тест будет иметь меньше ошибок второго рода .

Смотрите также

• Научный портал
• Биологический портал
• Медицинский портал

• Оценка Брайера
• Совокупный профиль точности
• Дискриминация (информация)
• Ложноположительный парадокс
• Проверка гипотез на точность
• Точность и отзыв
• Рабочая характеристика приемника
• Статистическая значимость
• Коэффициент неопределенности , также называемый мастерством
• Статистика Юдена J

Примечания

1. У всех медицинских скрининговых тестов есть свои преимущества и недостатки. Рекомендации по клинической практике , например, по скринингу колоректального рака, описывают эти риски и преимущества. ^{[35] [36]}

Рекомендации

1. Йерушалми Дж (1947). «Статистические проблемы оценки методов медицинской диагностики с учетом рентгенологических методов». Отчеты общественного здравоохранения . 62 (2): 1432–39. дои : 10.2307/4586294. JSTOR  4586294. PMID  20340527. S2CID  19967899.
2. Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
3. Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективный прогноз индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
4. Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
5. Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
6. Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов». Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
7. Чикко Д.; Юрман Г. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
8. Чикко Д.; Тётч Н.; Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и выраженность при оценке двухклассовой матрицы путаницы». Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД  33541410. 
9. Чикко Д.; Джурман Г. (2023). «Коэффициент корреляции Мэтьюза (MCC) должен заменить ROC AUC в качестве стандартного показателя для оценки бинарной классификации». Добыча биоданных . 16 (1): 4. дои : 10.1186/s13040-023-00322-4 . ПМЦ 9938573 . ПМИД  36800973. 
10. Тарват А. (август 2018 г.). «Классификация методов оценки». Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
11. Балайла, Жак (2020). «Порог распространенности (φe) и геометрия кривых скрининга». ПЛОС ОДИН . 15 (10): e0240215. arXiv : 2006.00398 . Бибкод : 2020PLoSO..1540215B. дои : 10.1371/journal.pone.0240215 . ПМЦ 7540853 . ПМИД  33027310. 
12. Саах Эй Джей, Гувер Д. Р. (1998). «[Возвращение к чувствительности и специфичности: значение терминов в аналитическом и диагностическом языке]». Энн Дерматол Венереол . 125 (4): 291–4. ПМИД  9747274.
13. Парих, Раджул; Матай, Энни; Парих, Шефали; Чандра Сехар, G; Томас, Рави (2008). «Понимание и использование чувствительности, специфичности и прогностической ценности». Индийский журнал офтальмологии . 56 (1): 45–50. дои : 10.4103/0301-4738.37595 . ПМК 2636062 . ПМИД  18158403. 
14. Альтман Д.Г., Бланд Дж.М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность». БМЖ . 308 (6943): 1552. doi :10.1136/bmj.308.6943.1552. ПМК 2540489 . ПМИД  8019315. 
15. "СпПин и СнНоут". Центр доказательной медицины (CEBM) . Проверено 18 января 2023 г.
16. Мангрулкар Р. «Диагностические рассуждения I и II» . Проверено 24 января 2012 г.
17. «Доказательная диагностика». Мичиганский государственный университет. Архивировано из оригинала 6 июля 2013 г. Проверено 23 августа 2013 г.
18. «Чувствительность и специфичность». Курс доказательной медицины Медицинской школы Университета Эмори.
19. Барон JA (апрель – июнь 1994 г.). «Жаль, что это неправда». Принятие медицинских решений . 14 (2): 107. дои : 10.1177/0272989X9401400202. PMID  8028462. S2CID  44505648.
20. Бойко Е.Ю. (апрель – июнь 1994 г.). «Исключение или постановление болезни с помощью самого чувствительного или специфического диагностического теста: короткий путь или неправильный поворот?». Принятие медицинских решений . 14 (2): 175–9. дои : 10.1177/0272989X9401400210. PMID  8028470. S2CID  31400167.
21. Пьюснер Д., Батталья М., Миндер С., Маркс А., Бухер Х.К., Эггер М. (июль 2004 г.). «Постановка диагноза с помощью «СпПИн» и «СнНОут»: предупреждение». БМЖ . 329 (7459): 209–13. дои : 10.1136/bmj.329.7459.209. ПМЦ 487735 . ПМИД  15271832. 
22. Фосетт, Том (2006). «Введение в ROC-анализ». Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F. CiteSeerX 10.1.1.646.2144 . doi :10.1016/j.patrec.2005.10.010. S2CID  2027090. 
23. Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
24. Гейл С.Д., Perkel DJ (январь 2010 г.). «Путь базальных ганглиев управляет избирательными слуховыми реакциями в дофаминергических нейронах певчих птиц посредством растормаживания». Журнал неврологии . 30 (3): 1027–37. doi : 10.1523/JNEUROSCI.3585-09.2010. ПМЦ 2824341 . ПМИД  20089911. 
25. Макмиллан Н.А., компакт-диск Крилмана (15 сентября 2004 г.). Теория обнаружения: Руководство пользователя. Психология Пресс. п. 7. ISBN 978-1-4106-1114-7.
26. Балайла, Жак (2020). «Порог распространенности (φe) и геометрия кривых скрининга». ПЛОС ОДИН . 15 (10): e0240215. дои : 10.1371/journal.pone.0240215 . ПМИД  33027310.
27. Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
28. Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективный прогноз индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
29. Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
30. Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
31. Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов». Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
32. Чикко Д., Джурман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
33. Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и выраженность при оценке двухклассовой матрицы путаницы». Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД  33541410. 
34. Тарват А. (август 2018 г.). «Классификация методов оценки». Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
35. Лин, Дженнифер С.; Пайпер, Маргарет А.; Пердью, Лесли А.; Раттер, Кэролин М.; Уэббер, Элизабет М.; О'Коннор, Элизабет; Смит, Нин; Уитлок, Эвелин П. (21 июня 2016 г.). «Скрининг колоректального рака». ДЖАМА . 315 (23): 2576–2594. дои : 10.1001/jama.2016.3332. ISSN  0098-7484. ПМИД  27305422.
36. Бенар, Флоренция; Баркун, Алан Н.; Мартель, Мириам; Рентельн, Даниэль фон (7 января 2018 г.). «Систематический обзор рекомендаций по скринингу колоректального рака у взрослых со средним риском: обобщение текущих глобальных рекомендаций». Всемирный журнал гастроэнтерологии . 24 (1): 124–138. дои : 10.3748/wjg.v24.i1.124 . ПМК 5757117 . ПМИД  29358889. 
37. «Онлайн-калькулятор диагностических тестов рассчитывает чувствительность, специфичность, коэффициенты правдоподобия и прогностические значения из таблицы 2x2 - калькулятор доверительных интервалов для прогностических параметров» . medcalc.org .

дальнейшее чтение

• Альтман Д.Г., Бланд Дж.М. (июнь 1994 г.). «Диагностические тесты. 1: Чувствительность и специфичность». БМЖ . 308 (6943): 1552. doi :10.1136/bmj.308.6943.1552. ПМК  2540489 . ПМИД  8019315.
• Лунг Т.В. (сентябрь 2003 г.). «Понимание чувствительности и специфичности правого полушария мозга». БМЖ . 327 (7417): 716–9. дои : 10.1136/bmj.327.7417.716. ПМК  200804 . ПМИД  14512479.

Внешние ссылки

• Калькулятор МСЖД
• Калькулятор чувствительности/специфичности колледжа Вассар
• MedCalc Бесплатный онлайн-калькулятор
• Апплет байесовской клинической диагностической модели