stringtranslate.com

Матрица путаницы

В области машинного обучения и, в частности, проблемы статистической классификации , матрица путаницы , также известная как матрица ошибок , [1] представляет собой особый макет таблицы , который позволяет визуализировать производительность алгоритма, обычно контролируемого обучения ; в обучении без учителя ее обычно называют матрицей соответствия .

Каждая строка матрицы представляет экземпляры реального класса, а каждый столбец представляет экземпляры прогнозируемого класса или наоборот — оба варианта встречаются в литературе. [2] Название происходит от того факта, что оно позволяет легко увидеть, не путает ли система два класса (т.е. обычно ошибочно маркирует один как другой).

Это особый вид таблицы сопряженности с двумя измерениями («фактическое» и «прогнозируемое») и идентичными наборами «классов» в обоих измерениях (каждая комбинация измерения и класса является переменной в таблице сопряженности).

Пример

Учитывая выборку из 12 человек, у 8 из которых был диагностирован рак, и у 4 человек, у которых нет рака, где люди с раком относятся к классу 1 (положительные), а лица, не являющиеся раковыми, относятся к классу 0 (отрицательные), мы можем показать, что данные следующим образом:

Предположим, что у нас есть классификатор, который каким-то образом различает людей с раком и без него. Мы можем взять 12 человек и пропустить их через классификатор. Затем классификатор делает 9 точных прогнозов и пропускает 3: 2 человека с раком, ошибочно предсказанные как свободные от рака (выборка 1 и 2), и 1 человек без рака, у которого ошибочно предсказано наличие рака (выборка 9).

Обратите внимание: если мы сравним фактический набор классификаций с прогнозируемым набором классификаций, есть 4 разных результата, которые могут привести к любому конкретному столбцу. Во-первых, если фактическая классификация положительна, а прогнозируемая классификация положительна (1,1), это называется истинно положительным результатом, поскольку положительный образец был правильно идентифицирован классификатором. Во-вторых, если фактическая классификация положительна, а прогнозируемая классификация отрицательна (1,0), это называется ложноотрицательным результатом, поскольку классификатор неправильно идентифицирует положительный образец как отрицательный. В-третьих, если фактическая классификация отрицательна, а прогнозируемая классификация положительна (0,1), это называется ложноположительным результатом, поскольку отрицательный образец ошибочно идентифицируется классификатором как положительный. В-четвертых, если фактическая классификация отрицательна, а прогнозируемая классификация отрицательна (0,0), это называется истинно отрицательным результатом, поскольку классификатор правильно идентифицирует отрицательный образец.

Затем мы можем выполнить сравнение фактической и прогнозируемой классификаций и добавить эту информацию в таблицу, чтобы правильные результаты отображались зеленым цветом, чтобы их было легче идентифицировать.

В шаблоне любой двоичной матрицы путаницы используются четыре вида результатов, описанных выше (истинно положительные, ложноотрицательные, ложноположительные и истинно отрицательные), а также положительные и отрицательные классификации. Четыре результата можно сформулировать в виде матрицы путаницы 2×2 следующим образом:

Цветовая гамма трех приведенных выше таблиц данных была выбрана в соответствии с этой матрицей путаницы, чтобы можно было легко различать данные.

Теперь мы можем просто суммировать результаты каждого типа, подставить их в шаблон и создать матрицу путаницы, которая будет кратко суммировать результаты тестирования классификатора:

В этой матрице путаницы из 8 образцов с раком система решила, что в 2 нет рака, а из 4 образцов без рака она предсказала, что в 1 действительно был рак. Все правильные прогнозы расположены по диагонали таблицы (выделены зеленым), поэтому легко визуально проверить таблицу на наличие ошибок прогнозов, поскольку их будут представлять значения за пределами диагонали. Суммируя две строки матрицы путаницы, можно также вывести общее количество положительных (P) и отрицательных (N) выборок в исходном наборе данных, т. е. и .

Таблица путаницы

В прогнозной аналитике таблица путаницы (иногда также называемая матрицей путаницы ) представляет собой таблицу с двумя строками и двумя столбцами, в которой сообщается количество истинных положительных результатов , ложных отрицательных результатов , ложных положительных результатов и истинных отрицательных результатов . Это позволяет провести более детальный анализ, чем просто наблюдение за долей правильных классификаций (точностью). Точность приведет к вводящим в заблуждение результатам, если набор данных несбалансирован; то есть когда количество наблюдений в разных классах сильно различается.

Например, если бы в данных было 95 образцов рака и только 5 образцов нераковых заболеваний, конкретный классификатор мог бы классифицировать все наблюдения как имеющие рак. Общая точность составит 95 %, но более подробно классификатор будет иметь 100 % уровень распознавания ( чувствительность ) для класса рака и 0 % уровень распознавания для класса, не связанного с раком. Оценка F1 в таких случаях еще более ненадежна, и здесь она составит более 97,4%, тогда как информированность устраняет такую ​​​​предвзятость и дает 0 как вероятность осознанного решения для любой формы догадок (здесь всегда догадка о раке).

По мнению Давиде Чикко и Джузеппе Юрмана, наиболее информативным показателем для оценки матрицы путаницы является коэффициент корреляции Мэтьюза (MCC) . [11]

В матрицу путаницы можно включить и другие показатели, каждый из которых имеет свое значение и применение.

  1. ^ количество реальных положительных случаев в данных
  2. ^ Результат теста, который правильно указывает на наличие состояния или характеристики.
  3. ^ Ошибка типа II: результат теста, который ошибочно указывает на отсутствие определенного условия или атрибута.
  4. ^ количество реальных отрицательных случаев в данных
  5. ^ Результат теста, который правильно указывает на отсутствие состояния или характеристики.
  6. ^ Ошибка типа I: результат теста, который ошибочно указывает на наличие определенного условия или атрибута.


Матрицы путаницы с более чем двумя категориями

Матрица неточностей не ограничивается бинарной классификацией и может использоваться также в многоклассовых классификаторах. [21] Матрицы путаницы, рассмотренные выше, имеют только два условия: положительное и отрицательное. Например, в таблице ниже обобщено общение на свистящем языке между двумя говорящими, нулевые значения опущены для ясности. [22]

Смотрите также

Рекомендации

  1. ^ Стеман, Стивен В. (1997). «Выбор и интерпретация показателей точности тематической классификации». Дистанционное зондирование окружающей среды . 62 (1): 77–89. Бибкод : 1997RSEnv..62...77S. дои : 10.1016/S0034-4257(97)00083-7.
  2. ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63. S2CID  55767944.
  3. ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. Бибкод : 2006PaReL..27..861F. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
  4. ^ Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
  5. ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
  6. ^ Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
  7. ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов». Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
  8. ^ Чикко Д., Джурман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
  9. ↑ Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и выраженность при оценке двухклассовой матрицы путаницы». Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД  33541410. 
  10. ^ Тарват А. (август 2018 г.). «Классификация методов оценки». Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
  11. ^ Чикко Д., Джурман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
  12. ^ Балайла, Жак (2020). «Порог распространенности (φe) и геометрия кривых скрининга». ПЛОС ОДИН . 15 (10): e0240215. дои : 10.1371/journal.pone.0240215 . ПМИД  33027310.
  13. ^ Фосетт, Том (2006). «Введение в ROC-анализ» (PDF) . Буквы для распознавания образов . 27 (8): 861–874. doi :10.1016/j.patrec.2005.10.010. S2CID  2027090.
  14. ^ Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
  15. ^ Пауэрс, Дэвид М.В. (2011). «Оценка: от точности, отзыва и F-меры к ROC, информированности, маркированности и корреляции». Журнал технологий машинного обучения . 2 (1): 37–63.
  16. ^ Тинг, Кай Мин (2011). Саммут, Клод; Уэбб, Джеффри И. (ред.). Энциклопедия машинного обучения . Спрингер. дои : 10.1007/978-0-387-30164-8. ISBN 978-0-387-30164-8.
  17. ^ Брукс, Гарольд; Браун, Барб; Эберт, Бет; Ферро, Крис; Джоллифф, Ян; Ко, Тие-Ён; Роббер, Пол; Стивенсон, Дэвид (26 января 2015 г.). «Совместная рабочая группа ВПМИ/РГЧЭ по исследованиям по проверке прогнозов». Сотрудничество в области австралийских исследований погоды и климата . Всемирная метеорологическая организация . Проверено 17 июля 2019 г.
  18. ^ Чикко Д., Джурман Дж. (январь 2020 г.). «Преимущества коэффициента корреляции Мэтьюза (MCC) перед показателем F1 и точность оценки двоичной классификации». БМК Геномика . 21 (1): 6-1–6-13. дои : 10.1186/s12864-019-6413-7 . ПМК 6941312 . ПМИД  31898477. 
  19. ↑ Чикко Д., Тётч Н., Юрман Г. (февраль 2021 г.). «Коэффициент корреляции Мэтьюза (MCC) более надежен, чем сбалансированная точность, информированность букмекеров и выраженность при оценке двухклассовой матрицы путаницы». Добыча биоданных . 14 (13): 13. дои : 10.1186/s13040-021-00244-z . ПМЦ 7863449 . ПМИД  33541410. 
  20. ^ Тарват А. (август 2018 г.). «Классификация методов оценки». Прикладная вычислительная техника и информатика . 17 : 168–192. дои : 10.1016/j.aci.2018.08.003 .
  21. ^ Пирионеси С. Маде; Эль-Дираби Тамер Э. (01 марта 2020 г.). «Анализ данных в управлении активами: экономически эффективное прогнозирование индекса состояния дорожного покрытия». Журнал инфраструктурных систем . 26 (1): 04019036. doi :10.1061/(ASCE)IS.1943-555X.0000512. S2CID  213782055.
  22. ^ Риалланд, Энни (август 2005 г.). «Фонологические и фонетические аспекты свистящих языков». Фонология . 22 (2): 237–271. CiteSeerX 10.1.1.484.4384 . дои : 10.1017/S0952675705000552. S2CID  18615779.