stringtranslate.com

Распознавание образов

Распознавание образов — это задача присвоения класса наблюдению на основе образов, извлеченных из данных. Несмотря на схожесть, распознавание образов (PR) не следует путать с машинами по распознаванию образов (PM), которые могут обладать возможностями (PR), но их основная функция — различать и создавать возникающие образы. PR применяется в статистическом анализе данных , обработке сигналов , анализе изображений , поиске информации , биоинформатике , сжатии данных , компьютерной графике и машинном обучении . Распознавание образов берет свое начало в статистике и инженерии; некоторые современные подходы к распознаванию образов включают использование машинного обучения из-за возросшей доступности больших данных и нового изобилия вычислительной мощности .

Системы распознавания образов обычно обучаются на основе помеченных «тренировочных» данных. Когда помеченные данные недоступны, можно использовать другие алгоритмы для обнаружения ранее неизвестных образов. KDD и интеллектуальный анализ данных больше фокусируются на неконтролируемых методах и более тесно связаны с бизнес-использованием. Распознавание образов больше фокусируется на сигнале, а также учитывает сбор и обработку сигнала . Оно возникло в инженерии , и этот термин популярен в контексте компьютерного зрения : ведущая конференция по компьютерному зрению называется Conference on Computer Vision and Pattern Recognition .

В машинном обучении распознавание образов — это назначение метки заданному входному значению. В статистике дискриминантный анализ был введен для этой же цели в 1936 году. Примером распознавания образов является классификация , которая пытается назначить каждое входное значение одному из заданного набора классов (например, определить, является ли заданное электронное письмо «спамом»). Распознавание образов — более общая проблема, которая охватывает и другие типы выходных данных. Другими примерами являются регрессия , которая назначает действительное выходное значение каждому входному значению; [1] маркировка последовательностей , которая назначает класс каждому члену последовательности значений [2] (например, разметка частей речи , которая назначает часть речи каждому слову во входном предложении); и синтаксический анализ , который назначает дерево синтаксического анализа входному предложению, описывающее синтаксическую структуру предложения. [3]

Алгоритмы распознавания образов обычно нацелены на предоставление разумного ответа для всех возможных входных данных и выполнение «наиболее вероятного» сопоставления входных данных с учетом их статистической вариации. Это противоположно алгоритмам сопоставления образов , которые ищут точные совпадения во входных данных с уже существующими образами. Типичным примером алгоритма сопоставления образов является сопоставление регулярных выражений , которое ищет образцы заданного вида в текстовых данных и включено в возможности поиска многих текстовых редакторов и текстовых процессоров .

Обзор

Современное определение распознавания образов:

Область распознавания образов занимается автоматическим обнаружением закономерностей в данных с помощью компьютерных алгоритмов и использованием этих закономерностей для выполнения таких действий, как классификация данных по различным категориям. [4]

Распознавание образов обычно классифицируется в соответствии с типом процедуры обучения, используемой для генерации выходного значения. Контролируемое обучение предполагает, что был предоставлен набор обучающих данных ( обучающий набор ), состоящий из набора экземпляров, которые были правильно помечены вручную с правильным выходом. Затем процедура обучения генерирует модель, которая пытается достичь двух иногда противоречивых целей: выполнять как можно лучше на обучающих данных и как можно лучше обобщать на новые данные (обычно это означает быть настолько простым, насколько это возможно, для некоторого технического определения «простого», в соответствии с бритвой Оккама , обсуждаемого ниже). Неконтролируемое обучение , с другой стороны, предполагает обучающие данные, которые не были помечены вручную, и пытается найти присущие им закономерности в данных, которые затем можно использовать для определения правильного выходного значения для новых экземпляров данных. [5] Комбинация этих двух методов, которая была изучена, — это полуконтролируемое обучение , которое использует комбинацию маркированных и немаркированных данных (обычно небольшой набор маркированных данных в сочетании с большим количеством немаркированных данных). В случаях неконтролируемого обучения обучающие данные могут вообще отсутствовать.

Иногда для описания соответствующих контролируемых и неконтролируемых процедур обучения для одного и того же типа выходных данных используются разные термины. Неконтролируемый эквивалент классификации обычно известен как кластеризация , основанная на общем восприятии задачи как не включающей в себя обучающие данные, о которых можно было бы говорить, и группировании входных данных в кластеры на основе некоторой присущей меры сходства (например, расстояния между экземплярами, рассматриваемыми как векторы в многомерном векторном пространстве ), а не назначения каждого входного экземпляра одному из набора предопределенных классов. В некоторых областях терминология отличается. В экологии сообществ термин классификация используется для обозначения того, что обычно известно как «кластеризация».

Часть входных данных, для которой генерируется выходное значение, формально называется экземпляром . Экземпляр формально описывается вектором признаков , которые вместе составляют описание всех известных характеристик экземпляра. Эти векторы признаков можно рассматривать как определяющие точки в соответствующем многомерном пространстве , и к ним можно соответствующим образом применять методы манипулирования векторами в векторных пространствах , такие как вычисление скалярного произведения или угла между двумя векторами. Признаки обычно являются либо категориальными (также известными как номинальные , т. е. состоящими из одного из набора неупорядоченных элементов, таких как пол «мужской» или «женский» или группа крови «A», «B», «AB» или «O»), порядковыми (состоящими из одного из набора упорядоченных элементов, например, «большой», «средний» или «маленький»), целочисленными (например, подсчет количества вхождений определенного слова в электронном письме) или вещественными (например, измерение артериального давления). Часто категориальные и порядковые данные группируются вместе, и это также касается целочисленных и действительных данных. Многие алгоритмы работают только с категориальными данными и требуют, чтобы действительные или целочисленные данные были дискретизированы в группы (например, меньше 5, между 5 и 10 или больше 10).

Вероятностные классификаторы

Многие распространенные алгоритмы распознавания образов являются вероятностными по своей природе, поскольку они используют статистический вывод для поиска лучшей метки для данного экземпляра. В отличие от других алгоритмов, которые просто выводят «лучшую» метку, часто вероятностные алгоритмы также выводят вероятность того , что экземпляр будет описан данной меткой. Кроме того, многие вероятностные алгоритмы выводят список N -лучших меток с соответствующими вероятностями для некоторого значения N , а не просто одну лучшую метку. Когда количество возможных меток довольно мало (например, в случае классификации ), N может быть установлено так, чтобы выводить вероятность всех возможных меток. Вероятностные алгоритмы имеют много преимуществ перед невероятностными алгоритмами:

Количество важных переменных характеристик

Алгоритмы выбора признаков пытаются напрямую отсечь избыточные или нерелевантные признаки. Было дано общее введение в выбор признаков , которое суммирует подходы и проблемы. [6] Сложность выбора признаков, из-за его немонотонного характера, является проблемой оптимизации , где задано общее количество признаков, powerset, состоящий из всех подмножеств признаков, должен быть исследован. Алгоритм Branch-and-Bound [7] действительно уменьшает эту сложность, но является неразрешимым для средних и больших значений количества доступных признаков

Методы преобразования необработанных векторов признаков ( извлечение признаков ) иногда используются до применения алгоритма сопоставления с образцом. Алгоритмы извлечения признаков пытаются сократить вектор признаков большой размерности до вектора меньшей размерности, с которым проще работать и который кодирует меньше избыточности, используя математические методы, такие как анализ главных компонент (PCA). Различие между выбором признаков и извлечением признаков заключается в том, что полученные после извлечения признаков признаки отличаются от исходных признаков и могут быть нелегко интерпретируемыми, в то время как признаки, оставшиеся после выбора признаков, являются просто подмножеством исходных признаков.

Постановка проблемы

Проблему распознавания образов можно сформулировать следующим образом: задана неизвестная функция ( истина ), которая сопоставляет входные экземпляры с выходными метками , вместе с обучающими данными, которые, как предполагается, представляют точные примеры сопоставления, создать функцию , которая максимально точно аппроксимирует правильное сопоставление . (Например, если проблема заключается в фильтрации спама, то является некоторым представлением электронной почты и является либо «спамом», либо «не спамом»). Для того чтобы это была четко определенная проблема, необходимо строго определить «максимально точно аппроксимирует». В теории принятия решений это определяется путем указания функции потерь или функции затрат, которая присваивает определенное значение «потерям», возникающим в результате создания неправильной метки. Цель состоит в том, чтобы минимизировать ожидаемые потери, при этом ожидание принимается по распределению вероятностей . На практике ни распределение , ни функция истинности не известны точно, но могут быть вычислены только эмпирически путем сбора большого количества образцов и ручной маркировки их с использованием правильного значения (процесс, требующий много времени, который обычно является ограничивающим фактором в количестве данных такого рода, которые могут быть собраны). Конкретная функция потерь зависит от типа прогнозируемой метки. Например, в случае классификации часто достаточно простой функции потерь «ноль-один» . Это соответствует простому назначению потери 1 любой неправильной маркировке и подразумевает, что оптимальный классификатор минимизирует частоту ошибок на независимых тестовых данных (т. е. подсчитывает долю случаев, которые обученная функция маркирует неправильно, что эквивалентно максимизации числа правильно классифицированных случаев). Цель процедуры обучения тогда состоит в минимизации частоты ошибок (максимизации правильности ) на «типичном» тестовом наборе.

Для вероятностного распознавателя образов проблема заключается в оценке вероятности каждой возможной выходной метки при заданном входном экземпляре, т.е. в оценке функции вида

где входной вектор признаков равен , а функция f обычно параметризуется некоторыми параметрами . [8] В дискриминативном подходе к проблеме f оценивается напрямую. Однако в генеративном подходе вместо этого оценивается обратная вероятность и объединяется с априорной вероятностью с использованием правила Байеса следующим образом:

Когда метки распределены непрерывно (например, в регрессионном анализе ), знаменатель включает интеграцию , а не суммирование:

Значение обычно изучается с использованием оценки максимального апостериорного значения (MAP). Это находит наилучшее значение, которое одновременно удовлетворяет двум конфликтующим целям: максимально эффективно на обучающих данных (наименьшая частота ошибок ) и нахождение максимально простой возможной модели. По сути, это объединяет оценку максимального правдоподобия с процедурой регуляризации , которая отдает предпочтение более простым моделям по сравнению с более сложными. В байесовском контексте процедуру регуляризации можно рассматривать как размещение априорной вероятности на различных значениях . Математически:

где — значение, используемое в последующей процедуре оценки, а апостериорная вероятность определяется как

В байесовском подходе к этой проблеме вместо выбора одного вектора параметров вероятность заданной метки для нового экземпляра вычисляется путем интегрирования по всем возможным значениям , взвешенным в соответствии с апостериорной вероятностью:

Частотный или байесовский подход к распознаванию образов

Первый классификатор шаблонов — линейный дискриминант, представленный Фишером — был разработан в частотной традиции. Частотный подход подразумевает, что параметры модели считаются неизвестными, но объективными. Затем параметры вычисляются (оцениваются) из собранных данных. Для линейного дискриминанта этими параметрами являются именно средние векторы и ковариационная матрица . Также вероятность каждого класса оценивается из собранного набора данных. Обратите внимание, что использование « правила Байеса » в классификаторе шаблонов не делает подход к классификации байесовским.

Байесовская статистика берет свое начало в греческой философии, где уже было сделано различие между знанием « априори » и знанием « апостериори ». Позднее Кант определил свое различие между тем, что известно априори — до наблюдения — и эмпирическим знанием, полученным из наблюдений. В байесовском шаблонном классификаторе вероятности классов могут быть выбраны пользователем, которые затем являются априорными. Более того, опыт, количественно определенный как априорные значения параметров, может быть взвешен с помощью эмпирических наблюдений — с использованием, например, бета- ( сопряженного априорного ) и распределения Дирихле . Байесовский подход способствует бесшовному смешиванию экспертных знаний в форме субъективных вероятностей и объективных наблюдений.

Вероятностные классификаторы шаблонов могут использоваться в соответствии с частотным или байесовским подходом.

Использует

Лицо было автоматически распознано специальным программным обеспечением.

В медицинской науке распознавание образов является основой для систем компьютерной диагностики (САПР). САПР описывает процедуру, которая поддерживает интерпретации и выводы врача. Другие типичные применения методов распознавания образов — это автоматическое распознавание речи , идентификация говорящего , классификация текста по нескольким категориям (например, спам или не спам-сообщения электронной почты), автоматическое распознавание рукописного текста на почтовых конвертах, автоматическое распознавание изображений человеческих лиц или извлечение изображений рукописного текста из медицинских форм. [9] [10] Последние два примера образуют подтему анализа изображений распознавания образов, которая имеет дело с цифровыми изображениями в качестве входных данных для систем распознавания образов. [11] [12]

Оптическое распознавание символов является примером применения классификатора шаблонов. Метод подписи имени человека был зафиксирован с помощью стилуса и наложения, начиная с 1990 года. [ необходима цитата ] Штрихи, скорость, относительный минимум, относительный максимум, ускорение и давление используются для уникальной идентификации и подтверждения личности. Банкам впервые предложили эту технологию, но они были согласны взимать с FDIC за любое банковское мошенничество и не хотели причинять неудобства клиентам. [ необходима цитата ]

Распознавание образов имеет множество реальных применений в обработке изображений. Вот некоторые примеры:

В психологии распознавание образов используется для понимания и идентификации объектов и тесно связано с восприятием. Это объясняет, как сенсорные входы, которые получают люди, становятся осмысленными. Распознавание образов можно рассматривать двумя разными способами. Первый касается сопоставления шаблонов, а второй касается обнаружения признаков. Шаблон — это шаблон, используемый для создания элементов тех же пропорций. Гипотеза сопоставления шаблонов предполагает, что входящие стимулы сравниваются с шаблонами в долговременной памяти. Если есть совпадение, стимул идентифицируется. Модели обнаружения признаков, такие как система классификации букв Pandemonium (Selfridge, 1959), предполагают, что стимулы разбиваются на составные части для идентификации. Одно наблюдение — заглавная буква E, имеющая три горизонтальные линии и одну вертикальную линию. [22]

Алгоритмы

Алгоритмы распознавания образов зависят от типа выходных данных метки, от того, является ли обучение контролируемым или неконтролируемым, и от того, является ли алгоритм статистическим или нестатистическим по своей природе. Статистические алгоритмы могут быть далее классифицированы как генеративные или дискриминационные .

Методы классификации (методы прогнозирования категориальных меток)

Параметрический: [23]

Непараметрический: [24]

Методы кластеризации (методы классификации и прогнозирования категориальных меток)

Ансамблевые алгоритмы обучения (контролируемые метаалгоритмы для объединения нескольких алгоритмов обучения)

Общие методы прогнозирования произвольно структурированных (наборов) меток

Алгоритмы обучения мультилинейных подпространств (прогнозирование меток многомерных данных с использованием тензорных представлений)

Без присмотра:

Методы маркировки последовательностей вещественных значений (прогнозирование последовательностей вещественных значений)

Методы регрессии (прогнозирование действительных меток)

Методы маркировки последовательностей (прогнозирование последовательностей категориальных меток)

Смотрите также

Ссылки

  1. ^ Howard, WR (2007-02-20). «Распознавание образов и машинное обучение». Kybernetes . 36 (2): 275. doi :10.1108/03684920710743466. ISSN  0368-492X.
  2. ^ "Sequence Labeling" (PDF) . utah.edu . Архивировано (PDF) из оригинала 2018-11-06 . Получено 2018-11-06 .
  3. ^ Ян., Чизвелл (2007). Математическая логика, стр. 34. Oxford University Press. ISBN 9780199215621. OCLC  799802313.
  4. ^ Бишоп, Кристофер М. (2006). Распознавание образов и машинное обучение . Springer.
  5. ^ Карвалко, Дж. Р., Престон К. (1972). «Определение оптимальных простых преобразований Голея для обработки двоичных изображений». IEEE Transactions on Computers . 21 (12): 1430–33. doi :10.1109/TC.1972.223519. S2CID  21050445.{{cite journal}}: CS1 maint: multiple names: authors list (link).
  6. ^ Изабель Гийон Клопине, Андре Элиссефф (2003). Введение в выбор переменных и признаков . Журнал исследований машинного обучения, том 3, 1157-1182. Ссылка Архивировано 04.03.2016 на Wayback Machine
  7. ^ Иман Фороутан; Джек Склански (1987). «Выбор признаков для автоматической классификации негауссовских данных». Труды IEEE по системам, человеку и кибернетике . 17 (2): 187–198. doi :10.1109/TSMC.1987.4309029. S2CID  9871395..
  8. ^ Для линейного дискриминантного анализа вектор параметров состоит из двух средних векторов и и общей ковариационной матрицы .
  9. ^ Милевски, Роберт; Говиндараджу, Вену (31 марта 2008 г.). «Бинаризация и очистка рукописного текста из копий изображений медицинских форм». Pattern Recognition . 41 (4): 1308–1315. Bibcode : 2008PatRe..41.1308M. doi : 10.1016/j.patcog.2007.08.018. Архивировано из оригинала 10 сентября 2020 г. Получено 26 октября 2011 г.
  10. ^ Саранги, Сусанта; Сахидулла, Мэриленд; Саха, Гаутам (сентябрь 2020 г.). «Оптимизация банка фильтров на основе данных для автоматической проверки говорящего». Цифровая обработка сигналов . 104 : 102795. arXiv : 2007.10729 . Bibcode : 2020DSP...10402795S. doi : 10.1016/j.dsp.2020.102795. S2CID  220665533.
  11. ^ Ричард О. Дуда , Питер Э. Харт , Дэвид Г. Сторк (2001). Классификация узоров (2-е изд.). Wiley, Нью-Йорк. ISBN 978-0-471-05669-0. Архивировано из оригинала 2020-08-19 . Получено 2019-11-26 .{{cite book}}: CS1 maint: multiple names: authors list (link)
  12. ^ Р. Брунелли, Методы сопоставления шаблонов в компьютерном зрении: теория и практика , Wiley, ISBN 978-0-470-51706-2 , 2009 
  13. ^ Учебное пособие по автоматическому распознаванию номерных знаков. Архивировано 20 августа 2006 г. на Wayback Machine http://anpr-tutorial.com/
  14. ^ Нейронные сети для распознавания лиц. Архивировано 4 марта 2016 г. в Wayback Machine Companion к главе 4 учебника «Машинное обучение».
  15. ^ Poddar, Arnab; Sahidullah, Md; Saha, Goutam (март 2018 г.). «Speaker Verification with Short Utterances: A Review of Challenges, Trends and Opportunities». IET Biometrics . 7 (2): 91–101. doi :10.1049/iet-bmt.2017.0065. Архивировано из оригинала 2019-09-03 . Получено 2019-08-27 .
  16. ^ PAPNET для скрининга шейки матки. Архивировано 2012-07-08 в archive.today.
  17. ^ "Разработка стратегии управления автономным транспортным средством с использованием одной камеры и глубоких нейронных сетей (2018-01-0035 Технический документ) - SAE Mobilus". saemobilus.sae.org . 3 апреля 2018 г. doi :10.4271/2018-01-0035. Архивировано из оригинала 2019-09-06 . Получено 2019-09-06 .
  18. ^ Gerdes, J. Christian; Kegelman, John C.; Kapania, Nitin R.; Brown, Matthew; Spielberg, Nathan A. (2019-03-27). "Нейросетевые модели транспортных средств для высокопроизводительного автоматизированного вождения". Science Robotics . 4 (28): eaaw1975. doi : 10.1126/scirobotics.aaw1975 . ISSN  2470-9476. PMID  33137751. S2CID  89616974.
  19. ^ Пикеринг, Крис (2017-08-15). «Как ИИ прокладывает путь для полностью автономных автомобилей». The Engineer . Архивировано из оригинала 2019-09-06 . Получено 2019-09-06 .
  20. ^ Рэй, Байшакхи; Яна, Суман; Пей, Кэсинь; Тянь, Ючи (28.08.2017). «DeepTest: Автоматизированное тестирование автономных автомобилей, управляемых глубокими нейронными сетями». arXiv : 1708.08559 . Bibcode :2017arXiv170808559T. {{cite journal}}: Цитировать журнал требует |journal=( помощь )
  21. ^ Синха, П. К.; Хаджийски, Л. М.; Мутиб, К. (1993-04-01). «Нейронные сети в управлении автономными транспортными средствами». Тома трудов IFAC . 1-й Международный семинар IFAC по интеллектуальным автономным транспортным средствам, Хэмпшир, Великобритания, 18–21 апреля. 26 (1): 335–340. doi :10.1016/S1474-6670(17)49322-0. ISSN  1474-6670.
  22. ^ "Психология A-level Attention Revision - Распознавание образов | S-cool, сайт повторения". S-cool.co.uk. Архивировано из оригинала 2013-06-22 . Получено 2012-09-17 .
  23. ^ Предположим, что известна форма распределения признаков по классам, например, гауссова форма.
  24. ^ Не делается никаких предположений относительно формы распределения признаков по классам.

Дальнейшее чтение

Внешние ссылки