stringtranslate.com

Распознавание образов

Распознавание образов — это задача присвоения класса наблюдению на основе закономерностей, извлеченных из данных. Несмотря на схожесть, распознавание образов (PR) не следует путать с машинами по шаблонам (PM), которые могут обладать возможностями (PR), но их основная функция — различать и создавать возникающие образы. PR находит применение в статистическом анализе данных , обработке сигналов , анализе изображений , поиске информации , биоинформатике , сжатии данных , компьютерной графике и машинном обучении . Распознавание образов берет свое начало в статистике и технике; некоторые современные подходы к распознаванию образов включают использование машинного обучения из-за возросшей доступности больших данных и нового изобилия вычислительных мощностей .

Системы распознавания образов обычно обучаются на основе помеченных «обучающих» данных. Когда помеченные данные недоступны, для обнаружения ранее неизвестных закономерностей можно использовать другие алгоритмы. KDD и интеллектуальный анализ данных уделяют больше внимания неконтролируемым методам и более тесной связи с бизнес-использованием. Распознавание образов больше фокусируется на сигнале, а также принимает во внимание сбор и обработку сигнала . Он возник в области инженерии , и этот термин популярен в контексте компьютерного зрения : ведущая конференция по компьютерному зрению называется «Конференция по компьютерному зрению и распознаванию образов» .

В машинном обучении распознавание образов — это присвоение метки заданному входному значению. В статистике дискриминантный анализ был введен с той же целью в 1936 году. Примером распознавания образов является классификация , которая пытается отнести каждое входное значение к одному из заданного набора классов (например, определить, является ли данное электронное письмо «спамом»). ). Распознавание образов — это более общая проблема, которая охватывает и другие типы вывода. Другими примерами являются регрессия , которая присваивает каждому входу выходной сигнал с действительным знаком ; [1] маркировка последовательности , которая присваивает класс каждому члену последовательности значений [2] (например, маркировка части речи , которая присваивает часть речи каждому слову во входном предложении); и синтаксический анализ , который присваивает входному предложению дерево разбора , описывающее синтаксическую структуру предложения. [3]

Алгоритмы распознавания образов обычно стремятся предоставить разумный ответ для всех возможных входных данных и выполнить «наиболее вероятное» сопоставление входных данных с учетом их статистических вариаций. Это противоположность алгоритмам сопоставления шаблонов , которые ищут точные совпадения во входных данных с уже существующими шаблонами. Типичным примером алгоритма сопоставления с образцом является сопоставление с регулярными выражениями , которое ищет шаблоны заданного типа в текстовых данных и включено в возможности поиска многих текстовых редакторов и текстовых процессоров .

Обзор

Современное определение распознавания образов таково:

Область распознавания образов связана с автоматическим обнаружением закономерностей в данных с помощью компьютерных алгоритмов и использованием этих закономерностей для принятия таких действий, как классификация данных по различным категориям. [4]

Распознавание образов обычно классифицируется в зависимости от типа процедуры обучения, используемой для генерации выходного значения. Обучение с учителем предполагает, что предоставлен набор обучающих данных ( обучающий набор ), состоящий из набора экземпляров, которые были правильно помечены вручную с правильными выходными данными. Затем процедура обучения генерирует модель, которая пытается достичь двух иногда противоречивых целей: максимально эффективно работать с обучающими данными и как можно лучше обобщать новые данные (обычно это означает максимально простую модель для некоторых технических определений). «простого», в соответствии с бритвой Оккама , обсуждаемой ниже). С другой стороны, обучение без учителя предполагает, что данные обучения не были помечены вручную, и пытается найти в данных присущие закономерности, которые затем можно использовать для определения правильного выходного значения для новых экземпляров данных. [5] Исследованная комбинация этих двух методов представляет собой полуконтролируемое обучение , в котором используется комбинация размеченных и неразмеченных данных (обычно небольшой набор размеченных данных в сочетании с большим количеством неразмеченных данных). В случае обучения без учителя данные обучения могут вообще отсутствовать.

Иногда для описания соответствующих контролируемых и неконтролируемых процедур обучения для одного и того же типа результатов используются разные термины. Неконтролируемый эквивалент классификации обычно известен как кластеризация , основанный на общепринятом восприятии задачи как не требующей никаких обучающих данных, о которых можно было бы говорить, и группировки входных данных в кластеры на основе некоторой внутренней меры сходства (например, расстояния между экземплярами, рассматриваемого как как векторы в многомерном векторном пространстве ), вместо того, чтобы относить каждый входной экземпляр к одному из набора заранее определенных классов. В некоторых областях терминология отличается. В экологии сообществ термин «классификация» используется для обозначения того, что обычно называют «кластеризацией».

Часть входных данных, для которой генерируется выходное значение, формально называется экземпляром . Экземпляр формально описывается вектором признаков , которые в совокупности составляют описание всех известных характеристик экземпляра. Эти векторы признаков можно рассматривать как определяющие точки в соответствующем многомерном пространстве , и к ним можно соответствующим образом применять методы манипулирования векторами в векторных пространствах , такие как вычисление скалярного произведения или угла между двумя векторами. Признаки обычно являются либо категориальными (также известными как номинальные , т. е. состоящими из одного из набора неупорядоченных элементов, таких как пол «мужской» или «женский», или группа крови «А», «В», «А». AB» или «O»), порядковый (состоящий из одного из множества упорядоченных элементов, например «большой», «средний» или «маленький»), целочисленный (например, подсчет количества появлений конкретное слово в электронном письме) или вещественное значение (например, измерение артериального давления). Часто категориальные и порядковые данные группируются вместе, и это также относится к целочисленным и действительным данным. Многие алгоритмы работают только с категориальными данными и требуют, чтобы вещественные или целочисленные данные были дискретизированы на группы (например, менее 5, от 5 до 10 или больше 10).

Вероятностные классификаторы

Многие распространенные алгоритмы распознавания образов носят вероятностный характер, поскольку они используют статистический вывод для поиска лучшей метки для данного экземпляра. В отличие от других алгоритмов, которые просто выводят «наилучшую» метку, часто вероятностные алгоритмы также выводят вероятность того, что экземпляр описывается данной меткой. Кроме того, многие вероятностные алгоритмы выводят список N -лучших меток с соответствующими вероятностями для некоторого значения N вместо просто одной лучшей метки. Когда количество возможных меток довольно мало (например, в случае классификации ), N может быть установлено так, чтобы выдавалась вероятность всех возможных меток. Вероятностные алгоритмы имеют множество преимуществ перед невероятностными алгоритмами:

Количество важных переменных функции

Алгоритмы выбора функций пытаются напрямую исключить избыточные или ненужные функции. Было дано общее введение в выбор функций , в котором суммированы подходы и проблемы. [6] Сложность выбора признаков из-за его немонотонного характера представляет собой проблему оптимизации , в которой при наличии общего количества признаков необходимо изучить набор мощности , состоящий из всех подмножеств признаков. Алгоритм ветвей и границ [7] действительно уменьшает эту сложность, но он неразрешим для средних и больших значений количества доступных функций.

Методы преобразования необработанных векторов признаков ( извлечение признаков ) иногда используются до применения алгоритма сопоставления с образцом. Алгоритмы извлечения признаков пытаются уменьшить вектор признаков большой размерности в вектор меньшей размерности, с которым легче работать и который кодирует меньшую избыточность, используя математические методы, такие как анализ главных компонентов (PCA). Разница между выбором признаков и извлечением признаков заключается в том, что полученные признаки после извлечения признаков имеют вид, отличный от исходных признаков, и их нелегко интерпретировать, в то время как признаки, оставшиеся после выбора признаков, представляют собой просто подмножество исходных признаков. .

Постановка задачи

Проблему распознавания образов можно сформулировать следующим образом: учитывая неизвестную функцию ( основную истину ), которая сопоставляет входные экземпляры с выходными метками , вместе с обучающими данными, которые, как предполагается, представляют собой точные примеры отображения, создайте функцию , которая аппроксимирует как можно ближе правильное отображение . (Например, если проблема заключается в фильтрации спама, то это некоторое представление электронной почты и является либо «спамом», либо «не спамом»). Чтобы это была четко определенная проблема, необходимо строго определить «аппроксимацию как можно ближе». В теории принятия решений это определяется путем указания функции потерь или функции затрат, которая присваивает определенное значение «потере», возникающей в результате создания неправильной метки. Тогда цель состоит в том, чтобы минимизировать ожидаемые потери, при этом ожидание принимается за распределение вероятностей . На практике ни распределение, ни основная функция истинности точно не известны, но могут быть вычислены только эмпирически путем сбора большого количества образцов и маркировки их вручную с использованием правильного значения (это трудоемкий процесс, который обычно ограничивающий фактор в объеме данных такого рода, которые могут быть собраны). Конкретная функция потерь зависит от типа прогнозируемой метки. Например, в случае классификации часто бывает достаточно простой функции потерь ноль-единица . Это соответствует просто присвоению потери 1 любой неправильной маркировке и подразумевает, что оптимальный классификатор минимизирует частоту ошибок в независимых тестовых данных (т. е. подсчитывает долю экземпляров, которые обученная функция маркирует неправильно, что эквивалентно максимизации числа правильно классифицированные экземпляры). Целью процедуры обучения является минимизация частоты ошибок (максимизация правильности ) на «типичном» наборе тестов.

Вместо этого для вероятностного распознавателя образов проблема состоит в том, чтобы оценить вероятность каждой возможной выходной метки для конкретного входного экземпляра, т. е. оценить функцию вида

где входной вектор признака равен , а функция f обычно параметризуется некоторыми параметрами . [8] При дискриминативном подходе к проблеме f оценивается напрямую. Однако в генеративном подходе вместо этого оценивается обратная вероятность и объединяется с априорной вероятностью с использованием правила Байеса следующим образом:

Когда метки распределены непрерывно (например, при регрессионном анализе ), знаменатель включает в себя интеграцию , а не суммирование:

Значение обычно определяется с использованием максимальной апостериорной оценки (MAP). Это находит лучшее значение, которое одновременно отвечает двум конфликтующим целям: максимально эффективно работать с обучающими данными (наименьшая частота ошибок ) и найти простейшую возможную модель. По сути, это сочетает в себе оценку максимального правдоподобия с процедурой регуляризации , которая отдает предпочтение более простым моделям по сравнению с более сложными. В байесовском контексте процедуру регуляризации можно рассматривать как размещение априорной вероятности на различных значениях . Математически:

где значение , используемое в последующей процедуре оценки, и апостериорная вероятность , определяется выражением

В байесовском подходе к этой проблеме вместо выбора одного вектора параметров вероятность данной метки для нового экземпляра вычисляется путем интегрирования по всем возможным значениям , взвешенным в соответствии с апостериорной вероятностью:

Частотный или байесовский подход к распознаванию образов

Первый классификатор шаблонов – линейный дискриминант, представленный Фишером – был разработан в частотной традиции. Частотный подход предполагает, что параметры модели считаются неизвестными, но объективными. Затем параметры вычисляются (оцениваются) на основе собранных данных. Для линейного дискриминанта этими параметрами являются в точности средние векторы и ковариационная матрица . Также вероятность каждого класса оценивается на основе собранного набора данных. Обратите внимание, что использование « правила Байеса » в классификаторе шаблонов не делает классификацию байесовской.

Байесовская статистика берет свое начало в греческой философии, где уже проводилось различие между « априорным » и « апостериорным » знанием. Позднее Кант определил различие между тем, что известно априори (до наблюдения) и эмпирическим знанием, полученным в результате наблюдений. В классификаторе байесовских шаблонов вероятности классов могут выбираться пользователем, которые затем являются априорными. Более того, опыт, количественно выраженный как априорные значения параметров, может быть взвешен с помощью эмпирических наблюдений – с использованием, например, бета-распределения ( сопряженного априорного распределения ) и распределения Дирихле . Байесовский подход способствует плавному смешению экспертных знаний в форме субъективных вероятностей и объективных наблюдений.

Классификаторы вероятностных шаблонов могут использоваться в соответствии с частотным или байесовским подходом.

Использование

Лицо автоматически распознавалось специальным программным обеспечением.

В медицинской науке распознавание образов является основой систем компьютерной диагностики (CAD). CAD описывает процедуру, которая подтверждает интерпретации и выводы врача. Другими типичными применениями методов распознавания образов являются автоматическое распознавание речи , идентификация говорящего , классификация текста на несколько категорий (например, спам или неспамовые сообщения электронной почты), автоматическое распознавание рукописного текста на почтовых конвертах, автоматическое распознавание изображений человеческих лиц, или извлечение изображений рукописного текста из медицинских форм. [9] [10] Последние два примера образуют подтему анализа изображений распознавания образов, которая касается цифровых изображений в качестве входных данных для систем распознавания образов. [11] [12]

Оптическое распознавание символов является примером применения классификатора образов. Метод подписания своего имени был зафиксирован с помощью стилуса и наложения, начиная с 1990 года. [ Необходима ссылка ] Для однозначной идентификации и подтверждения личности используются штрихи, скорость, относительный минимум, относительный максимум, ускорение и давление. Банкам впервые была предложена эта технология, но они были довольны тем, что FDIC взимает плату за любое банковское мошенничество, и не хотели причинять неудобства клиентам. [ нужна цитата ]

Распознавание образов имеет множество реальных приложений при обработке изображений. Вот некоторые примеры:

В психологии распознавание образов используется для понимания и идентификации объектов и тесно связано с восприятием. Это объясняет, как сенсорные данные, которые получают люди, обретают смысл. Распознавание образов можно рассматривать двумя разными способами. Первый касается сопоставления шаблонов, а второй — обнаружения функций. Шаблон – это выкройка, используемая для изготовления предметов одинаковых пропорций. Гипотеза сопоставления шаблонов предполагает, что поступающие стимулы сравниваются с шаблонами в долговременной памяти. Если совпадение есть, стимул идентифицируется. Модели обнаружения признаков, такие как система Pandemonium для классификации букв (Selfridge, 1959), предполагают, что стимулы для идентификации разбиваются на составные части. Одним из наблюдений является заглавная буква E, имеющая три горизонтальные линии и одну вертикальную линию. [22]

Алгоритмы

Алгоритмы распознавания образов зависят от типа вывода метки, от того, является ли обучение контролируемым или неконтролируемым, а также от того, является ли алгоритм статистическим или нестатистическим по своей природе. Статистические алгоритмы можно далее разделить на генеративные и дискриминационные .

Методы классификации (методы прогнозирования категориальных меток)

Параметрический: [23]

Непараметрический: [24]

Методы кластеризации (методы классификации и прогнозирования категориальных меток)

Алгоритмы ансамблевого обучения (контролируемые метаалгоритмы для объединения нескольких алгоритмов обучения вместе)

Общие методы прогнозирования меток произвольной структуры (наборов)

Алгоритмы обучения многолинейному подпространству (предсказание меток многомерных данных с использованием тензорных представлений)

Без присмотра:

Методы маркировки вещественных последовательностей (прогнозирование последовательностей вещественных меток)

Методы регрессии (прогнозирование действительных меток)

Методы маркировки последовательностей (прогнозирование последовательностей категориальных меток)

Смотрите также

Рекомендации

  1. ^ Ховард, WR (20 февраля 2007 г.). «Распознавание образов и машинное обучение». Кибернет . 36 (2): 275. дои : 10.1108/03684920710743466. ISSN  0368-492X.
  2. ^ «Маркировка последовательностей» (PDF) . Юта.edu . Архивировано (PDF) из оригинала 6 ноября 2018 г. Проверено 6 ноября 2018 г.
  3. ^ Ян., Чизуэлл (2007). Математическая логика, с. 34 . Издательство Оксфордского университета. ISBN 9780199215621. ОСЛК  799802313.
  4. ^ Бишоп, Кристофер М. (2006). Распознавание образов и машинное обучение . Спрингер.
  5. ^ Карвалко, младший, Престон К. (1972). «Об определении оптимальных простых преобразований разметки Голея для обработки двоичных изображений». Транзакции IEEE на компьютерах . 21 (12): 1430–33. дои : 10.1109/TC.1972.223519. S2CID  21050445.{{cite journal}}: CS1 maint: multiple names: authors list (link).
  6. ^ Изабель Гийон Клопине, Андре Елисеев (2003). Введение в выбор переменных и функций . Журнал исследований машинного обучения, Vol. 3, 1157–1182. Ссылка заархивирована 4 марта 2016 г. на Wayback Machine.
  7. ^ Иман Форутан; Джек Склански (1987). «Выбор функций для автоматической классификации негауссовских данных». Транзакции IEEE по системам, человеку и кибернетике . 17 (2): 187–198. дои : 10.1109/TSMC.1987.4309029. S2CID  9871395..
  8. ^ Для линейного дискриминантного анализа вектор параметров состоит из двух средних векторов и общей ковариационной матрицы .
  9. ^ Милевски, Роберт; Говиндараджу, Вену (31 марта 2008 г.). «Бинаризация и очистка рукописного текста от копий изображений медицинских форм». Распознавание образов . 41 (4): 1308–1315. Бибкод : 2008PatRe..41.1308M. дои : 10.1016/j.patcog.2007.08.018. Архивировано из оригинала 10 сентября 2020 года . Проверено 26 октября 2011 г.
  10. ^ Саранги, Сусанта; Сахидулла, Мэриленд; Саха, Гутам (сентябрь 2020 г.). «Оптимизация набора фильтров на основе данных для автоматической проверки говорящих». Цифровая обработка сигналов . 104 : 102795. arXiv : 2007.10729 . дои : 10.1016/j.dsp.2020.102795. S2CID  220665533.
  11. ^ Ричард О. Дуда , Питер Э. Харт , Дэвид Г. Сторк (2001). Классификация узоров (2-е изд.). Уайли, Нью-Йорк. ISBN 978-0-471-05669-0. Архивировано из оригинала 19 августа 2020 г. Проверено 26 ноября 2019 г.{{cite book}}: CS1 maint: multiple names: authors list (link)
  12. ^ Р. Брунелли, Методы сопоставления шаблонов в компьютерном зрении: теория и практика , Wiley, ISBN 978-0-470-51706-2 , 2009 г. 
  13. ^ УЧЕБНОЕ ПОСОБИЕ ПО АВТОМАТИЧЕСКОМУ РАСПОЗНАВАНИЮ НОМЕРНЫХ ЗНАКОВ. Архивировано 20 августа 2006 г. на Wayback Machine http://anpr-tutorial.com/. Архивировано 20 августа 2006 г. на Wayback Machine.
  14. ^ Нейронные сети для распознавания лиц. Архивировано 4 марта 2016 г. в Wayback Machine Companion к главе 4 учебника «Машинное обучение».
  15. ^ Поддар, Арнаб; Сахидулла, Мэриленд; Саха, Гутам (март 2018 г.). «Проверка говорящего с помощью коротких высказываний: обзор проблем, тенденций и возможностей». ИЭПП Биометрия . 7 (2): 91–101. doi : 10.1049/iet-bmt.2017.0065. Архивировано из оригинала 03 сентября 2019 г. Проверено 27 августа 2019 г.
  16. ^ PAPNET для скрининга шейки матки. Архивировано 8 июля 2012 г. на archive.today.
  17. ^ «Разработка стратегии автономного управления транспортными средствами с использованием одной камеры и глубоких нейронных сетей (технический документ 2018-01-0035) - SAE Mobilus» . saemobilus.sae.org . Архивировано из оригинала 06 сентября 2019 г. Проверено 6 сентября 2019 г.
  18. ^ Гердес, Дж. Кристиан; Кегельман, Джон К.; Капания, Нитин Р.; Браун, Мэтью; Спилберг, Натан А. (27 марта 2019 г.). «Нейросетевые модели транспортных средств для высокопроизводительного автоматизированного вождения». Научная робототехника . 4 (28): eaaw1975. doi : 10.1126/scirobotics.aaw1975 . ISSN  2470-9476. PMID  33137751. S2CID  89616974.
  19. ^ Пикеринг, Крис (15 августа 2017 г.). «Как ИИ прокладывает путь к полностью автономным автомобилям». Инженер . Архивировано из оригинала 06 сентября 2019 г. Проверено 6 сентября 2019 г.
  20. ^ Рэй, Байшахи; Яна, Суман; Пей, Кексинь; Тиан, Ючи (28 августа 2017 г.). «DeepTest: автоматизированное тестирование автономных автомобилей, управляемых глубокими нейронными сетями». arXiv : 1708.08559 . Бибкод : 2017arXiv170808559T. {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
  21. ^ Синха, ПК; Хаджийский, Л.М.; Мутиб, К. (1 апреля 1993 г.). «Нейронные сети в автономном управлении транспортными средствами». Тома трудов МФБ . 1-й международный семинар МФБ по интеллектуальным автономным транспортным средствам, Хэмпшир, Великобритания, 18–21 апреля. 26 (1): 335–340. дои : 10.1016/S1474-6670(17)49322-0. ISSN  1474-6670.
  22. ^ «Пересмотр внимания по психологии уровня A - Распознавание образов | S-cool, веб-сайт пересмотра» . S-cool.co.uk. Архивировано из оригинала 22 июня 2013 г. Проверено 17 сентября 2012 г.
  23. ^ Предполагая, что известна форма распределения признаков по классам, например форма Гаусса .
  24. ^ Никаких предположений относительно формы распределения признаков по классам.

дальнейшее чтение

Внешние ссылки