В компьютерном зрении и обработке изображений признак — это часть информации о содержании изображения; обычно о том, имеет ли определенная область изображения определенные свойства. Объектами могут быть определенные структуры на изображении, такие как точки, края или объекты. Объекты также могут быть результатом общей операции соседства или обнаружения признаков , примененных к изображению. Другие примеры особенностей связаны с движением в последовательностях изображений или с формами, определяемыми в виде кривых или границ между различными областями изображения.
В более широком смысле признаком является любая часть информации, которая имеет отношение к решению вычислительной задачи, связанной с определенным приложением. Это то же самое, что и функция в машинном обучении и распознавании образов в целом, хотя обработка изображений имеет очень сложный набор функций. Концепция функций является очень общей, и выбор функций в конкретной системе компьютерного зрения может сильно зависеть от конкретной решаемой проблемы.
Не существует универсального или точного определения того, что представляет собой функция, а точное определение часто зависит от проблемы или типа приложения. Тем не менее, функция обычно определяется как «интересная» часть изображения , и функции используются в качестве отправной точки для многих алгоритмов компьютерного зрения.
Поскольку функции используются в качестве отправной точки и основных примитивов для последующих алгоритмов, общий алгоритм часто будет настолько хорош, насколько хорош его детектор функций. Следовательно, желательным свойством детектора признаков является повторяемость : будет ли один и тот же признак обнаружен в двух или более разных изображениях одной и той же сцены.
Обнаружение признаков — это низкоуровневая операция обработки изображений . То есть обычно она выполняется как первая операция над изображением и проверяет каждый пиксель , чтобы определить, присутствует ли в этом пикселе какой-либо признак. Если это часть более крупного алгоритма, то алгоритм обычно исследует изображение только в области объектов. В качестве встроенного предварительного условия для обнаружения признаков входное изображение обычно сглаживается с помощью ядра Гаусса в представлении в масштабном пространстве , и вычисляется одно или несколько изображений признаков, часто выражаемых в терминах операций локальной производной изображения .
Иногда, когда обнаружение признаков требует больших вычислительных затрат и существуют ограничения по времени, для управления этапом обнаружения признаков может использоваться алгоритм более высокого уровня, так что поиск признаков осуществляется только в определенных частях изображения.
Существует множество алгоритмов компьютерного зрения, которые на начальном этапе используют обнаружение признаков, поэтому в результате было разработано очень большое количество детекторов признаков. Они сильно различаются по типам обнаруженных особенностей, вычислительной сложности и повторяемости.
Когда объекты определяются с помощью операций локального соседства, применяемых к изображению (процедура, обычно называемая извлечением признаков ), можно различать подходы к обнаружению признаков, которые производят локальные решения о том, существует ли объект данного типа в данной точке изображения или нет, и те, кто в результате выдает недвоичные данные. Это различие становится актуальным, когда обнаруженные в результате признаки относительно редки. Несмотря на то, что решения принимаются локально, выходные данные этапа обнаружения признаков не обязательно должны быть двоичными изображениями. Результат часто представляется в виде наборов (связанных или несвязанных) координат точек изображения, в которых были обнаружены особенности, иногда с точностью до субпикселя.
Когда извлечение признаков выполняется без принятия локальных решений, результат часто называют изображением признака . Следовательно, изображение объекта можно рассматривать как изображение в том смысле, что оно является функцией тех же пространственных (или временных) переменных, что и исходное изображение, но значения пикселей содержат информацию об особенностях изображения, а не об интенсивности или цвете. Это означает, что изображение объекта можно обрабатывать так же, как обычное изображение, генерируемое датчиком изображения. Изображения объектов также часто вычисляются как интегрированный шаг в алгоритмах обнаружения функций.
В некоторых приложениях недостаточно извлечь только один тип признаков для получения соответствующей информации из данных изображения. Вместо этого извлекаются два или более различных объекта, в результате чего в каждой точке изображения получается два или более дескриптора объекта. Обычной практикой является организация информации, предоставляемой всеми этими дескрипторами, как элементы одного вектора, обычно называемого вектором признаков . Набор всех возможных векторов признаков образует пространство признаков . [1]
Типичный пример векторов признаков появляется, когда каждая точка изображения должна быть классифицирована как принадлежащая к определенному классу. Предполагая, что каждая точка изображения имеет соответствующий вектор признаков на основе подходящего набора признаков, а это означает, что каждый класс хорошо разделен в соответствующем пространстве признаков, классификация каждой точки изображения может быть выполнена с использованием стандартного метода классификации .
Другой похожий пример возникает, когда к изображениям применяется обработка на основе нейронной сети . Входные данные, подаваемые в нейронную сеть, часто представляют собой вектор признаков из каждой точки изображения, причем вектор создается из нескольких различных признаков, извлеченных из данных изображения. На этапе обучения сеть может сама определить, какие комбинации различных функций полезны для решения поставленной проблемы.
Края — это точки, где существует граница (или край) между двумя областями изображения. В общем, ребро может иметь практически произвольную форму и может включать в себя стыки. На практике края обычно определяются как наборы точек на изображении, которые имеют сильную величину градиента . Более того, некоторые распространенные алгоритмы затем объединяют точки с высоким градиентом вместе, чтобы сформировать более полное описание ребра. Эти алгоритмы обычно накладывают некоторые ограничения на свойства края, такие как форма, гладкость и значение градиента.
Локально ребра имеют одномерную структуру.
Термины «углы» и «точки интереса» используются как взаимозаменяемые и относятся к точечным элементам изображения, имеющим локальную двумерную структуру. Название «Угол» возникло из-за того, что ранние алгоритмы сначала выполняли обнаружение краев , а затем анализировали края, чтобы найти быстрые изменения направления (углы). Затем эти алгоритмы были разработаны так, что больше не требовалось явное обнаружение краев, например, путем поиска высоких уровней кривизны в градиенте изображения . Затем было замечено, что так называемые углы также обнаруживаются на тех частях изображения, которые не являются углами в традиционном смысле (например, может быть обнаружено небольшое яркое пятно на темном фоне). Эти точки часто называют точками интереса, но по традиции используется термин « угол » .
Капли обеспечивают дополнительное описание структур изображения с точки зрения областей, в отличие от углов, которые более точечны. Тем не менее, дескрипторы больших двоичных объектов часто могут содержать предпочтительную точку (локальный максимум реакции оператора или центр тяжести), а это означает, что многие детекторы больших двоичных объектов также могут рассматриваться как операторы точки интереса. Детекторы пятен могут обнаруживать области изображения, которые слишком гладкие, чтобы их можно было обнаружить угловым детектором.
Попробуйте уменьшить изображение, а затем выполнить обнаружение углов. Детектор будет реагировать на точки, которые резкие на уменьшенном изображении, но могут быть гладкими на исходном изображении. Именно в этот момент разница между угловым детектором и детектором каплей становится несколько расплывчатой. В значительной степени это различие можно устранить, включив соответствующее понятие масштаба. Тем не менее, из-за их свойств реагирования на разные типы структур изображения в разных масштабах, детекторы блодов LoG и DoH также упоминаются в статье об обнаружении углов .
Для вытянутых объектов понятие гребней является естественным инструментом. Дескриптор гребня, вычисленный на основе изображения уровня серого, можно рассматривать как обобщение медиальной оси . С практической точки зрения гребень можно рассматривать как одномерную кривую, которая представляет собой ось симметрии и, кроме того, имеет атрибут локальной ширины гребня, связанный с каждой точкой гребня. Однако, к сожалению, алгоритмически сложнее извлечь функции гребней из общих классов изображений уровня серого, чем функции краев, углов или пятен. Тем не менее, дескрипторы гребней часто используются для выделения дорог на аэрофотоснимках и для выделения кровеносных сосудов на медицинских изображениях — см. « Обнаружение гребней» .
Обнаружение признаков включает в себя методы вычисления абстракций информации изображения и принятия локальных решений в каждой точке изображения, существует ли в этой точке признак изображения заданного типа или нет. Полученные объекты будут подмножествами области изображения, часто в форме изолированных точек, непрерывных кривых или связанных областей.
Извлечение признаков иногда производится за несколько масштабов. Одним из таких методов является масштабно-инвариантное преобразование признаков (SIFT).
После обнаружения объектов можно извлечь локальный участок изображения вокруг объекта. Это извлечение может потребовать довольно значительного объема обработки изображений. Результат известен как дескриптор объекта или вектор объекта. Среди подходов, которые используются для описания признаков, можно упомянуть N -джеты и локальные гистограммы ( один пример дескриптора локальной гистограммы см. в масштабно-инвариантном преобразовании признаков ). В дополнение к такой атрибутивной информации, этап обнаружения признаков сам по себе может также предоставлять дополнительные атрибуты, такие как ориентация края и величина градиента при обнаружении края, а также полярность и сила капли при обнаружении капли.
Конкретная особенность изображения, определенная с точки зрения конкретной структуры данных изображения, часто может быть представлена по-разному. Например, край может быть представлен как логическая переменная в каждой точке изображения, которая описывает, присутствует ли край в этой точке. В качестве альтернативы мы можем вместо этого использовать представление, которое обеспечивает меру достоверности вместо логического утверждения о существовании ребра, и объединить его с информацией об ориентации ребра. Точно так же цвет определенной области может быть представлен либо в терминах среднего цвета (три скаляра), либо в виде цветовой гистограммы (три функции).
При разработке системы компьютерного зрения или алгоритма компьютерного зрения выбор представления функций может стать критической проблемой. В некоторых случаях для решения проблемы может потребоваться более высокий уровень детализации описания функции, но за это приходится иметь дело с большим количеством данных и более сложной обработкой. Ниже обсуждаются некоторые факторы, имеющие значение для выбора подходящего представления. В этом обсуждении экземпляр представления объекта называетсядескриптор функции или простодескриптор.
Двумя примерами особенностей изображения являются локальная ориентация края и локальная скорость в последовательности изображений. В случае ориентации значение этого признака может быть более или менее неопределенным, если в соответствующей окрестности присутствует более одного ребра. Локальная скорость не определена, если соответствующая область изображения не содержит каких-либо пространственных изменений. Вследствие этого наблюдения может оказаться целесообразным использовать представление признака, которое включает в себя меру уверенности или уверенности, связанную с утверждением о значении признака. В противном случае типична ситуация, когда один и тот же дескриптор используется для представления значений признаков с низкой степенью достоверности и значений признаков, близких к нулю, что приводит к неоднозначности интерпретации этого дескриптора. В зависимости от приложения такая двусмысленность может быть приемлемой или неприемлемой.
В частности, если избранное изображение будет использоваться в последующей обработке, может быть хорошей идеей использовать представление признака, которое включает информацию об уверенности или достоверности . Это позволяет вычислить новый дескриптор объекта на основе нескольких дескрипторов, например, вычисленных в одной и той же точке изображения, но в разных масштабах, или из разных, но соседних точек, с точки зрения средневзвешенного значения, где веса выводятся из соответствующих достоверностей. В простейшем случае соответствующее вычисление может быть реализовано как фильтрация нижних частот выделенного изображения. Полученное изображение объекта, как правило, будет более устойчивым к шуму.
Помимо включения в представление мер достоверности, представление соответствующих значений признаков само по себе может подходить или нет для операции усреднения . На практике большинство представлений признаков можно усреднить, но только в некоторых случаях полученному дескриптору можно дать правильную интерпретацию с точки зрения значения признака. Такие представления называются усредненными .
Например, если ориентация края представлена через угол, это представление должно иметь разрыв, где угол переходит от максимального значения к минимальному значению. Следовательно, может случиться так, что две подобные ориентации будут представлены углами, среднее значение которых не близко ни к одному из исходных углов, и, следовательно, это представление не является усредняемым. Существуют и другие представления ориентации ребер, такие как структурный тензор , которые поддаются усреднению.
Другой пример относится к движению, где в некоторых случаях можно извлечь только нормальную скорость относительно некоторого края. Если были извлечены две такие особенности и можно предположить, что они относятся к одной и той же истинной скорости, эта скорость не определяется как среднее значение нормальных векторов скорости. Следовательно, нормальные векторы скорости не усредняются. Вместо этого существуют другие представления движений с использованием матриц или тензоров, которые дают истинную скорость в терминах средней операции дескрипторов нормальной скорости. [ нужна цитата ]
Объекты, обнаруженные на каждом изображении, можно сопоставить на нескольких изображениях, чтобы установить соответствующие объекты , например соответствующие точки .
Алгоритм основан на сравнении и анализе соответствия точек между эталонным изображением и целевым изображением. Если какая-либо часть загроможденной сцены имеет общие соответствия, превышающие пороговое значение, эта часть изображения загроможденной сцены является целевой и считается, что она включает в себя эталонный объект. [18]
{{cite book}}: CS1 maint: multiple names: authors list (link)