stringtranslate.com

Обнаружение края

Обнаружение краев включает в себя множество математических методов, направленных на выявление краев , определяемых как кривые в цифровом изображении , на которых яркость изображения резко меняется или, более формально, имеет разрывы . Та же проблема поиска разрывов в одномерных сигналах известна как обнаружение шагов , а проблема поиска разрывов сигнала во времени известна как обнаружение изменений . Обнаружение границ является фундаментальным инструментом в обработке изображений , машинном зрении и компьютерном зрении , особенно в областях обнаружения и извлечения признаков . [1]

Мотивации

Обнаружение границ Канни, примененное к фотографии

Цель обнаружения резких изменений яркости изображения — запечатлеть важные события и изменения свойств окружающего мира. Можно показать, что при довольно общих предположениях для модели формирования изображения разрывы яркости изображения, вероятно, соответствуют: [2] [3]

В идеальном случае результат применения к изображению детектора краев может привести к набору связанных кривых, обозначающих границы объектов, границы отметок поверхности, а также кривые, соответствующие разрывам ориентации поверхности. Таким образом, применение алгоритма обнаружения границ к изображению может значительно уменьшить объем обрабатываемых данных и, следовательно, отфильтровать информацию, которая может рассматриваться как менее релевантная, сохраняя при этом важные структурные свойства изображения. Если этап обнаружения края успешен, последующая задача интерпретации информационного содержания в исходном изображении может быть существенно упрощена. Однако не всегда удается получить такие идеальные края на реальных изображениях средней сложности.

Краям, извлеченным из нетривиальных изображений, часто препятствует фрагментация , что означает, что кривые краев не связаны, отсутствуют сегменты краев, а также ложные края , не соответствующие интересным явлениям на изображении, что усложняет последующую задачу интерпретации данных изображения. [4]

Обнаружение краев является одним из фундаментальных этапов обработки изображений, анализа изображений, распознавания образов изображений и методов компьютерного зрения.

Свойства края

Края, извлеченные из двухмерного изображения трехмерной сцены, можно классифицировать как зависящие от точки обзора или независимые от точки обзора. Независимый от точки обзора край обычно отражает присущие свойства трехмерных объектов, такие как отметки на поверхности и форма поверхности. Край, зависимый от точки обзора , может меняться по мере изменения точки обзора и обычно отражает геометрию сцены, например объекты, перекрывающие друг друга.

Типичным краем может быть, например, граница между блоком красного цвета и блоком желтого цвета. Напротив, линия (которая может быть извлечена с помощью детектора гребней ) может представлять собой небольшое количество пикселей другого цвета на неизменном фоне. Поэтому для линии обычно может быть по одному краю с каждой стороны линии.

Простая модель края

Хотя в определенной литературе рассматривается обнаружение идеальных краев ступеней, края, полученные из естественных изображений, обычно вовсе не являются идеальными краями ступенек. Вместо этого на них обычно влияет один или несколько из следующих эффектов:

Ряд исследователей использовали сглаженный по Гауссу край ступеньки ( функцию ошибок ) как простейшее расширение идеальной модели края ступеньки для моделирования эффектов размытия края в практических приложениях. [4] [5] Таким образом, одномерное изображение , имеющее ровно один край, может быть смоделировано как:

С левой стороны края интенсивность равна , а справа от края — . Параметр масштаба называется масштабом размытия края. В идеале этот параметр масштаба следует настраивать в зависимости от качества изображения, чтобы избежать разрушения истинных краев изображения. [ нужна цитата ]

Сложность

За исключением изображений с простыми объектами или с хорошо контролируемым освещением, обнаружение границ не является тривиальной задачей, поскольку может быть сложно определить, какой порог следует использовать для определения края между двумя пикселями. [4] Например, в следующем одномерном сигнале большинство интуитивно скажет, что между 4-м и 5-м пикселями есть граница:

Однако если бы разница в интенсивности между 4-м и 5-м пикселями была меньше, было бы не так просто сказать, что в соответствующей области должен быть край. Аналогичным образом, если бы разница в интенсивности между соседними соседними пикселями была выше, можно было бы утверждать, что следует считать, что существует более одного края, или даже вообще не существовать.

Подходы

Существует множество методов обнаружения границ, но большинство из них можно сгруппировать в две категории: на основе поиска и на основе пересечения нуля . Методы, основанные на поиске, обнаруживают края, сначала вычисляя меру силы края, обычно это выражение производной первого порядка, такое как величина градиента, а затем ищут локальные направленные максимумы величины градиента, используя вычисленную оценку локальной ориентации края. край, обычно направление градиента. Методы, основанные на пересечении нуля, ищут пересечения нуля в выражении производной второго порядка , вычисленном на основе изображения, чтобы найти края, обычно пересечения нуля лапласиана или пересечения нуля нелинейного дифференциального выражения. В качестве этапа предварительной обработки для обнаружения границ почти всегда применяется этап сглаживания, обычно сглаживание по Гауссу (см. также шумоподавление ).

Опубликованные методы обнаружения границ в основном различаются типами применяемых сглаживающих фильтров и способом расчета показателей прочности краев. Поскольку многие методы обнаружения границ основаны на вычислении градиентов изображения, они также различаются типами фильтров, используемых для вычисления оценок градиента в направлениях x и y .

Обзор ряда различных методов обнаружения границ можно найти в (Ziou and Tabbone 1998); [6] см. также энциклопедические статьи по обнаружению ребер в «Энциклопедии математики» [3] и «Энциклопедии компьютерных наук и инженерии». [7]

Канни

Джон Кэнни рассмотрел математическую задачу создания оптимального сглаживающего фильтра с учетом критериев обнаружения, локализации и минимизации множественных реакций на один фронт. [8] Он показал, что оптимальный фильтр с учетом этих предположений представляет собой сумму четырех экспоненциальных членов. Он также показал, что этот фильтр можно хорошо аппроксимировать производными гауссианы первого порядка. Кэнни также ввел понятие немаксимального подавления, которое означает, что с учетом фильтров предварительного сглаживания краевые точки определяются как точки, в которых величина градиента принимает локальный максимум в направлении градиента. Поиск пересечения нуля 2-й производной по направлению градиента был впервые предложен Хараликом . [9] Потребовалось менее двух десятилетий, чтобы найти современное геометрическое вариационное значение для этого оператора, которое связывает его с детектором границ Марра-Хилдрета (пересечение нуля лапласиана). Это наблюдение было представлено Роном Киммелем и Альфредом Брукштейном. [10]

Хотя его работа была проделана на заре компьютерного зрения, детектор границ Кэнни (включая его вариации) до сих пор остается самым современным детектором краев. [11] Детекторы краев, которые работают лучше, чем Canny, обычно требуют более длительного времени вычислений или большего количества параметров.

Ковалевский

Совершенно иной подход предложил Владимир А. Ковалевский [12] . Он использует предварительную обработку изображения с помощью фильтра Sigma [13] и специального фильтра для разбавления пандусов. Этот метод не использует яркость изображения, а только интенсивности цветовых каналов, что важно для обнаружения границы между двумя соседними пикселями одинаковой яркости, но разных цветов. Метод сканирует изображение два раза: сначала по горизонтальным линиям, затем по вертикальным столбцам. В каждой горизонтальной линии учитываются шесть последовательных соседних пикселей и вычисляются пять цветовых различий между каждыми двумя соседними пикселями. Каждое цветовое различие представляет собой сумму абсолютных разностей интенсивностей цветовых каналов красного, зеленого и синего соответствующих соседних пикселей. Если эта сумма больше заданного порога, то знак разности цветов устанавливается равным знаку разности интенсивностей зеленого цвета. Если разность зеленого равна нулю, то знак разности цветов устанавливается равным знаку разности интенсивностей красного. Если же и зеленая, и красная разности равны нулю, то знак цветовой разности устанавливается равным знаку синей разности, который в этом случае не может быть равен нулю, поскольку сумма больше порогового значения. Определенные условия для значений и знаков пяти цветовых различий задаются таким образом, что если условия выполняются, то между третьим и четвертым из шести пикселей ставится короткая вертикальная черта в качестве метки края. Аналогичные расчеты выполняются для вертикальных колонн. В этом случае между третьим и четвертым из шести последующих пикселей ставится короткая горизонтальная черта. Вертикальные и горизонтальные штрихи (представляющие собой одномерные ячейки абстрактного комплекса ячеек, соответствующего изображению) в основном составляют связную последовательность, представляющую край. Этот метод надежный и очень быстрый, и, что более важно, он может обнаруживать границы между соседними пикселями одинаковой яркости, если разница цветов между этими пикселями превышает пороговое значение.

Детектор Кэнни-Дериша был основан на тех же математических критериях, что и детектор краев Кэнни, но начинался с дискретной точки зрения, а затем приводил к набору рекурсивных фильтров для сглаживания изображения вместо экспоненциальных фильтров или фильтров Гаусса. [14]

Детектор дифференциальных границ, описанный ниже, можно рассматривать как переформулировку метода Кэнни с точки зрения дифференциальных инвариантов, вычисленных на основе представления в масштабном пространстве, что дает ряд преимуществ как с точки зрения теоретического анализа, так и с точки зрения субпиксельной реализации. В этом аспекте фильтр Log Gabor оказался хорошим выбором для выделения границ в естественных сценах. [15]

Другие методы первого порядка

Для оценки градиентов изображения на основе входного изображения или его сглаженной версии можно применять различные операторы градиента. Самый простой подход — использовать центральные различия:

что соответствует применению следующих масок фильтра к данным изображения:

Известный и более ранний оператор Собеля основан на следующих фильтрах:

Учитывая такие оценки производных изображения первого порядка , величина градиента затем вычисляется как:

а ориентацию градиента можно оценить как

Другие разностные операторы первого порядка для оценки градиента изображения были предложены в виде оператора Превитта , креста Робертса , оператора Кайяли [16] и оператора Фрея – Чена.

Можно расширить размер фильтров, чтобы избежать проблемы распознавания края на изображении с низким SNR . Цена этой операции — потеря разрешения. Примеры: Extended Prewitt 7×7.

Пороговое значение и связывание

После того, как мы вычислили меру силы края (обычно величину градиента), следующим этапом является применение порога, чтобы решить, присутствуют ли края в точке изображения или нет. Чем ниже порог, тем больше краев будет обнаружено, и результат будет более восприимчив к шуму и обнаружению краев нерелевантных элементов изображения. И наоборот, высокий порог может пропустить тонкие края или привести к фрагментации краев.

Если край применяется только к изображению величины градиента, полученные края, как правило, будут толстыми, и потребуется некоторая постобработка утончения краев. Однако для ребер, обнаруженных с немаксимальным подавлением, кривые ребер являются тонкими по определению, и пиксели ребер могут быть связаны в полигон ребер с помощью процедуры связывания ребер (отслеживания ребер). На дискретной сетке этап немаксимального подавления может быть реализован путем оценки направления градиента с использованием производных первого порядка, затем округления направления градиента до кратного 45 градусов и, наконец, сравнения значений величины градиента в оцененном градиенте. направление.

Обычно используемый подход к решению проблемы подходящих порогов для определения порога заключается в использовании определения порога с гистерезисом . Этот метод использует несколько порогов для поиска ребер. Мы начинаем с использования верхнего порога, чтобы найти начало ребра. Как только у нас есть начальная точка, мы затем прослеживаем путь края через изображение попиксельно, отмечая край всякий раз, когда мы находимся выше нижнего порога. Мы перестаем отмечать наше преимущество только тогда, когда значение падает ниже нашего нижнего порога. Этот подход предполагает, что края, скорее всего, представляют собой непрерывные кривые, и позволяет нам отслеживать слабый участок края, который мы видели ранее, не подразумевая, что каждый зашумленный пиксель на изображении помечен как край. Тем не менее, у нас есть проблема выбора подходящих параметров порогового значения, а подходящие значения порогового значения могут варьироваться в зависимости от изображения.

Утончение края

Утончение краев — это метод, используемый для удаления нежелательных паразитных точек на краях изображения. Этот метод используется после того, как изображение было отфильтровано от шума (с использованием медианы, фильтра Гаусса и т. д.), был применен оператор края (например, описанный выше, Кэнни или Собел) для обнаружения краев и после того, как края были сглажены. используя соответствующее пороговое значение. Это удаляет все нежелательные точки и, если применять осторожно, приводит к появлению краевых элементов толщиной в один пиксель.

Преимущества:

  1. Острые и тонкие края повышают эффективность распознавания объектов .
  2. Если преобразования Хафа используются для обнаружения линий и эллипсов, то прореживание может дать гораздо лучшие результаты.
  3. Если край является границей области, то прореживание может легко дать такие параметры изображения, как периметр, без особой алгебры.

Для этого используется множество популярных алгоритмов, один из них описан ниже:

  1. Выберите тип подключения , например 8, 6 или 4.
  2. 8 является предпочтительным, при котором учитываются все непосредственные пиксели, окружающие конкретный пиксель.
  3. Удалить точки с севера, юга, востока и запада.
  4. Делайте это за несколько проходов, т. е. после северного прохода используйте одно и то же полуобработанное изображение в других проходах и так далее.
  5. Удалите точку, если: У
    точки нет соседей на севере (если вы находитесь на северном перевале и соответствующие направления для других перевалов).
    Точка — это не конец строки.
    Точка изолирована.
    Удаление точек никоим образом не приведет к отключению ее соседей.
  6. В противном случае сохраняйте суть.

Количество проходов поперек направления следует выбирать в соответствии с желаемым уровнем точности.

Подходы второго порядка

Вместо этого некоторые операторы обнаружения краев основаны на производных второго порядка интенсивности. По сути, это фиксирует скорость изменения градиента интенсивности. Таким образом, в идеальном непрерывном случае обнаружение пересечений нуля во второй производной фиксирует локальные максимумы градиента.

Ранний оператор Марра – Хилдрета основан на обнаружении пересечений нуля оператором Лапласа, примененным к сглаженному по Гауссу изображению. Однако можно показать, что этот оператор также будет возвращать ложные края, соответствующие локальным минимумам величины градиента. Более того, этот оператор даст плохую локализацию на изогнутых краях. Следовательно, этот оператор сегодня представляет в основном исторический интерес.

Дифференциал

Более совершенный подход к обнаружению краев второго порядка, который автоматически обнаруживает края с субпиксельной точностью, использует следующий дифференциальный подход обнаружения пересечений нуля производной по направлению второго порядка в направлении градиента:

Следуя дифференциально-геометрическому способу выражения требования немаксимального подавления, предложенному Линдебергом [4] [17], введем в каждой точке изображения локальную систему координат с -направлением, параллельным направлению градиента. Предполагая, что изображение было предварительно сглажено сглаживанием по Гауссу и было вычислено представление масштабного пространства в масштабе , мы можем потребовать, чтобы величина градиента представления масштабного пространства , равная производной по направлению первого порядка в -направлении , должна иметь свою производную по направлению первого порядка в -направлении, равную нулю

а производная второго порядка по направлению в -направлении должна быть отрицательной, т. е.

Записанное в виде явного выражения в терминах локальных частных производных , это определение края может быть выражено как кривые перехода через нуль дифференциального инварианта.

которые удовлетворяют знаковому условию следующего дифференциального инварианта

где обозначают частные производные, вычисленные на основе представления в масштабном пространстве , полученного путем сглаживания исходного изображения с помощью ядра Гаусса . Таким образом, края будут автоматически получаться в виде непрерывных кривых с субпиксельной точностью. Пороговое значение гистерезиса также можно применить к этим дифференциальным и субпиксельным граничным сегментам.

На практике аппроксимации производной первого порядка могут быть вычислены с помощью центральных разностей, как описано выше, тогда как производные второго порядка могут быть вычислены из представления в масштабном пространстве согласно:

соответствующие следующим маскам фильтра:

Аналогичным образом можно получить производные высших порядков для знакового условия третьего порядка.

На основе фазовой конгруэнтности

Недавняя разработка в области методов обнаружения границ использует подход в частотной области для поиска местоположений границ. Методы фазовой конгруэнтности (также известные как фазовая когерентность) пытаются найти места на изображении, где все синусоиды в частотной области находятся в фазе. Эти местоположения обычно соответствуют местоположению воспринимаемого края, независимо от того, представлен ли край большим изменением интенсивности в пространственной области. Ключевым преимуществом этого метода является то, что он четко реагирует на полосы Маха и позволяет избежать ложных срабатываний, обычно встречающихся вокруг краев крыши. Край крыши представляет собой разрыв в производной первого порядка профиля уровня серого. [18]

Фазовое растягивающее преобразование (PST)

Улучшение функций изображения ( Собор Святого Павла , Лондон) с помощью преобразования фазового растяжения (PST). Левая панель показывает исходное изображение, а правая панель показывает обнаруженные функции с использованием PST.

Преобразование фазового растяжения или PST — это основанный на физике вычислительный подход к обработке сигналов и изображений. Одна из его утилит предназначена для обнаружения и классификации функций. [19] [20] PST является побочным продуктом исследований дисперсионного преобразования Фурье с растяжением во времени . PST преобразует изображение, имитируя распространение через дифракционную среду с специально разработанным свойством 3D-дисперсии (показателем преломления). Эта операция основана на симметрии профиля дисперсии и может быть понята с точки зрения собственных функций дисперсии или мод растяжения. [21] PST выполняет те же функции, что и фазово-контрастная микроскопия, но на цифровых изображениях. PST также применим к цифровым изображениям, а также к временным рядам и данным.

Субпиксель

Для повышения точности обнаружения границ было предложено несколько субпиксельных методов, в том числе методы подбора кривой, моментные, [22] [23] реконструктивные методы и методы с эффектом частичной площади. [24] Эти методы имеют разные характеристики. Методы аппроксимации кривых просты в вычислительном отношении, но на них легко влияет шум. Методы, основанные на моментах, используют интегральный подход для уменьшения влияния шума, но в некоторых случаях могут потребоваться дополнительные вычисления. Реконструктивные методы используют горизонтальные или вертикальные градиенты для построения кривой и поиска вершины кривой в качестве края субпикселя. Методы эффекта частичной площади основаны на гипотезе о том, что значение каждого пикселя зависит от площади по обе стороны края внутри этого пикселя, что дает точную индивидуальную оценку для каждого краевого пикселя. Было показано, что некоторые варианты метода, основанного на моменте, являются наиболее точными для изолированных краев. [23]

Обнаружение краев на ангиографическом изображении . Слева обнаружение границ производится на уровне пикселей. Справа функция обнаружения края субпикселя точно определяет край внутри пикселя.

Смотрите также

Рекомендации

  1. ^ Умбо, Скотт Э (2010). Цифровая обработка и анализ изображений: приложения человеческого и компьютерного зрения с CVIPtools (2-е изд.). Бока-Ратон, Флорида: CRC Press. ISBN 978-1-4398-0205-2.
  2. ^ Х. Г. Барроу и Дж. М. Тененбаум (1981) «Интерпретация линейных рисунков как трехмерных поверхностей», Искусственный интеллект, том 17, выпуски 1–3, страницы 75–116.
  3. ^ Аб Линдеберг, Тони (2001) [1994], «Обнаружение краев», Энциклопедия математики , EMS Press
  4. ^ abcd Т. Линдеберг (1998) «Обнаружение краев и обнаружение гребней с автоматическим выбором масштаба», Международный журнал компьютерного зрения, 30, 2, страницы 117–154.
  5. ^ В. Чжан и Ф. Бергхольм (1997) «Многомасштабная оценка размытия и классификация типов краев для анализа сцены», Международный журнал компьютерного зрения, том 24, выпуск 3, страницы: 219–250.
  6. ^ Д. Зиу и С. Таббон (1998) «Методы обнаружения краев: обзор», Международный журнал распознавания образов и анализа изображений, 8 (4): 537–559, 1998
  7. ^ Дж. М. Парк и Ю. Лу (2008) «Обнаружение границ в изображениях в оттенках серого, цвете и диапазоне изображений», в BW Wah (редактор) Энциклопедии компьютерных наук и техники, doi 10.1002/9780470050118.ecse603
  8. ^ Дж. Кэнни (1986) «Вычислительный подход к обнаружению границ», Транзакции IEEE по анализу шаблонов и машинному интеллекту, том 8, страницы 679–714.
  9. ^ Р. Харалик, (1984) «Границы цифровых ступеней от пересечения нуля вторых производных по направлению», Транзакции IEEE по анализу шаблонов и машинному интеллекту, 6 (1): 58–68.
  10. ^ «Р. Киммел и А. М. Брукштейн (2003) «О регуляризованных лапласовых пересечениях нуля и других оптимальных интеграторах ребер», Международный журнал компьютерного зрения, 53 (3) страницы 225–243» (PDF) . Архивировано из оригинала (PDF) 8 марта 2021 г. Проверено 15 сентября 2019 г.
  11. ^ Шапиро Л.Г. и Стокман Г.К. (2001) Компьютерное зрение. Лондон и др.: Прентис Холл, стр. 326.
  12. ^ Ковалевский, В., Обработка изображений с помощью клеточной топологии, Springer 2021, ISBN 978-981-16-5771-9, стр. 113-138.
  13. ^ Ли, Дж.-С., Цифровое сглаживание изображения и сигма-фильтр. Компьютерное зрение, графика и обработка информации. 1983, 24(2): 255-69.
  14. ^ Р. Дериш (1987) Использование критериев Кэнни для получения рекурсивно реализованного оптимального детектора краев , Int. J. Компьютерное зрение, том 1, страницы 167–187.
  15. ^ Сильвен Фишер, Рафаэль Редондо, Лоран Перрине, Габриэль Кристобаль. Редкая аппроксимация изображений, вдохновленная функциональной архитектурой основных зрительных областей. Журнал EURASIP о достижениях в области обработки сигналов, специальный выпуск о восприятии изображений, 2007 г.
  16. ^ Дим, Жюль Р.; Такамура, Тамио (11 декабря 2013 г.). «Альтернативный подход к классификации спутниковых облаков: применение краевого градиента». Достижения метеорологии . 2013 : 1–8. дои : 10.1155/2013/584816 . ISSN  1687-9309.
  17. ^ Т. Линдеберг (1993) «Аппроксимации дискретных производных со свойствами масштабного пространства: основа для извлечения признаков низкого уровня», J. of Mathematical Imaging and Vision, 3 (4), страницы 349–376.
  18. ^ Т. Пайдла и В. Главац (1993) «Разрывы поверхности в изображениях дальности», в Proc IEEE 4th Int. Конф. Вычислить. Видение, стр. 524–528.
  19. ^ М. Х. Асгари и Б. Джалали, «Обнаружение краев в цифровых изображениях с использованием дисперсионного фазового растяжения», Международный журнал биомедицинской визуализации, Vol. 2015, № статьи 687819, стр. 1–6 (2015).
  20. ^ М. Х. Асгари и Б. Джалали, «Обнаружение краев изображения на основе физики», Симпозиум IEEE по глобальной обработке сигналов и информации (GlobalSIP 2014), документ: WdBD-L.1, Атланта, декабрь 2014 г.
  21. ^ Б. Джалали и А. Махджубфар, «Настройка широкополосных сигналов с помощью фотонного аппаратного ускорителя», Труды IEEE, Vol. 103, № 7, стр. 1071–1086 (2015).
  22. ^ Госал, С.; Мехрота, Р. (1 января 1993 г.). «Операторы ортогонального момента для обнаружения краев субпикселя». Распознавание образов . 26 (2): 295–306. Бибкод : 1993PatRe..26..295G. дои : 10.1016/0031-3203(93)90038-X.
  23. ^ аб Кристиан, Джон (01 января 2017 г.). «Точная локализация планетарных конечностей для навигации космического корабля на основе изображений». Журнал космических кораблей и ракет . 54 (3): 708–730. Бибкод : 2017JSpRo..54..708C. дои : 10.2514/1.A33692.
  24. ^ Трухильо-Пино, Агустин; Криссиан, Карл; Алеман-Флорес, Мигель; Сантана-Седрес, Даниэль (1 января 2013 г.). «Точное расположение края субпикселя на основе эффекта частичной площади». Вычисление изображений и зрительных образов . 31 (1): 72–90. doi :10.1016/j.imavis.2012.10.005. hdl : 10553/43474 .

дальнейшее чтение