Сегментация изображения

Разбиение цифрового изображения на сегменты

Модель сегментированной левой бедренной кости человека . Она показывает внешнюю поверхность (красную), поверхность между компактной костью и губчатой ​​костью (зеленую) и поверхность костного мозга (синюю).

В цифровой обработке изображений и компьютерном зрении сегментация изображения — это процесс разбиения цифрового изображения на несколько сегментов изображения , также известных как области изображения или объекты изображения ( наборы пикселей ). Цель сегментации — упростить и/или изменить представление изображения на что-то более осмысленное и легко анализируемое. ^{[1] [2]} Сегментация изображения обычно используется для определения местоположения объектов и границ (линий , кривых и т. д.) на изображениях. Точнее, сегментация изображения — это процесс присвоения метки каждому пикселю изображения таким образом, чтобы пиксели с одинаковой меткой имели определенные характеристики.

Результатом сегментации изображения является набор сегментов, которые в совокупности покрывают все изображение, или набор контуров, извлеченных из изображения (см. обнаружение краев ). Каждый из пикселей в области похож относительно некоторой характеристики или вычисляемого свойства, ^[3] например, цвета , интенсивности или текстуры . Смежные области значительно отличаются относительно той же характеристики(й). ^[1] При применении к стопке изображений, типичной для медицинской визуализации , полученные контуры после сегментации изображения могут быть использованы для создания 3D-реконструкций с помощью алгоритмов реконструкции геометрии, таких как marching cubes . ^[4]

Приложения

Объемная сегментация 3D-визуализированного КТ-скана грудной клетки : передняя грудная стенка, дыхательные пути и легочные сосуды спереди от корня легкого были удалены цифровым способом для визуализации содержимого грудной клетки:
– синий : легочные артерии
– красный : легочные вены (а также брюшная стенка )
– желтый : средостение
– фиолетовый : диафрагма

Некоторые практические применения сегментации изображений:

• Поиск изображений на основе контента ^[5]
• Машинное зрение
• Медицинская визуализация [ ^{6] [7]} и визуализационные исследования в биомедицинских исследованиях, включая объемные изображения, полученные с помощью компьютерной томографии , магнитно-резонансной томографии , а также методов объемной электронной микроскопии, таких как FIB-SEM. ^[8]
  • Найти опухоли и другие патологии ^{[9] [10]}
  • Измерение объемов тканей ^{[11] [12]}
  • Диагностика, изучение анатомического строения ^[13]
  • Планирование операции
  • Виртуальное моделирование хирургии
  • Внутриоперационная навигация
  • Радиотерапия ^[14]
• Обнаружение объектов ^[15]
  • Обнаружение пешеходов
  • Распознавание лиц
  • Обнаружение стоп-сигнала
  • Найдите объекты на спутниковых снимках (дороги, леса, посевы и т. д.)
• Задания на распознавание
  • Распознавание лиц
  • Распознавание отпечатков пальцев
  • Распознавание радужной оболочки глаза
  • Запрещенные предметы на контрольно- пропускных пунктах аэропорта
• Системы управления дорожным движением
• Видеонаблюдение
• Совместная сегментация видеообъектов и локализация действий ^{[16] [17]}

Для сегментации изображений было разработано несколько универсальных алгоритмов и методов. Чтобы быть полезными, эти методы обычно должны сочетаться со специфическими знаниями домена для эффективного решения проблем сегментации домена.

Классы методов сегментации

Существует два класса методов сегментации.

• Классические подходы к компьютерному зрению
• Методы на основе ИИ

Группы сегментации изображения

• Семантическая сегментация — это подход, при котором для каждого пикселя определяется класс принадлежности. ^[18] Например, на рисунке со множеством людей все пиксели, принадлежащие людям, будут иметь одинаковый идентификатор класса, а пиксели на заднем плане будут классифицироваться как фон.
• Сегментация экземпляра — это подход, который идентифицирует для каждого пикселя конкретный принадлежащий экземпляр объекта. Он обнаруживает каждый отдельный интересующий объект на изображении. ^[19] Например, когда каждый человек на рисунке сегментируется как отдельный объект.
• Паноптическая сегментация объединяет как семантическую, так и сегментацию экземпляров. Как и семантическая сегментация, паноптическая сегментация — это подход, который определяет для каждого пикселя принадлежащий класс. Более того, как и в сегментации экземпляров, паноптическая сегментация различает различные экземпляры одного и того же класса. ^[20]

Пороговое значение

Самый простой метод сегментации изображения называется методом порога . Этот метод основан на уровне обрезки (или пороговом значении) для преобразования изображения в оттенках серого в бинарное изображение.

Ключ этого метода — выбор порогового значения (или значений, если выбрано несколько уровней). В промышленности используется несколько популярных методов, включая метод максимальной энтропии, пороговую выборку сбалансированной гистограммы , метод Оцу (максимальная дисперсия) и кластеризацию k-средних .

Недавно были разработаны методы пороговой обработки изображений компьютерной томографии (КТ). Основная идея заключается в том, что, в отличие от метода Оцу, пороговые значения выводятся из рентгенограмм, а не из (реконструированного) изображения. ^{[21] [22]}

Новые методы предполагают использование многомерных нечетких правил, основанных на нелинейных порогах. В этих работах решение о принадлежности каждого пикселя к сегменту основывается на многомерных правилах, полученных из нечеткой логики и эволюционных алгоритмов, основанных на среде освещения изображения и приложении. ^[23]

Методы кластеризации

Алгоритм K-средних — это итеративный метод, который используется для разбиения изображения на K кластеров. ^[24] Основной алгоритм :

1. Выберите K центров кластеров, либо случайным образом , либо на основе какого-либо эвристического метода, например K-средних++
2. Назначьте каждый пиксель изображения кластеру, который минимизирует расстояние между пикселем и центром кластера.
3. Пересчитать центры кластеров, усредняя все пиксели в кластере.
4. Повторяйте шаги 2 и 3 до тех пор, пока не будет достигнута сходимость (т.е. ни один пиксел не изменит кластеры)

В этом случае расстояние — это квадрат или абсолютная разница между пикселем и центром кластера. Разница обычно основана на цвете пикселя , интенсивности , текстуре и местоположении или на взвешенной комбинации этих факторов. K можно выбрать вручную, случайным образом или эвристикой . Этот алгоритм гарантированно сходится, но он может не возвращать оптимальное решение . Качество решения зависит от начального набора кластеров и значения K.

Алгоритм Mean Shift — это метод, который используется для разбиения изображения на неизвестное априори число кластеров. Преимущество этого заключается в отсутствии необходимости начинать с начального предположения такого параметра, что делает его лучшим общим решением для более разнообразных случаев.

Движение и интерактивная сегментация

Сегментация на основе движения — это метод, при котором для выполнения сегментации используется движение на изображении.

Идея проста: посмотрите на различия между парой изображений. Если предположить, что интересующий объект движется, то различие будет именно этим объектом.

Улучшая эту идею, Кенни и др. предложили интерактивную сегментацию [2]. Они используют робота для тыкания в объекты, чтобы сгенерировать сигнал движения, необходимый для сегментации на основе движения.

Интерактивная сегментация следует концепции интерактивного восприятия, предложенной Довом Кацем [3] и Оливером Броком [4].

Другой метод, основанный на движении, — это жесткая сегментация движения .

Методы, основанные на сжатии

Методы, основанные на сжатии, постулируют, что оптимальная сегментация — это та, которая минимизирует, среди всех возможных сегментаций, длину кодирования данных. ^{[25] [26]} Связь между этими двумя концепциями заключается в том, что сегментация пытается найти закономерности в изображении, и любая закономерность в изображении может быть использована для его сжатия. Метод описывает каждый сегмент его текстурой и формой границы. Каждый из этих компонентов моделируется функцией распределения вероятностей, а его длина кодирования вычисляется следующим образом:

1. Кодирование границ использует тот факт, что области в естественных изображениях имеют тенденцию иметь гладкий контур. Этот априор используется кодированием Хаффмана для кодирования кода цепи разности контуров в изображении. Таким образом, чем гладче граница, тем короче длина кодирования, которую она достигает.
2. Текстура кодируется сжатием с потерями способом, аналогичным принципу минимальной длины описания (MDL), но здесь длина данных, заданных моделью, аппроксимируется числом выборок, умноженных на энтропию модели. Текстура в каждой области моделируется многомерным нормальным распределением, энтропия которого имеет замкнутую форму выражения. Интересным свойством этой модели является то, что оценочная энтропия ограничивает истинную энтропию данных сверху. Это происходит потому, что среди всех распределений с заданным средним значением и ковариацией нормальное распределение имеет наибольшую энтропию. Таким образом, истинная длина кодирования не может быть больше, чем то, что алгоритм пытается минимизировать.

Для любой заданной сегментации изображения эта схема выдает количество бит, необходимое для кодирования этого изображения на основе заданной сегментации. Таким образом, среди всех возможных сегментаций изображения цель состоит в том, чтобы найти сегментацию, которая дает самую короткую длину кодирования. Этого можно достичь с помощью простого метода агломеративной кластеризации. Искажение при сжатии с потерями определяет грубость сегментации, и его оптимальное значение может отличаться для каждого изображения. Этот параметр можно оценить эвристически по контрасту текстур на изображении. Например, когда текстуры на изображении похожи, как в изображениях камуфляжа, требуется более высокая чувствительность и, следовательно, более низкое квантование.

Методы, основанные на гистограммах

Методы на основе гистограммы очень эффективны по сравнению с другими методами сегментации изображений, поскольку они обычно требуют только одного прохода по пикселям . В этом методе гистограмма вычисляется из всех пикселей изображения, а пики и спады в гистограмме используются для определения кластеров на изображении. ^[1] В качестве меры можно использовать цвет или интенсивность .

Усовершенствование этой техники заключается в рекурсивном применении метода поиска гистограммы к кластерам на изображении с целью их разделения на более мелкие кластеры. Эта операция повторяется с все меньшими и меньшими кластерами до тех пор, пока не перестанут формироваться кластеры. ^{[1] [27]}

Одним из недостатков метода поиска гистограммы является то, что может быть сложно определить значимые пики и спады на изображении.

Подходы на основе гистограмм также можно быстро адаптировать для применения к нескольким кадрам, сохраняя при этом эффективность их одного прохода. Гистограмму можно сделать несколькими способами, когда рассматривается несколько кадров. Тот же подход, который используется с одним кадром, можно применить к нескольким, и после объединения результатов пики и спады, которые ранее было трудно идентифицировать, с большей вероятностью будут различимы. Гистограмму также можно применять на основе каждого пикселя, где полученная информация используется для определения наиболее частого цвета для местоположения пикселя. Этот подход сегментирует на основе активных объектов и статической среды, что приводит к другому типу сегментации, полезному для отслеживания видео .

Обнаружение краев

Обнаружение краев — это хорошо развитая область в обработке изображений. Границы областей и края тесно связаны, поскольку на границах областей часто наблюдается резкое изменение интенсивности. Поэтому методы обнаружения краев использовались в качестве основы для другого метода сегментации.

Края, идентифицированные с помощью обнаружения краев, часто не связаны. Однако для сегментации объекта на изображении нужны замкнутые границы областей. Желаемые края — это границы между такими объектами или пространственными таксонами. ^{[28] [29]}

Пространственные таксоны ^[30] — это информационные гранулы, ^[31] состоящие из четкой пиксельной области, размещенной на уровнях абстракции в иерархической вложенной архитектуре сцены. Они похожи на гештальт -психологическое обозначение фигуры-фона, но расширены, чтобы включать передний план, группы объектов, объекты и выступающие части объекта. Методы обнаружения краев могут быть применены к области пространственного таксона таким же образом, как они были бы применены к силуэту. Этот метод особенно полезен, когда разъединенный край является частью иллюзорного контура ^{[32] [33]}

Методы сегментации также могут применяться к краям, полученным с помощью детекторов краев. Линдеберг и Ли ^[34] разработали интегрированный метод, который сегментирует края на прямые и изогнутые сегменты краев для распознавания объектов на основе частей, на основе критерия минимальной длины описания (M _DL ), который был оптимизирован методом, подобным разделению и слиянию, с потенциальными точками разрыва, полученными из дополнительных сигналов соединения, для получения более вероятных точек, в которых следует рассматривать разбиения на различные сегменты.

Обнаружение изолированных точек

Обнаружение изолированных точек на изображении является фундаментальной частью сегментации изображения. Этот процесс в первую очередь зависит от второй производной, что указывает на использование оператора Лапласа. Лапласиан функции определяется как: ${\displaystyle f(x,y)}$

${\displaystyle \nabla ^{2}f(x,y)={\frac {\partial ^{2}f}{\partial x^{2}}}+{\frac {\partial ^{2}f}{\partial y^{2}}}}$

Оператор Лапласа применяется таким образом, что частные производные выводятся из определенного уравнения. Вторая частная производная по и задается как: ${\displaystyle f(x,y)}$ ${\displaystyle x}$ ${\displaystyle y}$

${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial x^{2}}}=f(x+1,y)+f(x-1,y)-2f(x,y)}$

${\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial y^{2}}}=f(x,y+1)+f(x,y-1)-2f(x,y)}$

Эти частные производные затем используются для вычисления лапласиана следующим образом:

${\displaystyle \nabla ^{2}f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)}$

Это математическое выражение может быть реализовано путем свертки с соответствующей маской. Если мы расширим это уравнение до трех измерений (x, y, z), интенсивность в каждом пикселе вокруг центрального пикселя в точке (x, y, z) будет заменена их соответствующими значениями. Это уравнение становится особенно полезным, когда мы предполагаем, что все пиксели имеют единичный интервал вдоль каждой оси.

Сферическая маска была разработана для использования с трехмерными наборами данных. Сферическая маска разработана для использования только целочисленной арифметики во время вычислений, тем самым устраняя необходимость в аппаратном или программном обеспечении с плавающей точкой.

Применяя эти концепции к реальным изображениям, представленным в виде массивов чисел, нам нужно учитывать, что происходит, когда мы достигаем края или граничной области. Функция определяется как: ${\displaystyle g(x,y)}$

${\displaystyle g(x,y)={\begin{cases}1&{\text{if }}|R(x,y)|\geq T\\0&{\text{otherwise}}\end{cases}}}$

Это уравнение выше используется для определения того, является ли точка на изображении изолированной точкой на основе величины отклика и порогового значения . Если величина отклика больше или равна пороговому значению, функция возвращает 1, что указывает на наличие изолированной точки; в противном случае она возвращает 0. Это помогает эффективно обнаруживать и сегментировать изолированные точки на изображении. ^[35] ${\displaystyle |R(x,y)|}$ ${\displaystyle T}$

Применение обнаружения изолированных точек при обработке рентгеновских изображений

Обнаружение изолированных точек имеет важные приложения в различных областях, включая обработку рентгеновских изображений. Например, исходное рентгеновское изображение лопатки турбины может быть исследовано попиксельно для обнаружения пористости в верхнем правом квадранте лопатки. Результат применения реакции детектора края к этому рентгеновскому изображению может быть аппроксимирован. Это демонстрирует сегментацию изолированных точек на изображении с помощью однопиксельных зондов. ^[36]

Метод двойной кластеризации

Этот метод представляет собой комбинацию трех характеристик изображения: разбиение изображения на основе анализа гистограмм проверяется высокой компактностью кластеров (объектов) и высокими градиентами их границ. Для этого необходимо ввести два пространства: одно пространство - одномерная гистограмма яркости H =  H ( B ); второе пространство - двойственное 3-мерное пространство самого исходного изображения B =  B ( x , y ). Первое пространство позволяет измерить, насколько компактно распределена яркость изображения, вычислив минимальную кластеризацию kmin. Пороговая яркость T, соответствующая kmin, определяет бинарное (черно-белое) изображение - битовое изображение b = φ ( x ,  y ), где φ  ( x , y  ) = 0 , если B  ( x , y ) <  T ,  и φ ( x , y  ) = 1, если B ( x ,  y ) ≥  T . Битовое изображение b является объектом в двойственном пространстве. На этой битовой карте должна быть определена мера, отражающая, насколько компактно распределены черные (или белые) пиксели. Таким образом, цель состоит в том, чтобы найти объекты с хорошими границами. Для всех T должна быть рассчитана мера M _DC =  G /( k  ×  L ) (где k — разница в яркости между объектом и фоном, L — длина всех границ, а G — средний градиент на границах). Максимум MDC определяет сегментацию. ^[37]

Методы выращивания региона

Методы выращивания регионов в основном полагаются на предположение, что соседние пиксели в пределах одного региона имеют схожие значения. Распространенная процедура заключается в сравнении одного пикселя с его соседями. Если критерий сходства удовлетворяется, пиксель может быть установлен как принадлежащий к тому же кластеру, что и один или несколько его соседей. Выбор критерия сходства имеет важное значение, и результаты во всех случаях подвержены влиянию шума.

Метод статистического слияния областей ^[38] (SRM) начинается с построения графа пикселей с использованием 4-связности с ребрами, взвешенными по абсолютному значению разницы интенсивности. Первоначально каждый пиксель образует одну пиксельную область. Затем SRM сортирует эти ребра в очереди приоритетов и решает, следует ли объединять текущие области, принадлежащие краевым пикселям, с использованием статистического предиката.

Одним из методов выращивания областей является метод выращивания областей с посевом. Этот метод принимает набор семян в качестве входных данных вместе с изображением. Семена отмечают каждый из объектов, которые должны быть сегментированы. Области итеративно выращиваются путем сравнения всех нераспределенных соседних пикселей с областями. Разница между значением интенсивности пикселя и средним значением области, , используется в качестве меры сходства . Пиксель с наименьшей разницей, измеренной таким образом, назначается соответствующей области. Этот процесс продолжается до тех пор, пока все пиксели не будут назначены области. Поскольку выращивание областей с посевом требует семян в качестве дополнительных входных данных, результаты сегментации зависят от выбора семян, а шум на изображении может привести к тому, что семена будут плохо размещены. ${\displaystyle \delta }$

Другой метод выращивания областей — это метод выращивания областей без посева. Это модифицированный алгоритм, который не требует явных посевов. Он начинается с одного региона — выбранный здесь пиксель не оказывает заметного влияния на конечную сегментацию. На каждой итерации он рассматривает соседние пиксели так же, как выращивание областей с посевом. Он отличается от выращивания областей с посевом тем, что если минимум меньше предопределенного порога, то он добавляется к соответствующей области . Если нет, то пиксель считается отличным от всех текущих областей , и с этим пикселем создается новая область . ${\displaystyle A_{1}}$ ${\displaystyle \delta }$ ${\displaystyle T}$ ${\displaystyle A_{j}}$ ${\displaystyle A_{i}}$ ${\displaystyle A_{n+1}}$

Один из вариантов этой техники, предложенный Хараликом и Шапиро (1985), ^[1] основан на интенсивности пикселей . Среднее значение и разброс региона, а также интенсивность пикселя-кандидата используются для вычисления тестовой статистики. Если тестовая статистика достаточно мала, пиксель добавляется к региону, а среднее значение и разброс региона пересчитываются. В противном случае пиксель отбрасывается и используется для формирования нового региона.

Специальный метод роста областей называется -связанной сегментацией (см. также лямбда-связность ). Он основан на интенсивности пикселей и путях, связывающих соседние области. Степень связности (связности) вычисляется на основе пути, образованного пикселями. Для определенного значения два пикселя называются -связанными, если существует путь, связывающий эти два пикселя, и связность этого пути не менее . -связанность является отношением эквивалентности. ^[39] ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$

Сегментация методом разделения и слияния основана на разбиении изображения на квадродерево . Иногда ее называют сегментацией квадродерева.

Этот метод начинается с корня дерева, представляющего все изображение. Если оно оказывается неоднородным (не однородным), то оно разбивается на четыре дочерних квадрата (процесс разбиения) и так далее. Если же, напротив, четыре дочерних квадрата однородны, то они объединяются в несколько связанных компонентов (процесс слияния). Узел в дереве является сегментированным узлом. Этот процесс продолжается рекурсивно до тех пор, пока дальнейшие разбиения или слияния не станут возможными. ^{[40] [41]} Когда в реализацию алгоритма метода вовлечена специальная структура данных, его временная сложность может достигать , оптимального алгоритма метода. ^[42] ${\displaystyle O(n\log n)}$

Методы, основанные на частных дифференциальных уравнениях

Используя метод на основе уравнения в частных производных (PDE) и решая уравнение PDE с помощью численной схемы, можно сегментировать изображение. ^[43] Распространение кривых является популярным методом в этой категории, имеющим многочисленные приложения для извлечения объектов, отслеживания объектов, стереореконструкции и т. д. Основная идея заключается в том, чтобы развить начальную кривую к наименьшему потенциалу функции стоимости, где ее определение отражает задачу, которую необходимо решить. Как и для большинства обратных задач , минимизация функционала стоимости нетривиальна и накладывает определенные ограничения гладкости на решение, которые в данном случае могут быть выражены как геометрические ограничения на развивающуюся кривую.

Параметрические методы

Лагранжевые методы основаны на параметризации контура в соответствии с некоторой стратегией выборки и последующей эволюции каждого элемента в соответствии с изображением и внутренними условиями. Такие методы быстры и эффективны, однако исходная «чисто параметрическая» формулировка (предложенная Кассом, Виткиным и Терзопулосом в 1987 году и известная как « змеи »), как правило, критикуется за ее ограничения относительно выбора стратегии выборки, внутренних геометрических свойств кривой, изменений топологии (разделение и слияние кривой), решения проблем в более высоких измерениях и т. д. В настоящее время были разработаны эффективные «дискретизированные» формулировки для устранения этих ограничений при сохранении высокой эффективности. В обоих случаях минимизация энергии обычно проводится с использованием спуска с самым крутым градиентом, при котором производные вычисляются с использованием, например, конечных разностей.

Методы установки уровня

Метод набора уровней был первоначально предложен для отслеживания движущихся интерфейсов Дервье и Томассе ^{[44] [45]} в 1979 и 1981 годах, а затем был переосмыслен Ошером и Сетианом в 1988 году . ^[46] Он распространился по различным областям визуализации в конце 1990-х годов. Его можно использовать для эффективного решения проблемы распространения кривой/поверхности/и т. д. неявным образом. Основная идея заключается в представлении развивающегося контура с помощью знаковой функции, ноль которой соответствует фактическому контуру. Затем, согласно уравнению движения контура, можно легко вывести аналогичный поток для неявной поверхности, который при применении к нулевому уровню будет отражать распространение контура. Метод набора уровней дает многочисленные преимущества: он неявный, не имеет параметров, обеспечивает прямой способ оценки геометрических свойств развивающейся структуры, допускает изменение топологии и является внутренним. Его можно использовать для определения оптимизационной структуры, как предложили Чжао, Мерриман и Ошер в 1996 году. Можно сделать вывод, что это очень удобная структура для решения многочисленных задач компьютерного зрения и анализа медицинских изображений. ^[47] Исследования различных структур данных с набором уровней привели к весьма эффективным реализациям этого метода.

Методы быстрого марша

Метод быстрого марширования использовался при сегментации изображений ^[48], и эта модель была улучшена (позволяя использовать как положительные, так и отрицательные скорости распространения) в подходе, называемом обобщенным методом быстрого марширования ^{[49] .}

Вариационные методы

Целью вариационных методов является нахождение сегментации, которая является оптимальной относительно определенного функционала энергии. Функционалы состоят из термина подгонки данных и регуляризирующих терминов. Классическим представителем является модель Поттса, определенная для изображения ${\displaystyle f}$

${\displaystyle \operatorname {argmin} _{u}\gamma \|\nabla u\|_{0}+\int (u-f)^{2}\,dx.}$

Минимизатор — это кусочно-постоянное изображение, которое имеет оптимальный компромисс между квадратом расстояния L2 до данного изображения и общей длиной его множества скачков. Множество скачков определяет сегментацию. Относительный вес энергий настраивается параметром . Двоичный вариант модели Поттса, т. е. если диапазон ограничен двумя значениями, часто называют моделью Чана - Веза . ^[50] Важным обобщением является модель Мамфорда-Шаха ^[51], заданная как ${\displaystyle u^{*}}$ ${\displaystyle f}$ ${\displaystyle u^{*}}$ ${\displaystyle \gamma >0}$ ${\displaystyle u}$

${\displaystyle \operatorname {argmin} _{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}\,dx+\int (u-f)^{2}\,dx.}$

Функциональное значение представляет собой сумму общей длины кривой сегментации , гладкости аппроксимации и ее расстояния до исходного изображения . Вес штрафа за гладкость регулируется с помощью . Модель Поттса часто называют кусочно-постоянной моделью Мамфорда-Шаха, поскольку ее можно рассматривать как вырожденный случай . Известно, что задачи оптимизации в целом являются NP-трудными, но на практике хорошо работают стратегии, близкие к минимизации. Классические алгоритмы — это градуированная невыпуклость и аппроксимация Амброзио-Торторелли . ${\displaystyle K}$ ${\displaystyle u}$ ${\displaystyle f}$ ${\displaystyle \mu >0}$ ${\displaystyle \mu \to \infty }$

Методы разбиения графа

Методы разбиения графа являются эффективными инструментами для сегментации изображений, поскольку они моделируют влияние окрестностей пикселей на заданный кластер пикселей или пиксель, при условии однородности изображений. В этих методах изображение моделируется как взвешенный неориентированный граф . Обычно пиксель или группа пикселей связаны с узлами , а веса ребер определяют (нес)похожесть между пикселями соседства. Затем граф (изображение) разбивается в соответствии с критерием, разработанным для моделирования «хороших» кластеров. Каждое разбиение узлов (пикселей), выведенное этими алгоритмами, считается сегментом объекта на изображении; см. Категоризация объектов на основе сегментации . Некоторые популярные алгоритмы этой категории — это нормализованные разрезы, ^[52] случайный блуждающий , ^[53] минимальный разрез, ^[54] изопериметрическое разбиение, ^[55] сегментация на основе минимального остовного дерева , ^[56] и категоризация объектов на основе сегментации .

Марковские случайные поля

Применение случайных полей Маркова (MRF) для изображений было предложено в начале 1984 года Германом и Германом. ^[57] Их прочная математическая основа и способность обеспечивать глобальный оптимум даже при определении на основе локальных признаков оказались основой для новых исследований в области анализа изображений, удаления шума и сегментации. MRF полностью характеризуются их априорными распределениями вероятностей, маргинальными распределениями вероятностей, кликами , ограничением сглаживания, а также критерием обновления значений. Критерий сегментации изображений с использованием MRF переформулируется как нахождение схемы маркировки, которая имеет максимальную вероятность для заданного набора признаков. Широкие категории сегментации изображений с использованием MRF — контролируемая и неконтролируемая сегментация.

Контролируемая сегментация изображений с использованием MRF и MAP

С точки зрения сегментации изображения, функция, которую MRF стремятся максимизировать, — это вероятность идентификации схемы маркировки при определенном наборе признаков, обнаруженных на изображении. Это переформулировка метода оценки максимума апостериори .

Окрестность MRF для выбранного пикселя

Ниже представлен общий алгоритм сегментации изображений с использованием MAP:

1. Определите соседство каждого признака (случайная величина в терминах MRF).
   Обычно это включает соседей 1-го или 2-го порядка.
2. Установите начальные вероятности P ( f _i ) > для каждого признака как 0 или
3. где f _i ∈ Σ — набор, содержащий признаки, извлеченные
   для пикселя i, и определяющий начальный набор кластеров.
4. Используя данные обучения, вычислите среднее значение ( μ _{ℓ i} ) и дисперсию ( σ _{ℓ i} ) для каждой метки. Это называется статистикой класса.
5. Вычислите предельное распределение для данной схемы маркировки P ( f _i  |  ℓ _i ) с использованием теоремы Байеса и статистики классов, рассчитанной ранее. Для предельного распределения используется гауссовская модель.

   ${\displaystyle {\frac {1}{\sigma (\ell _{i}){\sqrt {2\pi }}}}e^{-(f_{i}-\mu (\ell _{i}))^{2}/(2\sigma (\ell _{i})^{2})}\,d\ell _{i}}$

6. Рассчитайте вероятность каждой метки класса, учитывая ранее определенную окрестность. Потенциалы
   клик используются для моделирования социального воздействия при маркировке.
7. Итерировать по новым априорным вероятностям и переопределять кластеры так, чтобы эти вероятности были максимизированы.
   Это делается с использованием различных алгоритмов оптимизации, описанных ниже.
8. Остановитесь, когда вероятность максимальна и схема маркировки не меняется.
   Расчеты могут быть реализованы также в терминах логарифмического правдоподобия .

Алгоритмы оптимизации

Каждый алгоритм оптимизации представляет собой адаптацию моделей из различных областей, и они отличаются своими уникальными функциями стоимости. Общей чертой функций стоимости является штрафование изменения значения пикселя, а также разницы в метке пикселя по сравнению с метками соседних пикселей.

Итерированные условные режимы/градиентный спуск

Алгоритм итерационных условных режимов (ICM) пытается реконструировать идеальную схему маркировки, изменяя значения каждого пикселя на каждой итерации и оценивая энергию новой схемы маркировки с использованием функции стоимости, приведенной ниже:

${\displaystyle \alpha (1-\delta (\ell _{i}-\ell _{{\text{initial }}i})+\beta \Sigma _{q\in N(i)}(1-\delta (\ell _{i},\ell _{q(i)})).}$

где α — штраф за изменение метки пикселя, а β — штраф за разницу в метке между соседними пикселями и выбранным пикселем. Здесь — окрестность пикселя i, а δ — дельта-функция Кронекера. Основная проблема ICM заключается в том, что, подобно градиентному спуску, он имеет тенденцию останавливаться на локальных максимумах и, таким образом, не получать глобально оптимальную схему маркировки. ${\displaystyle N(i)}$

Имитационный отжиг (SA)

Выведенный как аналог отжига в металлургии, имитационный отжиг (SA) использует изменение пиксельной метки в течение итераций и оценивает разницу в энергии каждого вновь сформированного графа по сравнению с исходными данными. Если вновь сформированный граф более выгоден с точки зрения низкой стоимости энергии, то:

${\displaystyle \Delta U=U^{\text{new}}-U^{\text{old}}}$

${\displaystyle \ell _{i}={\begin{cases}\ell _{i}^{\text{new}},&{\text{if }}\Delta U\leq 0,\\\ell _{i}^{\text{new}},&{\text{if }}\Delta U>0{\text{ and }}\delta <e^{-\Delta U/T},\ell _{i}^{\text{old}}\end{cases}}}$

алгоритм выбирает вновь сформированный граф. Имитация отжига требует ввода температурных графиков, которые напрямую влияют на скорость сходимости системы, а также порог энергии для минимизации.

Альтернативные алгоритмы

Существует ряд других методов для решения простых и более высокого порядка MRF. Они включают максимизацию апостериорной маргинальной, многомасштабную оценку MAP, ^[58] сегментацию множественного разрешения ^[59] и другие. Помимо оценок правдоподобия, для решения MRF существуют граф-срез с использованием максимального потока ^[60] и другие методы на основе графов с высокой степенью ограничений ^{[61] [62]} .

Сегментация изображения с использованием MAP и максимизации ожидания

Алгоритм ожиданий-максимизации используется для итеративной оценки апостериорных вероятностей и распределений маркировки, когда нет обучающих данных и не может быть сформирована оценка модели сегментации. Общий подход заключается в использовании гистограмм для представления особенностей изображения и продолжении, как кратко описано в этом трехшаговом алгоритме:

1. Используется случайная оценка параметров модели.

2. Шаг E: Оцените статистику класса на основе определенной модели случайной сегментации. Используя их, вычислите условную вероятность принадлежности к метке, учитывая, что набор признаков вычисляется с использованием наивной теоремы Байеса .

${\displaystyle P(\lambda \mid f_{i})={\frac {P(f_{i}\mid \lambda )P(\lambda )}{\Sigma _{\lambda \in \Lambda }P(f_{i}\mid \lambda )P(\lambda )}}}$

Здесь представлен набор всех возможных меток. ${\displaystyle \lambda \in \Lambda }$

3. Шаг M: Установленная релевантность заданного набора признаков для схемы маркировки теперь используется для вычисления априорной оценки заданной метки во второй части алгоритма. Поскольку фактическое количество общих меток неизвестно (из обучающего набора данных), в вычислениях используется скрытая оценка количества меток, заданная пользователем.

${\displaystyle P(\lambda )={\frac {\Sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i})}{|\Omega |}}}$

где — набор всех возможных признаков. ${\displaystyle \Omega }$

Сегментация цветного изображения с использованием модели HMRF-EM

Недостатки сегментации изображений на основе MAP и EM

1. Точные оценки MAP нелегко рассчитать.
2. Приблизительные оценки MAP требуют больших вычислительных затрат.
3. Расширение маркировки на несколько классов снижает производительность и увеличивает требуемый объем памяти.
4. Для достижения глобальных оптимумов необходима надежная оценка параметров ЭМ.
5. На основе метода оптимизации сегментация может группироваться до локальных минимумов.

Трансформация водораздела

Преобразование водораздела рассматривает градиентную величину изображения как топографическую поверхность. Пиксели с наивысшей интенсивностью градиентной величины (GMI) соответствуют линиям водораздела, которые представляют границы региона. Вода, помещенная на любой пиксель, заключенный в общую линию водораздела, течет вниз по склону к общему локальному минимуму интенсивности (LIM). Пиксели, стекающие в общий минимум, образуют водосборный бассейн, который представляет сегмент.

Сегментация на основе модели

Центральным предположением подходов на основе моделей является то, что интересующие структуры имеют тенденцию к определенной форме. Поэтому можно искать вероятностную модель, которая характеризует форму и ее вариацию. При сегментации изображения ограничения могут быть наложены с использованием этой модели в качестве априорной. ^[63] Такая задача может включать (i) регистрацию обучающих примеров в общей позе, (ii) вероятностное представление вариации зарегистрированных образцов и (iii) статистический вывод между моделью и изображением. Другие важные методы в литературе для сегментации на основе моделей включают активные модели формы и активные модели внешнего вида .

Многомасштабная сегментация

Сегментация изображений вычисляется в нескольких масштабах в масштабном пространстве и иногда распространяется от грубых к мелким масштабам; см. сегментация в масштабном пространстве .

Критерии сегментации могут быть произвольно сложными и могут учитывать как глобальные, так и локальные критерии. Общим требованием является то, что каждый регион должен быть связан в некотором смысле.

Одномерная иерархическая сегментация сигнала

Основополагающая работа Уиткина ^{[64] [65]} в области масштабного пространства включала представление о том, что одномерный сигнал может быть однозначно сегментирован на области, при этом один параметр масштаба управляет масштабом сегментации.

Ключевое наблюдение заключается в том, что нулевые пересечения вторых производных (минимумы и максимумы первой производной или наклона) многомасштабно сглаженных версий сигнала образуют вложенное дерево, которое определяет иерархические отношения между сегментами в разных масштабах. В частности, экстремумы наклона в грубых масштабах можно проследить до соответствующих особенностей в мелких масштабах. Когда максимум наклона и минимум наклона уничтожают друг друга в большем масштабе, три сегмента, которые они разделили, объединяются в один сегмент, тем самым определяя иерархию сегментов.

Сегментация изображения и первичный эскиз

В этой области было проведено множество исследовательских работ, из которых несколько сейчас достигли состояния, когда их можно применять либо с интерактивным ручным вмешательством (обычно с применением к медицинской визуализации), либо полностью автоматически. Ниже приводится краткий обзор некоторых основных исследовательских идей, на которых основаны современные подходы.

Однако структура вложенности, описанная Виткиным, специфична для одномерных сигналов и не переносится тривиально на многомерные изображения. Тем не менее, эта общая идея вдохновила нескольких других авторов на исследование схем «от грубой к тонкой» для сегментации изображений. Кондеринк ^[66] предложил изучить, как изоинтенсивные контуры развиваются в зависимости от масштаба, и этот подход был более подробно исследован Лифшицем и Пайзером ^[67] . К сожалению, однако, интенсивность характеристик изображения меняется в зависимости от масштаба, что означает, что трудно проследить грубые характеристики изображения до более мелких масштабов, используя информацию об изоинтенсивности.

Линдеберг ^{[68] [69]} изучал проблему связывания локальных экстремумов и седловых точек по масштабам и предложил представление изображения, называемое первичным эскизом масштабного пространства, которое делает явными отношения между структурами в разных масштабах, а также делает явными, какие особенности изображения являются стабильными в больших диапазонах масштабов, включая локально подходящие масштабы для них. Бергхольм предложил обнаруживать края в грубых масштабах в масштабном пространстве, а затем прослеживать их обратно до более мелких масштабов с ручным выбором как грубого масштаба обнаружения, так и точного масштаба локализации.

Гаух и Пайзер ^[70] изучили дополнительную проблему хребтов и долин в нескольких масштабах и разработали инструмент для интерактивной сегментации изображений на основе многомасштабных водоразделов. Использование многомасштабного водораздела с применением к карте градиента также исследовалось Олсеном и Нильсеном ^[71] и было перенесено в клиническое использование Дамом. ^[72] Винкен и др. ^[73] предложили гиперстек для определения вероятностных отношений между структурами изображений в разных масштабах. Использование стабильных структур изображений в масштабах было развито Ахуджей ^{[74] [75]} и его коллегами в полностью автоматизированную систему. Полностью автоматический алгоритм сегментации мозга, основанный на тесно связанных идеях многомасштабных водоразделов, был представлен Ундеманом и Линдебергом ^[76] и был тщательно протестирован в базах данных мозга.

Эти идеи для сегментации многомасштабных изображений путем связывания структур изображений по масштабам также были подхвачены Флораком и Кёйпером. ^[77] Бижауи и Рю ^[78] связывают структуры, обнаруженные в масштабном пространстве выше минимального порога шума, в дерево объектов, которое охватывает несколько масштабов и соответствует типу признака в исходном сигнале. Извлеченные признаки точно реконструируются с использованием итеративного метода сопряженной матрицы градиента.

Полуавтоматическая сегментация

При одном из видов сегментации пользователь очерчивает интересующую область с помощью щелчков мыши, а алгоритмы применяются таким образом, чтобы отобразить путь, наилучшим образом соответствующий краю изображения.

В этом виде сегментации используются такие методы, как SIOX , Livewire , Intelligent Scissors или IT-SNAPS. В альтернативном виде полуавтоматической сегментации алгоритмы возвращают пространственный таксон (т. е. передний план, объект-группа, объект или объект-часть), выбранный пользователем или обозначенный с помощью априорных вероятностей. ^{[79] [80]}

Обучаемая сегментация

Большинство вышеупомянутых методов сегментации основаны только на цветовой информации пикселей на изображении. Люди используют гораздо больше знаний при выполнении сегментации изображения, но реализация этих знаний потребует значительных затрат на инженерию и вычислительное время, а также огромной базы данных знаний предметной области , которая в настоящее время не существует. Обучаемые методы сегментации, такие как сегментация нейронной сети , преодолевают эти проблемы, моделируя знания предметной области из набора данных помеченных пикселей.

Нейронная сеть сегментации изображения может обрабатывать небольшие области изображения для извлечения простых признаков, таких как края. ^[81] Другая нейронная сеть или любой механизм принятия решений может затем объединить эти признаки для соответствующей маркировки областей изображения. Тип сети, разработанный таким образом, — карта Кохонена .

Импульсно-связанные нейронные сети (PCNN) — это нейронные модели, предложенные путем моделирования зрительной коры кошки и разработанные для высокопроизводительной биомиметической обработки изображений . В 1989 году Рейнхард Экхорн представил нейронную модель для имитации механизма зрительной коры кошки. Модель Экхорна предоставила простой и эффективный инструмент для изучения зрительной коры мелких млекопитающих и вскоре была признана имеющей значительный потенциал применения в обработке изображений. В 1994 году модель Экхорна была адаптирована в качестве алгоритма обработки изображений Джоном Л. Джонсоном, который назвал этот алгоритм импульсно-связанной нейронной сетью. ^[82] За последнее десятилетие PCNN использовались для различных приложений обработки изображений, включая: сегментацию изображений, генерацию признаков, извлечение лиц, обнаружение движения, выращивание областей, шумоподавление и т. д. PCNN — это двумерная нейронная сеть. Каждый нейрон в сети соответствует одному пикселю во входном изображении, получая соответствующую ему цветовую информацию пикселя (например, интенсивность) в качестве внешнего стимула. Каждый нейрон также соединяется со своими соседними нейронами, получая от них локальные стимулы. Внешние и локальные стимулы объединяются во внутреннюю систему активации, которая накапливает стимулы до тех пор, пока они не превысят динамический порог, что приводит к импульсному выходу. С помощью итеративных вычислений нейроны PCNN производят временные серии импульсных выходов. Временные серии импульсных выходов содержат информацию о входных изображениях и могут использоваться для различных приложений обработки изображений, таких как сегментация изображений и генерация признаков. По сравнению с обычными средствами обработки изображений, PCNN имеют несколько существенных преимуществ, включая устойчивость к шуму, независимость геометрических вариаций во входных шаблонах, способность преодолевать незначительные вариации интенсивности во входных шаблонах и т. д.

U-Net — это сверточная нейронная сеть , которая принимает на вход изображение и выводит метку для каждого пикселя. ^[83] Первоначально U-Net была разработана для обнаружения границ клеток на биомедицинских изображениях. U-Net следует классической архитектуре автокодировщика , поэтому она содержит две подструктуры. Структура кодировщика следует традиционному стеку сверточных и максимально объединяющих слоев для увеличения рецептивного поля по мере прохождения через слои. Она используется для захвата контекста на изображении. Структура декодера использует транспонированные сверточные слои для повышения частоты дискретизации, чтобы конечные размеры были близки к размерам входного изображения. Пропускные соединения размещаются между сверткой и транспонированными сверточным слоями той же формы, чтобы сохранить детали, которые в противном случае были бы потеряны.

В дополнение к задачам семантической сегментации на уровне пикселей, которые присваивают определенную категорию каждому пикселю, современные приложения сегментации включают задачи семантической сегментации на уровне экземпляра, в которых каждый индивидуум в данной категории должен быть уникально идентифицирован, а также задачи паноптической сегментации, которые объединяют эти две задачи для обеспечения более полной сегментации сцены. ^[20]

Сегментация связанных изображений и видео

Связанные изображения, такие как фотоальбом или последовательность видеокадров, часто содержат семантически схожие объекты и сцены, поэтому часто бывает полезно использовать такие корреляции. ^[84] Задача одновременной сегментации сцен из связанных изображений или видеокадров называется совместной сегментацией , ^[16] которая обычно используется при локализации действий человека . В отличие от обычного обнаружения объектов на основе ограничивающего прямоугольника , методы локализации действий человека обеспечивают более детальные результаты, обычно маски сегментации для каждого изображения, описывающие интересующий человеческий объект и категорию его действий (например, Segment-Tube ^[17] ). Такие методы, как динамические сети Маркова , CNN и LSTM, часто используются для использования межкадровых корреляций.

Другие методы

Существует много других методов сегментации, таких как мультиспектральная сегментация или сегментация на основе связности, основанная на изображениях DTI . ^{[85] [86]}

Смотрите также

• Совместная сегментация объектов  – тип сегментации изображения, при котором семантически схожие объекты совместно сегментируются на нескольких изображениях.
• Компьютерное зрение  – компьютерное извлечение информации из изображений
• Создание сетки на основе изображений
• Сегментация изображения диапазона
• Векторная квантизация  – Классический метод квантования в обработке сигналов.
• Квантование изображения  – метод сжатия с потерямиPages displaying short descriptions of redirect targets
• Квантование цвета
• Объектно-ориентированный анализ изображений  – извлечение информации из изображений с помощью методов цифровой обработки изображенийPages displaying short descriptions of redirect targets
• Список инструментов для ручного аннотирования изображений
• Сегментация жесткого движения  – подпроцесс компьютерного программированияPages displaying wikidata descriptions as a fallback

Примечания

1. Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Prentice-Hall, ISBN  0-13-030796-3
2. Баргхаут, Лорен и Лоуренс В. Ли. «Система обработки перцептивной информации». Paravue Inc. Заявка на патент США 10/618,543, поданная 11 июля 2003 г.
3. Нильсен, Франк; Нок, Ричард (2003). «О слиянии регионов: статистическая обоснованность быстрой сортировки с приложениями». 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings . Vol. 2. IEEE. pp. II:19–26. doi :10.1109/CVPR.2003.1211447. ISBN 0-7695-1900-8.
4. Захов, Стефан, Михаэль Зильске и Ханс-Кристиан Хеге. «Трехмерная реконструкция индивидуальной анатомии по данным медицинских изображений: сегментация и обработка геометрии». (2007).
5. Белонжи, Серж и др. «Цветовая и текстурная сегментация изображений с использованием ЭМ и ее применение для поиска изображений по содержанию». Шестая международная конференция по компьютерному зрению (IEEE Cat. No. 98CH36271). IEEE, 1998.
6. Фам, Дзунг Л.; Сюй, Чэньян; Принс, Джерри Л. (2000). «Современные методы сегментации медицинских изображений». Ежегодный обзор биомедицинской инженерии . 2 : 315–337. doi :10.1146/annurev.bioeng.2.1.315. PMID  11701515.
7. Forghani, M.; Forouzanfar, M.; Teshnehlab, M. (2010). «Оптимизация параметров улучшенного алгоритма кластеризации нечетких c-средних для сегментации изображений МРТ мозга». Engineering Applications of Artificial Intelligence . 23 (2): 160–168. doi :10.1016/j.engappai.2009.10.002.
8. Резников, Натали; Басс, Дэн Дж.; Провеншер, Бенджамин; Макки, Марк Д.; Пише, Николя (октябрь 2020 г.). «Глубокое обучение для 3D-визуализации и анализа изображений в исследованиях биоминерализации». Журнал структурной биологии . 212 (1): 107598. doi : 10.1016/j.jsb.2020.107598. ISSN  1047-8477. PMID  32783967. S2CID  221126896.
9. Wu, Wei; Chen, Albert YC; Zhao, Liang; Corso, Jason J. (2014). «Обнаружение и сегментация опухолей головного мозга в рамках CRF (условных случайных полей) с пиксельно-парным сродством и особенностями суперпиксельного уровня». Международный журнал компьютерной радиологии и хирургии . 9 (2): 241–253. doi :10.1007/s11548-013-0922-7. PMID  23860630. S2CID  13474403.
10. Э. Б. Джордж и М. Карнан (2012): «Сегментация изображений мозга с помощью МРТ с использованием алгоритма оптимизации поиска пищи бактериями», Международный журнал инженерии и технологий , том 4.
11. Ye, Run Zhou; Noll, Christophe; Richard, Gabriel; Lepage, Martin; Turcotte, Éric E.; Carpentier, André C. (февраль 2022 г.). «DeepImageTranslator: бесплатный, удобный графический интерфейс для перевода изображений с использованием глубокого обучения и его применения в анализе изображений 3D CT». Технология SLAS . 27 (1): 76–84. doi : 10.1016/j.slast.2021.10.014 . ISSN  2472-6303. PMID  35058205.
12. Йе, Энь Чжоу; Йе, Энь Хуэй; Бутилье, Максим; Йе, Рунь Чжоу (18 февраля 2022 г.). «DeepImageTranslator V2: анализ мультимодальных медицинских изображений с использованием карт семантической сегментации, созданных с помощью глубокого обучения». bioRxiv 10.1101/2021.10.12.464160v2 . doi :10.1101/2021.10.12.464160. S2CID  239012446.  {{cite journal}}: Цитировать журнал требует |journal=( помощь )
13. Камалаканнан, Шридхаран; Гурураджан, Арункумар; Сари-Сарраф, Хамед; Родни, Лонг; Антани, Самир (17 февраля 2010 г.). «Обнаружение двух кромок рентгенографических изображений поясничных позвонков с использованием герметичных открытых змей DGVF». Труды IEEE по биомедицинской инженерии . 57 (6): 1325–1334. doi :10.1109/tbme.2010.2040082. PMID  20172792. S2CID  12766600.
14. Георгеску, Мариана-Юлиана; Ионеску, Раду Тудор; Мирон, Андреа-Юлиана (21 декабря 2022 г.). «Ансамбль содействия разнообразию для сегментации медицинских изображений». arXiv : 2210.12388 [eess.IV].
15. JA Delmerico, P. David и JJ Corso (2011): «Обнаружение фасада здания, сегментация и оценка параметров для локализации и наведения мобильного робота», Международная конференция по интеллектуальным роботам и системам, стр. 1632–1639.
16. Liu, Ziyi; Wang, Le; Hua, Gang; Zhang, Qilin; Niu, Zhenxing; Wu, Ying; Zheng, Nanning (2018). "Совместное обнаружение и сегментация видеообъектов с помощью связанных динамических марковских сетей" (PDF) . IEEE Transactions on Image Processing . 27 (12): 5840–5853. Bibcode :2018ITIP...27.5840L. doi : 10.1109/tip.2018.2859622 . ISSN  1057-7149. PMID  30059300. S2CID  51867241.
17. Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (22 мая 2018 г.). "Segment-Tube: пространственно-временная локализация действия в необрезанных видео с покадровой сегментацией" (PDF) . Датчики . 18 (5): 1657. Bibcode :2018Senso..18.1657W. doi : 10.3390/s18051657 . ISSN  1424-8220. PMC 5982167 . PMID  29789447. 
18. Го, Дачжоу; Пэй, Яньтин; Чжэн, Кан; Ю, Хункай; Лу, Юйхан; Ван, Сун (2020). «Семантическая сегментация деградированных изображений с помощью сетей плотных грамм». Труды IEEE по обработке изображений . 29 : 782–795. Bibcode : 2020ITIP...29..782G. doi : 10.1109/TIP.2019.2936111 . ISSN  1057-7149. PMID  31449020. S2CID  201753511.
19. Yi, Jingru; Wu, Pengxiang; Jiang, Menglin; Huang, Qiaoying; Hoeppner, Daniel J.; Metaxas, Dimitris N. (июль 2019 г.). «Внимательная сегментация нейронных клеток». Анализ медицинских изображений . 55 : 228–240. doi : 10.1016/j.media.2019.05.004 . PMID  31103790. S2CID  159038604.
20. Александр Кириллов; Кайминг Хе; Росс Гиршик; Карстен Ротер; Петр Доллар (2018). «Паноптическая сегментация». arXiv : 1801.00868 [cs.CV].
21. Батенбург, К. Дж.; Сайберс, Дж. (2009). «Адаптивное пороговое значение томограмм путем минимизации расстояния проекции». Распознавание образов . 42 (10): 2297–2305. Bibcode :2009PatRe..42.2297B. CiteSeerX 10.1.1.182.8483 . doi :10.1016/j.patcog.2008.11.027. 
22. Batenburg, K J.; Sijbers, J. (июнь 2009 г.). «Оптимальный выбор порога для сегментации томограммы путем минимизации проекционного расстояния». IEEE Transactions on Medical Imaging . 28 (5): 676–686. doi :10.1109/tmi.2008.2010437. PMID  19272989. S2CID  10994501. Архивировано из оригинала (PDF) 3 мая 2013 г. Получено 31 июля 2012 г.
23. Кашанипур, А.; Милани, Н; Кашанипур, А.; Эграри, Х. (май 2008 г.). «Надежная классификация цветов с использованием оптимизации роя частиц на основе нечетких правил». Конгресс 2008 г. по обработке изображений и сигналов . Том 2. Конгресс IEEE по обработке изображений и сигналов. стр. 110–114. doi :10.1109/CISP.2008.770. ISBN 978-0-7695-3119-9. S2CID  8422475.
24. Баргхаут, Лорен; Шейнин, Джейкоб (2013). «Восприятие реальной сцены и перцептивная организация: уроки компьютерного зрения». Журнал Vision . 13 (9): 709. doi : 10.1167/13.9.709 .
25. Хоссейн Мобахи; Шанкар Рао; Аллен Янг; Шанкар Шастри; Йи Ма. (2011). «Сегментация естественных изображений с помощью текстуры и сжатия границ» (PDF) . International Journal of Computer Vision . 95 : 86–98. arXiv : 1006.3679 . CiteSeerX 10.1.1.180.3579 . doi :10.1007/s11263-011-0444-0. S2CID  11070572. Архивировано из оригинала (PDF) 8 августа 2017 г. . Получено 8 мая 2011 г. . 
26. Шанкар Рао, Хоссейн Мобахи, Аллен Янг, Шанкар Шастри и Йи Ма Естественная сегментация изображений с адаптивной текстурой и граничным кодированием Архивировано 19 мая 2016 г. в Wayback Machine , Труды Азиатской конференции по компьютерному зрению (ACCV) 2009 г., Х. Чжа, Р.-И. Танигучи и С. Мейбанк (редакторы), часть I, LNCS 5994, стр. 135–146, Springer.
27. Оландер, Рон; Прайс, Кит; Редди, Д. Радж (1978). «Сегментация изображения с использованием метода рекурсивного разделения областей». Компьютерная графика и обработка изображений . 8 (3): 313–333. doi :10.1016/0146-664X(78)90060-6.
28. Р. Киммел и А. М. Брукштейн. https://www.cs.technion.ac.il/~ron/PAPERS/Paragios_chapter2003.pdf, Международный журнал компьютерного зрения 2003; 53(3):225–243.
29. Р. Киммел, https://www.cs.technion.ac.il/~ron/PAPERS/laplacian_ijcv2003.pdf, глава в книге «Геометрические методы набора уровней в визуализации, зрении и графике» (редакторы С. Ошер, Н. Парагиос), Springer Verlag, 2003. ISBN 0387954880 
30. Баргхаут, Лорен. Визуальный таксометрический подход к сегментации изображений с использованием нечетко-пространственного таксонного разреза дает контекстуально релевантные регионы. Коммуникации в области компьютерных и информационных наук (CCIS). Springer-Verlag. 2014
31. Витольд Педрич (редактор), Анджей Сковрон (соредактор), Владик Крейнович (соредактор). Справочник по гранулярным вычислениям. Уайли 2008 г.
32. Barghout, Lauren (2014). Vision. Global Conceptual Context Changes Local Contrast Processing (Ph.D. Dissertation 2003). Обновлено для включения Computer Vision Techniques. Scholars' Press. ISBN 978-3-639-70962-9 . 
33. Баргхаут, Лорен и Лоуренс Ли. «Система обработки перцептивной информации». Патенты Google
34. Линдеберг, Т.; Ли, М.-Х. (1997). «Сегментация и классификация краев с использованием аппроксимации минимальной длины описания и дополнительных сигналов соединения». Computer Vision and Image Understanding . 67 (1): 88–98. doi :10.1006/cviu.1996.0510.
35. Цифровая обработка изображений (2007, Pearson) Рафаэль К. Гонсалес, Ричард Э. Вудс
36. Цифровая обработка изображений (2007, Pearson) Рафаэль К. Гонсалес, Ричард Э. Вудс
37. [1] Архивировано 13 октября 2017 г. в Wayback Machine Шелия Губерман , Вадим В. Максимов, Алекс Пашинцев Гештальт и понимание образов. ТЕОРИЯ ГЕШТАЛЬТА 2012, том 34, № 2, стр. 143–166.
38. Р. Нок и Ф. Нильсен, Статистическое слияние регионов ^{[ нерабочая ссылка ]} , Труды IEEE по анализу шаблонов и машинному интеллекту, том 26, № 11, стр. 1452–1458, 2004.
39. L. Chen, HD Cheng и J. Zhang, Нечеткое субволокно и его применение для классификации сейсмической литологии, Information Sciences: Applications, Vol 1, No 2, pp 77–95, 1994.
40. SL Horowitz и T. Pavlidis, Сегментация изображений с помощью процедуры направленного разделения и слияния, Proc. ICPR, 1974, Дания, стр. 424–433.
41. SL Horowitz и T. Pavlidis, Сегментация изображений с помощью алгоритма обхода дерева, Журнал ACM, 23 (1976), стр. 368–388.
42. Л. Чен, Лямбда-связанная сегментация и оптимальный алгоритм для сегментации разделения и слияния Архивировано 10 марта 2016 г. в Wayback Machine , Chinese J. Computers, 14(1991), стр. 321–331
43. Касельес, В.; Киммел, Р.; Сапиро, Г. (1997). «Геодезические активные контуры» (PDF) . Международный журнал компьютерного зрения . 22 (1): 61–79. дои : 10.1023/А: 1007979827043. S2CID  406088.
44. Дервье, А. и Томассет, Ф. 1979. Метод конечных элементов для моделирования неустойчивости Рэлея-Тейлора. Springer Lect. Notes in Math., 771:145–158.
45. Дервье, А. и Томассет, Ф. 1981. Многожидкостные несжимаемые течения методом конечных элементов. Конспект лекций по физике, 11:158–163.
46. Ошер, Стэнли; Сетиан, Джеймс А. (1988). «Фронты, распространяющиеся со скоростью, зависящей от кривизны: алгоритмы, основанные на формулировках Гамильтона-Якоби». Журнал вычислительной физики . 79 (1): 12–49. Bibcode :1988JCoPh..79...12O. CiteSeerX 10.1.1.46.1266 . doi :10.1016/0021-9991(88)90002-2. ISSN  0021-9991. 
47. С. Ошер и Н. Парагиос. Геометрические методы уровней в визуализации зрения и графике, Springer Verlag, ISBN 0-387-95488-0 , 2003. 
48. Джеймс А. Сетиан. "Сегментация в медицинской визуализации" . Получено 15 января 2012 г.
49. Форкадель, Николя; Ле Гайадер, Кэрол; Гут, Кристиан (июль 2008 г.), «Обобщенный метод быстрого марширования: применение к сегментации изображений», Численные алгоритмы , 48 (1–3): 189–211, doi :10.1007/s11075-008-9183-x, S2CID  7467344
50. Чан, ТФ; Весе, Л. (2001). «Активные контуры без краев». Труды IEEE по обработке изображений . 10 (2): 266–277. Bibcode : 2001ITIP...10..266C. doi : 10.1109/83.902291. PMID  18249617. S2CID  7602622.
51. Дэвид Мамфорд и Джайант Шах (1989): Оптимальные аппроксимации кусочно-гладкими функциями и связанные с ними вариационные задачи, Сообщения по чистой и прикладной математике , стр. 577–685, т. 42, № 5
52. Цзяньбо Ши и Джитендра Малик (2000): «Нормализованные разрезы и сегментация изображений», Труды IEEE по анализу образов и машинному интеллекту , стр. 888–905, том 22, № 8
53. Лео Грейди (2006): «Случайные блуждания для сегментации изображений», Труды IEEE по анализу образов и машинному интеллекту , стр. 1768–1783, том 28, № 11
54. Z. Wu и R. Leahy (1993): «Оптимальный подход к кластеризации данных на основе теории графов: теория и ее применение к сегментации изображений» ^{[ постоянная неработающая ссылка ]} , IEEE Transactions on Pattern Analysis and Machine Intelligence , стр. 1101–1113, том 15, № 11
55. Лео Грейди и Эрик Л. Шварц (2006): «Изопериметрическое разбиение графа для сегментации изображений». Архивировано 19 июля 2011 г. в Wayback Machine , IEEE Transactions on Pattern Analysis and Machine Intelligence , стр. 469–475, том 28, № 3.
56. CT Zahn (1971): «Методы теории графов для обнаружения и описания гештальт-кластеров», IEEE Transactions on Computers , стр. 68–86, том 20, № 1
57. S. Geman и D. Geman (1984): «Стохастическая релаксация, распределения Гиббса и байесовское восстановление изображений», IEEE Transactions on Pattern Analysis and Machine Intelligence, стр. 721–741, т. 6, № 6.
58. А. Боуман и М. Шапиро (2002): «Многомасштабная модель случайного поля для байесовской сегментации изображений», IEEE Transactions on Image Processing, стр. 162–177, том 3.
59. J. Liu и YH Yang (1994): «Сегментация цветных изображений с несколькими разрешениями», Труды IEEE по анализу образов и машинному интеллекту, стр. 689–700, том 16.
60. S. Vicente, V. Kolmogorov и C. Rother (2008): «Сегментация изображений на основе разреза графа с априорными связями», CVPR
61. Corso, Z. Tu и A. Yuille (2008): «Маркировка MRF с помощью алгоритма сдвигов графов», Труды международного семинара по комбинаторному анализу изображений
62. BJ Frey и D. MacKayan (1997): «Революция: распространение убеждений в графах с циклами», Труды Neural Information Processing Systems (NIPS)
63. Staib, LH; Duncan, JS (1992). «Поиск границ с помощью параметрически деформируемых моделей». Труды IEEE по анализу шаблонов и машинному интеллекту . 14 (11): 1061–1075. doi :10.1109/34.166621. ISSN  0162-8828.
64. Виткин, А.П. «Фильтрация в масштабном пространстве», Труды 8-й Международной конференции по искусству и интеллигенции, Карлсруэ, Германия, 1019–1022, 1983.
65. А. Уиткин, «Фильтрация в масштабном пространстве: новый подход к многомасштабному описанию», в Трудах Международной конференции IEEE по акустике, речи и обработке сигналов ( ICASSP ), т. 9, Сан-Диего, Калифорния, март 1984 г., стр. 150–153.
66. Кендеринк, Ян «Структура изображений», Биологическая кибернетика, 50:363–370, 1984
67. Лифшиц, Л. и Пайзер, С.: Многоуровневый иерархический подход к сегментации изображений на основе экстремумов интенсивности, IEEE Transactions on Pattern Analysis and Machine Intelligence, 12:6, 529–540, 1990.
68. Линдеберг, Т.: Обнаружение заметных пятнообразных структур изображения и их масштабов с помощью первичного эскиза масштабного пространства: метод фокусировки внимания, Международный журнал компьютерного зрения, 11(3), 283–318, 1993.
69. Линдеберг, Тони, Теория масштабного пространства в компьютерном зрении, Kluwer Academic Publishers, 1994, ISBN 0-7923-9418-6 
70. Гаух, Дж. и Пайзер, С.: Многоуровневый анализ хребтов и впадин на серых изображениях, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15:6 (июнь 1993 г.), страницы: 635–646, 1993.
71. Олсен, О. и Нильсен, М.: Многомасштабная градиентная величина сегментации водораздела, Труды ICIAP 97, Флоренция, Италия, Конспект лекций по информатике, страницы 6–13. Springer Verlag, сентябрь 1997 г.
72. Дам, Э., Йохансен, П., Олсен, О. Томсен, А. Дарванн, Т., Добженек, А., Херманн, Н., Китаи, Н., Крейборг, С., Ларсен, П., Нильсен, М.: «Интерактивная многомасштабная сегментация в клиническом использовании» на Европейском конгрессе радиологии 2000 г.
73. Винкен, К. Л.; Костер, А. С. Э.; Виргевер, М. А. (1997). «Вероятностная многомасштабная сегментация изображений». Труды IEEE по анализу образов и машинному интеллекту . 19 (2): 109–120. doi :10.1109/34.574787.
74. М. Табб и Н. Ахуджа, Неконтролируемая многомасштабная сегментация изображений с помощью интегрированного обнаружения границ и областей, IEEE Transactions on Image Processing, том 6, № 5, стр. 642–655, 1997. Архивировано 20 июля 2011 г. на Wayback Machine.
75. Акбас, Эмре; Ахуджа, Нарендра (2010). «От разрывов наклонных плоскостей к дереву сегментации». Computer Vision – ACCV 2009. Lecture Notes in Computer Science. Vol. 5994. pp. 123–134. doi :10.1007/978-3-642-12307-8_12. ISBN 978-3-642-12306-1.
76. C. Undeman и T. Lindeberg (2003) «Полностью автоматическая сегментация изображений МРТ мозга с использованием вероятностной анизотропной диффузии и многомасштабных водоразделов», Proc. Scale-Space'03, остров Скай, Шотландия, Springer Lecture Notes in Computer Science, том 2695, страницы 641–656.
77. Флорак, Л. и Кёйпер, А.: Топологическая структура изображений в масштабном пространстве, Журнал математической визуализации и зрения, 12:1, 65–79, 2000.
78. Бижауи, А.; Рю, Ф. (1995). «Мультимасштабная модель видения». Обработка сигналов . 46 (3): 345. дои : 10.1016/0165-1684(95)00093-4.
79. Barghout, Lauren. Visual Taxometric Approach to Image Segmentation using Fuzzy-Spatial Taxon Cut Yields Contextually Relevant Regions. IPMU 2014, Часть II. A. Laurent et al (ред.) CCIS 443, стр. 163–173. Springer International Publishing Switzerland
80. Barghout, Lauren (2014). Vision: How Global Perceptual Context Changes Local Contrast Processing (Ph.D. Dissertation 2003). Обновлено для включения Computer Vision Techniques. Scholars Press. ISBN 978-3-639-70962-9.
81. Махинда Патегама и О Гёль (2004): «Извлечение пикселей на краю для сегментации изображений на основе краев», Труды по инжинирингу, вычислениям и технологиям, т. 2, стр. 213–216, ISSN 1305-5313
82. Джонсон, Джон Л. (сентябрь 1994 г.). «Импульсно-связанные нейронные сети: трансляция, вращение, масштаб, искажение и инвариантность интенсивности сигнала для изображений». Прикладная оптика . 33 (26). OSA: 6239–6253. Bibcode : 1994ApOpt..33.6239J. doi : 10.1364/AO.33.006239. PMID  20936043.
83. Роннебергер, Олаф; Фишер, Филипп; Брокс, Томас (2015). «U-Net: сверточные сети для сегментации биомедицинских изображений». arXiv : 1505.04597 [cs.CV].
84. Висенте, Сара; Ротер, Карстен; Колмогоров, Владимир (2011). «Косегментация объектов». ЦВПР 2011 . IEEE. стр. 2217–2224. дои : 10.1109/cvpr.2011.5995530. ISBN 978-1-4577-0394-2.
85. Сайгин, З.М., Ошер, Д.Е., Аугустинак, Дж., Фишль, Б. и Габриэли, Дж.Д.Е.: Сегментация ядер миндалевидного тела человека на основе связей с использованием вероятностной трактографии. , Neuroimage, 56:3, стр. 1353–61, 2011.
86. Менке, РА, Джбабди, С, Миллер, КЛ, Мэтьюз, ПМ и Зарей, М.: Сегментация черной субстанции человека на основе связей и ее значение при болезни Паркинсона, Neuroimage, 52:4, стр. 1175–80, 2010.]

Ссылки

• Сегментация изображений на основе 3D-энтропии
• Фруччи, Мария; Саннити ди Баха, Габриэлла (2008). «От сегментации к бинаризации изображений в оттенках серого». Журнал исследований распознавания образов . 3 (1): 1–13. doi :10.13176/11.54.

Внешние ссылки

• Пример кода, выполняющего базовую сегментацию, автор Сайед Зайнудин. Технологический университет Малайзии.
• Обобщенный метод быстрого марширования Форкаделя и др. [2008] для приложений сегментации изображений.
• Группа по исследованию обработки изображений. Архивировано 28 декабря 2020 г. на Wayback Machine. Открытое онлайн-сообщество по исследованию обработки изображений.
• Методы сегментации в обработке и анализе изображений и минимизация энергии для сегментации изображений от Mathworks
• Больше методов сегментации изображений с подробными алгоритмами Архивировано 1 ноября 2019 г. на Wayback Machine Юй-Сян Вангом (王昱翔), Национальный университет Тайваня, Тайбэй, Тайвань, Китайская Республика
• Онлайн-демонстрация кусочно-линейной сегментации изображений от IPOL Journal