Сегментация изображений

Разделение цифрового изображения на сегменты

Модель сегментированной левой бедренной кости человека . На нем показана внешняя поверхность (красный), поверхность между компактной и губчатой ​​костью (зеленый) и поверхность костного мозга (синий).

В цифровой обработке изображений и компьютерном зрении сегментация изображения — это процесс разделения цифрового изображения на несколько сегментов изображения , также известных как области изображения или объекты изображения ( наборы пикселей ). Цель сегментации — упростить и/или изменить представление изображения на нечто более значимое и более простое для анализа. ^{[1] [2]} Сегментация изображения обычно используется для обнаружения объектов и границ (линий, кривых и т. д.) на изображениях. Точнее, сегментация изображения — это процесс присвоения метки каждому пикселю изображения таким образом, чтобы пиксели с одинаковой меткой имели определенные характеристики.

Результатом сегментации изображения является набор сегментов, которые в совокупности покрывают все изображение, или набор контуров , извлеченных из изображения (см. Обнаружение краев ). Каждый из пикселей в области аналогичен некоторой характеристике или вычисленному свойству, ^[3] например цвету , интенсивности или текстуре . Соседние регионы значительно различаются по цвету по одной и той же характеристике. ^[1] При применении к стопке изображений, что типично для медицинской визуализации , полученные контуры после сегментации изображения можно использовать для создания 3D-реконструкций с помощью алгоритмов реконструкции геометрии, таких как марширующие кубы . ^[4]

Приложения

Объемная сегментация трехмерной компьютерной томографии грудной клетки : Передняя грудная стенка, дыхательные пути и легочные сосуды перед корнем легкого были удалены цифровым способом, чтобы визуализировать содержимое грудной клетки:
– синий : легочные артерии
– красный : легочные вены (а также брюшная стенка )
– желтые : средостение
– фиолетовые : диафрагма

Некоторые из практических применений сегментации изображений:

• Поиск изображений на основе контента ^[5]
• Машинное зрение
• Медицинская визуализация , ^{[6] [7]} и исследования изображений в биомедицинских исследованиях, включая объемные изображения, полученные при компьютерной томографии , магнитно-резонансной томографии , а также методы объемной электронной микроскопии, такие как FIB-SEM. ^[8]
  • Обнаружение опухолей и других патологий ^{[9] [10]}
  • Измерение объемов тканей ^{[11] [12]}
  • Диагностика, исследование анатомического строения ^[13]
  • Планирование операции
  • Симуляция виртуальной хирургии
  • Внутриоперационная навигация
  • Лучевая терапия ^[14]
• Обнаружение объектов ^[15]
  • Обнаружение пешеходов
  • Распознавание лиц
  • Обнаружение стоп-сигнала
  • Находите объекты на спутниковых снимках (дороги, леса, посевы и т. д.)
• Задачи распознавания
  • Распознавание лица
  • Распознавание отпечатков пальцев
  • Ирис признание
  • Запрещенный предмет на контрольно-пропускных пунктах аэропорта
• Системы управления дорожным движением
• Видеонаблюдение
• Сегментация видеообъектов и локализация действий ^{[16] [17]}

Для сегментации изображений было разработано несколько алгоритмов и методов общего назначения . Чтобы быть полезными, эти методы обычно должны сочетаться со специфическими знаниями предметной области, чтобы эффективно решать проблемы сегментации предметной области.

Классы методов сегментации

Существует два класса методов сегментации.

• Классические подходы компьютерного зрения
• Методы на основе искусственного интеллекта

Группы сегментации изображений

• Семантическая сегментация — это подход, позволяющий определить для каждого пикселя принадлежащий ему класс. ^[18] Например, на рисунке со многими людьми все пиксели, принадлежащие людям, будут иметь один и тот же идентификатор класса, а пиксели на заднем плане будут классифицироваться как фон.
• Сегментация экземпляров — это подход, который идентифицирует для каждого пикселя конкретный экземпляр объекта. Он обнаруживает каждый отдельный интересующий объект на изображении. ^[19] Например, когда каждый человек на рисунке сегментирован как отдельный объект.
• Паноптическая сегментация сочетает в себе как семантическую, так и экземплярную сегментацию. Как и семантическая сегментация, паноптическая сегментация — это подход, который определяет для каждого пикселя принадлежащий ему класс. Более того, как и при сегментации экземпляров, паноптическая сегментация различает разные экземпляры одного и того же класса. ^[20]

Пороговое значение

Самый простой метод сегментации изображений называется методом пороговой обработки . Этот метод основан на уровне ограничения (или пороговом значении) для преобразования изображения в оттенках серого в двоичное изображение.

Ключевым моментом этого метода является выбор порогового значения (или значений, если выбрано несколько уровней). В промышленности используются несколько популярных методов, включая метод максимальной энтропии, пороговое определение сбалансированной гистограммы , метод Оцу (максимальной дисперсии) и кластеризацию k-средних .

Недавно были разработаны методы пороговой обработки изображений компьютерной томографии (КТ). Основная идея заключается в том, что, в отличие от метода Оцу, пороговые значения определяются на основе рентгенограмм, а не (реконструированного) изображения. ^{[21] [22]}

Новые методы предложили использовать многомерные нечеткие правила, основанные на нелинейных порогах. В этих работах решение о принадлежности каждого пикселя к сегменту основано на многомерных правилах, полученных на основе нечеткой логики, и эволюционных алгоритмах, основанных на среде освещения изображения и его применении. ^[23]

Методы кластеризации

Алгоритм K-средних — это итеративный метод, который используется для разделения изображения на K- кластеры. ^[24] Основной алгоритм :

1. Выберите K- центры кластеров случайным образом или на основе какого-либо эвристического метода, например K-means++.
2. Назначьте каждый пиксель изображения кластеру, который минимизирует расстояние между пикселем и центром кластера.
3. Повторно вычислите центры кластеров, усреднив все пиксели в кластере.
4. Повторяйте шаги 2 и 3 до тех пор, пока не будет достигнута сходимость (т. е. пиксели не изменят кластеры).

В данном случае расстояние — это квадрат или абсолютная разница между пикселем и центром кластера. Разница обычно зависит от цвета пикселя , интенсивности , текстуры и местоположения или взвешенной комбинации этих факторов. K можно выбрать вручную, случайным образом или с помощью эвристики . Этот алгоритм гарантированно сходится, но может не вернуть оптимальное решение. Качество решения зависит от исходного набора кластеров и значения K.

Алгоритм среднего сдвига — это метод, который используется для разделения изображения на неизвестное априорное количество кластеров. Преимущество этого подхода состоит в том, что ему не нужно начинать с первоначального предположения такого параметра, что делает его лучшим общим решением для более разнообразных случаев.

Движение и интерактивная сегментация

Сегментация на основе движения — это метод, который использует движение изображения для выполнения сегментации.

Идея проста: посмотрите на различия между парой изображений. Если предположить, что интересующий объект движется, разница будет именно в этом объекте.

Развивая эту идею, Kenney et al. предложил интерактивную сегментацию [2]. Они используют робота, который тыкает объекты, чтобы сгенерировать сигнал движения, необходимый для сегментации на основе движения.

Интерактивная сегментация следует концепции интерактивного восприятия, предложенной Дов Кацем [3] и Оливером Броком [4].

Другой метод, основанный на движении, — это сегментация жесткого движения .

Методы на основе сжатия

Методы, основанные на сжатии, постулируют, что оптимальная сегментация — это та, которая минимизирует по всем возможным сегментациям длину кодирования данных. ^{[25] [26]} Связь между этими двумя концепциями заключается в том, что сегментация пытается найти закономерности в изображении, и любая закономерность в изображении может быть использована для его сжатия. Метод описывает каждый сегмент по его текстуре и форме границ. Каждый из этих компонентов моделируется функцией распределения вероятностей, а длина его кодирования вычисляется следующим образом:

1. Кодирование границ использует тот факт, что области естественных изображений имеют тенденцию иметь гладкий контур. Этот априор используется кодированием Хаффмана для кодирования кода разностной цепи контуров изображения. Таким образом, чем более гладкая граница, тем меньшей длины кодирования она достигает.
2. Текстура кодируется методом сжатия с потерями аналогично принципу минимальной длины описания (MDL), но здесь длина данных модели аппроксимируется количеством выборок, умноженным на энтропию модели. Текстура в каждой области моделируется многомерным нормальным распределением , энтропия которого имеет выражение в замкнутой форме. Интересным свойством этой модели является то, что предполагаемая энтропия ограничивает истинную энтропию данных, полученных сверху. Это связано с тем, что среди всех распределений с заданным средним значением и ковариацией нормальное распределение имеет наибольшую энтропию. Таким образом, истинная длина кодирования не может быть больше той, которую алгоритм пытается минимизировать.

Для любой заданной сегментации изображения эта схема дает количество битов, необходимое для кодирования этого изображения, на основе данной сегментации. Таким образом, среди всех возможных сегментаций изображения цель состоит в том, чтобы найти сегментацию, которая обеспечивает наименьшую длину кодирования. Этого можно достичь с помощью простого метода агломеративной кластеризации. Искажение при сжатии с потерями определяет грубость сегментации, и ее оптимальное значение может отличаться для каждого изображения. Этот параметр можно оценить эвристически по контрасту текстур изображения. Например, если текстуры в изображении схожи, например, в камуфляжных изображениях, требуется более высокая чувствительность и, следовательно, более низкое квантование.

Методы на основе гистограмм

Методы на основе гистограмм очень эффективны по сравнению с другими методами сегментации изображений, поскольку обычно требуют только одного прохода по пикселям . В этом методе гистограмма вычисляется на основе всех пикселей изображения, а пики и впадины гистограммы используются для определения местоположения кластеров на изображении. ^[1] В качестве меры можно использовать цвет или интенсивность .

Усовершенствование этого метода заключается в рекурсивном применении метода поиска по гистограмме к кластерам изображения, чтобы разделить их на более мелкие кластеры. Эту операцию повторяют с меньшими и меньшими кластерами, пока кластеры не перестанут образовываться. ^{[1] [27]}

Одним из недостатков метода поиска по гистограмме является то, что может быть сложно идентифицировать значительные пики и впадины на изображении.

Подходы на основе гистограмм также можно быстро адаптировать для применения к нескольким кадрам, сохраняя при этом эффективность за один проход. Гистограмму можно построить несколькими способами, если рассматривается несколько кадров. Тот же подход, который применяется к одному кадру, можно применить к нескольким, и после объединения результатов пики и впадины, которые раньше было трудно идентифицировать, с большей вероятностью будут различимы. Гистограмму также можно применять для каждого пикселя, где полученная информация используется для определения наиболее частого цвета для местоположения пикселя. Этот подход сегментирует на основе активных объектов и статической среды, в результате чего получается другой тип сегментации, полезный при отслеживании видео .

Обнаружение края

Обнаружение краев — это отдельная хорошо развитая область обработки изображений. Границы и края регионов тесно связаны, поскольку на границах региона часто происходит резкая регулировка интенсивности. Поэтому методы обнаружения границ были использованы в качестве основы для другого метода сегментации.

Края, идентифицированные при обнаружении краев, часто не связаны. Однако, чтобы сегментировать объект из изображения, необходимы границы замкнутой области. Желаемые края — это границы между такими объектами или пространственными таксонами. ^{[28] [29]}

Пространственные таксоны ^[30] представляют собой информационные гранулы, ^[31] состоящие из четкой пиксельной области, расположенной на уровнях абстракции внутри иерархической вложенной архитектуры сцены. Они подобны гештальт- психологическому обозначению фона фигуры, но расширены и включают передний план, группы объектов, объекты и заметные части объекта. Методы обнаружения краев можно применять к области пространственных таксонов так же, как они применяются к силуэту. Этот метод особенно полезен, когда отсоединенное ребро является частью иллюзорного контура ^{[32] [33]}

Методы сегментации также можно применять к краям, полученным с помощью детекторов краев. Линдеберг и Ли ^[34] разработали интегрированный метод, который сегментирует края на сегменты с прямыми и изогнутыми краями для распознавания объектов на основе частей, на основе критерия минимальной длины описания (M _DL ), который был оптимизирован с помощью метода разделения и слияния. с возможными точками останова, полученными из дополнительных сигналов соединения, чтобы получить более вероятные точки, в которых можно рассматривать разделения на разные сегменты.

Метод двойной кластеризации

Этот метод представляет собой сочетание трех характеристик изображения: разделение изображения на основе анализа гистограмм проверяется по высокой компактности кластеров (объектов) и высоким градиентам их границ. Для этого необходимо ввести два пространства: одно — одномерная гистограмма яркости H =  H ( B ); второе пространство — это двойственное трехмерное пространство самого исходного изображения B =  B ( x ,  y ). Первое пространство позволяет измерить, насколько компактно распределена яркость изображения, вычисляя минимальную кластеризацию kmin. Пороговая яркость T, соответствующая kmin, определяет бинарное (черно-белое) изображение – растровое изображение b =  φ ( x ,  y ), где φ ( x ,  y ) = 0, если B ( x ,  y ) <  T , и φ ( Икс ,  y ) знак равно 1, если B ( Икс ,  y ) ≥  Т . Растровое изображение b представляет собой объект в двойном пространстве. В этом растровом изображении необходимо определить меру, отражающую компактность распределенных черных (или белых) пикселей. Итак, цель — найти объекты с хорошими границами. Для всех T необходимо вычислить меру M _DC =  G /( k  ×  L ) (где k — разница в яркости между объектом и фоном, L — длина всех границ, а G — средний градиент на границах). Максимум MDC определяет сегментацию. ^[35]

Методы выращивания регионов

Методы выращивания регионов основаны главным образом на предположении, что соседние пиксели внутри одного региона имеют одинаковые значения. Обычной процедурой является сравнение одного пикселя с его соседями. Если критерий сходства удовлетворен, пиксель можно отнести к тому же кластеру, что и один или несколько его соседей. Выбор критерия сходства имеет важное значение, и во всех случаях на результаты влияет шум.

Метод статистического слияния областей ^[36] (SRM) начинается с построения графа пикселей с использованием 4-связности с ребрами, взвешенными по абсолютному значению разности интенсивностей. Первоначально каждый пиксель образует одну пиксельную область. Затем SRM сортирует эти края в очереди приоритетов и решает, следует ли объединять текущие области, принадлежащие пикселям краев, с помощью статистического предиката.

Одним из методов выращивания региона является метод выращивания засеянного региона. Этот метод принимает на вход набор семян вместе с изображением. Семена отмечают каждый из объектов, подлежащих сегментации. Области итеративно выращиваются путем сравнения всех нераспределенных соседних пикселей с регионами. Разница между значением интенсивности пикселя и средним значением региона используется как мера сходства . Пиксель с наименьшей измеренной таким образом разницей присваивается соответствующей области. Этот процесс продолжается до тех пор, пока все пиксели не будут назначены региону. Поскольку для выращивания засеянной области требуются семена в качестве дополнительных входных данных, результаты сегментации зависят от выбора семян, а шум на изображении может привести к неправильному размещению семян. ${\displaystyle \delta }$

Другой метод выращивания регионов — это метод выращивания регионов без засеивания. Это модифицированный алгоритм, не требующий явных начальных значений. Все начинается с одной области — выбранный здесь пиксель не оказывает заметного влияния на окончательную сегментацию. На каждой итерации он учитывает соседние пиксели так же, как при выращивании затравленной области. Он отличается от выращивания затравленного региона тем, что если минимум меньше заранее определенного порога, то он добавляется к соответствующему региону . Если нет, то пиксель считается отличным от всех текущих регионов и с этим пикселем создается новый регион . ${\displaystyle A_{1}}$ ${\displaystyle \delta }$ ${\displaystyle T}$ ${\displaystyle A_{j}}$ ${\displaystyle A_{i}}$ ${\displaystyle A_{n+1}}$

Один из вариантов этого метода, предложенный Хараликом и Шапиро (1985), ^[1] основан на интенсивности пикселей . Среднее значение и разброс области, а также интенсивность пикселя-кандидата используются для вычисления тестовой статистики. Если статистика теста достаточно мала, пиксель добавляется к региону, а среднее значение и разброс региона вычисляются заново. В противном случае пиксель отклоняется и используется для формирования новой области.

Специальный метод выращивания регионов называется -связной сегментацией (см. также лямбда-связность ). Он основан на интенсивности пикселей и путях, связывающих окрестности. Степень связности (связности) рассчитывается на основе пути, который формируется пикселями. При определенном значении два пикселя называются -связными, если существует путь, соединяющий эти два пикселя, и связность этого пути не ниже . -связность – это отношение эквивалентности. ^[37] ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$ ${\displaystyle \lambda }$

Сегментация разделения и слияния основана на разделении изображения в виде квадродерева . Иногда это называют сегментацией квадродерева.

Этот метод начинается с корня дерева, которое представляет все изображение. Если он оказывается неоднородным (не однородным), то он разбивается на четыре дочерних квадрата (процесс разделения) и так далее. Если, напротив, четыре дочерних квадрата однородны, они объединяются как несколько связанных компонентов (процесс слияния). Узел в дереве является сегментированным узлом. Этот процесс продолжается рекурсивно до тех пор, пока дальнейшее разделение или слияние становится невозможным. ^{[38] [39]} Когда в реализации алгоритма метода участвует специальная структура данных, ее временная сложность может достигать , оптимального алгоритма метода. ^[40] ${\displaystyle O(n\log n)}$

Методы, основанные на уравнениях в частных производных

Используя метод на основе уравнения в частных производных (УЧП) и решая уравнение УЧП с помощью числовой схемы, можно сегментировать изображение. ^[41] Распространение кривой — популярный метод в этой категории, имеющий многочисленные применения для извлечения объектов, отслеживания объектов, стереореконструкции и т. д. Основная идея состоит в том, чтобы развить исходную кривую в направлении наименьшего потенциала функции стоимости, где ее определение отражает задача, которую предстоит решить. Что касается большинства обратных задач , то минимизация функционала стоимости нетривиальна и накладывает на решение определенные ограничения на гладкость, которые в данном случае могут быть выражены как геометрические ограничения на развивающуюся кривую.

Параметрические методы

Методы Лагранжа основаны на параметризации контура в соответствии с некоторой стратегией выборки и последующей эволюции каждого элемента в соответствии с изображением и внутренними условиями. Такие методы быстры и эффективны, однако первоначальная «чисто параметрическая» формулировка (придуманная Кассом, Уиткином и Терзопулосом в 1987 году и известная как « змеи ») обычно подвергается критике за ее ограничения в отношении выбора стратегии выборки, внутренних геометрических свойств кривой, изменения топологии (разделение и слияние кривых), решение проблем в более высоких измерениях и т. д. В настоящее время разработаны эффективные «дискретизированные» формулировки для устранения этих ограничений при сохранении высокой эффективности. В обоих случаях минимизация энергии обычно проводится с использованием скорейшего градиентного спуска, при котором производные вычисляются, например, с использованием конечных разностей.

Методы установки уровня

Метод набора уровней был первоначально предложен для отслеживания движущихся интерфейсов Дервье и Томассетом ^{[42] [43]} в 1979 и 1981 годах, а затем был заново изобретен Ошером и Сетианом в 1988 году. ^[44] В последнее время он распространился на различные области визуализации. 1990-е годы. Его можно использовать для эффективного решения проблемы кривой/поверхности/и т. д. распространение неявным образом. Основная идея состоит в том, чтобы представить развивающийся контур с помощью функции со знаком, нуль которой соответствует фактическому контуру. Тогда по уравнению движения контура можно легко вывести аналогичное течение для неявной поверхности, которое при приложении к нулевому уровню будет отражать распространение контура. Метод набора уровней дает множество преимуществ: он неявный, не содержит параметров, обеспечивает прямой способ оценки геометрических свойств развивающейся структуры, позволяет изменять топологию и является внутренним. Ее можно использовать для определения структуры оптимизации, как это было предложено Чжао, Мерриманом и Ошером в 1996 году. Можно сделать вывод, что это очень удобная основа для решения многочисленных приложений компьютерного зрения и анализа медицинских изображений. ^[45] Исследования различных структур данных с набором уровней привели к очень эффективной реализации этого метода.

Методы быстрого марша

Метод быстрого марша использовался при сегментации изображений ^[46] , и эта модель была улучшена (допуская как положительные, так и отрицательные скорости распространения) в подходе, называемом обобщенным методом быстрого марша. ^[47]

Вариационные методы

Целью вариационных методов является нахождение сегментации, оптимальной по отношению к конкретному энергетическому функционалу. Функционалы состоят из термина аппроксимации данных и регуляризирующего термина. Классическим представителем является модель Поттса , определенная для изображения по формуле ${\displaystyle f}$

${\displaystyle \operatorname {argmin} _{u}\gamma \|\nabla u\|_{0}+\int (u-f)^{2}\,dx.}$

Минимизатор — это кусочно-постоянное изображение, имеющее оптимальный компромисс между квадратом расстояния L2 до данного изображения и общей длиной его набора переходов. Набор переходов определяет сегментацию. Относительный вес энергий настраивается параметром . Бинарный вариант модели Поттса, т. е. когда диапазон ограничен двумя значениями, часто называют моделью Шан- Везе . ^[48] ​​Важным обобщением является модель Мамфорда-Шаха ^[49], определяемая формулой ${\displaystyle u^{*}}$ ${\displaystyle f}$ ${\displaystyle u^{*}}$ ${\displaystyle \gamma >0}$ ${\displaystyle u}$

${\displaystyle \operatorname {argmin} _{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}\,dx+\int (u-f)^{2}\,dx.}$

Функциональное значение представляет собой сумму общей длины кривой сегментации , гладкости аппроксимации и ее расстояния до исходного изображения . Вес штрафа за плавность регулируется с помощью . Модель Поттса часто называют кусочно-постоянной моделью Мамфорда-Шаха, поскольку ее можно рассматривать как вырожденный случай . Известно, что задачи оптимизации в целом NP-сложны, но стратегии, близкие к минимизации, хорошо работают на практике. Классические алгоритмы — градуированная невыпуклость и аппроксимация Амбросио-Торторелли . ${\displaystyle K}$ ${\displaystyle u}$ ${\displaystyle f}$ ${\displaystyle \mu >0}$ ${\displaystyle \mu \to \infty }$

Методы разделения графа

Методы разделения графов являются эффективными инструментами сегментации изображений, поскольку они моделируют влияние окрестностей пикселей на заданный кластер пикселей или пиксель в предположении однородности изображений. В этих методах изображение моделируется как взвешенный неориентированный граф . Обычно пиксель или группа пикселей связаны с узлами , а веса ребер определяют (не)сходство между соседними пикселями. Затем граф (изображение) разбивается в соответствии с критерием, разработанным для моделирования «хороших» кластеров. Каждый раздел узлов (пикселей), выводимых этими алгоритмами, считается сегментом объекта на изображении; см. Категоризацию объектов на основе сегментации . Некоторыми популярными алгоритмами этой категории являются нормализованные разрезы, ^[50] случайное блуждание , ^[51] минимальный разрез, ^[52] изопериметрическое разбиение, ^[53] сегментация на основе минимального остовного дерева , ^[54] и категоризация объектов на основе сегментации .

Марковские случайные поля

Применение марковских случайных полей (MRF) для изображений было предложено в начале 1984 года Геманом и Геманом. ^[55] Их сильная математическая основа и способность обеспечивать глобальный оптимум, даже если он определен на локальных особенностях, оказались основой для новых исследований в области анализа изображений, шумоподавления и сегментации. MRF полностью характеризуются своими априорными распределениями вероятностей, маргинальными распределениями вероятностей, кликами , ограничением сглаживания, а также критерием обновления значений. Критерий сегментации изображений с использованием MRF переформулирован как поиск схемы маркировки, которая имеет максимальную вероятность для данного набора признаков. Широкие категории сегментации изображений с использованием MRF — это контролируемая и неконтролируемая сегментация.

Контролируемая сегментация изображений с использованием MRF и MAP

С точки зрения сегментации изображения, функция, которую MRF стремятся максимизировать, — это вероятность идентификации схемы маркировки при условии, что на изображении обнаружен определенный набор функций. Это переформулировка метода максимальной апостериорной оценки .

Окрестность MRF для выбранного пикселя

Общий алгоритм сегментации изображений с использованием MAP приведен ниже:

1. Определите окрестность каждого объекта (случайная величина в терминах MRF).
   Обычно сюда входят соседи 1-го или 2-го порядка.
2. Установите начальные вероятности P ( fi ₎ > для каждого признака как 0 или
3. где f _i ∈ Σ — набор, содержащий признаки, извлеченные
   для пикселя i , и определяющий начальный набор кластеров.
4. Используя данные обучения, вычислите среднее значение ( μ _{ℓ i} ) и дисперсию ( σ _{ℓ i} ) для каждой метки. Это называется статистикой классов.
5. Вычислите маргинальное распределение для данной схемы маркировки P ( f _i  |  ℓ _i ) с помощью теоремы Байеса и статистики классов, рассчитанной ранее. Для предельного распределения используется модель Гаусса.

   ${\displaystyle {\frac {1}{\sigma (\ell _{i}){\sqrt {2\pi }}}}e^{-(f_{i}-\mu (\ell _{i}))^{2}/(2\sigma (\ell _{i})^{2})}\,d\ell _{i}}$

6. Вычислите вероятность каждой метки класса с учетом окрестности, определенной ранее.
   Потенциал клики используется для моделирования социального воздействия при навешивании ярлыков.
7. Выполните итерацию по новым априорным вероятностям и переопределите кластеры так, чтобы эти вероятности были максимальными.
   Это делается с помощью различных алгоритмов оптимизации, описанных ниже.
8. Остановитесь, когда вероятность максимизируется и схема маркировки не изменится.
   Расчеты также могут быть реализованы в терминах логарифмического правдоподобия .

Алгоритмы оптимизации

Каждый алгоритм оптимизации представляет собой адаптацию моделей из различных областей и отличается своими уникальными функциями стоимости. Общей чертой функций стоимости является штраф за изменение значения пикселя, а также за разницу в метке пикселя по сравнению с метками соседних пикселей.

Итерированные условные режимы/градиентный спуск

Алгоритм итерированных условных режимов (ICM) пытается восстановить идеальную схему маркировки, изменяя значения каждого пикселя на каждой итерации и оценивая энергию новой схемы маркировки, используя функцию стоимости, приведенную ниже:

${\displaystyle \alpha (1-\delta (\ell _{i}-\ell _{{\text{initial }}i})+\beta \Sigma _{q\in N(i)}(1-\delta (\ell _{i},\ell _{q(i)})).}$

где α — штраф за изменение метки пикселя, а β — штраф за разницу в метке между соседними пикселями и выбранным пикселем. Здесь окрестность пикселя i, а δ — дельта-функция Кронекера. Основная проблема ICM заключается в том, что, как и в случае с градиентным спуском, он имеет тенденцию останавливаться на локальных максимумах и, таким образом, не позволяет получить глобально оптимальную схему разметки. ${\displaystyle N(i)}$

Имитированный отжиг (SA)

Созданный как аналог отжига в металлургии, имитационный отжиг (SA) использует изменение метки пикселя в течение итераций и оценивает разницу в энергии каждого вновь сформированного графа с исходными данными. Если вновь сформированный график более выгоден с точки зрения низких затрат энергии, определяемый формулой:

${\displaystyle \Delta U=U^{\text{new}}-U^{\text{old}}}$

${\displaystyle \ell _{i}={\begin{cases}\ell _{i}^{\text{new}},&{\text{if }}\Delta U\leq 0,\\\ell _{i}^{\text{new}},&{\text{if }}\Delta U>0{\text{ and }}\delta <e^{-\Delta U/T},\ell _{i}^{\text{old}}\end{cases}}}$

алгоритм выбирает вновь сформированный граф. Имитация отжига требует ввода температурных графиков, которые напрямую влияют на скорость сходимости системы, а также на энергетический порог для минимизации.

Альтернативные алгоритмы

Существует ряд других методов для решения как простых, так и MRF более высокого порядка. Они включают в себя максимизацию задней границы, многомасштабную оценку MAP, ^[56] сегментацию с множественным разрешением ^[57] и многое другое. Помимо оценок правдоподобия, для решения MRF существуют методы разрезания графа с использованием максимального потока ^[58] и другие методы, основанные на графах с сильными ограничениями ^{[59] [60] .}

Сегментация изображения с использованием MRF и максимизации ожидания

Алгоритм максимизации ожидания используется для итеративной оценки апостериорных вероятностей и распределений маркировки, когда данные обучения недоступны и оценка модели сегментации не может быть сформирована. Общий подход состоит в том, чтобы использовать гистограммы для представления характеристик изображения и действовать, как кратко описано в этом трехэтапном алгоритме:

1. Используется случайная оценка параметров модели.

2. Шаг E: Оцените статистику класса на основе определенной модели случайной сегментации. Используя их, вычислите условную вероятность принадлежности к метке, учитывая, что набор функций рассчитывается с использованием наивной теоремы Байеса .

${\displaystyle P(\lambda \mid f_{i})={\frac {P(f_{i}\mid \lambda )P(\lambda )}{\Sigma _{\lambda \in \Lambda }P(f_{i}\mid \lambda )P(\lambda )}}}$

Здесь набор всех возможных меток. ${\displaystyle \lambda \in \Lambda }$

3. Шаг M: установленная релевантность данного набора функций схеме маркировки теперь используется для вычисления априорной оценки данной метки во второй части алгоритма. Поскольку фактическое количество меток неизвестно (из набора обучающих данных), в вычислениях используется скрытая оценка количества меток, заданная пользователем.

${\displaystyle P(\lambda )={\frac {\Sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i})}{|\Omega |}}}$

где – набор всех возможных признаков. ${\displaystyle \Omega }$

Сегментация цветного изображения с использованием модели HMRF-EM

Недостатки сегментации изображений на основе MAP и EM

1. Точные оценки MAP нелегко вычислить.
2. Расчет приблизительных оценок MAP требует больших вычислительных затрат.
3. Расширение маркировки нескольких классов снижает производительность и увеличивает требуемый объем памяти.
4. Для достижения глобального оптимума необходима надежная оценка параметров ЭМ.
5. На основе метода оптимизации сегментация может группироваться до локальных минимумов.

Преобразование водораздела

Преобразование водораздела рассматривает величину градиента изображения как топографическую поверхность. Пиксели, имеющие самую высокую интенсивность градиента (GMI), соответствуют линиям водораздела, которые представляют границы региона. Вода, помещенная в любой пиксель, окруженный общей линией водораздела, стекает вниз к общему локальному минимуму интенсивности (LIM). Пиксели, сходящиеся к общему минимуму, образуют водосборник, который представляет собой сегмент.

Сегментация на основе модели

Центральное предположение подходов, основанных на моделях, заключается в том, что интересующие структуры имеют тенденцию к определенной форме. Поэтому можно искать вероятностную модель, характеризующую форму и ее изменение. При сегментации изображения можно наложить ограничения, используя эту модель в качестве априорной. ^[61] Такая задача может включать в себя (i) регистрацию обучающих примеров в общей позе, (ii) вероятностное представление вариации зарегистрированных образцов и (iii) статистический вывод между моделью и изображением. Другие важные методы сегментации на основе моделей, описанные в литературе, включают модели активной формы и модели активного внешнего вида .

Многомасштабная сегментация

Сегментация изображения вычисляется в нескольких масштабах в масштабном пространстве и иногда распространяется от грубого к мелкому масштабу; см. сегментацию масштаба и пространства .

Критерии сегментации могут быть сколь угодно сложными и могут учитывать как глобальные, так и локальные критерии. Общим требованием является то, что каждый регион должен быть в некотором смысле связан.

Одномерная иерархическая сегментация сигнала

Основополагающая работа Уиткина ^{[62] [63]} по масштабному пространству включала идею о том, что одномерный сигнал может быть однозначно сегментирован на области с одним параметром масштаба, управляющим масштабом сегментации.

Ключевое наблюдение заключается в том, что пересечения нуля вторых производных (минимумов и максимумов первой производной или наклона) сглаженных в нескольких масштабах версий сигнала образуют дерево вложенности, которое определяет иерархические отношения между сегментами в разных масштабах. В частности, экстремумы наклонов в крупных масштабах можно проследить до соответствующих характеристик в мелких масштабах. Когда максимум и минимум наклона аннигилируют друг друга в большем масштабе, три сегмента, которые они разделили, сливаются в один сегмент, определяя тем самым иерархию сегментов.

Сегментация изображения и первичный эскиз

В этой области было проведено множество исследовательских работ, некоторые из которых сейчас достигли состояния, когда их можно применять либо с помощью интерактивного ручного вмешательства (обычно с применением к медицинской визуализации), либо полностью автоматически. Ниже приводится краткий обзор некоторых основных исследовательских идей, на которых основаны современные подходы.

Однако описанная Уиткином структура вложенности специфична для одномерных сигналов и не переносится тривиально на многомерные изображения. Тем не менее, эта общая идея вдохновила нескольких других авторов на исследование схем сегментации изображений от грубого до мелкого. Кендеринк ^[64] предложил изучить, как контуры изоинтенсивности развиваются по масштабам, и этот подход был более подробно исследован Лифшицем и Пайзером. ^[65] Однако, к сожалению, интенсивность элементов изображения меняется в зависимости от масштаба, а это означает, что трудно проследить крупномасштабные элементы изображения до более мелких масштабов, используя информацию об изоинтенсивности.

Линдеберг ^{[66] [67]} изучил проблему соединения локальных экстремумов и седловых точек в масштабах и предложил представление изображения, называемое первичным эскизом масштабного пространства, которое делает явными отношения между структурами в разных масштабах, а также показывает, какие особенности изображения стабильны в больших диапазонах масштабов, включая соответствующие локально масштабы. Бергхольм предложил обнаруживать края в крупных масштабах в масштабном пространстве, а затем отслеживать их до более мелких масштабов с ручным выбором как грубого масштаба обнаружения, так и мелкого масштаба локализации.

Гауч и Пайзер ^[68] изучили взаимодополняющую проблему хребтов и долин в нескольких масштабах и разработали инструмент для интерактивной сегментации изображений на основе многомасштабных водоразделов. Использование многомасштабного водораздела с применением к карте градиента также исследовалось Олсеном и Нильсеном ^[69] и было перенесено в клиническое использование Дамом. ^[70] Винкен и др. ^[71] предложили гиперстек для определения вероятностных отношений между структурами изображений в разных масштабах. Использование стабильных структур изображений в масштабах было развито Ахуджей ^{[72] [73]} и его коллегами в полностью автоматизированную систему. Полностью автоматический алгоритм сегментации мозга, основанный на тесно связанных идеях многомасштабных водоразделов, был представлен Ундеманом и Линдебергом ^[74] и тщательно протестирован в базах данных мозга.

Эти идеи многомасштабной сегментации изображений путем связывания структур изображения по масштабам также были подхвачены Флораком и Куйпером. ^[75] Бижауи и Рюэ ^[76] связывают структуры, обнаруженные в масштабном пространстве выше минимального шумового порога, с деревом объектов, которое охватывает несколько масштабов и соответствует своего рода признаку исходного сигнала. Извлеченные признаки точно реконструируются с использованием итерационного метода матрицы сопряженных градиентов.

Полуавтоматическая сегментация

При одном из видов сегментации пользователь выделяет интересующую область щелчками мыши, и алгоритмы применяются таким образом, чтобы отображался путь, который лучше всего соответствует краю изображения.

В этом виде сегментации используются такие методы, как SIOX , Livewire , Intelligent Scissors или IT-SNAPS. В альтернативном виде полуавтоматической сегментации алгоритмы возвращают пространственный таксон (т.е. передний план, группу объектов, объект или часть объекта), выбранный пользователем или обозначенный с помощью априорных вероятностей. ^{[77] [78]}

Обучаемая сегментация

Большинство вышеупомянутых методов сегментации основаны только на информации о цвете пикселей изображения. Люди используют гораздо больше знаний при сегментации изображений, но реализация этих знаний потребует значительных затрат человеческого времени и вычислительного времени, а также потребует огромной базы данных предметных знаний , которой в настоящее время не существует. Обучаемые методы сегментации, такие как сегментация нейронных сетей , решают эти проблемы за счет моделирования знаний предметной области из набора данных помеченных пикселей.

Нейронная сеть сегментации изображения может обрабатывать небольшие области изображения для извлечения простых функций, таких как края. ^[79] Другая нейронная сеть или любой механизм принятия решений может затем объединить эти функции, чтобы соответствующим образом пометить области изображения. Типом сети, спроектированной таким образом, является карта Кохонена .

Нейронные сети с импульсной связью (PCNN) — это нейронные модели, предложенные путем моделирования зрительной коры головного мозга кошки и разработанные для высокопроизводительной биомиметической обработки изображений . В 1989 году Рейнхард Экхорн представил нейронную модель, имитирующую механизм зрительной коры кошки. Модель Экхорна предоставила простой и эффективный инструмент для изучения зрительной коры мелких млекопитающих и вскоре была признана имеющей значительный потенциал применения при обработке изображений. В 1994 году модель Экхорна была адаптирована в качестве алгоритма обработки изображений Джоном Л. Джонсоном, который назвал этот алгоритм нейронной сетью с импульсной связью. ^[80] За последнее десятилетие PCNN использовались для различных приложений по обработке изображений, включая: сегментацию изображений, генерацию признаков, извлечение лиц, обнаружение движения, увеличение области, уменьшение шума и так далее. PCNN — это двумерная нейронная сеть. Каждый нейрон в сети соответствует одному пикселю входного изображения, получая информацию о цвете соответствующего пикселя (например, интенсивности) в качестве внешнего стимула. Каждый нейрон также соединяется с соседними нейронами, получая от них локальные стимулы. Внешние и локальные стимулы объединяются во внутреннюю систему активации, которая накапливает стимулы до тех пор, пока они не превысят динамический порог, что приводит к импульсному выходу. Посредством итеративных вычислений нейроны PCNN создают временные серии импульсных выходных сигналов. Временная серия выходных импульсов содержит информацию о входных изображениях и может использоваться для различных приложений обработки изображений, таких как сегментация изображений и генерация признаков. По сравнению с традиционными средствами обработки изображений PCNN имеют несколько существенных преимуществ, включая устойчивость к шуму, независимость от геометрических изменений входных шаблонов, способность компенсировать незначительные изменения интенсивности входных шаблонов и т. д.

U-Net — это сверточная нейронная сеть , которая принимает на вход изображение и выводит метку для каждого пикселя. ^[81] Первоначально U-Net была разработана для обнаружения границ клеток на биомедицинских изображениях. U-Net следует классической архитектуре автокодировщика , поэтому он содержит две подструктуры. Структура кодера соответствует традиционному стеку сверточных слоев и слоев максимального пула для увеличения воспринимающего поля при прохождении через слои. Он используется для фиксации контекста изображения. Структура декодера использует транспонированные слои свертки для повышения дискретизации, чтобы конечные размеры были близки к размерам входного изображения. Пропускные соединения размещаются между слоями свертки и транспонированными слоями свертки одной и той же формы, чтобы сохранить детали, которые в противном случае были бы потеряны.

В дополнение к задачам семантической сегментации на уровне пикселей, которые присваивают определенную категорию каждому пикселю, современные приложения сегментации включают задачи семантической сегментации на уровне экземпляра, в которых каждый человек в данной категории должен быть однозначно идентифицирован, а также задачи паноптической сегментации, которые объединяют эти задачи. две задачи для обеспечения более полной сегментации сцены. ^[20]

Сегментация связанных изображений и видео

Связанные изображения, такие как фотоальбом или последовательность видеокадров, часто содержат семантически схожие объекты и сцены, поэтому часто полезно использовать такие корреляции. ^[82] Задача одновременного сегментирования сцен из связанных изображений или видеокадров называется совместной сегментацией , ^[16] которая обычно используется при локализации действий человека . В отличие от обычного обнаружения объектов на основе ограничительной рамки , методы локализации действий человека обеспечивают более детальные результаты, как правило, маски сегментации для каждого изображения, очерчивающие интересующий человеческий объект и категорию его действия (например, Segment-Tube ^[17] ). Такие методы, как динамические марковские сети , CNN и LSTM , часто используются для использования межкадровых корреляций.

Другие методы

Существует множество других методов сегментации, таких как мультиспектральная сегментация или сегментация на основе связности на основе изображений DTI . ^{[83] [84]}

Смотрите также

• Совместная сегментация объектов
• Компьютерное зрение
• Создание сетки на основе изображений
• Сегментация изображения по диапазону
• Векторное квантование
• Квантование изображения
• Квантование цвета
• Объектно-ориентированный анализ изображений
• Список инструментов ручного аннотирования изображений
• Жесткая сегментация движения

Примечания

1. Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Прентис-Холл, ISBN  0-13-030796-3
2. Баргут, Лорен и Лоуренс В. Ли. «Система обработки перцептивной информации». Заявка на патент США Paravue Inc. 10/618,543, поданная 11 июля 2003 г.
3. Нильсен, Фрэнк; Нок, Ричард (2003). «Об объединении регионов: статистическая обоснованность быстрой сортировки с помощью приложений». Конференция IEEE Computer Society 2003 г. по компьютерному зрению и распознаванию образов, 2003 г. Материалы . Том. 2. ИИЭР. стр. II: 19–26. дои :10.1109/CVPR.2003.1211447. ISBN 0-7695-1900-8.
4. Захов, Стефан, Михаэль Зильске и Ханс-Кристиан Хеге. «3D-реконструкция индивидуальной анатомии на основе данных медицинских изображений: сегментация и геометрическая обработка». (2007).
5. Белонги, Серж и др. «Сегментация изображений на основе цвета и текстуры с использованием EM и ее применение для поиска изображений на основе контента». Шестая международная конференция по компьютерному зрению (номер по каталогу IEEE 98CH36271). ИИЭР, 1998.
6. Фам, Джунг Л.; Сюй, Чэньян; Принц, Джерри Л. (2000). «Современные методы сегментации медицинских изображений». Ежегодный обзор биомедицинской инженерии . 2 : 315–337. doi : 10.1146/annurev.bioeng.2.1.315. ПМИД  11701515.
7. Форгани, М.; Форузанфар, М.; Тешнехлаб, М. (2010). «Оптимизация параметров улучшенного алгоритма нечеткой кластеризации c-средних для сегментации МР-изображений мозга». Инженерные применения искусственного интеллекта . 23 (2): 160–168. дои : 10.1016/j.engappai.2009.10.002.
8. Резников, Натали; Басс, Дэн Дж.; Провеншер, Бенджамин; Макки, Марк Д.; Пише, Николя (октябрь 2020 г.). «Глубокое обучение 3D-визуализации и анализу изображений в исследованиях биоминерализации». Журнал структурной биологии . 212 (1): 107598. doi :10.1016/j.jsb.2020.107598. ISSN  1047-8477. PMID  32783967. S2CID  221126896.
9. Ву, Вэй; Чен, Альберт Ю.К.; Чжао, Лян; Корсо, Джейсон Дж. (2014). «Обнаружение и сегментация опухолей головного мозга в рамках CRF (условных случайных полей) с попарной близостью пикселей и функциями на уровне суперпикселей». Международный журнал компьютерной радиологии и хирургии . 9 (2): 241–253. дои : 10.1007/s11548-013-0922-7. PMID  23860630. S2CID  13474403.
10. Э. Б. Джордж и М. Карнан (2012): «Сегментация изображений МР-мозга с использованием алгоритма оптимизации поиска бактерий», Международный журнал техники и технологий , Vol. 4.
11. Йе, Ран Чжоу; Нолл, Кристоф; Ричард, Габриэль; Лепаж, Мартен; Тюркотт, Эрик Э.; Карпантье, Андре К. (февраль 2022 г.). «DeepImageTranslator: бесплатный, удобный графический интерфейс для перевода изображений с использованием глубокого обучения и его приложений для анализа изображений 3D КТ». Технология СЛАС . 27 (1): 76–84. дои : 10.1016/j.slast.2021.10.014 . ISSN  2472-6303. ПМИД  35058205.
12. Е, Энь Чжоу; Е, Энь Хуэй; Бутилье, Максим; Йе, Ран Чжоу (18 февраля 2022 г.). «DeepImageTranslator V2: анализ мультимодальных медицинских изображений с использованием карт семантической сегментации, созданных посредством глубокого обучения». bioRxiv 10.1101/2021.10.12.464160v2 . дои : 10.1101/2021.10.12.464160. S2CID  239012446.  {{cite journal}}: Требуется цитировать журнал |journal=( помощь )
13. Камалаканнан, Шридхаран; Гурураджан, Арункумар; Сари-Сарраф, Хамед; Родни, Лонг; Антани, Самир (17 февраля 2010 г.). «Двустороннее обнаружение рентгенографических изображений поясничных позвонков с использованием открытых змей DGVF под давлением». Транзакции IEEE по биомедицинской инженерии . 57 (6): 1325–1334. дои : 10.1109/tbme.2010.2040082. PMID  20172792. S2CID  12766600.
14. Георгеску, Мариана-Юлиана; Ионеску, Раду Тудор; Мирон, Андреа-Юлиана (21 декабря 2022 г.). «Ансамбль содействия разнообразию для сегментации медицинских изображений». arXiv : 2210.12388 [eess.IV].
15. Дж. А. Дельмерико, П. Дэвид и Дж. Дж. Корсо (2011): «Обнаружение фасада здания, сегментация и оценка параметров для локализации и управления мобильными роботами», Международная конференция по интеллектуальным роботам и системам, стр. 1632–1639.
16. Лю, Цзыи; Ван, Ле; Хуа, Банда; Чжан, Цилинь; Ню, Чжэньсин; Ву, Ин; Чжэн, Наньнин (2018). «Совместное обнаружение и сегментация видеообъектов с помощью связанных динамических сетей Маркова» (PDF) . Транзакции IEEE при обработке изображений . 27 (12): 5840–5853. Бибкод : 2018ITIP...27.5840L. дои : 10.1109/tip.2018.2859622 . ISSN  1057-7149. PMID  30059300. S2CID  51867241.
17. Ван, Ле; Дуань, Сюйхуань; Чжан, Цилинь; Ню, Чжэньсин; Хуа, Банда; Чжэн, Наньнин (22 мая 2018 г.). «Segment-Tube: локализация пространственно-временных действий в необрезанных видео с покадровой сегментацией» (PDF) . Датчики . 18 (5): 1657. Бибкод : 2018Senso..18.1657W. дои : 10.3390/s18051657 . ISSN  1424-8220. ПМЦ 5982167 . ПМИД  29789447. 
18. Го, Дачжоу; Пей, Яньтин; Чжэн, Кан; Ю, Хонкай; Лу, Юхан; Ван, Сун (2020). «Семантическая сегментация ухудшенных изображений с помощью сетей с плотными граммами». Транзакции IEEE при обработке изображений . 29 : 782–795. Бибкод : 2020ITIP...29..782G. дои : 10.1109/TIP.2019.2936111 . ISSN  1057-7149. PMID  31449020. S2CID  201753511.
19. Йи, Джингру; У, Пэнсян; Цзян, Мэнлин; Хуан, Цяоин; Хоппнер, Дэниел Дж.; Метаксас, Димитрис Н. (июль 2019 г.). «Внимательная сегментация экземпляров нейронных клеток». Анализ медицинских изображений . 55 : 228–240. дои : 10.1016/j.media.2019.05.004 . PMID  31103790. S2CID  159038604.
20. Александр Кириллов; Кайминг Хэ; Росс Гиршик; Карстен Ротер; Петр Доллар (2018). «Паноптическая сегментация». arXiv : 1801.00868 [cs.CV].
21. Батенбург, К.Дж.; Сийберс, Дж. (2009). «Адаптивная пороговая обработка томограмм путем минимизации проекционного расстояния». Распознавание образов . 42 (10): 2297–2305. Бибкод : 2009PatRe..42.2297B. CiteSeerX 10.1.1.182.8483 . дои : 10.1016/j.patcog.2008.11.027. 
22. Батенбург, К.Дж.; Сийберс, Дж. (июнь 2009 г.). «Выбор оптимального порога для сегментации томограммы путем минимизации проекционного расстояния». Транзакции IEEE по медицинской визуализации . 28 (5): 676–686. дои : 10.1109/tmi.2008.2010437. PMID  19272989. S2CID  10994501. Архивировано из оригинала (PDF) 3 мая 2013 г. Проверено 31 июля 2012 г.
23. Кашанипур, А.; Милани, Н; Кашанипур, А.; Эграри, Х. (май 2008 г.). «Надежная классификация цветов с использованием оптимизации роя частиц на основе нечетких правил». Конгресс 2008 г. по обработке изображений и сигналов . Том. 2. Конгресс IEEE по обработке изображений и сигналов. стр. 110–114. дои : 10.1109/CISP.2008.770. ISBN 978-0-7695-3119-9. S2CID  8422475.
24. Баргут, Лорен; Шейнин, Джейкоб (2013). «Восприятие сцены реального мира и перцептивная организация: уроки компьютерного зрения». Журнал видения . 13 (9): 709. дои : 10.1167/13.9.709 .
25. Хосейн Мобахи; Шанкар Рао; Аллен Янг; Шанкар Шастри; Йи Ма. (2011). «Сегментация естественных изображений с помощью текстуры и сжатия границ» (PDF) . Международный журнал компьютерного зрения . 95 : 86–98. arXiv : 1006.3679 . CiteSeerX 10.1.1.180.3579 . дои : 10.1007/s11263-011-0444-0. S2CID  11070572. Архивировано из оригинала (PDF) 8 августа 2017 г. Проверено 8 мая 2011 г. 
26. Шанкар Рао, Хоссейн Мобахи, Аллен Янг, Шанкар Састри и Йи Ма. Естественная сегментация изображений с адаптивной текстурой и граничным кодированием. Архивировано 19 мая 2016 г. в Wayback Machine , Материалы Азиатской конференции по компьютерному зрению (ACCV), 2009 г., Х. Жа, Р.-и. Танигучи и С. Мэйбанк (ред.), Часть I, LNCS 5994, стр. 135–146, Springer.
27. Оландер, Рон; Прайс, Кейт; Редди, Д. Радж (1978). «Сегментация изображения с использованием метода рекурсивного разделения областей». Компьютерная графика и обработка изображений . 8 (3): 313–333. дои : 10.1016/0146-664X(78)90060-6.
28. Р. Киммель и А. М. Брукштейн. https://www.cs.technion.ac.il/~ron/PAPERS/Paragios_chapter2003.pdf, Международный журнал компьютерного зрения, 2003 г.; 53(3):225–243.
29. Р. Киммел, https://www.cs.technion.ac.il/~ron/PAPERS/laplacian_ijcv2003.pdf, глава «Методы набора геометрических уровней в визуализации, зрении и графике» (С. Ошер, Н. Парагиос, Ред.), Springer Verlag, 2003. ISBN 0387954880. 
30. Баргоут, Лорен. Визуальный таксометрический подход. Сегментация изображений с использованием нечетко-пространственного разреза таксонов дает контекстуально релевантные регионы. Коммуникации в компьютерных и информационных науках (CCIS). Спрингер-Верлаг. 2014 год
31. Витольд Педрич (редактор), Анджей Сковрон (соредактор), Владик Крейнович (соредактор). Справочник по гранулярным вычислениям. Уайли 2008 г.
32. Баргут, Лорен (2014). Зрение. Глобальный концептуальный контекст меняет обработку локального контраста (докторская диссертация, 2003 г.). Обновлено, чтобы включить методы компьютерного зрения. Ученая пресса. ISBN 978-3-639-70962-9 . 
33. Баргут, Лорен и Лоуренс Ли. «Система обработки перцептивной информации». Google Патенты
34. Линдеберг, Т.; Ли, М.-Х. (1997). «Сегментация и классификация ребер с использованием приближения минимальной длины описания и дополнительных сигналов соединения». Компьютерное зрение и понимание изображений . 67 (1): 88–98. doi : 10.1006/cviu.1996.0510.
35. [1] Архивировано 13 октября 2017 г. в Wayback Machine Шелия Губерман , Вадим Максимов, Алекс Пашинцев Гештальт и понимание изображений. ГЕШТАЛЬТ-ТЕОРИЯ 2012, Том. 34, № 2, 143–166.
36. Р. Нок и Ф. Нильсен, Объединение статистических областей ^{[ мертвая ссылка ]} , Транзакции IEEE по анализу шаблонов и машинному интеллекту, Том 26, № 11, стр. 1452–1458, 2004.
37. Л. Чен, Х. Д. Ченг и Дж. Чжан, Нечеткое подволокно и его применение в классификации сейсмической литологии, Информационные науки: Приложения, Том 1, № 2, стр. 77–95, 1994.
38. С. Л. Горовиц и Т. Павлидис, Сегментация изображений с помощью процедуры направленного разделения и слияния, Proc. ICPR, 1974, Дания, стр. 424–433.
39. С. Л. Горовиц и Т. Павлидис, Сегментация изображений с помощью алгоритма обхода дерева, Журнал ACM, 23 (1976), стр. 368–388.
40. Л. Чен, Сегментация с лямбда-связью и оптимальный алгоритм сегментации с разделением и слиянием. Архивировано 10 марта 2016 г. в Wayback Machine , Chinese J. Computers, 14 (1991), стр. 321–331.
41. Касельес, В.; Киммел, Р.; Сапиро, Г. (1997). «Геодезические активные контуры» (PDF) . Международный журнал компьютерного зрения . 22 (1): 61–79. дои : 10.1023/А: 1007979827043. S2CID  406088.
42. Дервье, А. и Томассет, Ф. 1979. Метод конечных элементов для моделирования нестабильности Рэли-Тейлора. Спрингер Лект. Заметки по математике, 771:145–158.
43. Дервье, А. и Томассет, Ф. 1981. Многожидкостные несжимаемые течения, полученные методом конечных элементов. Конспекты лекций по физике, 11:158–163.
44. Ошер, Стэнли; Сетиан, Джеймс А. (1988). «Фронты, распространяющиеся со скоростью, зависящей от кривизны: алгоритмы, основанные на формулировках Гамильтона-Якоби». Журнал вычислительной физики . 79 (1): 12–49. Бибкод : 1988JCoPh..79...12O. CiteSeerX 10.1.1.46.1266 . дои : 10.1016/0021-9991(88)90002-2. ISSN  0021-9991. 
45. С. Ошер и Н. Парагиос. Методы набора геометрических уровней в визуализации и графике, Springer Verlag, ISBN 0-387-95488-0 , 2003. 
46. Джеймс А. Сетиан. «Сегментация в медицинской визуализации» . Проверено 15 января 2012 г.
47. Форкадель, Николя; Ле Гайадер, Кэрол; Подагра, Кристиан (июль 2008 г.), «Обобщенный метод быстрого марша: приложения к сегментации изображений», Numerical Algorithms , 48 ​​(1–3): 189–211, doi : 10.1007/s11075-008-9183-x, S2CID  7467344
48. Чан, ТФ; Весе, Л. (2001). «Активные контуры без краев». Транзакции IEEE при обработке изображений . 10 (2): 266–277. Бибкод : 2001ITIP...10..266C. дои : 10.1109/83.902291. PMID  18249617. S2CID  7602622.
49. Дэвид Мамфорд и Джаянт Шах (1989): Оптимальные приближения кусочно-гладкими функциями и связанные с ними вариационные задачи, Сообщения по чистой и прикладной математике , стр. 577–685, Vol. 42, № 5
50. Цзянбо Ши и Джитендра Малик (2000): «Нормализованные разрезы и сегментация изображений», Транзакции IEEE по анализу шаблонов и машинному интеллекту , стр. 888–905, Vol. 22, № 8
51. Лео Грейди (2006): «Случайные блуждания для сегментации изображений», Транзакции IEEE по анализу шаблонов и машинному интеллекту , стр. 1768–1783, Vol. 28, № 11
52. З. Ву и Р. Лихи (1993): «Оптимальный теоретико-графовый подход к кластеризации данных: теория и ее применение к сегментации изображений» ^{[ постоянная мертвая ссылка ]} , IEEE Transactions on Pattern Analysis and Machine Intelligence , стр. 1101–1113 , Том. 15, № 11
53. Лео Грейди и Эрик Л. Шварц (2006): «Изопериметрическое разделение графов для сегментации изображений». Архивировано 19 июля 2011 г. в Wayback Machine , Транзакции IEEE по анализу шаблонов и машинному интеллекту , стр. 469–475, Vol. 28, № 3
54. CT Zahn (1971): «Теоретико-графовые методы обнаружения и описания гештальт-кластеров», IEEE Transactions on Computers , стр. 68–86, Vol. 20, № 1
55. С. Геман и Д. Геман (1984): «Стохастическая релаксация, распределения Гиббса и байесовское восстановление изображений», Транзакции IEEE по анализу шаблонов и машинному интеллекту, стр. 721–741, Vol. 6, № 6.
56. А. Бауман и М. Шапиро (2002): «Многомасштабная модель случайного поля для байесовской сегментации изображений», IEEE Transactions on Image Processing, стр. 162–177, Vol. 3.
57. Дж. Лю и Ю. Х. Ян (1994): «Сегментация цветных изображений с различным разрешением», Транзакции IEEE по анализу шаблонов и машинному интеллекту, стр. 689–700, Vol. 16.
58. С. Висенте, В. Колмогоров и К. Ротер (2008): «Сегментация изображения на основе разреза графа с априорными данными о связности», CVPR
59. Корсо, З. Ту и А. Юй (2008): «Маркировка MRF с помощью алгоритма сдвига графа», Труды международного семинара по комбинаторному анализу изображений
60. Б. Дж. Фрей и Д. Маккаян (1997): «Революция: распространение убеждений в графах с циклами», Труды систем нейронной обработки информации (NIPS)
61. Стаиб, Л.Х.; Дункан, Дж. С. (1992). «Нахождение границ с помощью параметрически деформируемых моделей». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 14 (11): 1061–1075. дои : 10.1109/34.166621. ISSN  0162-8828.
62. Виткин, А. П. «Масштабно-пространственная фильтрация», Учеб. 8-й Межд. Совместная конф. Искусство. Intell., Карлсруэ, Германия, 1019–1022, 1983.
63. А. Виткин, «Фильтрация масштабного пространства: новый подход к многомасштабному описанию», в Proc. IEEE Международный. Конф. Акуст., Речь, Обработка сигналов ( ICASSP ), вып. 9, Сан-Диего, Калифорния, март 1984 г., стр. 150–153.
64. Кендеринк, Ян «Структура изображений», Биологическая кибернетика, 50: 363–370, 1984.
65. Лифшиц, Л. и Пайзер, С.: Иерархический подход с несколькими разрешениями к сегментации изображений на основе экстремумов интенсивности, Транзакции IEEE по анализу шаблонов и машинному интеллекту, 12:6, 529–540, 1990.
66. Линдеберг, Т.: Обнаружение заметных каплевидных структур изображения и их масштабов с помощью основного эскиза в масштабном пространстве: метод фокусировки внимания, Международный журнал компьютерного зрения, 11 (3), 283–318, 1993.
67. Линдеберг, Тони, Теория масштабного пространства в компьютерном зрении, Kluwer Academic Publishers, 1994, ISBN 0-7923-9418-6 
68. Гауч, Дж. и Пайзер, С.: Многоразрешительный анализ хребтов и впадин на изображениях в оттенках серого, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15:6 (июнь 1993 г.), страницы: 635–646, 1993.
69. Олсен О. и Нильсен М.: Сегментация водораздела по величине многомасштабного градиента, Proc. ICIAP 97, Флоренция, Италия, Конспекты лекций по информатике, страницы 6–13. Спрингер Верлаг, сентябрь 1997 г.
70. Дам, Э., Йохансен, П., Олсен, О. Томсен, А. Дарванн, Т., Добженик, А., Германн, Н., Китай, Н., Крейборг, С., Ларсен, П., Нильсен, М.: «Интерактивная многомасштабная сегментация в клиническом использовании» на Европейском конгрессе радиологии, 2000 г.
71. Винкен, КЛ; Костер, ASE; Виргевер, Массачусетс (1997). «Вероятностная многомасштабная сегментация изображений». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 19 (2): 109–120. дои : 10.1109/34.574787.
72. М. Табб и Н. Ахуджа, Неконтролируемая многомасштабная сегментация изображения с помощью встроенного обнаружения краев и областей, Транзакции IEEE по обработке изображений, Vol. 6, № 5, 642–655, 1997. Архивировано 20 июля 2011 года в Wayback Machine.
73. Акбас, Эмре; Ахуджа, Нарендра (2010). «От разрывов рампы к дереву сегментации». Компьютерное зрение – ACCV 2009 . Конспекты лекций по информатике. Том. 5994. стр. 123–134. дои : 10.1007/978-3-642-12307-8_12. ISBN 978-3-642-12306-1.
74. К. Ундеман и Т. Линдеберг (2003) «Полностью автоматическая сегментация МРТ-изображений мозга с использованием вероятностной анизотропной диффузии и многомасштабных водоразделов», Proc. Scale-Space'03, остров Скай, Шотландия, Конспекты лекций Springer по информатике, том 2695, страницы 641–656.
75. Флорак Л. и Куйпер А.: Топологическая структура изображений в масштабном пространстве, Журнал Mathematical Imaging and Vision, 12:1, 65–79, 2000.
76. Бижауи, А.; Рю, Ф. (1995). «Мультимасштабная модель видения». Обработка сигнала . 46 (3): 345. дои : 10.1016/0165-1684(95)00093-4.
77. Баргоут, Лорен. Визуальный таксометрический подход к сегментации изображений с использованием нечетко-пространственного разреза таксонов дает контекстуально релевантные регионы. ИПМУ 2014, Часть II. А. Лоран и др. (ред.) CCIS 443, стр. 163–173. Springer International Publishing Швейцария
78. Баргут, Лорен (2014). Видение: как глобальный контекст восприятия меняет обработку локального контраста (докторская диссертация, 2003 г.). Обновлено, чтобы включить методы компьютерного зрения. Ученые Пресс. ISBN 978-3-639-70962-9.
79. Махинда Патегама и О Гёль (2004): «Извлечение пикселей по краям для сегментации изображений по краям», Transactions on Engineering, Computing and Technology, vol. 2, стр. 213–216, ISSN 1305-5313.
80. Джонсон, Джон Л. (сентябрь 1994 г.). «Нейронные сети с импульсной связью: перемещение, вращение, масштаб, искажение и инвариантность сигнала интенсивности для изображений». Прикладная оптика . ОСА. 33 (26): 6239–6253. Бибкод : 1994ApOpt..33.6239J. дои : 10.1364/AO.33.006239. ПМИД  20936043.
81. Роннебергер, Олаф; Фишер, Филипп; Брокс, Томас (2015). «U-Net: сверточные сети для сегментации биомедицинских изображений». arXiv : 1505.04597 [cs.CV].
82. Висенте, Сара; Ротер, Карстен; Колмогоров, Владимир (2011). «Косегментация объектов». ЦВПР 2011 . IEEE. стр. 2217–2224. дои : 10.1109/cvpr.2011.5995530. ISBN 978-1-4577-0394-2.
83. Сайгин З.М., Ошер Д.Э., Августинак Дж., Фишл Б. и Габриэли Дж.Д.: Сегментация ядер миндалины человека на основе связности с использованием вероятностной трактографии., Neuroimage, 56:3, стр. 1353–61, 2011.
84. Менке, Р.А., Джбабди, С., Миллер, К.Л., Мэтьюз, П.М. и Зарей, М.: Сегментация черной субстанции на основе связности у человека и ее последствия при болезни Паркинсона, Neuroimage, 52:4, стр. 1175–80 , 2010.]

Рекомендации

• Сегментация изображений на основе 3D-энтропии
• Фруччи, Мария; Саннити ди Баха, Габриэлла (2008). «От сегментации к бинаризации изображений уровня серого». Журнал исследований в области распознавания образов . 3 (1): 1–13. дои : 10.13176/11.54.

Внешние ссылки

• Пример кода, выполняющего базовую сегментацию, автор Сайед Зайнудин. Университет технологий Малайзии.
• Обобщенный метод быстрого марша Forcadel et al. [2008] за применение в сегментации изображений.
• Группа исследования обработки изображений. Архивировано 28 декабря 2020 г. в Wayback Machine, онлайн-сообществе открытых исследований в области обработки изображений.
• Методы сегментации в обработке и анализе изображений и Минимизация энергии для сегментации изображений с помощью Mathworks
• Дополнительные методы сегментации изображений с подробными алгоритмами, автор Ю-Сян Ван (王昱翔), Национальный тайваньский университет, Тайбэй, Тайвань, Китайская республика.
• Онлайн-демонстрация кусочно-линейной сегментации изображений от журнала IPOL Journal.