stringtranslate.com

Регистрация изображения

Регистрация и суммирование нескольких экспозиций одной и той же сцены улучшает соотношение сигнал/шум, позволяя увидеть то, что раньше было невозможно увидеть. На этой фотографии видны далекие Альпы, хотя они находятся в десятках километров в дымке.

Регистрация изображений — это процесс преобразования различных наборов данных в одну систему координат. Данные могут быть несколькими фотографиями, данными с разных датчиков, временами, глубинами или точками обзора. [1] Она используется в компьютерном зрении , медицинской визуализации , [2] военном автоматическом распознавании целей , а также в компиляции и анализе изображений и данных со спутников. Регистрация необходима для того, чтобы можно было сравнивать или интегрировать данные, полученные из этих различных измерений.

Алгоритм классификации

Интенсивность и характеристики

Алгоритмы регистрации изображений или выравнивания изображений можно разделить на основанные на интенсивности и основанные на признаках. [3] Одно из изображений называется движущимся или исходным , а другие называются целевыми , фиксированными или считываемыми изображениями . Регистрация изображений включает в себя пространственное преобразование исходного/движущегося изображения(й) для выравнивания с целевым изображением. Опорная рамка в целевом изображении является неподвижной, в то время как другие наборы данных преобразуются для соответствия цели. [3] Методы, основанные на интенсивности, сравнивают шаблоны интенсивности в изображениях с помощью корреляционных метрик, в то время как методы, основанные на признаках, находят соответствие между признаками изображения, такими как точки, линии и контуры. [3] Методы, основанные на интенсивности, регистрируют целые изображения или подизображения. Если подизображения зарегистрированы, центры соответствующих подизображений рассматриваются как соответствующие точки признаков. Методы, основанные на признаках, устанавливают соответствие между рядом особенно отчетливых точек на изображениях. Зная соответствие между рядом точек на изображениях, затем определяется геометрическое преобразование для сопоставления целевого изображения с опорными изображениями, тем самым устанавливая поточечное соответствие между опорным и целевым изображениями. [3] Также были разработаны методы, объединяющие информацию, основанную на интенсивности и признаках. [4]

Модели трансформации

Алгоритмы регистрации изображений также можно классифицировать в соответствии с моделями преобразования, которые они используют для связи целевого пространства изображения с пространством эталонного изображения. Первая широкая категория моделей преобразования включает линейные преобразования , которые включают в себя вращение, масштабирование, перемещение и другие аффинные преобразования. [5] Линейные преобразования являются глобальными по своей природе, поэтому они не могут моделировать локальные геометрические различия между изображениями. [3]

Вторая категория преобразований допускает «упругие» или «нежесткие» преобразования. Эти преобразования способны локально деформировать целевое изображение для выравнивания с опорным изображением. Нежесткие преобразования включают радиальные базисные функции ( тонкопленочные или поверхностные сплайны, мультиквадрики и компактно поддерживаемые преобразования [3] ), физические модели континуума (вязкие жидкости) и модели больших деформаций ( диффеоморфизмы ).

Преобразования обычно описываются параметризацией, где модель диктует количество параметров. Например, перемещение полного изображения может быть описано одним параметром, вектором перемещения. Эти модели называются параметрическими моделями. Непараметрические модели, с другой стороны, не следуют никакой параметризации, позволяя каждому элементу изображения смещаться произвольно. [6]

Существует ряд программ, реализующих как оценку, так и применение варп-поля. Является частью программ SPM и AIR .

Преобразования координат по закону композиции функций, а не сложения

В качестве альтернативы, многие передовые методы пространственной нормализации строятся на структурно-сохраняющих преобразованиях гомеоморфизмах и диффеоморфизмах, поскольку они плавно переносят гладкие подмногообразия во время преобразования. Диффеоморфизмы генерируются в современной области вычислительной анатомии на основе потоков, поскольку диффеоморфизмы не аддитивны, хотя они образуют группу, но являются группой по закону композиции функций. По этой причине потоки, которые обобщают идеи аддитивных групп, позволяют генерировать большие деформации, которые сохраняют топологию, обеспечивая преобразования 1-1 и on. Вычислительные методы для генерации таких преобразований часто называют LDDMM [7] [8] [9] [10] , которые предоставляют потоки диффеоморфизмов в качестве основного вычислительного инструмента для соединения систем координат, соответствующих геодезическим потокам вычислительной анатомии .

Существует ряд программ, которые генерируют диффеоморфные преобразования координат с помощью диффеоморфного отображения, включая MRI Studio [11] и MRI Cloud.org [12].

Методы пространственной и частотной области

Пространственные методы работают в области изображения, сопоставляя образцы интенсивности или признаки на изображениях. Некоторые из алгоритмов сопоставления признаков являются производными от традиционных методов выполнения ручной регистрации изображений, в которых оператор выбирает соответствующие контрольные точки (КТ) на изображениях. Когда количество контрольных точек превышает минимум, необходимый для определения соответствующей модели преобразования, итерационные алгоритмы, такие как RANSAC, могут использоваться для надежной оценки параметров определенного типа преобразования (например, аффинного) для регистрации изображений.

Методы частотной области находят параметры преобразования для регистрации изображений во время работы в области преобразования. Такие методы работают для простых преобразований, таких как перемещение, вращение и масштабирование. Применение метода фазовой корреляции к паре изображений дает третье изображение, которое содержит один пик. Расположение этого пика соответствует относительному перемещению между изображениями. В отличие от многих алгоритмов пространственной области, метод фазовой корреляции устойчив к шуму, окклюзиям и другим дефектам, типичным для медицинских или спутниковых изображений. Кроме того, фазовая корреляция использует быстрое преобразование Фурье для вычисления взаимной корреляции между двумя изображениями, что обычно приводит к большому приросту производительности. Метод можно расширить для определения различий вращения и масштабирования между двумя изображениями, сначала преобразовав изображения в логарифмически-полярные координаты . [13] [14] Благодаря свойствам преобразования Фурье параметры вращения и масштабирования можно определить способом, инвариантным к перемещению.

Одно- и многомодальные методы

Другая классификация может быть сделана между одномодальными и многомодальными методами. Одномодальные методы имеют тенденцию регистрировать изображения в одной и той же модальности, полученные одним и тем же типом сканера/датчика, в то время как многомодальные методы регистрации имеют тенденцию регистрировать изображения, полученные разными типами сканеров/датчиков.

Методы регистрации мультимодальных изображений часто используются в медицинской визуализации , поскольку изображения субъекта часто получают с разных сканеров. Примерами являются регистрация изображений КТ / МРТ мозга или изображений ПЭТ / КТ всего тела для локализации опухоли, регистрация изображений КТ с контрастным усилением против изображений КТ без контрастного усиления [15] для сегментации определенных частей анатомии и регистрация изображений УЗИ и КТ для локализации простаты в лучевой терапии .

Автоматические и интерактивные методы

Методы регистрации можно классифицировать на основе уровня автоматизации, который они обеспечивают. Разработаны ручные, интерактивные, полуавтоматические и автоматические методы. Ручные методы предоставляют инструменты для ручного выравнивания изображений. Интерактивные методы уменьшают предвзятость пользователя, выполняя определенные ключевые операции автоматически, при этом все еще полагаясь на пользователя в руководстве регистрацией. Полуавтоматические методы выполняют большую часть шагов регистрации автоматически, но зависят от пользователя в проверке правильности регистрации. Автоматические методы не допускают никакого взаимодействия с пользователем и выполняют все шаги регистрации автоматически.

Меры подобия для регистрации изображений

Сходство изображений широко используется в медицинской визуализации . Мера сходства изображений количественно определяет степень сходства между образцами интенсивности в двух изображениях. [3] Выбор меры сходства изображений зависит от модальности изображений, которые необходимо зарегистрировать. Распространенными примерами мер сходства изображений являются кросс-корреляция , взаимная информация , сумма квадратов разностей интенсивности и однородность изображения по отношению. Взаимная информация и нормализованная взаимная информация являются наиболее популярными мерами сходства изображений для регистрации мультимодальных изображений. Кросс-корреляция, сумма квадратов разностей интенсивности и однородность изображения по отношению обычно используются для регистрации изображений в одной и той же модальности.

В области вычислительной анатомии было получено много новых функций для функций стоимости на основе методов сопоставления с помощью больших деформаций, включая сопоставление мер , которые являются наборами точек или ориентирами без соответствия, сопоставление кривых и сопоставление поверхностей с помощью математических токов и варифолдов.

Неопределенность

Существует уровень неопределенности, связанный с регистрацией изображений, имеющих какие-либо пространственно-временные различия. Уверенная регистрация с мерой неопределенности имеет решающее значение для многих приложений обнаружения изменений, таких как медицинская диагностика.

В приложениях дистанционного зондирования , где пиксель цифрового изображения может представлять несколько километров пространственного расстояния (например, изображения LANDSAT NASA ), неопределенная регистрация изображения может означать, что решение может находиться в нескольких километрах от истинного положения дел. Несколько известных работ пытались количественно оценить неопределенность регистрации изображения, чтобы сравнить результаты. [16] [17] Однако многие подходы к количественной оценке неопределенности или оценке деформаций требуют больших вычислительных затрат или применимы только к ограниченным наборам пространственных преобразований.

Приложения

Регистрация двух МРТ- снимков головного мозга

Регистрация изображений имеет приложения в дистанционном зондировании (обновлении картографии) и компьютерном зрении. Из-за широкого спектра приложений, к которым может применяться регистрация изображений, невозможно разработать общий метод, оптимизированный для всех случаев.

Регистрация медицинских изображений (для данных одного и того же пациента, полученных в разные моменты времени, например, для обнаружения изменений или мониторинга опухолей) часто дополнительно включает в себя эластичную (также известную как нежесткая ) регистрацию, чтобы справиться с деформацией объекта (из-за дыхания, анатомических изменений и т. д.). [18] [19] [20] Нежесткая регистрация медицинских изображений также может использоваться для регистрации данных пациента в анатомическом атласе, например, в атласе Талайраха для нейровизуализации.

В астрофотографии выравнивание и наложение изображений часто используются для увеличения соотношения сигнал/шум для слабых объектов. Без наложения его можно использовать для создания покадровой съемки таких событий, как вращение планеты при прохождении через Солнце. Используя контрольные точки (автоматически или вручную введенные), компьютер выполняет преобразования на одном изображении, чтобы основные особенности совпадали со вторым или несколькими изображениями. Этот метод также может использоваться для изображений разного размера, чтобы можно было комбинировать изображения, полученные с помощью разных телескопов или объективов.

В крио-ТЭМ нестабильность вызывает дрейф образца, и для сохранения высокого разрешения и получения изображений с высоким отношением сигнал/шум требуется много быстрых захватов с точной регистрацией изображений. Для данных с низким отношением сигнал/шум наилучшая регистрация изображений достигается путем кросс-корреляции всех перестановок изображений в стеке изображений. [21]

Регистрация изображений является неотъемлемой частью создания панорамных изображений. Существует множество различных методов, которые можно реализовать в режиме реального времени и запускать на встроенных устройствах, таких как камеры и камерофоны.

Смотрите также

Ссылки

  1. ^ Лиза Готтесфельд Браун, Обзор методов регистрации изображений (аннотация), архив ACM Computing Surveys, том 24, выпуск 4, декабрь 1992 г.), страницы 325–376
  2. ^ биологическая визуализация и картирование мозга
  3. ^ abcdefg А. Ардешир Гоштасби: Регистрация 2-D и 3-D изображений для медицинских, дистанционных и промышленных применений, Wiley Press, 2005.
  4. ^ Papademetris, Xenophon; Jackowski, Andrea P.; Schultz, Robert T.; Staib, Lawrence H.; Duncan, James S. (2004). "Интегрированная интенсивность и нежесткая регистрация точечных признаков". Medical Image Computing and Computer-Assisted Intervention – MICCAI 2004. Lecture Notes in Computer Science. Vol. 3216. pp. 763–770. doi :10.1007/978-3-540-30135-6_93. ISBN 978-3-540-22976-6. ISSN  0302-9743.
  5. ^ http://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf [ пустой URL-адрес PDF ]
  6. ^ Сотирас, А.; Даватзикос, К.; Парагиос, Н. (июль 2013 г.). «Деформируемая медицинская регистрация изображений: обзор». Труды IEEE по медицинской визуализации . 32 (7): 1153–1190. doi :10.1109/TMI.2013.2265603. PMC 3745275. PMID  23739795 . 
  7. ^ Тога, Артур В. (1998-11-17). Brain Warping. Academic Press. ISBN 9780080525549.
  8. ^ "Соответствие ориентиров на поверхностях мозга с помощью больших диффеоморфизмов деформации на сфере — Университет Юты". utah.pure.elsevier.com . Архивировано из оригинала 29-06-2018 . Получено 21-03-2016 .
  9. ^ Бег, М. Фейсал; Миллер, Майкл И.; Труве, Ален; Юнес, Лоран (2005). «Вычисление метрических отображений больших деформаций с помощью геодезических потоков диффеоморфизмов». International Journal of Computer Vision . 61 (2): 139–157. doi :10.1023/B:VISI.0000043755.93987.aa. S2CID  17772076 . Получено 21.03.2016 .
  10. ^ Джоши, SC; Миллер, MI (2000-01-01). «Соответствие ориентиров с помощью больших диффеоморфизмов деформации». IEEE Transactions on Image Processing . 9 (8): 1357–1370. Bibcode : 2000ITIP....9.1357J. doi : 10.1109/83.855431. ISSN  1057-7149. PMID  18262973.
  11. ^ «Студия МРТ».
  12. ^ «Картирование мозга MRICloud».
  13. ^ B. Srinivasa Reddy; BN Chatterji (август 1996 г.). «БПФ-метод для перевода, поворота и масштабно-инвариантной регистрации изображений». Труды IEEE по обработке изображений . 5 (8): 1266–1271. Bibcode : 1996ITIP....5.1266R. doi : 10.1109/83.506761. PMID  18285214. S2CID  6562358.
  14. ^ Зокай, С., Вольберг, Г., «Регистрация изображений с использованием логарифмически-полярных отображений для восстановления крупномасштабного сходства и проективных преобразований». Труды IEEE по обработке изображений , т. 14, № 10, октябрь 2005 г.
  15. ^ Ристеа, Николае-Каталин; Мирон, Андреа-Юлиана; Савенку, Оливиан; Георгеску, Мариана-Юлиана; Верга, Николае; Хан, Фахад Шахбаз; Ионеску, Раду Тудор (2023). «Сай Тран : циклически согласованный преобразователь с многоуровневой согласованностью для перевода компьютерной томографии с неконтрастного на контрастный». Нейрокомпьютинг . 538 : 126211. arXiv : 2110.06400 . doi : 10.1016/j.neucom.2023.03.072. S2CID  257952429.
  16. ^ Simonson, K., Drescher, S., Tanner, F., Подход к регистрации двоичных изображений на основе статистики с анализом неопределенности. Труды IEEE по анализу образов и машинному интеллекту, том 29, № 1, январь 2007 г.
  17. ^ Домокос, К., Като, З., Франкос, Дж., Параметрическая оценка аффинных деформаций бинарных изображений. Труды Международной конференции IEEE по акустике, речи и обработке сигналов , 2008 г.
  18. ^ Чжао, Шэнъюй; Лау, Тинфунг; Ло, Цзи; Чанг, Эрик Ай-Чао; Сюй, Янь (2020). «Неконтролируемая сквозная 3D-регистрация медицинских изображений с использованием сети объемного промежуточного кадра». IEEE Journal of Biomedical and Health Informatics . 24 (5): 1394–1404. arXiv : 1902.05020 . doi : 10.1109/JBHI.2019.2951024. ISSN  2168-2208. PMID  31689224. S2CID  61153704.
  19. ^ Чэнь, Цзюньюй; Хе, Юфань; Фрей, Эрик С.; Ли, Йе; Ду, Йонг (13.04.2021). «ViT-V-Net: Vision Transformer для неконтролируемой объемной регистрации медицинских изображений». arXiv : 2104.06468 [eess.IV].
  20. ^ Бурдужа, Михаил; Ионеску, Раду Тудор (2021). «Неконтролируемое согласование медицинских изображений с учебным планом». Международная конференция IEEE по обработке изображений (ICIP) 2021 г. . стр. 3787–3791. arXiv : 2102.10438 . doi :10.1109/ICIP42928.2021.9506067. ISBN 978-1-6654-4115-5. S2CID  231986287.
  21. ^ Савицкий; Эль Баггари; Клемент; Ховден; Куркутис (2018). «Регистрация изображений данных крио-СТЭМ с низким отношением сигнал-шум». Ультрамикроскопия . 191 : 56–65. arXiv : 1710.09281 . doi : 10.1016/j.ultramic.2018.04.008. PMID  29843097. S2CID  26983019.

Внешние ссылки

На Викискладе есть медиафайлы по теме «Регистрация изображений» .