stringtranslate.com

3D реконструкция

3D-реконструкция общей анатомии правого бокового вида небольшого морского слизняка Pseudunela viatoris .

В компьютерном зрении и компьютерной графике 3D -реконструкция — это процесс захвата формы и внешнего вида реальных объектов. Этот процесс может быть выполнен как активными, так и пассивными методами. [1] Если модель может изменять свою форму со временем, это называется нежесткой или пространственно-временной реконструкцией. [2]

Мотивация и приложения

Исследование 3D-реконструкции всегда было трудной задачей. Используя 3D-реконструкцию, можно определить 3D-профиль любого объекта, а также узнать 3D-координату любой точки на профиле. 3D-реконструкция объектов является общенаучной проблемой и основной технологией самых разных областей, таких как компьютерное геометрическое проектирование ( CAGD ), компьютерная графика , компьютерная анимация , компьютерное зрение , медицинская визуализация , вычислительная наука , виртуальная реальность , цифровые медиа и т. д. [3] Например, информация о поражениях пациентов может быть представлена ​​в 3D на компьютере, что предлагает новый и точный подход к диагностике и, таким образом, имеет жизненно важное клиническое значение. [4] Цифровые модели рельефа могут быть реконструированы с использованием таких методов, как воздушная лазерная альтиметрия [5] или радиолокатор с синтезированной апертурой . [6]

Активные методы

3D- карта эхолота подводного каньона

Активные методы, т. е. методы данных о дальности, учитывая карту глубины , реконструируют 3D-профиль с помощью подхода численного приближения и строят объект в сценарии на основе модели. Эти методы активно вмешиваются в реконструированный объект, либо механически, либо радиометрически, используя дальномеры , чтобы получить карту глубины, например, структурированный свет , лазерный дальномер и другие активные методы зондирования. Простой пример механического метода — использовать глубиномер для измерения расстояния до вращающегося объекта, помещенного на поворотный стол. Более применимые радиометрические методы излучают излучение в направлении объекта, а затем измеряют его отраженную часть. Примеры варьируются от движущихся источников света, цветного видимого света, времяпролетных лазеров [7] до микроволн или 3D-ультразвука . Подробнее см. в разделе 3D-сканирование .

Пассивные методы

Пассивные методы 3D-реконструкции не вмешиваются в реконструируемый объект; они только используют датчик для измерения сияния, отраженного или испускаемого поверхностью объекта, чтобы вывести его 3D-структуру через понимание изображения . [8] Обычно датчик представляет собой датчик изображения в камере, чувствительной к видимому свету, а входными данными для метода являются набор цифровых изображений (одно, два или более) или видео. В этом случае мы говорим о реконструкции на основе изображений, а выходными данными является 3D-модель . По сравнению с активными методами, пассивные методы могут применяться в более широком диапазоне ситуаций. [9]

Методы монокулярных сигналов

Методы монокулярных сигналов относятся к использованию одного или нескольких изображений с одной точки обзора (камеры) для перехода к 3D-конструкции. Он использует 2D-характеристики (например, силуэты, затенение и текстура) для измерения 3D-формы, и поэтому его также называют Shape-From-X, где X может быть силуэтами , затенением , текстурой и т. д. 3D-реконструкция с помощью монокулярных сигналов проста и быстра, и требуется только одно соответствующее цифровое изображение, поэтому достаточно только одной камеры. Технически он избегает стереосоответствия , что довольно сложно. [10]

Создание и реконструкция 3D-фигур из одно- или многоракурсных карт глубины или силуэтов [11]
« Визуальная оболочка », реконструированная с нескольких точек обзора

Форма из затенения Благодаря анализу информации о затенении на изображении, с использованием отражения Ламберта , восстанавливается глубина нормальной информации поверхности объекта для реконструкции. [12]

Фотометрическое стерео Этот подход более сложен, чем метод формы затенения. Изображения, полученные в разных условиях освещения, используются для решения информации о глубине. Стоит отметить, что для этого подхода требуется более одного изображения. [13]

Форма-из-текстуры Предположим, что такой объект с гладкой поверхностью покрыт реплицированными текстурными блоками, и его проекция из 3D в 2D вызывает искажение и перспективу . Искажение и перспектива, измеренные в 2D-изображениях, дают подсказку для обратного решения глубины нормальной информации поверхности объекта. [14]

Решения на основе машинного обучения Машинное обучение позволяет изучать соответствие между тонкими особенностями на входе и соответствующим 3D-эквивалентом. Глубокие нейронные сети показали высокую эффективность для 3D-реконструкции из одноцветного изображения. [15] Это работает даже для нефотореалистичных входных изображений, таких как эскизы. [16] Благодаря высокому уровню точности реконструированных 3D-особенностей метод на основе глубокого обучения был использован для приложений биомедицинской инженерии для реконструкции изображений КТ из рентгеновских снимков. [17]

Стерео зрение

Стереозрение получает трехмерную геометрическую информацию об объекте из нескольких изображений на основе исследования зрительной системы человека . [18] Результаты представлены в виде карт глубины. Изображения объекта, полученные двумя камерами одновременно под разными углами обзора или одной камерой в разное время под разными углами обзора, используются для восстановления его трехмерной геометрической информации и реконструкции его трехмерного профиля и местоположения. Это более прямолинейно, чем монокулярные методы, такие как форма из затенения.

Метод бинокулярного стереозрения требует двух идентичных камер с параллельной оптической осью для наблюдения за одним и тем же объектом, получая два изображения с разных точек зрения. С точки зрения тригонометрических соотношений, информация о глубине может быть рассчитана из диспаратности. Метод бинокулярного стереозрения хорошо разработан и стабильно способствует благоприятной 3D-реконструкции, что приводит к лучшей производительности по сравнению с другими 3D-конструкциями. К сожалению, он требует больших вычислительных затрат, кроме того, он работает довольно плохо, когда расстояние до базовой линии велико.

Постановка проблемы и основы

Подход к использованию бинокулярного стереозрения для получения трехмерной геометрической информации об объекте основан на визуальном неравенстве . [19] На следующем рисунке представлена ​​простая схематическая диаграмма горизонтально направленного бинокулярного стереозрения, где b — базовая линия между проекционными центрами двух камер.

Геометрия стереоскопической системы

Начало системы координат камеры находится в оптическом центре объектива камеры, как показано на рисунке. Фактически, плоскость изображения камеры находится позади оптического центра объектива камеры. Однако для упрощения вычислений изображения рисуются перед оптическим центром объектива с помощью f. Ось u и ось v системы координат изображения имеют одинаковое направление с осью x и осью y системы координат камеры соответственно. Начало системы координат изображения находится на пересечении плоскости изображения и оптической оси. Предположим, что такая мировая точка, соответствующие точки изображения которой находятся и соответственно на левой и правой плоскости изображения. Предположим, что две камеры находятся в одной плоскости, тогда координаты y и идентичны, т. е . . Согласно тригонометрическим соотношениям,

где - координаты в системе координат левой камеры, - фокусное расстояние камеры. Визуальное несоответствие определяется как разница в расположении точки изображения определенной точки мира, полученной двумя камерами,

на основании чего можно определить координаты .

Таким образом, зная координаты точек изображения, помимо параметров двух камер, можно определить трехмерную координату точки.

3D-реконструкция состоит из следующих разделов:

Получение изображения

Получение 2D-цифровых изображений является источником информации для 3D-реконструкции. Обычно используемая 3D-реконструкция основана на двух или более изображениях, хотя в некоторых случаях может использоваться только одно изображение. Существуют различные типы методов получения изображений, которые зависят от случаев и целей конкретного приложения. Необходимо не только соблюдать требования приложения, но и учитывать визуальное несоответствие, освещенность, производительность камеры и особенности сценария.

Калибровка камеры

Калибровка камеры в Binocular Stereo Vision относится к определению картографического соотношения между точками изображения и , и пространственной координатой в 3D-сценарии. Калибровка камеры является базовой и существенной частью 3D-реконструкции с помощью Binocular Stereo Vision.

Извлечение признаков

Целью извлечения признаков является получение характеристик изображений, посредством которых обрабатывается стереосоответствие. В результате характеристики изображений тесно связаны с выбором методов сопоставления. Не существует такой универсально применимой теории для извлечения признаков, что приводит к большому разнообразию стереосоответствий в исследованиях бинокулярного стереозрения.

Стерео соответствие

Стереосоответствие заключается в установлении соответствия между примитивными факторами в изображениях, т.е. для сопоставления и из двух изображений. Определенные факторы помех в сценарии должны быть отмечены, например, освещение, шум, физические характеристики поверхности и т.д.

Реставрация

Согласно точному соответствию, в сочетании с параметрами местоположения камеры, трехмерная геометрическая информация может быть восстановлена ​​без затруднений. В связи с тем, что точность трехмерной реконструкции зависит от точности соответствия, погрешности параметров местоположения камеры и т. д., предыдущие процедуры должны быть выполнены тщательно, чтобы достичь относительно точной трехмерной реконструкции.

3D-реконструкция медицинских изображений

Клиническая рутина диагностики, наблюдения за пациентами, компьютерная хирургия, хирургическое планирование и т. д. облегчаются точными 3D-моделями желаемой части человеческой анатомии. Основная мотивация 3D-реконструкции включает:

Приложения:

3D-реконструкция имеет применение во многих областях. Они включают:

Постановка проблемы:

Большинство алгоритмов, доступных для 3D-реконструкции, чрезвычайно медленные и не могут использоваться в реальном времени. Хотя представленные алгоритмы все еще находятся в зачаточном состоянии, они имеют потенциал для быстрых вычислений.

Существующие подходы:

Триангуляция Делоне (25 точек)

Делоне и альфа-формы

Оба метода были недавно расширены для реконструкции облаков точек с шумом. [34] В этом методе качество точек определяет осуществимость метода. Для точной триангуляции, поскольку мы используем весь набор облаков точек, точки на поверхности с ошибкой выше порогового значения будут явно представлены на реконструированной геометрии. [32]

Марширующие кубики

Методы установки нуля

Реконструкция поверхности выполняется с использованием функции расстояния, которая назначает каждой точке в пространстве знаковое расстояние до поверхности S. Алгоритм контура используется для извлечения нулевого набора, который используется для получения полигонального представления объекта. Таким образом, проблема реконструкции поверхности из неорганизованного облака точек сводится к определению соответствующей функции f с нулевым значением для выбранных точек и отличным от нуля значением для остальных. Алгоритм, называемый марширующими кубами, установил использование таких методов. [35] Существуют различные варианты данного алгоритма, некоторые используют дискретную функцию f , в то время как другие используют полигармоническую радиальную базисную функцию, используемую для настройки начального набора точек. [36] [37] Также использовались такие функции, как Moving Least Squares, базовые функции с локальной поддержкой, [38] основанные на уравнении Пуассона. Потеря точности геометрии в областях с экстремальной кривизной, т. е. углах, краях, является одной из основных проблем, с которыми приходится сталкиваться. Кроме того, предварительная обработка информации путем применения какой-либо техники фильтрации также влияет на определение углов, смягчая их. Существует несколько исследований, связанных с методами постобработки, используемыми при реконструкции для обнаружения и уточнения углов, но эти методы увеличивают сложность решения. [39]

Твердая геометрия с объемной визуализацией Изображение предоставлено Патриком Крисом Фрэджилом, доктором философии, Калифорнийский университет в Санта-Барбаре

Техника виртуальной реальности

Вся объемная прозрачность объекта визуализируется с помощью техники VR. Изображения будут получены путем проецирования лучей через объемные данные. Вдоль каждого луча необходимо рассчитать непрозрачность и цвет в каждом вокселе. Затем информация, рассчитанная вдоль каждого луча, будет агрегирована в пиксель на плоскости изображения. Эта техника помогает нам всесторонне увидеть всю компактную структуру объекта. Поскольку эта техника требует огромного количества вычислений, что требует мощных конфигурационных компьютеров, она подходит для низкоконтрастных данных. Можно рассмотреть два основных метода проецирования лучей:

Прослеживание луча через сетку вокселей. Воксели, которые проходят в дополнение к выбранным с помощью стандартного 8-связного алгоритма, показаны заштрихованными.

Сетка вокселей

В этой технике фильтрации входное пространство выбирается с использованием сетки 3D-вокселей для уменьшения количества точек. [40] Для каждого воксела выбирается центроид как представитель всех точек. Существует два подхода: выбор центроида воксела или выбор центроида точек, лежащих внутри воксела. Для получения внутренних точек усреднение имеет более высокую вычислительную стоимость, но дает лучшие результаты. Таким образом, получается подмножество входного пространства, которое примерно представляет собой лежащую в основе поверхность. Метод сетки вокселей представляет те же проблемы, что и другие техники фильтрации: невозможность определения окончательного количества точек, представляющих поверхность, потеря геометрической информации из-за уменьшения точек внутри воксела и чувствительность к шумным входным пространствам.

Смотрите также

Ссылки

  1. ^ Мунс, Тео, Люк Ван Гул и Маартен Фергаувен. «3D-реконструкция из нескольких изображений, часть 1: Принципы». Основы и тенденции в компьютерной графике и зрении 4.4 (2010): 287-404.
  2. ^ Цоллхёфер, Михаэль и др. «Нежёсткая реконструкция в реальном времени с использованием камеры RGB-D». ACM Transactions on Graphics 33.4 (2014): 156.
  3. ^ "Будущее 3D-моделирования". GarageFarm . 2017-05-27 . Получено 2017-05-27 .
  4. ^ ab Liping Zheng; Guangyao Li; Jing Sha (2007). «Обзор медицинской 3D-реконструкции изображений». В Luo, Qingming; Wang, Lihong V.; Tuchin, Valery V.; Gu, Min (ред.). Пятая международная конференция по фотонике и визуализации в биологии и медицине . Труды SPIE. Том 6534. стр. 65342K–65342K–6. doi :10.1117/12.741321. S2CID  62548928.
  5. ^ Воссельман, Джордж и Сандер Дейкман. «Реконструкция 3D-модели здания по облакам точек и планам местности». Международный архив фотограмметрии, дистанционного зондирования и пространственной информации 34.3/W4 (2001): 37-44.
  6. ^ Колесанти, Карло и Януш Васовски. «Исследование оползней с помощью интерферометрии космического радара с синтезированной апертурой (SAR)». Инженерная геология 88.3-4 (2006): 173-199.
  7. ^ ab Mahmoudzadeh, Ahmadreza; Golroo, Amir; Jahanshahi, Mohammad R.; Firoozi Yeganeh, Sayna (январь 2019 г.). «Оценка неровности дорожного покрытия путем слияния данных о цвете и глубине, полученных с помощью недорогого датчика RGB-D». Датчики . 19 (7): 1655. Bibcode : 2019Senso..19.1655M. doi : 10.3390/s19071655 . PMC 6479490. PMID  30959936 . 
  8. ^ Буэлтхофф, Генрих Х. и Алан Л. Юйл. «Форма-из-X: психофизика и вычисления». Архивировано 07.01.2011 в Wayback Machine . Fibers' 91, Бостон, Массачусетс. Международное общество оптики и фотоники, 1991.
  9. ^ Moons, Theo (2010). 3D-реконструкция из нескольких изображений. Часть 1, Принципы . Gool, Luc van., Vergauwen, Maarten. Ганновер, Массачусетс: Now Publishers, Inc. ISBN 978-1-60198-285-8. OCLC  607557354.
  10. ^ Саксена, Ашутош; Сан, Мин; Нг, Эндрю Й. (2007). «Трехмерная реконструкция из разреженных изображений с использованием монокулярного зрения». 2007 IEEE 11-я Международная конференция по компьютерному зрению . стр. 1–8. CiteSeerX 10.1.1.78.5303 . doi :10.1109/ICCV.2007.4409219. ISBN  978-1-4244-1630-1. S2CID  17571812.
  11. ^ Солтани, AA; Хуан, H.; Ву, J.; Кулкарни, TD; Тененбаум, JB (2017). «Синтез 3D-фигур с помощью моделирования многовидовых карт глубины и силуэтов с помощью глубоких генеративных сетей». Труды конференции IEEE по компьютерному зрению и распознаванию образов . стр. 1511–1519 – через GitHub.
  12. ^ Хорн, Бертольд КП. «Форма из затенения: метод получения формы гладкого непрозрачного объекта с одного вида». (1970).
  13. ^ Вудхэм, Роберт Дж. (1980). "Фотометрический метод определения ориентации поверхности по нескольким изображениям" (PDF) . Optical Engineering . 19 (1): 138–141. Bibcode :1980OptEn..19..139W. doi :10.1117/12.7972479. Архивировано из оригинала (PDF) 2014-03-27.
  14. ^ Уиткин, Эндрю П. (1981). «Восстановление формы и ориентации поверхности по текстуре» (PDF) . Искусственный интеллект . 17 (1–3): 17–45. doi :10.1016/0004-3702(81)90019-9.
  15. ^ Фэн, Ци; Шум, Хьюберт PH; Моришима, Шигео (2022). «360 Оценка глубины в дикой природе — набор данных Depth360 и сеть SegFuse». Конференция IEEE 2022 года по виртуальной реальности и трехмерным пользовательским интерфейсам (VR) . IEEE. стр. 664–673. arXiv : 2202.08010 . doi : 10.1109/VR51125.2022.00087. ISBN 978-1-6654-9617-9.
  16. ^ Нодзава, Наоки; Шум, Хьюберт PH; Фэн, Ци; Хо, Эдмонд SL; Моришима, Шигео (2022). «Реконструкция формы автомобиля 3D из контурного эскиза с использованием GAN и ленивого обучения». Visual Computer . 38 (4). Springer: 1317–1330. doi : 10.1007/s00371-020-02024-y . ISSN  1432-2315.
  17. ^ Корона-Фигероа, Абрил; Бонд-Тейлор, Сэм; Бхоумик, Ниланджан; Гаус, Йона Фалини А.; Брекон, Тоби П.; Шум, Хьюберт П.Х.; Уиллкокс, Крис Г. (2023). Невыровненная трансляция 2D в 3D с условной векторно-квантованной кодовой диффузией с использованием трансформаторов . IEEE/CVF. arXiv : 2308.14152 .
  18. ^ Касс, Майкл; Виткин, Эндрю; Терзопулос, Деметри (1988). «Змеи: модели активного контура» (PDF) . International Journal of Computer Vision . 1 (4): 321–331. doi :10.1007/BF00133570. S2CID  12849354.
  19. ^ МакКоун, Жак и Люсьен Ривз. Бинокулярное зрение: развитие, восприятие глубины и нарушения. Nova Science Publishers, Inc. , 2010.
  20. ^ Махмудзаде, Ахмадреза; Йегане, Сайна Фирузи; Голру, Амир (9 июля 2019 г.). «3D-реконструкция поверхности дорожного покрытия с помощью датчика RGB-D». arXiv : 1907.04124 [cs.CV].
  21. ^ Карранса, Джоэл и др. «Видео со свободной точкой зрения с участием людей-актеров». Труды ACM по графике. Т. 22. № 3. ACM, 2003.
  22. ^ Трун, Себастьян. «Роботизированное картографирование: обзор». Исследование искусственного интеллекта в новом тысячелетии 1.1-35 (2002): 1.
  23. ^ Poullis, Charalambos; You, Suya (май 2011). «3D-реконструкция городских территорий». Международная конференция по 3D-изображениям, моделированию, обработке, визуализации и передаче данных 2011 г. стр. 33–40. doi :10.1109/3dimpvt.2011.14. ISBN 978-1-61284-429-9. S2CID  1189988.
  24. ^ Сюй, Фан и Клаус Мюллер. «Реконструкция 3D-компьютерной томографии в реальном времени с использованием графического оборудования общего назначения. Архивировано 19 марта 2016 г. в Wayback Machine ». Физика в медицине и биологии 52.12 (2007): 3405.
  25. ^ ab Mortara, Michela и др. «Изучение культурного наследия с помощью серьезных игр». Журнал культурного наследия 15.3 (2014): 318-325.
  26. ^ Бруно, Фабио и др. (январь–март 2010 г.). «От 3D-реконструкции к виртуальной реальности: полная методология цифровой археологической выставки». Журнал культурного наследия . 11 (1): 42–49. doi :10.1016/j.culher.2009.02.006 – через ResearchGate.
  27. ^ Изади, Шахрам и др. «KinectFusion: 3D-реконструкция в реальном времени и взаимодействие с использованием движущейся глубинной камеры». Труды 24-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса. ACM, 2011.
  28. ^ Ван, Цзюнь; Гу, Донгсяо; Юй, Цзэюнь; Тан, Чанбай; Чжоу, Лайшуй (декабрь 2012 г.). «Структура для реконструкции 3D-моделей в обратном проектировании». Компьютеры и промышленная инженерия . 63 (4): 1189–1200. doi :10.1016/j.cie.2012.07.009.
  29. ^ Моеслунд, Томас Б. и Эрик Гранум. «Обзор захвата движений человека на основе компьютерного зрения». Компьютерное зрение и понимание изображений 81.3 (2001): 231-268.
  30. ^ Хеджрати, Мохсен и Дева Раманан. «Анализ через синтез: распознавание трехмерных объектов путем реконструкции объектов». Труды конференции IEEE по компьютерному зрению и распознаванию образов. 2014.
  31. ^ Кескин, Джем, Айше Эркан и Лале Акарун. «Отслеживание рук в реальном времени и распознавание трехмерных жестов для интерактивных интерфейсов с использованием hmm». ICANN/ICONIPP 2003 (2003): 26-29.
  32. ^ ab Angelopoulou, A.; Psarrou, A.; Garcia-Rodriguez, J.; Orts-Escolano, S.; Azorin-Lopez, J.; Revett, K. (20 февраля 2015 г.). "3D-реконструкция медицинских изображений из срезов, автоматически обозначенных растущими нейронными моделями" (PDF) . Neurocomputing . 150 (часть A): 16–25. doi :10.1016/j.neucom.2014.03.078. hdl : 10045/42544 .
  33. ^ ab Эдельсбруннер, Герберт; Мюкке, Эрнст (январь 1994). "Трехмерные альфа-формы". ACM Trans. Graph . 13 (1): 43–72. arXiv : math/9410208 . Bibcode :1994math.....10208E. doi :10.1145/174462.156635. S2CID  1600979.
  34. ^ ab Dey, Tamal K. ; Goswami, Samrat (август 2006 г.). «Вероятная реконструкция поверхности по зашумленным образцам». Computational Geometry . 35 (1–2): 124–141. doi :10.1016/j.comgeo.2005.10.006.
  35. ^ Лоренсен, Уильям Э.; Клайн, Харви Э. (июль 1987 г.). «Марширующие кубы: алгоритм построения трехмерной поверхности высокого разрешения». ACM SIGGRAPH Computer Graphics . 21 (4): 163–169. CiteSeerX 10.1.1.545.613 . doi :10.1145/37402.37422. 
  36. ^ Хоппе, Хьюз; ДеРоуз, Тони; Дюшан, Том; Макдональд, Джон; Штютцле, Вернер (июль 1992 г.). «Реконструкция поверхности по неорганизованным точкам». ACM SIGGRAPH Computer Graphics . 26 (2): 71–78. CiteSeerX 10.1.1.5.3672 . doi :10.1145/142920.134011. 
  37. ^ Карр, Дж. К.; Битсон, РК; Черри, Дж. Б.; Митчелл, Т. Дж.; Фрайт, В. Р.; МакКаллум, Б. К.; Эванс, ТР (2001). «Реконструкция и представление трехмерных объектов с помощью радиальных базисных функций» (PDF) . 28-я ежегодная конференция по компьютерной графике и интерактивным технологиям SIGGRAPH 2001. ACM. стр. 67–76.
  38. ^ Walder, C.; Schölkopf, B.; Chapelle, O. (2006). "Неявное моделирование поверхности с глобально регуляризованным базисом компактной опоры" (PDF) . Eurographics . 25 (3). Архивировано из оригинала (PDF) 2017-09-22 . Получено 2018-10-09 .
  39. ^ Wang, CL (июнь 2006 г.). «Инкрементальная реконструкция острых кромок на сетчатых поверхностях». Computer-Aided Design . 38 (6): 689–702. doi :10.1016/j.cad.2006.02.009.
  40. ^ Коннолли, К. (1984). «Накопительное создание моделей октодерева из данных диапазона». Труды. 1984 IEEE Международная конференция по робототехнике и автоматизации . Том 1. С. 25–32. doi :10.1109/ROBOT.1984.1087212.

Внешние ссылки

Внешние ссылки