stringtranslate.com

3D реконструкция

3D-реконструкция общей анатомии вида правой стороны небольшого морского слизняка Pseudunela viatoris .

В компьютерном зрении и компьютерной графике 3D-реконструкция — это процесс воспроизведения формы и внешнего вида реальных объектов. Этот процесс может осуществляться как активными, так и пассивными методами. [1] Если модели разрешено изменять свою форму во времени, это называется нежесткой или пространственно-временной реконструкцией. [2]

Мотивация и приложения

Исследование 3D-реконструкции всегда было сложной задачей. Используя 3D-реконструкцию, можно определить 3D-профиль любого объекта, а также узнать 3D-координату любой точки профиля. 3D-реконструкция объектов является общенаучной проблемой и основной технологией в самых разных областях, таких как компьютерное геометрическое проектирование ( CAGD ), компьютерная графика , компьютерная анимация , компьютерное зрение , медицинская визуализация , вычислительная наука , виртуальная реальность , цифровые медиа. и т. д. [3] Например, информация о поражениях пациентов может быть представлена ​​в 3D на компьютере, что предлагает новый и точный подход к диагностике и, таким образом, имеет жизненно важное клиническое значение. [4] Цифровые модели рельефа можно реконструировать с использованием таких методов, как воздушная лазерная альтиметрия [5] или радар с синтезированной апертурой . [6]

Активные методы

3D- карта эхолота подводного каньона

Активные методы, то есть методы определения дальности, по карте глубины восстанавливают трехмерный профиль методом численной аппроксимации и строят объект по сценарию на основе модели. Эти методы активно взаимодействуют с реконструированным объектом либо механически, либо радиометрически с использованием дальномеров , чтобы получить карту глубины, например, структурированный свет , лазерный дальномер и другие методы активного зондирования. Простой пример механического метода — использование глубиномера для измерения расстояния до вращающегося объекта, помещенного на поворотный стол. Более применимые радиометрические методы излучают излучение в сторону объекта, а затем измеряют его отраженную часть. Примеры варьируются от движущихся источников света, цветного видимого света, времяпролетных лазеров [7] до микроволн или 3D-ультразвука . Более подробную информацию см. в разделе 3D-сканирование .

Пассивные методы

Пассивные методы 3D-реконструкции не влияют на реконструируемый объект; они используют датчик только для измерения излучения, отраженного или излучаемого поверхностью объекта, чтобы сделать вывод о его трехмерной структуре посредством понимания изображения . [8] Обычно датчик представляет собой датчик изображения в камере, чувствительный к видимому свету, а входными данными для метода является набор цифровых изображений (одно, два или более) или видео. В этом случае мы говорим о реконструкции на основе изображений, а на выходе получается 3D-модель . По сравнению с активными методами пассивные методы могут применяться в более широком диапазоне ситуаций. [9]

Методы монокулярных сигналов

Методы монокулярных сигналов подразумевают использование одного или нескольких изображений с одной точки обзора (камеры) для перехода к трехмерному конструированию. Он использует 2D-характеристики (например, силуэты, затенение и текстуру) для измерения трехмерной формы, поэтому его также называют Shape-From-X, где X может обозначать силуэты , затенение , текстуру и т. д. 3D-реконструкция с помощью монокулярных сигналов проста. и быстро, и требуется только одно подходящее цифровое изображение, поэтому достаточно только одной камеры. Технически это позволяет избежать стереосоответствия , что довольно сложно. [10]

Создание и реконструкция трехмерных фигур на основе карт глубины или силуэтов с одним или несколькими видами [11]
« Визуальная оболочка », реконструированная с разных точек зрения.

Форма из затенения Благодаря анализу информации о цвете на изображении с использованием коэффициента отражения Ламберта глубина нормальной информации о поверхности объекта восстанавливается для реконструкции. [12]

Фотометрическое стерео. Этот подход более сложен, чем метод формы затенения. Изображения, сделанные в различных условиях освещения, используются для определения глубины. Стоит отметить, что для этого подхода требуется более одного изображения. [13]

Форма из текстуры Предположим, что такой объект с гладкой поверхностью покрыт реплицированными текстурными блоками, и его проекция из 3D в 2D вызывает искажение и перспективу . Искажение и перспектива, измеренные на 2D-изображениях, дают подсказку для обратного решения глубины нормальной информации о поверхности объекта. [14]

Решения на основе машинного обучения. Машинное обучение позволяет изучить соответствие между тонкими функциями входных данных и соответствующим трехмерным эквивалентом. Глубокие нейронные сети показали свою высокую эффективность для трехмерной реконструкции по одноцветному изображению. [15] Это работает даже для нефотореалистичных входных изображений, таких как эскизы. [16] Благодаря высокому уровню точности реконструированных трехмерных объектов, метод глубокого обучения был использован в биомедицинских инженерных приложениях для восстановления компьютерных изображений по рентгеновским снимкам. [17]

Стерео зрение

Стереозрение получает трехмерную геометрическую информацию об объекте из нескольких изображений на основе исследований зрительной системы человека . [18] Результаты представлены в виде карт глубины. Изображения объекта, полученные двумя камерами одновременно под разными углами обзора или одной камерой в разное время и под разными углами обзора, используются для восстановления его 3D-геометрической информации и реконструкции его 3D-профиля и местоположения. Это более прямой метод, чем монокулярные методы, такие как «форма из затенения».

Метод бинокулярного стереозрения требует, чтобы две одинаковые камеры с параллельными оптическими осями наблюдали за одним и тем же объектом, получая два изображения с разных точек зрения. С точки зрения тригонометрических соотношений информация о глубине может быть рассчитана на основе несоответствия. Метод бинокулярного стереозрения хорошо развит и стабильно способствует благоприятной трехмерной реконструкции, что приводит к лучшей производительности по сравнению с другими трехмерными конструкциями. К сожалению, он требует больших вычислительных ресурсов и работает довольно плохо при большом базовом расстоянии.

Постановка задачи и основы

Подход к использованию бинокулярного стереозрения для получения трехмерной геометрической информации объекта основан на визуальном несоответствии . [19] На следующем рисунке представлена ​​простая схематическая диаграмма бинокулярного стереовидения при горизонтальном визировании, где b — базовая линия между проекционными центрами двух камер.

Геометрия стереоскопической системы

Начало системы координат камеры находится в оптическом центре объектива камеры, как показано на рисунке. На самом деле плоскость изображения камеры находится за оптическим центром объектива камеры. Однако для упрощения расчета изображения рисуются перед оптическим центром линзы по f. Ось u и ось v системы координат изображения находятся в том же направлении, что и оси x и y системы координат камеры соответственно. Начало системы координат изображения находится на пересечении плоскости изображения и оптической оси. Предположим, что существует такая мировая точка , соответствующие точки изображения которой находятся соответственно в левой и правой плоскости изображения. Предположим, что две камеры находятся в одной плоскости, тогда координаты y и идентичны, т.е. Согласно тригонометрическим соотношениям,

где – координаты в системе координат левой камеры, – фокусное расстояние камеры. Визуальное несоответствие определяется как разница в расположении точки изображения определенной точки мира, полученной двумя камерами.

на основании которых можно определить координаты .

Таким образом, зная координаты точек изображения, помимо параметров двух камер, можно определить трехмерную координату точки.

3D-реконструкция состоит из следующих разделов:

Получение изображения

Получение двухмерных цифровых изображений является источником информации для трехмерной реконструкции. Обычно используемая 3D-реконструкция основана на двух или более изображениях, хотя в некоторых случаях может использоваться только одно изображение. Существуют различные типы методов получения изображений, которые зависят от случаев и целей конкретного применения. Должны быть соблюдены не только требования приложения, но также следует учитывать визуальные различия, освещенность, производительность камеры и особенности сценария.

Калибровка камеры

Калибровка камеры в Binocular Stereo Vision относится к определению взаимосвязи между точками изображения и координатами пространства в 3D-сценарии. Калибровка камеры — основная и важная часть 3D-реконструкции с помощью бинокулярного стереозрения.

Извлечение признаков

Целью извлечения признаков является получение характеристик изображений, посредством которых осуществляется обработка стереосоответствия. В результате характеристики изображений тесно связаны с выбором методов сопоставления. Не существует такой универсально применимой теории выделения признаков, что приводит к большому разнообразию стереосоответствий в исследованиях бинокулярного стереозрения.

Стерео переписка

Стереосоответствие заключается в установлении соответствия между примитивными факторами в изображениях, т.е. совпадении и из двух изображений. Следует обратить внимание на определенные факторы помех в сценарии, например, освещенность, шум, физические характеристики поверхности и т. д.

Реставрация

В соответствии с точным соответствием в сочетании с параметрами местоположения камеры трехмерную геометрическую информацию можно без труда восстановить. В связи с тем, что точность 3D-реконструкции зависит от точности соответствия, погрешности параметров местоположения камеры и т. д., предыдущие процедуры необходимо выполнять осторожно, чтобы добиться относительно точной 3D-реконструкции.

3D-реконструкция медицинских изображений

Клиническая постановка диагноза, последующее наблюдение за пациентом, компьютерная хирургия, планирование хирургического вмешательства и т. д. облегчаются точными 3D-моделями желаемой части анатомии человека. Основная мотивация 3D-реконструкции включает в себя

Приложения:

3D-реконструкция находит применение во многих областях. Они включают:

Постановка задачи:

Большинство алгоритмов, доступных для 3D-реконструкции, чрезвычайно медленны и не могут использоваться в режиме реального времени. Хотя представленные алгоритмы все еще находятся в зачаточном состоянии, у них есть потенциал для быстрых вычислений.

Существующие подходы:

Триангуляция Делоне (25 баллов)

Делоне и альфа-формы

Оба метода недавно были расширены для восстановления облаков точек с шумом. [34] В этом методе качество баллов определяет осуществимость метода. Для точной триангуляции, поскольку мы используем весь набор облаков точек, точки на поверхности с ошибкой выше порога будут явно представлены в восстановленной геометрии. [32]

Марширующие кубики

Методы нулевой установки

Реконструкция поверхности выполняется с помощью функции расстояния , которая присваивает каждой точке пространства знаковое расстояние до поверхности S. Контурный алгоритм используется для извлечения набора нулей, который используется для получения полигонального представления объекта. Таким образом, задача восстановления поверхности по неорганизованному облаку точек сводится к определению соответствующей функции f с нулевым значением для выбранных точек и отличным от нуля значением для остальных. Алгоритм под названием « марширующие кубы» установил использование таких методов. [35] Существуют различные варианты данного алгоритма: некоторые используют дискретную функцию f , а другие используют полигармоническую радиальную базисную функцию для настройки начального набора точек. [36] [37] Также использовались такие функции, как метод наименьших квадратов, базовые функции с локальной поддержкой, [38] на основе уравнения Пуассона. Потеря точности геометрии в областях с чрезмерной кривизной, то есть в углах и краях, является одной из основных проблем, с которыми приходится сталкиваться. Более того, предварительная обработка информации с применением какой-либо техники фильтрации также влияет на четкость углов, смягчая их. Существует несколько исследований, связанных с методами постобработки, используемыми при реконструкции для обнаружения и уточнения углов, но эти методы увеличивают сложность решения. [39]

Твердотельная геометрия с объемной визуализацией. Изображение предоставлено Патриком Крисом Фрэджайлом, доктором философии, Калифорнийский университет в Санта-Барбаре.

Техника виртуальной реальности

Вся объемная прозрачность объекта визуализируется с помощью техники VR. Изображения будут выполняться путем проецирования лучей через объемные данные. Вдоль каждого луча необходимо рассчитать непрозрачность и цвет для каждого вокселя. Затем информация, рассчитанная вдоль каждого луча, будет агрегирована до пикселя на плоскости изображения. Этот прием помогает нам комплексно увидеть всю компактную структуру объекта. Поскольку этот метод требует огромного количества вычислений и требует сильной конфигурации компьютеров, он подходит для данных с низкой контрастностью. Два основных метода проецирования лучей можно рассматривать следующим образом:

Трассировка луча через сетку вокселей. Воксели, пройденные в дополнение к выбранным с использованием стандартного 8-связного алгоритма, показаны заштрихованными.

Воксельная сетка

В этом методе фильтрации входное пространство отбирается с использованием сетки трехмерных вокселей, чтобы уменьшить количество точек. [40] Для каждого воксела в качестве представителя всех точек выбирается центроид. Существует два подхода: выбор центроида вокселя или выбор центроида точек, лежащих внутри вокселя. Для получения внутренних баллов среднее требует более высоких вычислительных затрат, но дает лучшие результаты. Таким образом, получается подмножество входного пространства, которое примерно представляет основную поверхность. Метод Voxel Grid сталкивается с теми же проблемами, что и другие методы фильтрации: невозможность определить окончательное количество точек, представляющих поверхность, потеря геометрической информации из-за уменьшения количества точек внутри вокселя и чувствительность к зашумленным входным пространствам.

Смотрите также

Рекомендации

  1. ^ Мунс, Тео, Люк Ван Гул и Маартен Вергаувен. «3D-реконструкция из нескольких изображений, часть 1: Принципы». Основы и тенденции в компьютерной графике и зрении 4.4 (2010): 287-404.
  2. ^ Цольхёфер, Майкл и др. «Нежесткая реконструкция в реальном времени с использованием камеры RGB-D». Транзакции ACM в графике 33.4 (2014): 156.
  3. ^ "The Future of 3D Modeling". GarageFarm. 2017-05-27. Retrieved 2017-05-27.
  4. ^ a b Liping Zheng; Guangyao Li; Jing Sha (2007). "The survey of medical image 3D reconstruction". In Luo, Qingming; Wang, Lihong V.; Tuchin, Valery V.; Gu, Min (eds.). Fifth International Conference on Photonics and Imaging in Biology and Medicine. Proceedings of SPIE. Vol. 6534. pp. 65342K–65342K–6. doi:10.1117/12.741321. S2CID 62548928.
  5. ^ Vosselman, George, and Sander Dijkman. "3D building model reconstruction from point clouds and ground plans." International archives of photogrammetry remote sensing and spatial information sciences 34.3/W4 (2001): 37-44.
  6. ^ Colesanti, Carlo, and Janusz Wasowski. "Investigating landslides with space-borne Synthetic Aperture Radar (SAR) interferometry." Engineering geology 88.3-4 (2006): 173-199.
  7. ^ a b Mahmoudzadeh, Ahmadreza; Golroo, Amir; Jahanshahi, Mohammad R.; Firoozi Yeganeh, Sayna (January 2019). "Estimating Pavement Roughness by Fusing Color and Depth Data Obtained from an Inexpensive RGB-D Sensor". Sensors. 19 (7): 1655. Bibcode:2019Senso..19.1655M. doi:10.3390/s19071655. PMC 6479490. PMID 30959936.
  8. ^ Buelthoff, Heinrich H., and Alan L. Yuille. "Shape-from-X: Psychophysics and computation Archived 2011-01-07 at the Wayback Machine." Fibers' 91, Boston, MA. International Society for Optics and Photonics, 1991.
  9. ^ Moons, Theo (2010). 3D reconstruction from multiple images. Part 1, Principles. Gool, Luc van., Vergauwen, Maarten. Hanover, MA: Now Publishers, Inc. ISBN 978-1-60198-285-8. OCLC 607557354.
  10. ^ Saxena, Ashutosh; Sun, Min; Ng, Andrew Y. (2007). "3-D Reconstruction from Sparse Views using Monocular Vision". 2007 IEEE 11th International Conference on Computer Vision. pp. 1–8. CiteSeerX 10.1.1.78.5303. doi:10.1109/ICCV.2007.4409219. ISBN 978-1-4244-1630-1. S2CID 17571812.
  11. ^ Soltani, A.A.; Huang, H.; Wu, J.; Kulkarni, T.D.; Tenenbaum, J.B. (2017). "Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes With Deep Generative Networks". Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 1511–1519 – via GitHub.
  12. ^ Хорн, Бертольд КП. «Форма из затенения: метод получения формы гладкого непрозрачного объекта с одного взгляда». (1970).
  13. ^ Вудхэм, Роберт Дж. (1980). «Фотометрический метод определения ориентации поверхности по нескольким изображениям» (PDF) . Оптическая инженерия . 19 (1): 138–141. Бибкод : 1980OptEn..19..139W. дои : 10.1117/12.7972479. Архивировано из оригинала (PDF) 27 марта 2014 г.
  14. ^ Уиткин, Эндрю П. (1981). «Восстановление формы и ориентации поверхности по текстуре» (PDF) . Искусственный интеллект . 17 (1–3): 17–45. дои : 10.1016/0004-3702(81)90019-9.
  15. ^ Фэн, Ци; Шум, Хьюберт П.Х.; Моришима, Сигео (2022). «Оценка глубины 360 в дикой природе — набор данных Depth360 и сеть SegFuse». Конференция IEEE 2022 года по виртуальной реальности и 3D пользовательским интерфейсам (VR) . IEEE. стр. 664–673. arXiv : 2202.08010 . дои : 10.1109/VR51125.2022.00087. ISBN 978-1-6654-9617-9.
  16. ^ Нодзава, Наоки; Шум, Хьюберт П.Х.; Фэн, Ци; Хо, Эдмонд С.Л.; Моришима, Сигео (2022). «3D-реконструкция формы автомобиля по контурному эскизу с использованием GAN и ленивого обучения». Визуальный компьютер . Спрингер. 38 (4): 1317–1330. дои : 10.1007/s00371-020-02024-y . ISSN  1432-2315.
  17. ^ Корона-Фигероа, апрель; Бонд-Тейлор, Сэм; Бхоумик, Ниланджан; Гаус, Йона Фалини А.; Брекон, Тоби П.; Шум, Хьюберт П.Х.; Уиллкокс, Крис Г. (2023). Невыровненный перевод 2D в 3D с условной диффузией векторно-квантованного кода с использованием преобразователей . IEEE/CVF. arXiv : 2308.14152 .
  18. ^ Касс, Майкл; Уиткин, Эндрю; Терзопулос, Деметрий (1988). «Змеи: активные контурные модели» (PDF) . Международный журнал компьютерного зрения . 1 (4): 321–331. дои : 10.1007/BF00133570. S2CID  12849354.
  19. ^ МакКоун, Жак и Люсьен Ривз. Бинокулярное зрение: развитие, восприятие глубины и нарушения. Издательство Nova Science, Inc. , 2010.
  20. ^ Махмудзаде, Ахмадреза; Йегане, Сайна Фирузи; Голру, Амир (9 июля 2019 г.). «3D-реконструкция поверхности дорожного покрытия с помощью датчика RGB-D». arXiv : 1907.04124 [cs.CV].
  21. ^ Карранса, Джоэл и др. «Видео с участием актеров со свободной точки зрения». Транзакции ACM с графикой. Том. 22. № 3. АКМ, 2003.
  22. ^ Трун, Себастьян. «Роботизированное картографирование: опрос». Исследование искусственного интеллекта в новом тысячелетии 1.1-35 (2002): 1.
  23. ^ Пуллис, Хараламбос; Ты, Суя (май 2011 г.). «3D-реконструкция городских территорий». 2011 Международная конференция по 3D-изображению, моделированию, обработке, визуализации и передаче . стр. 33–40. дои : 10.1109/3dimpvt.2011.14. ISBN 978-1-61284-429-9. S2CID  1189988.
  24. ^ Сюй, Фанг и Клаус Мюллер. «3D компьютерная томографическая реконструкция в реальном времени с использованием обычного графического оборудования. Архивировано 19 марта 2016 г. в Wayback Machine ». Физика в медицине и биологии 52.12 (2007): 3405.
  25. ^ Аб Мортара, Микела и др. «Изучение культурного наследия посредством серьезных игр». Журнал культурного наследия 15.3 (2014): 318-325.
  26. ^ Бруно, Фабио; и другие. (январь – март 2010 г.). «От 3D-реконструкции к виртуальной реальности: полная методология цифровой археологической выставки». Журнал культурного наследия . 11 (1): 42–49. doi :10.1016/j.culher.2009.02.006 – через ResearchGate.
  27. ^ Изади, Шахрам и др. «KinectFusion: 3D-реконструкция в реальном времени и взаимодействие с использованием движущейся камеры глубины». Материалы 24-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса. АКМ, 2011.
  28. ^ Ван, Цзюнь; Гу, Дунсяо; Ю, Зеюн; Тан, Чанбай; Чжоу, Лайшуй (декабрь 2012 г.). «Среда реконструкции 3D-моделей в обратном инжиниринге». Компьютеры и промышленная инженерия . 63 (4): 1189–1200. doi : 10.1016/j.cie.2012.07.009.
  29. ^ Моэслунд, Томас Б. и Эрик Гранум. «Обзор захвата движений человека на основе компьютерного зрения». Компьютерное зрение и понимание изображений 81.3 (2001): 231-268.
  30. ^ Хеджрати, Мохсен и Дева Раманан. «Анализ путем синтеза: распознавание трехмерных объектов путем реконструкции объекта». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2014.
  31. ^ Кескин, Джем, Айше Эркан и Лале Акарун. «Отслеживание рук в реальном времени и распознавание 3D-жестов для интерактивных интерфейсов с использованием хм». ICANN/ICONIPP 2003 (2003): 26-29.
  32. ^ аб Ангелопулу, А.; Псарру, А.; Гарсиа-Родригес, Дж.; Ортс-Эсколано, С.; Азорин-Лопес, Дж.; Реветт, К. (20 февраля 2015 г.). «3D-реконструкция медицинских изображений из срезов, автоматически маркированных растущими нейронными моделями» (PDF) . Нейрокомпьютинг . 150 (Часть А): 16–25. doi :10.1016/j.neucom.2014.03.078. hdl : 10045/42544 .
  33. ^ аб Эдельсбруннер, Герберт; Мюке, Эрнст (январь 1994 г.). «Трехмерные альфа-формы». АКМ Транс. График . 13 (1): 43–72. arXiv : математика/9410208 . Бибкод : 1994math.....10208E. дои : 10.1145/174462.156635. S2CID  1600979.
  34. ^ Аб Дей, Тамал К .; Госвами, Самрат (август 2006 г.). «Вероятная реконструкция поверхности по зашумленным образцам». Вычислительная геометрия . 35 (1–2): 124–141. дои : 10.1016/j.comgeo.2005.10.006.
  35. ^ Лоренсен, Уильям Э.; Клайн, Харви Э. (июль 1987 г.). «Марширующие кубы: алгоритм построения трехмерной поверхности высокого разрешения». ACM SIGGRAPH Компьютерная графика . 21 (4): 163–169. CiteSeerX 10.1.1.545.613 . дои : 10.1145/37402.37422. 
  36. ^ Хоппе, Хьюз; ДеРоуз, Тони; Дюшан, Том; Макдональд, Джон; Штютцле, Вернер (июль 1992 г.). «Реконструкция поверхности из неорганизованных точек». ACM SIGGRAPH Компьютерная графика . 26 (2): 71–78. CiteSeerX 10.1.1.5.3672 . дои : 10.1145/142920.134011. 
  37. ^ Карр, Дж.К.; Битсон, РК; Черри, Джей Би; Митчелл, Ти Джей; Испуг, WR; МакКаллум, Британская Колумбия; Эванс, Т.Р. (2001). «Реконструкция и представление трехмерных объектов с радиальными базисными функциями» (PDF) . 28-я ежегодная конференция по компьютерной графике и интерактивным технологиям SIGGRAPH 2001 . АКМ. стр. 67–76.
  38. ^ Уолдер, К.; Шёлкопф, Б.; Шапель, О. (2006). «Неявное моделирование поверхности с глобально регуляризованной основой компактной поддержки» (PDF) . Еврографика . 25 (3). Архивировано из оригинала (PDF) 22 сентября 2017 г. Проверено 9 октября 2018 г.
  39. ^ Ван, CL (июнь 2006 г.). «Поэтапная реконструкция острых краев на сетчатых поверхностях». Системы автоматизированного проектирования . 38 (6): 689–702. дои : 10.1016/j.cad.2006.02.009.
  40. ^ Коннолли, К. (1984). «Совокупная генерация моделей октодерева на основе данных диапазона». Слушания. 1984 Международная конференция IEEE по робототехнике и автоматизации . Том. 1. С. 25–32. дои : 10.1109/РОБОТ.1984.1087212.{{cite book}}: CS1 maint: дата и год ( ссылка )

Внешние ссылки

Внешние ссылки