stringtranslate.com

Структура из движения

Структура по движению ( SfM ) [1] представляет собой метод фотограмметрической визуализации диапазона для оценки трехмерных структур по последовательностям двумерных изображений, которые могут быть связаны с локальными сигналами движения . Он изучается в области компьютерного зрения и зрительного восприятия .

Принцип

Цифровая модель поверхности строительной развязки на автомагистрали
Реальное фото x SfM с цветом текстуры x SfM с простым шейдером. Сделано с помощью графического пользовательского интерфейса Python Photogrammetry Toolbox и визуализировано в Blender с помощью Cycles.
Цифровая 3D-модель поверхности аэродрома Безмехова , полученная на основе данных, собранных во время 30-минутного полета БПЛА Pteryx.

Люди воспринимают большой объем информации о трехмерной структуре окружающей среды, перемещаясь по ней. Когда наблюдатель движется, объекты вокруг него перемещаются на разную величину в зависимости от их расстояния от наблюдателя. Это известно как параллакс движения , и информация об этой глубине может быть использована для создания точного трехмерного представления окружающего мира. [2]

Поиск структуры по движению представляет собой ту же проблему, что и поиск структуры по стереозрению . В обоих случаях необходимо найти соответствие между изображениями и реконструкцией трехмерного объекта.

Чтобы найти соответствие между изображениями, такие функции, как угловые точки (края с градиентами в нескольких направлениях), отслеживаются от одного изображения к другому. Одним из наиболее широко используемых детекторов признаков является масштабно-инвариантное преобразование признаков (SIFT). В качестве признаков он использует максимумы пирамиды разности гауссиан (DOG). Первым шагом в SIFT является поиск доминирующего направления градиента. Чтобы сделать его инвариантным к вращению, дескриптор поворачивается в соответствии с этой ориентацией. [3] Еще одним распространенным детектором функций является SURF ( ускоренные надежные функции ). [4] В SURF DOG заменен детектором капель на основе матрицы Гессе . Кроме того, вместо оценки гистограмм градиента SURF вычисляет суммы компонентов градиента и суммы их абсолютных значений. [5] Использование интегральных изображений позволяет чрезвычайно быстро обнаруживать особенности с высокой скоростью обнаружения. [6] Таким образом, по сравнению с SIFT, SURF является более быстрым детектором объектов с недостатком меньшей точности в положении объектов. [5] Другим типом особенностей, недавно ставших практичными для структур, основанных на движении, являются общие кривые (например, локально край с градиентами в одном направлении), часть технологии, известной как бессмысленная SfM , [7] [8], полезная, когда точечные элементы недостаточно, распространено в техногенных средах. [9]

Затем функции, обнаруженные на всех изображениях, будут сопоставлены. Одним из алгоритмов сопоставления, отслеживающих особенности одного изображения в другом, является трекер Лукаса-Канаде . [10]

Иногда некоторые из совпадающих функций сопоставляются неправильно. Вот почему совпадения также следует фильтровать. RANSAC (консенсус случайной выборки) — это алгоритм, который обычно используется для удаления выбросов. В статье Фишлера и Боллеса RANSAC используется для решения задачи определения местоположения (LDP), целью которой является определение точек в пространстве, которые проецируются на изображение в набор ориентиров с известными местоположениями. [11]

Траектории объектов с течением времени затем используются для реконструкции их трехмерных положений и движения камеры. [12] Альтернативой являются так называемые прямые подходы, при которых геометрическая информация (3D-структура и движение камеры) оценивается непосредственно из изображений, без промежуточной абстракции к особенностям или углам. [13]

Существует несколько подходов к построению структуры из движения. В пошаговом SfM [14] позы камеры определяются и добавляются в коллекцию одна за другой. В глобальном SfM, [15] [16] положения всех камер решаются одновременно. Несколько промежуточным подходом является SfM вне ядра , при котором вычисляется несколько частичных реконструкций, которые затем интегрируются в глобальное решение.

Приложения

Геонауки

Фотограмметрия структуры по движению с многопроекционным стереоскопическим изображением обеспечивает гипермасштабные модели рельефа с использованием изображений, полученных с ряда цифровых камер и, при необходимости, с сети наземных контрольных точек. Этот метод не ограничен во временной частоте и может предоставить данные об облаках точек, сравнимые по плотности и точности с теми, которые генерируются наземным и воздушным лазерным сканированием, за небольшую часть стоимости. [17] [18] [19] Структура движения также полезна в удаленных или суровых условиях, где наземное лазерное сканирование ограничено портативностью оборудования, а лазерное сканирование с воздуха ограничено неровностями местности, что приводит к потере данных и ракурсу изображения. Этот метод применялся во многих местах, таких как реки, [20] бесплодные земли, [21] песчаные береговые линии, [22] [23] зоны разломов, [24] оползни, [25] и коралловые рифы. [26] SfM также успешно применяется для оценки большого объема накопления древесины [27] и пористости [28] в речных системах, а также для характеристики массивов горных пород посредством определения некоторых свойств, таких как ориентация, стойкость, и т. д. разрывов. [29] [30] Можно использовать полный спектр цифровых фотоаппаратов, включая цифровые зеркальные фотокамеры, компактные цифровые фотоаппараты и даже смартфоны. Однако, как правило, данные более высокой точности можно получить с помощью более дорогих камер, которые оснащены объективами более высокого оптического качества. Таким образом, этот метод предлагает захватывающие возможности для описания топографии поверхности с беспрецедентной детализацией и, с помощью многовременных данных, для обнаружения изменений высоты, положения и объема, которые являются симптомами процессов на земной поверхности. Структуру из движения можно рассматривать в контексте других методов цифровой съемки.

Культурное наследие

Культурное наследие присутствует повсюду. Его структурный контроль, документирование и сохранение — одна из главных обязанностей человечества ( ЮНЕСКО ). С этой точки зрения SfM используется для правильной оценки ситуаций, а также планирования и усилий и затрат на техническое обслуживание, контроля и восстановления. Поскольку часто существуют серьезные ограничения, связанные с доступностью объекта и невозможностью установки инвазивных геодезических столбов, которые не позволяют использовать традиционные методы съемки (например, тахеометры), SfM обеспечивает неинвазивный подход к конструкции без прямого взаимодействия. между структурой и любым оператором. Использование является точным, поскольку необходимы только качественные соображения. Это достаточно быстро, чтобы отреагировать на неотложные потребности управления памятником. [31] Первым этапом работы является точная подготовка к фотограмметрической съемке, где устанавливается соотношение между наилучшим расстоянием от объекта, фокусным расстоянием, расстоянием отбора проб грунта (ДЗП) и разрешением датчика. Используя эту информацию, запрограммированные фотографические снимки должны выполняться с перекрытием по вертикали не менее 60 % (рисунок 02). [32]

Кроме того, фотограмметрия структуры по движению представляет собой неинвазивный, очень гибкий и недорогой метод оцифровки исторических документов. [33]

Смотрите также

Рекомендации

  1. ^ С. Ульман (1979). «Интерпретация структуры по движению» (PDF) . Труды Лондонского королевского общества . 203 (1153): 405–426. Бибкод : 1979РСПСБ.203..405У. дои :10.1098/rspb.1979.0006. hdl : 1721.1/6298 . PMID  34162. S2CID  11995230.
  2. ^ Линда Г. Шапиро ; Джордж С. Стокман (2001). Компьютерное зрение . Прентис Холл. ISBN 978-0-13-030796-5.
  3. ^ Д.Г. Лоу (2004). «Отличительные особенности изображения по масштабно-инвариантным ключевым точкам». Международный журнал компьютерного зрения . 60 (2): 91–110. CiteSeerX 10.1.1.73.2924 . doi :10.1023/b:visi.0000029664.99615.94. S2CID  221242327. 
  4. ^ Х. Бэй; Т. Туителаарс и Л. Ван Гул (2006). «Серфинг: ускорены надежные функции». 9-я Европейская конференция по компьютерному зрению .
  5. ^ аб К. Хэминг и Г. Петерс (2010). «Конвейер реконструкции структуры по движению - исследование с акцентом на короткие последовательности изображений». Кибернетика . 46 (5): 926–937.
  6. ^ Виола, П.; Джонс, М. (2001). «Быстрое обнаружение объектов с использованием расширенного каскада простых функций». Материалы конференции IEEE Computer Society 2001 года по компьютерному зрению и распознаванию образов. ЦВПР 2001 . Том. 1. Кауаи, Гавайи, США: IEEE Comput. Соц. стр. I–511–I-518. дои : 10.1109/CVPR.2001.990517. ISBN 978-0-7695-1272-3. S2CID  2715202.
  7. ^ Нурутдинова, Андрей; Фитцгиббон, Эндрю (2015). «К бессмысленной структуре из движения: 3D-реконструкция и параметры камеры на основе общих 3D-кривых» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) , 2015 г. стр. 2363–2371. дои : 10.1109/ICCV.2015.272. ISBN 978-1-4673-8391-2. S2CID  9120123.
  8. ^ Фаббри, Рикардо; Гиблин, Питер; Кимия, Бенджамин (2012). «Оценка положения камеры с использованием дифференциальной геометрии кривой первого порядка». Компьютерное зрение – ECCV 2012 (PDF) . Конспекты лекций по информатике. Том. 7575. стр. 231–244. дои : 10.1007/978-3-642-33765-9_17. ISBN 978-3-642-33764-2. S2CID  15402824.
  9. ^ Apple, команда АРКИТ (2018). «Понимание отслеживания и обнаружения ARKit». WWDC .
  10. ^ BD Лукас и Т. Канаде. «Итеративный метод регистрации изображений с применением к стереозрению». Иджкай81 .
  11. ^ М. А. Фишлер и Р. К. Боллес (1981). «Консенсус случайной выборки: парадигма подбора модели с приложениями для анализа изображений и автоматизированной картографии». Коммун. АКМ . 24 (6): 381–395. дои : 10.1145/358669.358692 . S2CID  972888.
  12. ^ Ф. Делларт; С. Зейтц; К. Торп и С. Трун (2000). «Структура из движения без соответствия» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов .
  13. ^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). «LSD-SLAM: крупномасштабный прямой монокуляр SLAM». Европейская конференция по компьютерному зрению (ECCV), 2014 г. (PDF) .
  14. ^ Дж. Л. Шенбергер и Дж. М. Фрам (2016). «Возвращение к структуре из движения» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов .
  15. ^ К. Томази и Т. Канаде (1992). «Форма и движение потоков изображений в условиях орфографии: метод факторизации». Международный журнал компьютерного зрения . 9 (2): 137–154. CiteSeerX 10.1.1.131.9807 . дои : 10.1007/BF00129684. S2CID  2931825. 
  16. ^ В.М. Говинду (2001). «Объединение ограничений двух представлений для оценки движения». Материалы конференции IEEE Computer Society 2001 года по компьютерному зрению и распознаванию образов. ЦВПР 2001 . Том. 2. С. II-218–II-225. дои : 10.1109/CVPR.2001.990963. ISBN 0-7695-1272-0. S2CID  8252027.
  17. ^ Вестоби, MJ; Брэсингтон, Дж.; Глассер, штат Нью-Йорк; Хэмбри, MJ; Рейнольдс, Дж. М. (15 декабря 2012 г.). «Фотограмметрия «Структура из движения»: недорогой и эффективный инструмент для геонаучных приложений». Геоморфология . 179 : 300–314. Бибкод : 2012Geomo.179..300Вт. doi :10.1016/j.geomorph.2012.08.021. hdl : 2160/11389 . S2CID  33695861.
  18. ^ Джеймс, MR; Робсон, С. (1 сентября 2012 г.). «Простая реконструкция трехмерных поверхностей и топографии с помощью камеры: точность и применение в геолого-геофизических исследованиях» (PDF) . Журнал геофизических исследований: Поверхность Земли . 117 (Ф3): F03017. Бибкод : 2012JGRF..117.3017J. дои : 10.1029/2011jf002289 . ISSN  2156-2202.
  19. ^ Фонстад, Марк А.; Дитрих, Джеймс Т.; Курвиль, Бретань К.; Дженсен, Дженнифер Л.; Карбонно, Патрис Э. (30 марта 2013 г.). «Топографическая структура из движения: новая разработка в фотограмметрических измерениях» (PDF) . Процессы на поверхности Земли и формы рельефа . 38 (4): 421–430. Бибкод : 2013ESPL...38..421F. дои : 10.1002/особенно 3366. ISSN  1096-9837. S2CID  15601931.
  20. ^ Джаверник, Л.; Брэсингтон, Дж.; Карузо, Б. (2014). «Моделирование топографии мелководных разветвленных рек с использованием фотограмметрии структуры из движения». Геоморфология . 213 : 166–182. Бибкод : 2014Geomo.213..166J. doi :10.1016/j.geomorph.2014.01.006.
  21. ^ Смит, Марк Уильям; Верикат, Дамиа (30 сентября 2015 г.). «От экспериментальных участков к экспериментальным ландшафтам: топография, эрозия и отложения на субвлажных бесплодных землях на основе фотограмметрии структуры из движения» (PDF) . Процессы на поверхности Земли и формы рельефа . 40 (12): 1656–1671. Бибкод : 2015ESPL...40.1656S. дои : 10.1002/особенно 3747. ISSN  1096-9837. S2CID  128402144.
  22. ^ Гольдштейн, Эван Б; Оливер, Эмбер Р.; де Врис, Эльсемари; Мур, Лаура Дж; Джасс, Тео (22 октября 2015 г.). «Требования к наземной контрольной точке для топографии, полученной на основе движения конструкции, в прибрежных районах с небольшим уклоном». Препринты PeerJ . doi : 10.7287/peerj.preprints.1444v1 . ISSN  2167-9843.
  23. ^ Манчини, Франческо; Дуббини, Марко; Гаттелли, Марио; Стекки, Франческо; Фаббри, Стефано; Габбианелли, Джованни (9 декабря 2013 г.). «Использование беспилотных летательных аппаратов (БПЛА) для реконструкции топографии с высоким разрешением: структура на основе движения в прибрежной среде». Дистанционное зондирование . 5 (12): 6880–6898. Бибкод : 2013RemS....5.6880M. дои : 10.3390/rs5126880 . hdl : 11380/1055514 .
  24. ^ Джонсон, Кендра; Ниссен, Эдвин; Сарипалли, Шрикант; Эроусмит, Дж. Рамон; МакГари, Патрик; Шарер, Кэтрин; Уильямс, Патрик; Блиснюк, Кимберли (1 октября 2014 г.). «Быстрое картирование топографии ультратонкой зоны разломов со структурой, полученной в результате движения». Геосфера . 10 (5): 969–986. Бибкод : 2014Geosp..10..969J. дои : 10.1130/GES01017.1 .
  25. ^ Дель Солдато, М.; Рикельме, А.; Бьянкини, С.; Томас, Р.; Ди Мартире, Д.; Де Вита, П.; Моретти, С.; Калькатерра, Д. (6 июня 2018 г.). «Интеграция данных из нескольких источников для исследования эволюции оползня Аньоне за столетие (Молизе, южная Италия)». Оползни . 15 (11): 2113–2128. дои : 10.1007/s10346-018-1015-z . HDL : 2158/1131012 . ISSN  1612-510Х.
  26. ^ Брайсон, Митч; Дуче, Стефани; Харрис, Дэн; Вебстер, Джоди М.; Томпсон, Алиша; Вила-Консехо, Ана; Уильямс, Стефан Б. (2016). «Геоморфические изменения кораллового рифа, измеренные с помощью аэрофотосъемки с помощью воздушного змея». Геоморфология . 270 : 1–8. Бибкод : 2016Geomo.270....1B. doi :10.1016/j.geomorph.2016.06.018.
  27. ^ Спрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (01 декабря 2019 г.). «Использование фотограмметрии Structure from Motion для оценки крупных скоплений древесины (LW) в поле». Геоморфология . 346 : 106851. Бибкод : 2019Geomo.34606851S. doi : 10.1016/j.geomorph.2019.106851. S2CID  202908775.
  28. ^ Спрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2020). «Трехмерное картирование и оценка накопления крупной древесины (LW) с использованием структуры, полученной при фотограмметрии движения в лаборатории». Журнал гидрологии . 581 : 124430. Бибкод : 2020JHyd..58124430S. doi :10.1016/j.jгидрол.2019.124430. S2CID  209465940.
  29. ^ Рикельме, А.; Кано, М.; Томас, Р.; Абеллан, А. (01 января 2017 г.). «Идентификация наборов разрывов горных склонов с помощью лазерного сканера и фотограмметрических облаков точек: сравнительный анализ». Процедия Инжиниринг . 191 : 838–845. дои : 10.1016/j.proeng.2017.05.251 . hdl : 10045/67538 . ISSN  1877-7058.
  30. ^ Хорда Бордехоре, Луис; Рикельме, Адриан; Кано, Мигель; Томас, Роберто (01 сентября 2017 г.). «Сравнение сбора данных о неоднородностях поля вручную и дистанционного зондирования, используемого при оценке кинематической устойчивости обрушившихся скальных откосов» (PDF) . Международный журнал механики горных пород и горных наук . 97 : 24–32. Бибкод : 2017IJRMM..97...24J. doi :10.1016/j.ijrmms.2017.06.004. hdl : 10045/67528 . ISSN  1365-1609.
  31. ^ Гуиди. Г.; Бералдин, Дж.А.; Ацени, К. Высокоточное 3D-моделирование культурного наследия: оцифровка Донателло. IEEE Транс. Процесс изображения. 2004, 13, 370–380
  32. ^ Краус, К., 2007. Фотограмметрия: геометрия по изображениям и лазерным сканированиям. Вальтер де Грюйтер, 459 стр. ISBN 978-3-11-019007-6 
  33. ^ Брандолини, Филиппо; Патрукко, Джакомо (сентябрь 2019 г.). «Фотограмметрия структуры из движения (SFM) как неинвазивная методология оцифровки исторических документов: очень гибкий и недорогой подход?». Наследство . 2 (3): 2124–2136. дои : 10.3390/heritage2030128 . hdl : 2434/666172 .

дальнейшее чтение