Оптический поток

Pattern of motion in a visual scene due to relative motion of the observer

Оптический поток, испытываемый вращающимся наблюдателем (в данном случае мухой). Направление и величина оптического потока в каждом месте представлены направлением и длиной каждой стрелки.

Оптический поток или оптический поток — это закономерность видимого движения объектов, поверхностей и краев в визуальной сцене, вызванная относительным движением между наблюдателем и сценой. ^{[1] [2]} Оптический поток также можно определить как распределение видимых скоростей движения яркостного рисунка на изображении. ^[3]

Концепция оптического потока была введена американским психологом Джеймсом Дж. Гибсоном в 1940-х годах для описания зрительного стимула, даваемого животным, перемещающимся по миру. ^[4] Гибсон подчеркнул важность оптического потока для восприятия возможностей , способности различать возможности для действия в окружающей среде. Последователи Гибсона и его экологического подхода к психологии далее продемонстрировали роль стимула оптического потока для восприятия движения наблюдателем в мире; восприятие формы, расстояния и движения предметов окружающего мира; и контроль передвижения . ^[5]

Термин «оптический поток» также используется робототехниками, охватывая родственные методы обработки изображений и управления навигацией, включая обнаружение движения , сегментацию объектов , информацию о времени контакта, расчеты фокуса расширения, яркость, кодирование с компенсацией движения и измерение стереодиспаратности. ^{[6] [7]}

Оценка

Последовательности упорядоченных изображений позволяют оценивать движение как мгновенные скорости изображения, так и дискретные смещения изображения. ^[7] Флит и Вайс представляют собой учебное введение в оптический поток на основе градиента. ^[8] Джон Л. Бэррон, Дэвид Дж. Флит и Стивен Бошемин проводят анализ эффективности ряда методов оптического потока. Это подчеркивает точность и плотность измерений. ^[9]

Методы оптического потока пытаются вычислить движение между двумя кадрами изображения, которые снимаются время от времени и в каждой позиции вокселя . Эти методы называются дифференциальными, поскольку они основаны на аппроксимации сигнала изображения локальными рядами Тейлора ; то есть они используют частные производные по пространственным и временным координатам. ${\displaystyle t}$ ${\displaystyle t+\Delta t}$

Для (2D +  t )-мерного случая (3D- или n -D случаи аналогичны) воксель в местоположении с интенсивностью переместится на , и между двумя кадрами изображения, и можно задать следующее ограничение постоянства яркости : ${\displaystyle (x,y,t)}$ ${\displaystyle I(x,y,t)}$ ${\displaystyle \Delta x}$ ${\displaystyle \Delta y}$ ${\displaystyle \Delta t}$

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Предполагая, что движение небольшое, можно разработать ограничение изображения с помощью ряда Тейлора , чтобы получить: ${\displaystyle I(x,y,t)}$

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}$члены высшего порядка

Путем усечения членов более высокого порядка (что выполняет линеаризацию) следует, что:

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

или, разделив на , ${\displaystyle \Delta t}$

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

что приводит к

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

где – и компоненты скорости или оптического потока и – производные изображения при в соответствующих направлениях. , и для производных можно записать следующее. ${\displaystyle V_{x},V_{y}}$ ${\displaystyle x}$ ${\displaystyle y}$ ${\displaystyle I(x,y,t)}$ ${\displaystyle {\tfrac {\partial I}{\partial x}}}$ ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ ${\displaystyle (x,y,t)}$ ${\displaystyle I_{x}}$ ${\displaystyle I_{y}}$ ${\displaystyle I_{t}}$

Таким образом:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

или

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Это уравнение с двумя неизвестными и не может быть решено как таковое. Это известно как проблема апертуры алгоритмов оптического потока. Чтобы найти оптический поток, необходим другой набор уравнений, заданный некоторым дополнительным ограничением. Все методы оптического потока вводят дополнительные условия для оценки фактического потока.

Методы определения

• Фазовая корреляция – обратная нормированному спектру перекрестной мощности
• Блочные методы – минимизация суммы квадратов разностей или суммы абсолютных разностей или максимизация нормализованной взаимной корреляции.
• Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала изображения и/или искомого поля потока и частных производных более высокого порядка, таких как:
  • Метод Лукаса-Канаде - относительно фрагментов изображения и аффинной модели поля потока ^[10]
  • Метод Хорна – Шунка - оптимизация функционала на основе остатков ограничения постоянства яркости и особого члена регуляризации, выражающего ожидаемую гладкость поля потока ^[10]
  • Метод Бакстона-Бакстона - основан на модели движения краев в последовательностях изображений ^[11]
  • Метод Блэка – Джепсона – грубый оптический поток посредством корреляции ^[7]
  • Общие вариационные методы – ряд модификаций/расширений Хорна – Шунка с использованием других терминов данных и других терминов гладкости.
• Методы дискретной оптимизации — пространство поиска квантуется, а затем сопоставление изображений осуществляется путем присвоения метки каждому пикселю, так что соответствующая деформация минимизирует расстояние между исходным и целевым изображением. ^[12] Оптимальное решение часто находится с помощью алгоритмов теоремы о максимальном потоке и минимальном разрезе , линейного программирования или методов распространения убеждений .

Многие из них, в дополнение к современным алгоритмам, оцениваются с помощью набора контрольных данных Миддлбери. ^{[13] [14]} Другими популярными наборами эталонных данных являются KITTI и Sintel .

Использование

Оценка движения и сжатие видео стали важным аспектом исследования оптического потока. Хотя поле оптического потока внешне похоже на плотное поле движения, полученное с помощью методов оценки движения, оптический поток представляет собой исследование не только определения самого поля оптического потока, но и его использования для оценки трехмерной природы. и структура сцены, а также трехмерное движение объектов и наблюдателя относительно сцены, большинство из которых использует изображение Якобиана. ^[15]

Оптический поток использовался исследователями робототехники во многих областях, таких как: обнаружение и отслеживание объектов, извлечение доминирующей плоскости изображения, обнаружение движения, навигация робота и визуальная одометрия . ^[6] Информация об оптическом потоке признана полезной для управления летательными аппаратами. ^[16]

Применение оптического потока включает в себя задачу определения не только движения наблюдателя и объектов на сцене, но также структуры объектов и окружающей среды. Поскольку осознание движения и создание мысленных карт структуры нашей окружающей среды являются важнейшими компонентами зрения животных (и человека) , преобразование этой врожденной способности в компьютерные возможности также имеет решающее значение в области машинного зрения . ^[17]

Вектор оптического потока движущегося объекта в видеоряде.

Рассмотрим пятикадровый клип, в котором мяч движется из нижнего левого угла поля зрения в правый верхний. Методы оценки движения могут определить, что на двумерной плоскости мяч движется вверх и вправо, и векторы, описывающие это движение, могут быть извлечены из последовательности кадров. Для целей сжатия видео (например, MPEG ) последовательность теперь описана так, как это необходимо. Однако в области машинного зрения вопрос о том, движется ли мяч вправо или наблюдатель движется влево, является непознаваемой, но важной информацией. Даже если бы в пяти кадрах присутствовал статический узорчатый фон, мы не могли бы с уверенностью заявить, что мяч движется вправо, потому что узор может иметь бесконечное расстояние до наблюдателя.

Оптический датчик потока

Существуют различные конфигурации оптических датчиков потока. Одна конфигурация представляет собой чип датчика изображения, подключенный к процессору, запрограммированному на выполнение алгоритма оптического потока. В другой конфигурации используется чип машинного зрения, который представляет собой интегральную схему, содержащую датчик изображения и процессор на одном кристалле, что обеспечивает компактную реализацию. ^{[18] [19]} Примером этого является универсальный датчик оптической мыши, используемый в оптической мыши . В некоторых случаях схема обработки может быть реализована с использованием аналоговых схем или схем смешанных сигналов, чтобы обеспечить быстрое вычисление оптического потока с минимальным потреблением тока.

Одной из областей современных исследований является использование методов нейроморфной инженерии для реализации схем, которые реагируют на оптический поток и, следовательно, могут быть пригодны для использования в датчике оптического потока. ^[20] Такие схемы могут быть вдохновлены биологическими нейронными схемами, которые аналогичным образом реагируют на оптический поток.

Оптические датчики потока широко используются в компьютерных оптических мышах в качестве основного чувствительного компонента для измерения движения мыши по поверхности.

Оптические датчики потока также используются в робототехнике , в первую очередь там, где необходимо измерить визуальное движение или относительное движение между роботом и другими объектами, находящимися вблизи робота. Использование оптических датчиков потока в беспилотных летательных аппаратах (БПЛА) для обеспечения устойчивости и обхода препятствий также является областью текущих исследований. ^[21]

Смотрите также

• Окружающая оптическая матрица
• Оптическая мышь
• Визуализация диапазона
• Блок обработки изображений
• Уравнение непрерывности
• Поле движения

Рекомендации

1. Бертон, Эндрю; Рэдфорд, Джон (1978). Мышление в перспективе: критические очерки по изучению мыслительных процессов. Рутледж. ISBN 978-0-416-85840-2.
2. Уоррен, Дэвид Х.; Стрелов, Эдвард Р. (1985). Электронное пространственное зондирование для слепых: вклад восприятия. Спрингер. ISBN 978-90-247-2689-9.
3. Хорн, Бертольд КП; Шунк, Брайан Г. (август 1981 г.). «Определение оптического потока» (PDF) . Искусственный интеллект . 17 (1–3): 185–203. дои : 10.1016/0004-3702(81)90024-2. hdl : 1721.1/6337.
4. Гибсон, Джей-Джей (1950). Восприятие визуального мира . Хоутон Миффлин.
5. Ройден, CS; Мур, К.Д. (2012). «Использование сигналов скорости при обнаружении движущихся объектов движущимися наблюдателями». Исследование зрения . 59 : 17–24. дои : 10.1016/j.visres.2012.02.006 . PMID  22406544. S2CID  52847487.
6. Айрес, Келсон RT; Сантана, Андре М.; Медейрос, Аделардо А.Д. (2008). Оптический поток с использованием информации о цвете (PDF) . ACM Нью-Йорк, штат Нью-Йорк, США. ISBN 978-1-59593-753-7.
7. Бошемен, СС; Бэррон, Дж.Л. (1995). «Расчет оптического потока». Обзоры вычислительной техники ACM . ACM Нью-Йорк, США. 27 (3): 433–466. дои : 10.1145/212094.212141 . S2CID  1334552.
8. Флит, Дэвид Дж.; Вайс, Яир (2006). «Оценка оптического потока» (PDF) . В Парагиосе Никос; Чен, Юнмей; Фожерас, Оливье Д. (ред.). Справочник по математическим моделям в компьютерном зрении . Спрингер. стр. 237–257. ISBN 978-0-387-26371-7.
9. Бэррон, Джон Л.; Флит, Дэвид Дж. и Бошемин, Стивен (1994). «Эффективность методов оптического потока» (PDF) . Международный журнал компьютерного зрения . 12 : 43–77. CiteSeerX 10.1.1.173.481 . дои : 10.1007/bf01420984. S2CID  1290100. 
10. Чжан, Г.; Шансон, Х. (2018). «Применение методов локального оптического потока к высокоскоростным потокам со свободной поверхностью: проверка и применение к ступенчатым желобам» (PDF) . Экспериментальная тепловая и гидрологическая наука . 90 : 186–199. doi :10.1016/j.expthermflusci.2017.09.010.
11. Глин В. Хамфрис и Вики Брюс (1989). Визуальное познание. Психология Пресс. ISBN 978-0-86377-124-8.
12. Б. Глокер; Н. Комодакис; Г. Циритас; Н. Наваб; Н. Парагиос (2008). Плотная регистрация изображений с помощью MRF и эффективного линейного программирования (PDF) . Журнал анализа медицинских изображений.
13. Бейкер, Саймон; Шарштейн, Дэниел; Льюис, JP; Рот, Стефан; Блэк, Майкл Дж.; Селиски, Ричард (март 2011 г.). «База данных и методология оценки оптического потока». Международный журнал компьютерного зрения . 92 (1): 1–31. дои : 10.1007/s11263-010-0390-2 . ISSN  0920-5691. S2CID  316800.
14. Бейкер, Саймон; Шарштейн, Дэниел; Льюис, JP; Рот, Стефан; Блэк, Майкл Дж.; Селиски, Ричард. «Оптический поток». .vision.middlebury.edu . Проверено 18 октября 2019 г.
15. Корк, Питер (8 мая 2017 г.). «Образ Якобиана». Академия роботов QUT .
16. Барроуз, GL; Чал, Дж. С.; Шринивасан, М.В. (2003). «Биологически обоснованное визуальное восприятие и управление полетом». Аэронавигационный журнал . 107 (1069): 159–268. дои : 10.1017/S0001924000011891. S2CID  108782688 – через издательство Кембриджского университета.
17. Браун, Кристофер М. (1987). Достижения в области компьютерного зрения. Лоуренс Эрлбаум Ассошиэйтс. ISBN 978-0-89859-648-9.
18. Мойни, Алиреза (2000). Чипы зрения . Бостон, Массачусетс: Springer US. ISBN 9781461552673. ОСЛК  851803922.
19. Мид, Карвер (1989). Аналоговые СБИС и нейронные системы . Ридинг, Массачусетс: Аддисон-Уэсли. ISBN 0201059924. ОСЛК  17954003.
20. Стокер, Алан А. (2006). Аналоговые СБИС для восприятия зрительного движения . Чичестер, Англия: Джон Уайли и сыновья. ISBN 0470034882. ОСЛК  71521689.
21. Флореано, Дарио; Зюфери, Жан-Кристоф; Шринивасан, Мандьям В.; Эллингтон, Чарли, ред. (2009). Летающие насекомые и роботы . Гейдельберг: Спрингер. ISBN 9783540893936. ОКЛК  495477442.

Внешние ссылки

• Нахождение оптического потока
• Статья об искусстве оптического потока на fxguide.com (использование оптического потока в визуальных эффектах)
• Оценка оптического потока и основные последовательности.
• Оценка оптического потока Миддлбери и основные последовательности.
• mrf-registration.net — Оценка оптического потока через MRF
• Французская аэрокосмическая лаборатория: реализация оптического потока на основе графического процессора Лукаса-Канаде
• Реализация CUDA с помощью CUVI (библиотека CUDA Vision & Imaging)
• Оптический поток Хорна и Шунка: онлайн-демонстрация и исходный код метода Хорна и Шунка
• Оптический поток TV-L1: онлайн-демо и исходный код Zach et al. метод
• Надежный оптический поток: онлайн-демо и исходный код Brox et al. метод