Видеоотслеживание

Обнаружение движущегося объекта путем анализа кадров видео

Видеоотслеживание — это процесс определения местоположения движущегося объекта (или нескольких объектов) с течением времени с помощью камеры. Он имеет множество применений, некоторые из которых: взаимодействие человека с компьютером, безопасность и наблюдение, видеосвязь и сжатие , дополненная реальность , управление дорожным движением, медицинская визуализация ^[1] и редактирование видео . ^{[2] [3]} Видеоотслеживание может быть трудоемким процессом из-за объема данных, содержащихся в видео. Еще больше усложняет ситуацию возможная необходимость использования методов распознавания объектов для отслеживания, что само по себе является сложной проблемой.

Цель

Пример визуального сервоуправления для руки робота, чтобы поймать мяч путем отслеживания объекта с визуальной обратной связью, которая обрабатывается высокоскоростной системой обработки изображений. ^{[4] [5]}

Целью видеоотслеживания является связывание целевых объектов в последовательных видеокадрах. Связывание может быть особенно сложным, когда объекты движутся быстро относительно частоты кадров . Другая ситуация, которая увеличивает сложность проблемы, — это когда отслеживаемый объект меняет ориентацию с течением времени. Для таких ситуаций системы видеоотслеживания обычно используют модель движения, которая описывает, как изображение цели может измениться для различных возможных движений объекта.

Примерами простых моделей движения являются:

• При отслеживании плоских объектов модель движения представляет собой двумерное преобразование ( аффинное преобразование или гомография ) изображения объекта (например, исходного кадра).
• Когда цель представляет собой жесткий трехмерный объект, модель движения определяет его вид в зависимости от его трехмерного положения и ориентации.
• Для сжатия видео ключевые кадры делятся на макроблоки . Модель движения представляет собой разрыв ключевого кадра, где каждый макроблок транслируется вектором движения, заданным параметрами движения.
• Изображение деформируемых объектов можно покрыть сеткой, движение объекта определяется положением узлов сетки.

Алгоритмы

Совместная сегментация объектов в видеокадрах

Для выполнения видеоотслеживания алгоритм анализирует последовательные видеокадры и выводит движение целей между кадрами. Существует множество алгоритмов, каждый из которых имеет свои сильные и слабые стороны. При выборе алгоритма важно учитывать предполагаемое использование. Существует два основных компонента системы визуального отслеживания: представление и локализация цели, а также фильтрация и ассоциация данных.

Представление и локализация цели в основном являются процессом снизу вверх. Эти методы предоставляют множество инструментов для идентификации движущегося объекта. Успешное обнаружение и отслеживание целевого объекта зависит от алгоритма. Например, использование отслеживания пятен полезно для идентификации движения человека, поскольку профиль человека динамически меняется. ^[6] Обычно вычислительная сложность для этих алгоритмов низкая. Ниже приведены некоторые общие алгоритмы представления и локализации цели :

• Отслеживание на основе ядра ( отслеживание среднего сдвига ^[7] ): итеративная процедура локализации, основанная на максимизации меры сходства ( коэффициент Бхаттачарьи ).
• Отслеживание контура : обнаружение границы объекта (например, активные контуры или алгоритм конденсации ). Методы отслеживания контура итеративно развивают начальный контур, инициализированный из предыдущего кадра, в его новое положение в текущем кадре. Этот подход к отслеживанию контура напрямую развивает контур, минимизируя энергию контура с помощью градиентного спуска.

Фильтрация и объединение данных в основном являются процессом сверху вниз, который включает в себя включение предварительной информации о сцене или объекте, работу с динамикой объекта и оценку различных гипотез. Эти методы позволяют отслеживать сложные объекты вместе с более сложным взаимодействием объектов, например, отслеживание объектов, движущихся за препятствиями. ^[8] Кроме того, сложность увеличивается, если видеотрекер (также называемый ТВ-трекером или целевым трекером) установлен не на жестком основании (на берегу), а на движущемся судне (вдали от берега), где обычно используется инерциальная измерительная система для предварительной стабилизации видеотрекера, чтобы уменьшить требуемую динамику и полосу пропускания системы камеры. ^[9] Вычислительная сложность для этих алгоритмов обычно намного выше. Ниже приведены некоторые распространенные алгоритмы фильтрации:

• Фильтр Калмана : оптимальный рекурсивный байесовский фильтр для линейных функций, подверженных гауссовскому шуму. Это алгоритм, который использует ряд измерений, наблюдаемых с течением времени, содержащий шум (случайные вариации) и другие неточности, и производит оценки неизвестных переменных, которые, как правило, более точны, чем те, которые основаны только на одном измерении. ^[10]
• Фильтр частиц : полезен для выборки базового распределения пространства состояний нелинейных и негауссовых процессов. ^{[11] [12] [13]}

Смотрите также

• Перемещение матча
• Захват движения
• Оценка движения
• Оптический поток
• Свистрэк
• Отслеживание отдельных частиц
• Алгоритм Текномо–Фернандеса

Ссылки

1. Питер Маунтни, Данаил Стоянов и Гуан-Чжун Ян (2010). «Трехмерное восстановление и отслеживание деформации тканей: введение в методы, основанные на лапароскопических или эндоскопических изображениях». Журнал IEEE Signal Processing. Июль 2010 г. Том: 27" (PDF) . Журнал IEEE Signal Processing . 27 (4): 14–24. doi : 10.1109/MSP.2010.936728. hdl : 10044/1/53740 . S2CID  14009451.
2. Людмила Михайлова, Пол Браснетт, Нишан Канагараджан и Дэвид Булл (2007). Отслеживание объектов с помощью методов фильтрации частиц в видеопоследовательностях; В: Достижения и проблемы в области мультисенсорных данных и информации. Серия «Безопасность НАТО через науку», 8. Нидерланды: IOS Press. С. 260–268. CiteSeerX 10.1.1.60.8510 . ISBN  978-1-58603-727-7.{{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
3. Като, Х.; Биллингхерст, М. (1999). «Отслеживание маркеров и калибровка HMD для видеосистемы конференц-связи с дополненной реальностью» (PDF) . Труды 2-го Международного семинара IEEE и ACM по дополненной реальности (IWAR'99) . стр. 85–94. doi :10.1109/IWAR.1999.803809. ISBN 0-7695-0359-4. S2CID  8192877.
4. "Высокоскоростная система улавливания (экспонируется в Национальном музее новой науки и инноваций с 2005 года)". Лаборатория Ишикавы Ватанабэ, Токийский университет . Получено 12 февраля 2015 г.
5. "Основные понятия и технические термины". Лаборатория Исикавы Ватанабэ, Токийский университет . Получено 12 февраля 2015 г.
6. S. Kang; J. Paik; A. Koschan; B. Abidi & MA Abidi (2003). Tobin, Jr., Kenneth W & Meriaudeau, Fabrice (ред.). "Видеотслеживание в реальном времени с использованием PTZ-камер". Proc. SPIE . Шестая международная конференция по контролю качества с помощью искусственного зрения. 5132 : 103–111. Bibcode : 2003SPIE.5132..103K. CiteSeerX 10.1.1.101.4242 . doi : 10.1117/12.514945. S2CID  12298526. 
7. Команичиу, Д.; Рамеш, В.; Меер, П., «Отслеживание нежестких объектов в реальном времени с использованием среднего сдвига», Computer Vision and Pattern Recognition, 2000. Труды. Конференция IEEE, т. 2, №, стр. 142, 149 т. 2, 2000
8. Блэк, Джеймс, Тим Эллис и Пол Розин (2003). «Новый метод оценки производительности видеослежения». Совместный международный семинар IEEE по визуальному наблюдению и оценке производительности слежения и наблюдения : 125–132. CiteSeerX 10.1.1.10.3365 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
9. Гиростабилизированный трекер цели для установки на море
10. M. Arulampalam; S. Maskell; N. Gordon & T. Clapp (2002). "Учебное пособие по фильтрам частиц для нелинейного/негауссовского байесовского отслеживания в режиме онлайн". Труды IEEE по обработке сигналов . 50 (2): 174. Bibcode : 2002ITSP...50..174A. CiteSeerX 10.1.1.117.1144 . doi : 10.1109/78.978374. S2CID  55577025. 
11. Эмилио Маджио; Андреа Кавалларо (2010). Видеоотслеживание: теория и практика. Том 1. Addison-Wesley Professional. ISBN 9780132702348. Видеоотслеживание обеспечивает комплексное рассмотрение фундаментальных аспектов разработки алгоритмов и приложений для задачи оценки с течением времени.
12. Картик Чандрасекаран (2010). Параметрическая и непараметрическая модель вычитания фона с отслеживанием объектов для VENUS. Том 1. ISBN 9780549524892. Вычитание фона — это процесс, с помощью которого мы сегментируем движущиеся области в последовательностях изображений.
13. J. Martinez-del-Rincon, D. Makris, C. Orrite-Urunuela и J.-C. Nebel (2010). «Отслеживание положения человека и нижних частей тела с использованием фильтров Калмана и частиц, ограниченных биомеханикой человека». Труды IEEE по системам, человеку и кибернетике – Часть B', 40(4).

Внешние ссылки

• – Интересный исторический пример (1980 г.) камеры Cromemco Cyclops, использовавшейся для отслеживания мяча, проходящего через лабиринт.