Анализ движения используется в компьютерном зрении , обработке изображений , высокоскоростной фотографии и машинном зрении , которые изучают методы и приложения, в которых два или более последовательных изображения из последовательности изображений, например, созданных видеокамерой или высокоскоростной камерой , обрабатываются для получения информации на основе видимого движения в изображениях. В некоторых приложениях камера фиксирована относительно сцены, а объекты движутся в сцене, в некоторых приложениях сцена более или менее фиксирована, а камера движется, а в некоторых случаях движутся и камера, и сцена.
Обработка анализа движения в простейшем случае может заключаться в обнаружении движения, т. е. в поиске точек на изображении, где что-то движется. Более сложные типы обработки могут заключаться в отслеживании определенного объекта на изображении с течением времени, в группировке точек, которые принадлежат одному и тому же жесткому объекту, движущемуся в сцене, или в определении величины и направления движения каждой точки на изображении. Производимая информация часто связана с определенным изображением в последовательности, соответствующим определенному моменту времени, но затем зависит также от соседних изображений. Это означает, что анализ движения может производить зависящую от времени информацию о движении.
Применение анализа движения можно найти в самых разных областях, таких как наблюдение, медицина, киноиндустрия, безопасность автомобильных аварий, [1] баллистические исследования огнестрельного оружия, [2] биология, [3] распространение пламени, [4] и навигация автономных транспортных средств, и это лишь некоторые примеры.
Видеокамеру можно рассматривать как приближение камеры-обскуры , что означает, что каждая точка на изображении освещается некоторой (обычно одной) точкой на сцене перед камерой, обычно с помощью света, который точка сцены отражает от источника света. Каждая видимая точка на сцене проецируется вдоль прямой линии, которая проходит через апертуру камеры и пересекает плоскость изображения. Это означает, что в определенный момент времени каждая точка на изображении относится к определенной точке на сцене. Эта точка сцены имеет положение относительно камеры, и если это относительное положение изменяется, это соответствует относительному движению в 3D . Это относительное движение, поскольку не имеет значения, движется ли точка сцены, камера или и то, и другое. Только при изменении относительного положения камера может обнаружить, что произошло какое-то движение. Проецируя относительное 3D-движение всех видимых точек обратно на изображение, результатом является поле движения , описывающее видимое движение каждой точки изображения в терминах величины и направления скорости этой точки в плоскости изображения. Следствием этого наблюдения является то, что если относительное 3D-движение некоторых точек сцены происходит вдоль линий их проекции, соответствующее видимое движение равно нулю.
Камера измеряет интенсивность света в каждой точке изображения, световое поле. На практике цифровая камера измеряет это световое поле в дискретных точках, пикселях , но, учитывая, что пиксели достаточно плотные, интенсивности пикселей можно использовать для представления большинства характеристик светового поля, которое падает на плоскость изображения. Распространенное предположение анализа движения заключается в том, что свет, отраженный от точек сцены, не меняется со временем. Как следствие, если интенсивность I наблюдалась в некоторой точке изображения, в некоторый момент времени та же интенсивность I будет наблюдаться в положении, которое смещено относительно первого вследствие видимого движения. Другое распространенное предположение заключается в том, что существует изрядное количество вариаций в обнаруженной интенсивности по пикселям на изображении. Следствием этого предположения является то, что если точка сцены, соответствующая определенному пикселю на изображении, имеет относительное трехмерное движение, то интенсивность пикселя, вероятно, изменится со временем.
Одним из самых простых типов анализа движения является обнаружение точек изображения, которые относятся к движущимся точкам в сцене. Типичным результатом этой обработки является бинарное изображение, где все точки изображения (пиксели), которые относятся к движущимся точкам в сцене, установлены в 1, а все остальные точки установлены в 0. Затем это бинарное изображение дополнительно обрабатывается, например, для удаления шума, группировки соседних пикселей и маркировки объектов. Обнаружение движения может быть выполнено несколькими методами; две основные группы — это дифференциальные методы и методы, основанные на сегментации фона.
В областях медицины , спорта, [5] видеонаблюдения, физиотерапии, [6] и кинезиологии , [7] анализ движения человека стал инструментом расследования и диагностики. Более подробную информацию о технологиях см. в разделе о захвате движения . Анализ движения человека можно разделить на три категории: распознавание человеческой активности , отслеживание движения человека и анализ движения тела и его частей.
Распознавание человеческой активности чаще всего используется для видеонаблюдения , в частности, автоматического мониторинга движения в целях безопасности. Большинство усилий в этой области основаны на подходах пространства состояний, в которых последовательности статических поз статистически анализируются и сравниваются с моделируемыми движениями. Сопоставление шаблонов является альтернативным методом, при котором статические шаблоны форм сравниваются с уже существующими прототипами. [8]
Отслеживание движения человека может выполняться в двух или трех измерениях. В зависимости от сложности анализа, представления человеческого тела варьируются от простых фигурок до объемных моделей. Отслеживание основано на соответствии характеристик изображения между последовательными кадрами видео, принимая во внимание такую информацию, как положение, цвет, форма и текстура. Обнаружение краев может выполняться путем сравнения цвета и/или контрастности соседних пикселей, специально ища разрывы или быстрые изменения. [9] Трехмерное отслеживание принципиально идентично двухмерному отслеживанию с добавлением фактора пространственной калибровки. [8]
Анализ движения частей тела имеет решающее значение в медицинской сфере. В анализе осанки и походки углы суставов используются для отслеживания местоположения и ориентации частей тела. Анализ походки также используется в спорте для оптимизации спортивных результатов или для определения движений, которые могут привести к травме или напряжению. Программное обеспечение для отслеживания, которое не требует использования оптических маркеров, особенно важно в этих областях, где использование маркеров может препятствовать естественному движению. [8] [10]
Анализ движения также применим в производственном процессе. [11] Используя высокоскоростные видеокамеры и программное обеспечение для анализа движения, можно контролировать и анализировать сборочные линии и производственные машины для выявления неэффективности или неисправностей. Производители спортивного инвентаря, такого как бейсбольные биты и хоккейные клюшки, также используют высокоскоростной видеоанализ для изучения воздействия снарядов. Экспериментальная установка для этого типа исследования обычно использует триггерное устройство, внешние датчики (например, акселерометры , тензодатчики), модули сбора данных, высокоскоростную камеру и компьютер для хранения синхронизированного видео и данных. Программное обеспечение для анализа движения вычисляет такие параметры, как расстояние, скорость, ускорение и углы деформации как функции времени. Затем эти данные используются для проектирования оборудования для оптимальной производительности. [12]
Возможности обнаружения объектов и признаков программного обеспечения для анализа движения могут применяться для подсчета и отслеживания частиц, таких как бактерии, [13] [14] вирусы, [15] «ионные полимерно-металлические композиты», [16] [17] микронные шарики полистирола, [18] тля, [19] и снаряды. [20]