Анализ видеоконтента или аналитика видеоконтента ( VCA ), также известный как видеоанализ или видеоаналитика ( VA ) , — это возможность автоматического анализа видео для обнаружения и определения временных и пространственных событий.
Эта техническая возможность используется в широком спектре областей, включая развлечения, [1] поиск и просмотр видео , [2] здравоохранение, розничную торговлю, автомобилестроение, транспорт, домашнюю автоматизацию , обнаружение пламени и дыма, безопасность и безопасность. [3] Алгоритмы могут быть реализованы как программное обеспечение на машинах общего назначения или как аппаратное обеспечение в специализированных устройствах обработки видео.
В VCA можно реализовать множество различных функций. Видеообнаружение движения — это одна из самых простых форм, при которой движение обнаруживается относительно фиксированной фоновой сцены. Более продвинутые функции включают отслеживание видео [4] и оценку эгодвижений . [5]
На основе внутреннего представления, которое VCA генерирует в машине, можно построить другие функции, такие как обобщение видео , [6] идентификация , анализ поведения или другие формы осведомленности о ситуации .
VCA полагается на хорошее входное видео, поэтому его часто комбинируют с такими технологиями улучшения видео, как шумоподавление видео , стабилизация изображения , нерезкая маскировка и сверхвысокое разрешение . [ нужна цитата ]
В нескольких статьях представлен обзор модулей, участвующих в разработке видеоаналитических приложений. [7] [8] Это список известных функций и краткое описание.
VCA — относительно новая технология: в середине 2000-х годов многие компании выпустили продукты с поддержкой VCA. [10] [11] [12] Хотя существует множество приложений, послужной список различных решений VCA сильно различается. Такие функции, как обнаружение движения , подсчет людей и обнаружение оружия, доступны в виде готовых коммерческих продуктов и, как полагают, имеют достойную репутацию (например, даже бесплатное программное обеспечение, такое как dsprobotics Flowstone, может выполнять анализ движения и цвета). В ответ на пандемию COVID-19 многие производители программного обеспечения внедрили новые средства анализа общественного здравоохранения, такие как обнаружение масок для лица или отслеживание социального дистанцирования . [13] [14] [15]
Во многих областях VCA реализуется в системах видеонаблюдения , либо распределенных по камерам (на периферии), либо централизованно в выделенных системах обработки. Видеоаналитика и интеллектуальное видеонаблюдение — это коммерческие термины VCA в области безопасности. В Великобритании BSIA разработало вводное руководство по VCA в области безопасности. [16] Помимо видеоаналитики и в дополнение к ней может использоваться и аудиоаналитика. [17]
Производители программного обеспечения для управления видео постоянно расширяют линейку доступных модулей видеоаналитики. Благодаря новой технологии отслеживания подозреваемых можно легко отслеживать все перемещения субъекта: откуда они пришли, когда, куда и как они двигались. В рамках конкретной системы наблюдения технология индексирования позволяет обнаружить людей со схожими характеристиками, которые находились в поле зрения камер в течение или в течение определенного периода времени. Обычно система находит множество разных людей со схожими характеристиками и представляет их в виде снимков. Оператору необходимо лишь кликать по тем изображениям и предметам, которые необходимо отслеживать. В течение минуты или около того можно отследить все движения конкретного человека и даже создать пошаговое видео движений.
Kinect — это дополнительное периферийное устройство для игровой консоли Xbox 360 , которое использует VCA для части пользовательского ввода. [18]
В сфере розничной торговли VCA используется для отслеживания покупателей внутри магазина. [19] Таким образом можно получить тепловую карту магазина, что полезно для оптимизации дизайна магазина и маркетинга. Другие приложения включают время ожидания при просмотре продуктов и обнаружение удаленных/оставленных предметов.
Качество VCA в коммерческих условиях определить сложно. Это зависит от многих переменных, таких как вариант использования , реализация , конфигурация системы и вычислительная платформа . Типичные методы получения объективного представления о качестве в коммерческих условиях включают независимый сравнительный анализ [20] и определенные места проведения испытаний.
VCA использовался для целей управления толпой , особенно на O2 Arena в Лондоне и The London Eye .
Полиция и судмедэксперты анализируют видео с камер видеонаблюдения при расследовании преступной деятельности. Полиция использует программное обеспечение, такое как Kinesense , которое выполняет анализ видеоконтента для поиска ключевых событий в видео и обнаружения подозреваемых. Опросы показали, что до 75% случаев связаны с системой видеонаблюдения. Полиция использует программное обеспечение для анализа видеоконтента для поиска длинных видеороликов о важных событиях. [21] [22]
Анализ видеоконтента — это часть компьютерного зрения и, следовательно, искусственного интеллекта . Двумя основными инициативами академических тестов являются TRECVID [23] , в котором используется небольшая часть видеоматериалов i-LIDS, и данные тестов PETS. [24] Они сосредоточены на таких функциях, как отслеживание, обнаружение оставленного багажа и виртуальное ограждение. Эталонные наборы видеоданных, такие как UCF101 [25], позволяют проводить исследования по распознаванию действий , включающие временное и пространственное визуальное внимание с помощью сверточной нейронной сети и долговременной кратковременной памяти . Программное обеспечение для анализа видео также сочетается с кадрами с нательных камер и видеорегистраторов , чтобы упростить редактирование отснятого материала для публичного раскрытия и идентифицировать события и людей на видео. [26]
ЕС финансирует проект FP7 под названием P-REACT [27] по интеграции аналитики видеоконтента во встроенных системах с базами данных полиции и транспортной безопасности. [28]
Искусственный интеллект для видеонаблюдения использует компьютерные программы, которые анализируют звук и изображения с камер видеонаблюдения , чтобы распознавать людей, транспортные средства, объекты и события. Программа для подрядчиков по обеспечению безопасности — это программное обеспечение для определения ограниченных зон в поле зрения камеры (например, огороженная территория, парковка, но не тротуар или общественная улица за пределами парковки) и программирования на время суток (например, после закрытия рабочего дня). ) за имущество, находящееся под охраной камеры наблюдения . Искусственный интеллект («ИИ») отправляет предупреждение, если обнаруживает нарушителя, нарушившего набор «правил», запрещающих никому находиться в этой зоне в это время суток.