Моушнограмма — это пространственно-временное отображение движения, созданное на основе видеозаписи. Моушнограммы создаются с использованием техники обработки видео , при которой движущееся изображение сворачивается в ряд полос шириной в 1 пиксель и наносится рядом друг с другом.
Традиционный способ визуального представления (человеческого) движения — это либо отображение отдельных кадров из видеофайла в виде отображения ключевых кадров , либо выполнение одной или нескольких форм извлечения признаков и последующего построения графика полученных данных. Ни один из них не идеален для создания хорошего впечатления о фактическом движении, происходящем в последовательности. Отображение ключевых кадров показывает только позы, а не движение, в то время как графики признаков часто полагаются на несколько этапов анализа. Моушнограммы полезны в качестве промежуточного шага для отображения пространственно-временной информации о последовательности движений, но без необходимости проведения полного анализа данных.
Термин motiongram был впервые предложен Александром Рефсумом Йенсениусом в 2006 году [1] , и эта техника была позже усовершенствована им и другими. Техника была вдохновлена новаторской работой Мейбриджа и Марея из 19-го века, а также сообществом щелевого сканирования в 20-м веке. Motiongrams напоминают фотографии щелевого сканирования, но отличаются тем, что они создаются из кадрово-разностных изображений движения. Результатом является то, что на конечном дисплее отображается только движение.
Обзор создания моушнограммы показан на рисунке 1. Процесс начинается со считывания видеопотока и выполнения простых настроек изображения, например, изменения яркости и контрастности. Следующий шаг включает создание движущегося изображения путем вычисления абсолютной разницы кадров между последовательными видеокадрами, за которым следует применение некоторых алгоритмов удаления шума. Моушнограмма создается путем вычисления нормализованного среднего значения для каждой строки или столбца в движущемся изображении. Это означает, что для каждой матрицы изображения размером MxN вычисляется матрица Mx1 или 1xN. Рисование этих «полос» шириной 1 пиксель рядом друг с другом с течением времени приводит к получению окончательной моушнограммы.
Техника motiongram реализована в виде модулей в открытом фреймворке Jamoma для Max , а также для платформы EyesWeb и в Matlab . Также существуют два автономных приложения для OSX и Windows: VideoAnalysis (не в реальном времени) и AudioVideoAnalysis (в реальном времени).
Motiongrams позволяют быстро перемещаться по видеоматериалу и проводить сравнительный анализ качеств движения. Хотя это довольно грубо, легко увидеть различия в количестве движения и сходства в восходящих/нисходящих паттернах между последовательностями движения.
Поскольку моушнограммы создаются путем усреднения по строкам или столбцам видеофайла, в итоговой моушнограмме будет показано только одно измерение. Таким образом, горизонтальная моушнограмма будет в основном представлять вертикальное движение, в то время как вертикальная моушнограмма будет в основном представлять горизонтальное движение.