Автоматическое распознавание контента [1] ( ACR ) — это технология, используемая для идентификации контента, воспроизводимого на мультимедийном устройстве или представленного в медиафайле. Устройства с ACR могут автоматически собирать информацию о потреблении контента на уровне экрана или динамика, без каких-либо действий пользователя или поиска. Эта информация может собираться для таких целей, как персонализированная реклама, рекомендации контента, продажа агрегаторам данных клиентов и других приложений. [2] [1]
Чтобы начать процесс, короткий медиа-клип (аудио, видео или и то, и другое) выбирается из медиа-файла или захватывается так, как отображается на таком устройстве, как Smart TV . Используя такие методы, как снятие отпечатков пальцев и водяные знаки , выбранный контент сравнивается программным обеспечением ACR с базой данных известных записанных произведений. [1] Если отпечаток медиаклипа обнаруживает совпадение, программное обеспечение ACR возвращает соответствующие метаданные, касающиеся мультимедиа, а также другой связанный или рекомендуемый контент обратно в клиентское приложение для отображения пользователю или для сбора производителем устройства. или агрегатор данных. [2]
Двумя ведущими методологиями ACR на основе звука являются акустические отпечатки пальцев и водяные знаки . Аналогично, снятие отпечатков видео используется для облегчения ACR для визуальных носителей.
Акустическая дактилоскопия генерирует уникальные отпечатки пальцев на основе самого аудиоконтента. Методы снятия отпечатков пальцев не зависят от формата контента, кодека , скорости передачи данных и методов сжатия . [3] Это делает возможным использование акустического снятия отпечатков пальцев в различных сетях и каналах [ необходимы разъяснения ] и широко используется для интерактивного телевидения, приложений второго экрана и секторов мониторинга контента. [4] [5] Популярные приложения, такие как Shazam , YouTube , Facebook , [6] TheTake, WeChat и Weibo , как сообщается, используют методологию снятия отпечатков пальцев для распознавания контента, воспроизводимого с телевизора, чтобы активировать дополнительные функции, такие как голоса, лотереи, темы или покупки. [ нужна цитата ]
В отличие от снятия отпечатков пальцев, цифровые водяные знаки требуют включения цифровых «тегов» [ необходимо дальнейшее объяснение ] , встроенных в поток цифрового контента перед его распространением. Например, кодер вещания может каждые несколько секунд вставлять водяной знак , который можно использовать для идентификации канала вещания, идентификатора программы и отметки времени. Этот водяной знак обычно не слышен или невидим для пользователей, но его можно обнаружить устройствами отображения, такими как телефоны или планшеты, которые могут считывать водяные знаки для идентификации воспроизводимого контента. [7] Технология водяных знаков также используется в сфере защиты средств массовой информации, чтобы помочь определить источники происхождения незаконных копий . [8]
В 2011 году технология ACR была применена к телевизионному контенту сервисом Shazam , что привлекло внимание телеиндустрии. Shazam ранее был сервисом распознавания музыки, который распознавал музыку из звукозаписей. Используя собственную технологию отпечатков пальцев для идентификации прямых каналов и видео, Shazam расширила свой бизнес до телевизионных программ. Также в 2011 году Samba TV (в то время известная как Flingo [9] ) представила свою запатентованную технологию ACR для видео, которая использует снятие отпечатков пальцев для идентификации экранного контента и запуска межэкранных интерактивных телевизионных приложений на Smart TV. [10] В 2012 году поставщик спутниковой связи DIRECTV заключил партнерское соглашение с поставщиком услуг лояльности к телевидению Viggle, чтобы обеспечить интерактивный просмотр на втором экране. В 2013 году LG заключила партнерское соглашение с Cognitive Networks (позже приобретенной Vizio и переименованной в Inscape), поставщиком ACR, чтобы обеспечить взаимодействие на основе ACR. [11] В 2015 году технология ACR распространилась на еще большее количество приложений и смарт-телевизоров. Социальные приложения и производители телевизоров, такие как Facebook , Twitter , Google , WeChat , Weibo , LG , Samsung и Vizio TV, использовали технологию ACR, либо разработанную ими самими, либо интегрированную сторонними поставщиками ACR. [ нужна ссылка ] В 2016 году были доступны дополнительные приложения и мобильные ОС со встроенными службами автоматического распознавания контента, включая Peach, Omusic и Mi OS. [12] [13] [14]
Данные, собранные о привычках клиентов в потреблении медиа, очень ценны для производителей устройств, рекламодателей и компаний, занимающихся агрегированием данных. Технология ACR помогает этим компаниям изучать интересы клиентов и собирать данные, чтобы их можно было более точно таргетировать с помощью персонализированных маркетинговых и рекламных кампаний. В ноябре 2021 года сообщалось, что производитель умных телевизоров Vizio получает больше прибыли от продажи данных своих клиентов, чем от проданных ими телевизоров. [15]
Показатели измерения аудитории в реальном времени теперь можно получить, применяя технологию ACR в смарт-телевизорах, телеприставках и мобильных устройствах, таких как смартфоны и планшеты. Эти данные измерений необходимы для количественной оценки потребления аудитории и определения политики ценообразования на рекламу.
Технология ACR помогает аудитории получать информацию о контенте, который они смотрели или слушали. [16] Идентифицированный видео- и музыкальный контент может быть связан с поставщиками интернет-контента для просмотра по запросу, третьими лицами для получения дополнительной справочной информации или дополнительными медиа.
Поскольку устройства могут «знать» о просматриваемом или прослушиваемом контенте, устройства второго экрана могут предоставлять пользователям дополнительный контент помимо того, что представлено на основном экране просмотра. Технология ACR может не только идентифицировать контент, но также определять точное местоположение внутри контента и предоставлять пользователям дополнительную информацию. ACR также может включать различные интерактивные функции, такие как опросы, купоны, лотереи или покупка товаров на основе временной метки. [17]
Организации, начиная от защитников прав потребителей Electronic Frontier Foundation и заканчивая технологическими веб-сайтами, такими как PCMag, выразили серьезные возражения против сбора информации о потребительских привычках пользователей с помощью их устройств по соображениям конфиденциальности. [18] [19]
Поставщики услуг ACR включают ACRCloud , Beatgrid, Digimarc , Gracenote , Inscape Data Services , Kantar Media , Pex, Red Bee Media , Samba TV , Shazam и Zapr Media Labs.