Обратный поиск изображений — это метод поиска изображений на основе контента (CBIR) , который включает предоставление системе CBIR образца изображения, на котором она затем будет основывать свой поиск; с точки зрения поиска информации образец изображения очень полезен. В частности, обратный поиск изображений характеризуется отсутствием поисковых терминов. Это эффективно устраняет необходимость для пользователя угадывать ключевые слова или термины, которые могут или не могут вернуть правильный результат. Обратный поиск изображений также позволяет пользователям находить контент, связанный с определенным образцом изображения [1] или популярностью изображения, а также находить измененные версии и производные работы. [2]
Визуальная поисковая система — поисковая система , предназначенная для поиска информации во Всемирной паутине с помощью обратного поиска изображений. Информация может состоять из веб-страниц , местоположений, других изображений и других типов документов. Этот тип поисковых систем в основном используется для поиска в мобильном Интернете с помощью изображения неизвестного объекта (неизвестный поисковый запрос). Примерами являются здания в чужом городе. Эти поисковые системы часто используют методы поиска изображений на основе контента .
Визуальная поисковая система ищет изображения и шаблоны на основе алгоритма , который она может распознать , и выдает относительную информацию на основе выборочного или прикладного метода сопоставления шаблонов.
Обратный поиск изображений может быть использован для: [3]
Обычно используемые алгоритмы обратного поиска изображений включают в себя: [4]
Поисковая система изображений — это поисковая система, предназначенная для поиска изображений. Поиск может быть основан на ключевых словах, изображении или веб- ссылке на изображение. Результаты зависят от критерия поиска, например, метаданных , распределения цвета, формы и т. д., а также от метода поиска, используемого браузером.
В настоящее время при поиске изображений используются два метода:
Поиск по метаданным: Поиск изображений основан на сравнении метаданных, связанных с изображением, таких как ключевые слова, текст и т. д., и получается путем использования набора изображений, отсортированных по релевантности. Метаданные, связанные с каждым изображением, могут ссылаться на название изображения, формат, цвет и т. д. и могут быть сгенерированы вручную или автоматически. Этот процесс генерации метаданных называется аудиовизуальной индексацией.
Поиск по образцу: В этой технике, также называемой обратным поиском изображений, результаты поиска получаются путем сравнения изображений с использованием методов компьютерного зрения для поиска изображений на основе контента . Во время поиска изучается контент изображения, такой как цвет, форма, текстура или любая визуальная информация, которая может быть извлечена из изображения. Эта система требует более высокой вычислительной сложности , но более эффективна и надежна, чем поиск по метаданным.
Существуют поисковики изображений, которые объединяют оба метода поиска. Например, первый поиск выполняется путем ввода текста. Полученные изображения затем используются для уточнения поиска.
Поисковая система видео — это поисковая система, предназначенная для поиска видео в сети. Некоторые поисковики видео обрабатывают поиск непосредственно в Интернете, в то время как другие скрывают видео, по которым выполняется поиск. Некоторые поисковики также позволяют использовать в качестве параметров поиска формат или продолжительность видео. Обычно результаты сопровождаются миниатюрным захватом видео.
В настоящее время почти все поисковики видео основаны на ключевых словах (поиск по метаданным) для выполнения поиска. Эти ключевые слова могут быть найдены в названии видео, тексте, сопровождающем видео, или могут быть определены автором. Примером такого типа поиска является YouTube .
Поисковик 3D-моделей ставит своей целью найти файл объекта 3D-моделирования из базы данных или сети. На первый взгляд реализация этого типа поисковиков может показаться излишней, но из-за непрерывной документальной инфляции Интернета, с каждым днем становится все более необходимой индексация информации.
Они использовались с традиционными текстовыми поисковиками (ключевые слова/теги), где авторы индексируемого материала или пользователи Интернета вносили эти теги или ключевые слова. Поскольку это не всегда эффективно, недавно было исследовано внедрение поисковых систем, которые объединяют поиск с использованием текста с поиском по сравнению с 2D-чертежами, 3D-чертежами и 3D-моделями.
Принстонский университет разработал поисковую систему, которая объединяет все эти параметры для выполнения поиска, тем самым повышая эффективность поиска. [6] Также портал 3DfindIT.com предоставляет поисковую систему 3D-моделей на основе эскизов, чертежей, текста и т. д. https://www.3dfindit.com/
Мобильный поисковик изображений — это тип поисковой системы, разработанный исключительно для мобильных телефонов, с помощью которого вы можете найти любую информацию в Интернете , используя изображение, сделанное с помощью собственного мобильного телефона или используя определенные слова ( ключевые слова ). Решения Mobile Visual Search позволяют вам интегрировать возможности программного обеспечения для распознавания изображений в ваши собственные фирменные мобильные приложения. Mobile Visual Search (MVS) устраняет разрыв между онлайн- и офлайн- медиа, позволяя вам связывать ваших клиентов с цифровым контентом .
Мобильные телефоны превратились в мощные устройства обработки изображений и видео, оснащенные камерами высокого разрешения, цветными дисплеями и аппаратно-ускоренной графикой. Они также все чаще оснащаются глобальной системой позиционирования и подключаются к широкополосным беспроводным сетям. Все это позволяет новому классу приложений, которые используют камеру телефона для инициирования поисковых запросов об объектах, находящихся в визуальной близости от пользователя (рисунок 1). Такие приложения могут использоваться, например, для идентификации продуктов, сравнения покупок, поиска информации о фильмах, компакт-дисках (CD), недвижимости, печатных изданиях или произведениях искусства.
Обычно этот тип поисковой системы использует методы запроса по образцу или запроса изображения по образцу , которые используют содержимое, форму, текстуру и цвет изображения для сравнения их в базе данных , а затем выдают приблизительные результаты запроса.
Процесс, используемый при этом поиске на мобильных телефонах, выглядит следующим образом:
Сначала изображение отправляется на серверное приложение. Уже на сервере изображение будет проанализировано различными аналитическими командами, поскольку каждая из них специализируется на различных областях, составляющих изображение. Затем каждая команда решит, содержит ли отправленное изображение области их специализации или нет.
После завершения всей процедуры центральный компьютер проанализирует данные и создаст страницу результатов, отсортированных по эффективности каждой команды, которая в конечном итоге будет отправлена на мобильный телефон .
Yandex Images предлагает глобальный обратный поиск изображений и фотографий. Сайт использует стандартную технологию Content Based Image Retrieval (CBIR), используемую многими другими сайтами, но дополнительно использует технологию на основе искусственного интеллекта для поиска дополнительных результатов на основе запроса. [7] Пользователи могут перетаскивать изображения на панель инструментов сайта, чтобы выполнить поиск в Интернете на предмет похожих изображений. Yandex Images ищет некоторые малоизвестные сайты социальных сетей в дополнение к более распространенным, предлагая владельцам контента средства отслеживания плагиата интеллектуальной собственности изображений или фотографий.
Поиск по изображению от Google — это функция, которая использует обратный поиск изображений и позволяет пользователям искать похожие изображения, загружая изображение или копируя URL-адрес изображения. Google выполняет это, анализируя отправленное изображение и создавая его математическую модель. Затем оно сравнивается с другими изображениями в базах данных Google, прежде чем возвращать соответствующие и похожие результаты. Когда это возможно, Google также использует метаданные об изображении, такие как описание. В 2022 году эта функция была заменена Google Lens в качестве метода визуального поиска по умолчанию в Google, а старая функция поиска по изображению остается доступной в Google Lens. [8]
TinEye — это поисковая система, специализирующаяся на обратном поиске изображений. После отправки изображения TinEye создает «уникальную и компактную цифровую подпись или отпечаток» указанного изображения и сопоставляет его с другими проиндексированными изображениями. [9] Эта процедура способна сопоставлять даже очень отредактированные версии отправленного изображения, но обычно не возвращает похожие изображения в результатах. [10]
Технология обратного поиска изображений Pixsy обнаруживает совпадения изображений [11] в общедоступном Интернете для изображений, загруженных на платформу Pixsy. [12] Новые совпадения автоматически обнаруживаются, и пользователю отправляются оповещения. В случае несанкционированного использования Pixsy предлагает услугу компенсации [13] [14] за коммерческое использование работ владельцев изображений. Pixsy сотрудничает с более чем 25 юридическими фирмами и адвокатами по всему миру для разрешения проблем с нарушением авторских прав. Pixsy — это стратегический сервис мониторинга изображений для платформы Flickr и пользователей. [15]
eBay ShopBot использует обратный поиск изображений для поиска товаров по загруженной пользователем фотографии. eBay использует сеть ResNet-50 для распознавания категорий, хэши изображений хранятся в Google Bigtable ; задания Apache Spark обрабатываются Google Cloud Dataproc для извлечения хэшей изображений; а служба ранжирования изображений развернута Kubernetes . [16]
SK Planet использует обратный поиск изображений для поиска связанных модных товаров на своем сайте электронной коммерции. Он разработал сеть кодировщика зрения на основе TensorFlow inception-v3 со скоростью сходимости и обобщения для использования в производстве. Рекуррентная нейронная сеть используется для многоклассовой классификации, а обнаружение области интереса модного продукта основано на Faster R-CNN . Система обратного поиска изображений SK Planet была создана менее чем за 100 человеко-месяцев. [17]
Alibaba выпустила приложение Pailitao в 2014 году. Pailitao ( китайский :拍立淘, буквально означает «покупки через камеру») позволяет пользователям искать товары на платформе электронной коммерции Alibaba, делая фотографию объекта запроса. Приложение Pailitao использует глубокую модель CNN с ветвями для совместного обнаружения и обучения признакам, чтобы обнаружить маску обнаружения и точный дискриминационный признак без фоновых помех. GoogLeNet V1 используется в качестве базовой модели для прогнозирования категорий и обучения признакам. [18] [19]
Pinterest приобрела стартап VisualGraph в 2014 году и представила визуальный поиск на своей платформе. [20] В 2015 году Pinterest опубликовала доклад на конференции ACM Conference on Knowledge Discovery and Data Mining и раскрыла архитектуру системы. Конвейер использует Apache Hadoop , фреймворк сверточной нейронной сети Caffe с открытым исходным кодом , Cascading для пакетной обработки, PinLater для обмена сообщениями и Apache HBase для хранения. Характеристики изображений, включая локальные особенности, глубокие особенности, заметные цветовые подписи и заметные пиксели, извлекаются из пользовательских загрузок. Система управляется Amazon EC2 и требует только кластера из 5 экземпляров GPU для обработки ежедневных загрузок изображений на Pinterest. Используя обратный поиск изображений, Pinterest может извлекать визуальные особенности из модных объектов (например, обувь, платье, очки, сумка, часы, брюки, шорты, бикини, серьги) и предлагать рекомендации по продуктам, которые выглядят похожими. [21] [22]
JD.com раскрыла дизайн и реализацию своей системы визуального поиска в реальном времени на конференции Middleware '18 . Рецензируемая статья фокусируется на алгоритмах, используемых распределенной иерархической системой извлечения, индексирования и поиска признаков изображений JD, которая имеет 300 миллионов активных пользователей в день. Система могла поддерживать 80 миллионов обновлений своей базы данных в час, когда она была развернута в производстве в 2018 году. [23]
Microsoft Bing опубликовал архитектуру своей системы обратного поиска изображений на конференции KDD'18. В статье говорится, что для описания содержимого запроса используются различные функции изображения, отправленного пользователем, включая использование глубоких нейросетевых кодировщиков, функций распознавания категорий, функций распознавания лиц , цветовых функций и функций обнаружения дубликатов. [24]
Amazon.com раскрыл архитектуру визуальной поисковой системы для модных и домашних товаров под названием Amazon Shop the Look в статье, опубликованной на конференции KDD'22. В статье описываются уроки, извлеченные Amazon при развертывании в производственной среде, включая дополнения данных на основе синтеза изображений для оптимизации производительности поиска и повышения точности. [25]
Пекинская лаборатория Microsoft Research Asia опубликовала статью в Proceedings of the IEEE о системах Arista-SS (Похожие поиски) и Arista-DS (поиск дубликатов). Arista-DS выполняет только алгоритмы поиска дубликатов, такие как анализ главных компонентов, на глобальных характеристиках изображений, чтобы снизить вычислительные и затраты памяти. Arista-DS способна выполнять поиск дубликатов на 2 миллиардах изображений с 10 серверами, но с компромиссом в виде отсутствия обнаружения близких дубликатов. [26]
В 2007 году библиотека Puzzle была выпущена под лицензией ISC . Puzzle разработана для того, чтобы предлагать обратный поиск визуально похожих изображений, даже после того, как изображения были изменены в размере, повторно сжаты, перекрашены и/или слегка изменены. [27]
Проект с открытым исходным кодом image-match был выпущен в 2016 году. Проект, лицензированный по лицензии Apache , реализует обратную поисковую систему изображений, написанную на Python . [28]
И библиотека головоломок , и проекты сопоставления изображений используют алгоритмы, опубликованные на конференции IEEE ICIP. [29]
В 2019 году книга, опубликованная O'Reilly, документирует, как простая система обратного поиска изображений может быть создана за несколько часов. Книга охватывает извлечение признаков изображений и поиск по сходству, а также более сложные темы, включая масштабируемость с использованием графических процессоров и настройку повышения точности поиска. [30] Код для системы был предоставлен в свободном доступе на GitHub . [31]
Требования к обработке для выполнения обратного поиска видео были бы поразительно высокими. Не существует простого инструмента, чтобы просто загрузить видео и найти соответствующие результаты. В настоящее время не существует технологии, которая могла бы успешно выполнить обратный поиск видео. [32] [33]
{{cite book}}: |work=проигнорировано ( помощь ){{cite book}}: |work=проигнорировано ( помощь ){{cite book}}: |work=проигнорировано ( помощь ){{cite book}}: |website=проигнорировано ( помощь ){{cite book}}: |website=проигнорировано ( помощь ){{cite book}}: |work=проигнорировано ( помощь )