Мультимодальный поиск — это тип поиска , который использует различные методы для получения релевантных результатов. Они могут использовать любой вид поиска, поиск по ключевому слову , поиск по концепции , поиск по примеру и т. д.
Мультимодальная поисковая система разработана для имитации гибкости и проворства того, как работает человеческий разум , чтобы создавать, обрабатывать и отклонять нерелевантные идеи. Таким образом, чем больше элементов у вас есть во входных данных поисковой системы для сравнения, тем точнее могут быть результаты. Мультимодальные поисковые системы используют различные входные данные разной природы и методы поиска одновременно с возможностью объединения результатов путем слияния всех входных элементов поиска. Существуют также системы, которые могут использовать обратную связь результатов с оценкой пользователя для выполнения более подходящего и релевантного поиска.
В настоящее время мобильные устройства были разработаны до такой степени, что они могут выполнять бесконечное количество функций из любого места в любое время благодаря интернету и GPS- соединениям. Сенсорные экраны, датчики движения и распознавание голоса теперь представлены на мобильных устройствах, называемых смартфонами . Все функции и возможности позволяют выполнять мультимодальный поиск из любой точки мира в любое время.
Использование текста является опцией, а также поиск мультимедиа , изображений , видео , аудио и голосового поиска . Даже местоположение пользователя может помочь поисковой системе выполнить более эффективный поиск, адаптируемый к любой ситуации. В настоящее время обнаруживаются различные способы взаимодействия с поисковой системой с точки зрения входных элементов поиска и разнообразия полученных результатов.
Многие запросы с мобильных устройств основаны на местоположении (LBS), то есть используют местоположение пользователя для взаимодействия с приложениями. Если доступно, браузер использует GPS устройства или вычисляет приблизительное местоположение на основе триангуляции вышек сотовой связи с разрешения пользователя, который должен согласиться поделиться своим местоположением с приложением при загрузке. Таким образом, мультимодальные поиски используют не только аудиовизуальный контент, который пользователь предоставляет напрямую, но и контекст, в котором находится пользователь, например, его местоположение, язык, время в данный момент, веб-сайт или документ, которые пользователь просматривает, или другие элементы, которые могут помочь улучшить поиск в любой ситуации.
Мультимодальная поисковая система работает параллельно, в то же время выполняя поиск большей или меньшей релевантности каждого элемента, введенного напрямую или косвенно (персональный контекст). После этого она предоставляет комбинацию всех результатов, объединяя каждый элемент с его связанным весом для каждого дескриптора.
Движок анализирует каждый элемент и помечает их, так что сравнение тегов может быть сделано с существующей индексированной информацией в базах данных. Классификация результатов продолжается, чтобы показать их от большей к меньшей релевантности.
Необходимо определить важность каждого элемента ввода. Существуют поисковые системы, которые делают это автоматически, однако есть также системы, где пользователь может сделать это вручную, придавая больший или меньший вес каждому элементу поиска. Также важно, чтобы пользователь предоставлял соответствующую и необходимую информацию для поиска; слишком много информации может запутать систему и дать неудовлетворительные результаты. При мультимодальном поиске пользователи могут получить лучшие результаты, чем при простом поиске, но мультимодальный поиск должен обрабатывать больше входной информации. Он также может тратить больше времени на ее обработку и требовать больше памяти.
Эффективная поисковая система интерпретирует запрос пользователя, понимает его намерение и применяет стратегию для использования соответствующего поиска, т.е. система адаптируется к каждому входящему запросу, а также к комбинации элементов и методов.
В настоящее время существующие мультимодальные поисковые системы не очень сложны, и некоторые из них находятся в экспериментальной фазе. Некоторые из более простых систем — это Google Images [1] или Bing [2], веб-интерфейсы, которые используют текст и изображения в качестве входных данных для поиска изображений в выходных данных.
MMRetrieval [3] — это мультимодальная экспериментальная поисковая система, которая использует многоязычную и мультимедийную информацию через веб-интерфейс. Движок параллельно ищет различные входные данные и объединяет все результаты с помощью различных выбранных методов. Движок также обеспечивает различные многоступенчатые поиски, а также единую базовую линию текстового индекса, чтобы иметь возможность сравнивать все различные фазы поиска.
Существует множество приложений для мобильных устройств, использующих контекст пользователя, например, службы определения местоположения, а также использующие текст, изображения, аудио или видео, которые пользователь предоставляет в данный момент или с помощью сохраненных файлов, или даже взаимодействующие с помощью голоса.