Yandex Search ( русский : Яндекс ) — поисковая система, принадлежащая компании Yandex , базирующейся в России . В январе 2015 года Yandex Search сгенерировал 51,2% всего поискового трафика в России по данным LiveInternet . [1]
В феврале 2024 года Yandex NV объявила о продаже большинства своих активов в России консорциуму инвесторов из России. [2] [3] В июле 2024 года продажа была завершена, что дало Кремлю больший контроль над бизнесом. [4] [5]
Технология поиска обеспечивает локальные результаты поиска в более чем 1400 городах. Поиск Яндекса также имеет «параллельный» поиск, который представляет результаты как из основного веб-индекса, так и из специализированных информационных ресурсов, включая новости, покупки, блоги, изображения и видео на одной странице.
Поиск Яндекса реагирует на запросы в реальном времени, распознавая, когда запрос требует самой актуальной информации, например, последних новостей или последнего поста в Twitter по определенной теме. Он также содержит некоторые дополнительные функции: Wizard Answer, который предоставляет дополнительную информацию (например, результаты спортивных соревнований), проверка орфографии , автозаполнение , которое предлагает запросы по мере ввода, антивирус, который обнаруживает вредоносное ПО на веб-страницах и т. д. [6]
В мае 2010 года Яндекс запустил Yandex.com — платформу для бета-тестирования и улучшения поиска на нерусскоязычных языках. [7]
Поисковый продукт доступен с персональных компьютеров, мобильных телефонов, планшетов и других цифровых устройств. Помимо веб-поиска, Яндекс предоставляет широкий спектр специализированных поисковых услуг.
В 2009 году Яндекс запустил MatrixNet — новый метод машинного обучения, который значительно повышает релевантность результатов поиска. Он позволяет поисковой системе Яндекса учитывать очень большое количество факторов при принятии решения о релевантности результатов поиска. [8]
Другая технология, Spectrum, была запущена в 2010 году. Она позволяет выводить неявные запросы и возвращать соответствующие результаты поиска. Система автоматически анализирует поисковые запросы пользователей и идентифицирует такие объекты, как личные имена, фильмы или автомобили. Доли результатов поиска, отвечающие различным намерениям пользователя, основаны на спросе пользователя на эти результаты. [9]
С первым релизом 21 июля 2017 года веб-браузер Brave использует Яндекс в качестве одной из поисковых систем по умолчанию. [10]
В марте 2022 года во время российского вторжения на Украину Яндекс и Mail.ru были удалены из браузера Mozilla Firefox как необязательные поставщики поиска . [11]
Поисковая система состоит из трех основных компонентов: [12]
В целом Яндекс индексирует следующие типы файлов: [15] html , pdf , rtf , doc , xls , ppt , docx , odt , odp, ods, odg, xlsx , pptx .
Поисковая система также способна индексировать текст внутри объектов Shockwave Flash (если текст не размещен на самом изображении), если эти элементы передаются как отдельная страница, имеющая тип MIME application/x-shockwave-flash
, и файлы с расширением .swf [16]
У Яндекса есть 2 сканирующих робота — «основной» и «быстрый». Первый отвечает за весь Интернет, второй индексирует сайты с часто меняющейся и обновляемой информацией (новостные сайты и информационные агентства). В 2010 году «быстрый» робот получил новую технологию под названием «Orange», разработанную совместно калифорнийским и московским подразделениями Яндекса. [16]
С 2009 года Яндекс поддерживает технологию Sitemaps . [16]
В логах сервера роботы Яндекса представлены следующим образом: [17]
Mozilla/5.0 (compatible; YandexBot/3.0)
является основным индексирующим ботом.Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector)
- бот, который определяет зеркала сайтов. Если есть несколько сайтов с одинаковым контентом, в результатах поиска будет показан только один.Mozilla/5.0 (compatible; YandexImages/3.0)
- Индексатор изображений ЯндексаMozilla/5.0 (compatible; YandexVideo/3.0)
- Индексатор видео ЯндексаMozilla/5.0 (compatible; YandexMedia/3.0)
- индексатор мультимедийных данныхMozilla/5.0 (compatible; YandexBlogs/0.99; robot)
поисковый бот, который индексирует комментарии к публикациям.Mozilla/5.0 (compatible; YandexAddurl/2.0)
- поисковый бот, индексирующий страницы через форму «Добавить URL ».Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel)
- проверяет Яндекс ДиректMozilla/5.0 (compatible; YandexMetrika/2.0)
- Индексатор Яндекс МетрикиMozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel)
- проверяет Яндекс КаталогMozilla/5.0 (compatible; YandexNews/3.0)
- Индексатор новостей ЯндексаMozilla/5.0 (compatible; YandexAntivirus/2.0)
- Яндекс антивирусный ботДля настройки используются следующие операторы:
""
- точная цитата|
- введите между словами, если вам нужно найти одно из них*
- вводить между словами, если какое-то слово пропущеноsite:
- поиск на определенном сайтеdate:
- поиск документов по дате, например, дата: 2007+
- ввести перед словом, которое должно быть в документеЯндекс автоматически, наряду с исходной «точной формой» запроса, ищет его различные вариации и формулировки. [18]
Поиск Яндекса учитывает морфологию русского языка, поэтому вне зависимости от формы слова в поисковом запросе поиск будет производиться по всем словоформам. Если морфологический анализ нежелателен, можно поставить восклицательный знак (!) перед словом — поиск в этом случае покажет только конкретную форму слова. Кроме того, поисковый запрос практически не учитывает так называемые стоп-слова , то есть предлоги , знаки препинания , местоимения и т. д., ввиду их широкого распространения [12]
Как правило, автоматически раскрываются аббревиатуры, исправляется орфография. Также осуществляется поиск синонимов (мобильный - сотовый). Расширение исходного запроса пользователя зависит от контекста. Расширения не происходит при наборе узкоспециализированных терминов, названий собственных имен компаний (например, ОАО «Бегемот» - ОАО «Бегемот»), добавлении слова «цена», в точных кавычках (это запросы, выделенные машинописными кавычками). [18]
Результаты поиска для каждого пользователя формируются индивидуально на основе его местоположения, языка запроса, интересов и предпочтений на основе результатов предыдущих и текущих сеансов поиска. Однако ключевым фактором ранжирования результатов поиска является их релевантность поисковому запросу. [19] Релевантность определяется на основе формулы ранжирования, которая постоянно обновляется на основе алгоритмов машинного обучения.
Поиск осуществляется на русском , английском , французском , немецком , украинском , белорусском , татарском , казахском языках .
Результаты поиска можно сортировать по релевантности и по дате (кнопки под результатами поиска).
Страница с результатами поиска состоит из 10 ссылок с краткими аннотациями — «сниппетами». В состав сниппетов входит текстовый комментарий, ссылка, адрес, популярные разделы сайта, страницы в социальных сетях и т. д. [20] В качестве альтернативы сниппетам Яндекс ввел в 2014 году новый интерфейс под названием «Острова». [21]
В Яндексе реализован механизм «параллельных поисков», когда одновременно с поиском в Интернете осуществляется поиск по сервисам Яндекса, таким как Каталог, Новости, Маркет, Энциклопедии, Картинки и т. д. В результате в ответ на запрос пользователя система показывает не только текстовую информацию, но и ссылки на видеофайлы, картинки, словарные статьи и т. д. [22]
Отличительной особенностью поисковой системы также является технология «поиска по намерениям», то есть поиска решения какой-либо проблемы. [23] Элементами поиска по намерениям являются — диалоговые подсказки при неоднозначном запросе, автоматический перевод текста, информация о характеристиках запрашиваемого автомобиля и т. д. Например, при запросе « Борис Гребенщиков — Золотой город» система покажет форму для онлайн-прослушивания музыки с сервиса Яндекс.Музыка , при запросе «ул. Королева, 12» будет показан фрагмент карты с отмеченным на ней объектом.
Результаты поиска в поисковой системе Яндекс, как правило, отдают предпочтение российским СМИ, включая государственные СМИ, а реклама, размещаемая Яндексом, как правило, способствует распространению дезинформации и пропаганды, производимых более чем полудюжиной русскоязычных новостных сайтов. [24] [25]
Одно исследование показало, что реклама, доставленная Яндексом, шла вместе с ложными историями о лабораториях США по биологическому оружию в Украине, утверждениями о том, что президент Украины Владимир Зеленский употребляет наркотики, и сообщениями, повторяющими заявления Кремля о том, что война против Украины идет полностью по плану. Другие фейковые новости, продвигаемые рекламой Яндекса, ссылались на российское вторжение, используя тезисы Кремля, называя войну «операцией по денацификации и демилитаризации Украины». [26] Другой анализ показал, что Яндекс направляет русскоязычных людей по всему миру к манипулируемой информации и часто к прямой дезинформации. [27]
В 2013 году Яндекс считался некоторыми самой безопасной поисковой системой того времени и третьей по безопасности среди всех веб-ресурсов. [28] К 2016 году Яндекс опустился на третье место, уступив первое место Google. [29]
Проверка веб-страниц и предупреждение пользователей появились на Яндексе в 2009 году: с тех пор на странице результатов поиска рядом с опасным сайтом появляется пометка «Этот сайт может представлять угрозу безопасности вашего компьютера» [30] . Для обнаружения угроз используются сразу две технологии. Первая была закуплена у американского антивируса Sophos и основана на сигнатурном подходе: то есть при обращении к веб-странице антивирусная система также обращается к базе уже известных вирусов и вредоносных программ . Такой подход быстр, но практически бессилен против новых вирусов, которые еще не попали в базу. Поэтому Яндекс наряду с сигнатурой использует и собственный антивирусный комплекс, основанный на анализе поведенческого фактора. Программа Яндекса при обращении к сайту проверяет, не запрашивал ли последний дополнительные файлы у браузера, не перенаправлял ли его на посторонний ресурс и т. д. Таким образом, если поступает информация о том, что сайт начинает выполнять определенные действия (каскадные таблицы стилей, запускаются модули JavaScript и целые программы) без разрешения пользователя, он помещается в «черный список» и в базу вирусных сигнатур. [31] Информация о заражении сайта появляется в результатах поиска, а через сервис Яндекс.Вебмастер владелец сайта получает уведомление. После первой проверки Яндекс делает вторую, и если информация о заражении подтверждается повторно, проверки будут проводиться чаще, пока угроза не будет устранена. Общее количество заражённых сайтов в базе Яндекса не превышает 1%. [30]
Каждый день в 2013 году Яндекс проверяет 23 миллиона веб-страниц (при этом выявляет 4300 опасных сайтов) и показывает пользователям 8 миллионов предупреждений. [32] Около миллиарда сайтов проверяется ежемесячно. [30]
Долгое время ключевым фактором ранжирования для Яндекса было количество сторонних ссылок на тот или иной сайт. Каждой странице в Интернете присваивался уникальный индекс цитирования, аналогичный индексу для авторов научных статей: чем больше ссылок, тем лучше. Похожий механизм реализован в Яндексе и в PageRank Google . Для предотвращения накруток Яндекс использует многофакторный анализ, в котором только 70 из 800 факторов влияют на количество сторонних ссылок. Сегодня гораздо большую роль играет содержание сайта и наличие или отсутствие в нем ключевых слов, удобство чтения текста, название домена, его история и наличие мультимедийного контента.
5 декабря 2013 года Яндекс объявил о полном отказе от учета фактора ссылки в будущем. [33]
По мере того, как пользователь вводит запрос в строку поиска, поисковая система предлагает подсказки в виде выпадающего списка. Подсказки появляются ещё до появления результатов поиска и позволяют уточнить запрос, исправить верстку или опечатку или сразу перейти на искомый сайт. Для каждого пользователя подсказки формируются на основе истории его поисковых запросов с помощью сервиса «Мои находки». В 2012 году появились так называемые «Умные поисковые подсказки», которые мгновенно выдают информацию об основных константах (длина экватора, скорость света и т. д.), пробках на дорогах и имеют встроенный калькулятор. Кроме того, в «Подсказки» был интегрирован переводчик (запрос «любовь по-французски» мгновенно выдаёт amour, привязанность ), расписание и результаты футбольных матчей, курсы валют, прогноз погоды и многое другое. Узнать точное время можно, спросив «который час». В 2011 году Подсказки в поиске Яндекса стали полностью локальными для 83 регионов России. [34]
Помимо собственно поиска, Подсказки встроены в поисковые системы Яндекс.Словари», « Яндекс.Маркет », « Яндекс.Карты » и другие сервисы Яндекса.
Функция подсказок является следствием развития технологии поиска по намерениям и впервые появилась на Яндекс.Баре в августе 2007 года, а в октябре 2008 года была представлена на главной странице поисковой системы. [35] Доступная как в десктопной, так и в мобильной версии сайта, Яндекс показывает своим пользователям более миллиарда поисковых подсказок в день [36]
Изменения в поисковике долгое время не были широко представлены и оставались безымянными. И только с начала 2008 года, когда был анонсирован запуск алгоритма 8 SP1 , Яндекс заявил, что отныне новые алгоритмы ранжирования будут носить названия городов. [37]
Название системы — Яндекс, — придумали совместно Аркадий Волож и Илья Сегалович . [38] Слово расшифровывается как y et an other in dex er (или как « я » и index ) ». Согласно трактовке Артемия Лебедева , название поисковой системы созвучно с Яндекс, где yang означает мужское начало, [39 ]
Поисковая система yandex.ru была анонсирована компанией CompTek 23 сентября 1997 года [40] на выставке Softool, хотя некоторые разработки в области поиска ( индексация Библии , поиск документов на CD-ROM , поиск по сайтам) велись компанией и раньше. Первый индекс содержал информацию о 5 тыс. серверах и занимал 4,5 ГБ. [41]
В том же 1997 году поиск Яндекса начал использоваться в русской версии Internet Explorer 4.0. [42] [43] Появилась возможность делать запросы на естественном языке. [44]
В 1998 году для каждого результата поиска появилась функция «найти похожие документы». [45]
«Яндекс.Поиск» по состоянию на 1998 год работал на трёх машинах под управлением FreeBSD под управлением Apache : одна машина сканировала Интернет и индексировала документы, одна поисковая система, а одна машина дублировала поисковую систему. [46]
В 1999 году в категориях появился поиск - поиск, представляющий собой комбинацию поисковой системы и каталога. [47] Была обновлена версия поисковой системы. [48]
6 июня 2000 года была представлена вторая версия поисковой системы . [49] Был введен параллельный механизм поиска, а вместе с выдачей предлагалась информация из крупных источников. Пользователи получили возможность ограничивать результаты поиска выбранной темой. Появилась рубрика «Популярные находки» — слова, уточняющие поиск. [50]
В декабре 2000 года объем проиндексированной информации достиг 355,22 ГБ. [51]
В 2001 году Яндекс обогнал по посещаемости другую российскую поисковую систему — Рамблер и стал лидером поисковой системы Рунета . [52] [53] Яндекс начал понимать запросы на естественном языке, заданные в вопросительной форме. Система научилась распознавать опечатки и предлагать их исправить. Изменился дизайн. [54]
Количество ежедневных запросов к поисковой системе Яндекс превысило 2 миллиона [55]
Запущена индексация . rtf и . pdf документов. [56] Результаты поиска стали выдаваться в том числе в формате XML. [57]
Изменился алгоритм ранжирования. [ 58 ]
Яндекс начал индексировать документы в форматах . swf ( Flash ). [59] xls и . ppt . [60]
В конце года было опубликовано исследование «Некоторые аспекты полнотекстового поиска и ранжирования в Яндексе. Архивировано 09.04.2022 на Wayback Machine » (авторы Илья Сегалович , Михаил Маслов), в котором были раскрыты некоторые детали ранжирования в поисковой системе. [61]
Летом был запущен так называемый «быстрый» поисковый робот, работающий параллельно с реальными страницами, предназначенными для индексации. База «быстрого робота» обновляется каждые 1,5–2 часа. [62]
Алгоритм ранжирования был улучшен для повышения точности поиска. [63]
Возможности поиска расширены с помощью «Яндекс.Словарей» и «Яндекс.Lingvo». Поисковая система научилась понимать запросы типа « Что такое [что-то] на испанском языке » и автоматически переводить их.
Стало возможным ограничивать результаты поиска по региону. [64]
С мая 2006 года в результатах поиска отображаются иконки сайтов. [65]
В начале декабря рядом с каждой ссылкой в результатах поиска появился пункт «Сохраненная копия», нажав на который, пользователь переходит на полную копию страницы в специальной архивной базе данных («Яндекс.Кэш»). [66]
Алгоритм ранжирования снова изменился. [67]
В 2008 году Яндекс впервые начал открыто объявлять об изменениях в поисковом алгоритме и называть изменения названиями российских городов. [68] Название «города» каждого последующего алгоритма начинается с буквы, на которую заканчивалось название предыдущего. [69]
В апреле 2020 года поисковая система начала искусственно размещать негативные комментарии о Навальном на верхних позициях результатов поиска по его имени. [70] Яндекс заявил, что это часть «эксперимента», и вернулся к отображению органических результатов поиска. [71] [72] [73]
По мнению медиаэксперта Михаила Гуревича, Яндекс — это «национальное достояние», «стратегический продукт» [74] .
Этот факт был признан и в Государственной Думе РФ , где в мае 2012 года появился законопроект, в котором Яндекс и ВКонтакте признаются стратегическими предприятиями в качестве национальных информационных трансляторов. [75] В 2009 году президент России Дмитрий Медведев инициировал покупку « золотой акции » Яндекса Сбербанком , чтобы избежать попадания важной общенациональной компании в иностранные руки. [76] В ноябре 2019 года Сбербанк объявил, что откажется от своей золотой акции, [77] а в следующем месяце акционеры Яндекса проголосовали за одобрение корпоративной реструктуризации, поддержанной правительством России, которая инвестировала бы контроль над золотой акцией в новый фонд общественных интересов, который должен был быть реализован к концу первого квартала 2020 года, после того как Сбербанк ранее согласился продать золотую акцию за один евро. [78]
В 2012 году «Яндекс» обогнал Первый канал по объёму ежедневной аудитории, что вывело «Яндекс» в лидеры отечественного медиарынка. [75] В 2013 году «Яндекс» подтвердил этот статус, обогнав Первый канал по объёму выручки. [79]
В 2008 году Яндекс был девятым поисковиком в мире, [80] в 2009 году седьмым, [81] а в 2013 году четвертым. [82]
Одной из составляющих этой ситуации является наличие в России достаточного количества математически подкованных специалистов, обладающих научным чутьем. [83]
К 2002 году слово «Яндекс» стало настолько распространённым, что когда компания Аркадия Воложа потребовала вернуть домен yandex.com, выкупленный третьими лицами, ответчик заявил, что слово «Яндекс» уже является синонимом поиска и стало нарицательным в России. [84]
С конца 2012 года поисковая система Яндекс обогнала Google по количеству пользователей браузера Google Chrome в России . [85] [86]
Логотип Яндекса появляется в многочисленных настройках для идентификации поисковой компании. Яндекс использовал несколько логотипов с момента своего переименования, первый логотип был создан Аркадием Воложем и дебютировал в 1997 году [87] на продуктах Яндекс.Сайт и Яндекс.CD, еще до анонса поисковой системы Яндекс. Логотип был разработан по аналогии с логотипом CompTek.
С 1997 года логотипы разрабатываются Студией Артемия Лебедева , — которая разработала четыре версии. Текущий логотип использует кириллические слова. [88]
Официальный сайт