Поисковая оптимизация ( SEO ) — это процесс улучшения качества и количества трафика на веб-сайт или веб-страницу из поисковых систем . [1] [2] SEO нацелена на неоплачиваемый трафик (известный как «естественные» или « органические » результаты), а не на прямой трафик или платный трафик . Неоплачиваемый трафик может исходить от разных видов поиска, включая поиск изображений , видео , академический поиск , [3] поиск новостей и отраслевые вертикальные поисковые системы.
Как стратегия интернет-маркетинга , SEO учитывает, как работают поисковые системы, запрограммированные компьютером алгоритмы , которые диктуют поведение поисковых систем, что ищут люди, фактические поисковые термины или ключевые слова, введенные в поисковые системы, и какие поисковые системы предпочитают их целевая аудитория. SEO выполняется, потому что веб-сайт будет получать больше посетителей из поисковой системы, когда веб-сайты ранжируются выше на странице результатов поиска (SERP). Эти посетители затем потенциально могут быть преобразованы в клиентов. [4]
Веб-мастера и поставщики контента начали оптимизировать веб-сайты для поисковых систем в середине 1990-х годов, когда первые поисковые системы каталогизировали раннюю сеть . Первоначально всем веб-мастерам нужно было только отправить адрес страницы или URL-адрес различным системам, которые отправляли веб-сканер для сканирования этой страницы, извлечения ссылок на другие страницы из нее и возврата информации, найденной на странице, для индексации . [5] Процесс включает в себя сканирование страницы поисковым роботом/сканером и сохранение ее на собственном сервере поисковой системы. Вторая программа, известная как индексатор , извлекает информацию о странице, такую как содержащиеся на ней слова, где они расположены и любой вес для определенных слов, а также все ссылки, содержащиеся на странице. Затем вся эта информация помещается в планировщик для сканирования в более позднюю дату.
Владельцы веб-сайтов осознали ценность высокого рейтинга и видимости в результатах поисковой системы, [6] создав возможности как для белых , так и для черных SEO-специалистов. По словам аналитика отрасли Дэнни Салливана , фраза «поисковая оптимизация», вероятно, вошла в употребление в 1997 году. Салливан считает Брюса Клея одним из первых, кто популяризировал этот термин. [7]
Ранние версии алгоритмов поиска полагались на информацию, предоставленную веб-мастерами, такую как метатег ключевых слов или файлы индекса в таких системах, как ALIWEB . Метатеги предоставляют руководство по содержимому каждой страницы. Однако использование метаданных для индексации страниц оказалось менее надежным, поскольку выбор веб-мастером ключевых слов в метатеге потенциально мог быть неточным представлением фактического содержимого сайта. Неверные данные в метатегах, например, неточные или неполные, создавали потенциал для неправильной характеристики страниц при нерелевантных поисках. [8] [ dubious – discussion ] Поставщики веб-контента также манипулировали некоторыми атрибутами в исходном коде HTML страницы, пытаясь занять высокие позиции в поисковых системах. [9] К 1997 году разработчики поисковых систем осознали, что веб-мастера прилагают усилия для получения высоких позиций в своей поисковой системе и что некоторые веб-мастера даже манипулируют своими рейтингами в результатах поиска, наполняя страницы чрезмерными или нерелевантными ключевыми словами. Ранние поисковые системы, такие как Altavista и Infoseek , скорректировали свои алгоритмы, чтобы помешать веб-мастерам манипулировать рейтингами. [10]
Сильно полагаясь на такие факторы, как плотность ключевых слов , которые находились исключительно под контролем веб-мастера, ранние поисковые системы страдали от злоупотреблений и манипуляций с рейтингом. Чтобы предоставлять своим пользователям лучшие результаты, поисковым системам приходилось адаптироваться, чтобы гарантировать, что их страницы результатов показывают наиболее релевантные результаты поиска, а не несвязанные страницы, набитые многочисленными ключевыми словами недобросовестными веб-мастерами. Это означало переход от сильной зависимости от плотности терминов к более целостному процессу оценки семантических сигналов. [11] Поскольку успех и популярность поисковой системы определяются ее способностью выдавать наиболее релевантные результаты для любого заданного поиска, низкое качество или нерелевантные результаты поиска могли заставить пользователей искать другие источники поиска. Поисковые системы отреагировали разработкой более сложных алгоритмов ранжирования , принимая во внимание дополнительные факторы, которыми веб-мастерам было сложнее манипулировать.
Компании, которые используют чрезмерно агрессивные методы, могут получить запрет на размещение своих клиентских сайтов в результатах поиска. В 2005 году Wall Street Journal сообщил о компании Traffic Power , которая якобы использовала высокорисковые методы и не раскрыла эти риски своим клиентам. [12] Журнал Wired сообщил, что та же компания подала в суд на блогера и SEO-специалиста Аарона Уолла за то, что тот написал о запрете. [13] Мэтт Каттс из Google позже подтвердил, что Google действительно запретила Traffic Power и некоторых ее клиентов. [14]
Некоторые поисковые системы также обратились к SEO-индустрии и часто выступают в качестве спонсоров и гостей на SEO-конференциях, веб-чатах и семинарах. Основные поисковые системы предоставляют информацию и рекомендации, помогающие оптимизировать веб-сайт. [15] [16] У Google есть программа Sitemaps , которая помогает веб-мастерам узнать, есть ли у Google проблемы с индексацией их веб-сайта, а также предоставляет данные о трафике Google на веб-сайт. [17] Инструменты для веб-мастеров Bing предоставляют веб-мастерам возможность отправлять карту сайта и веб-каналы, позволяют пользователям определять «скорость сканирования» и отслеживать статус индексации веб-страниц.
В 2015 году сообщалось, что Google разрабатывает и продвигает мобильный поиск как ключевую функцию будущих продуктов. В ответ многие бренды начали использовать другой подход к своим стратегиям интернет-маркетинга. [18]
В 1998 году два аспиранта Стэнфордского университета , Ларри Пейдж и Сергей Брин , разработали «Backrub», поисковую систему, которая использовала математический алгоритм для оценки известности веб-страниц. Число, вычисляемое алгоритмом, PageRank , является функцией количества и силы входящих ссылок . [19] PageRank оценивает вероятность того, что заданная страница будет достигнута веб-пользователем, который случайным образом просматривает веб-страницы и переходит по ссылкам с одной страницы на другую. По сути, это означает, что некоторые ссылки сильнее других, так как страница с более высоким PageRank с большей вероятностью будет достигнута случайным веб-серфером.
Пейдж и Брин основали Google в 1998 году. [20] Google привлекла преданных последователей среди растущего числа пользователей Интернета , которым понравился его простой дизайн. [21] Факторы, находящиеся вне страницы (такие как PageRank и анализ гиперссылок), учитывались так же, как и факторы, находящиеся на странице (такие как частота ключевых слов, метатеги , заголовки, ссылки и структура сайта), чтобы позволить Google избежать манипуляций, наблюдаемых в поисковых системах, которые учитывали только факторы, находящиеся на странице, для своих рейтингов. Хотя PageRank было сложнее обыграть , веб-мастера уже разработали инструменты и схемы построения ссылок, чтобы влиять на поисковую систему Inktomi , и эти методы оказались применимыми к игре с PageRank. Многие сайты сосредоточены на обмене, покупке и продаже ссылок, часто в огромных масштабах. Некоторые из этих схем, или фермы ссылок , включали создание тысяч сайтов с единственной целью — рассылка спама ссылками . [22]
К 2004 году поисковые системы включили широкий спектр нераскрытых факторов в свои алгоритмы ранжирования, чтобы уменьшить влияние манипуляции ссылками. [23] Ведущие поисковые системы, Google, Bing и Yahoo , не раскрывают алгоритмы, которые они используют для ранжирования страниц. Некоторые специалисты по SEO изучили различные подходы к поисковой оптимизации и поделились своим личным мнением. [24] Патенты, связанные с поисковыми системами, могут предоставить информацию для лучшего понимания поисковых систем. [25] В 2005 году Google начал персонализировать результаты поиска для каждого пользователя. В зависимости от истории их предыдущих поисков, Google создавал результаты для вошедших в систему пользователей. [26]
В 2007 году Google объявил о кампании против платных ссылок, которые передают PageRank. [27] 15 июня 2009 года Google сообщил, что они приняли меры для смягчения последствий формирования PageRank путем использования атрибута nofollow для ссылок. Мэтт Каттс , известный инженер-программист в Google, объявил, что Google Bot больше не будет обрабатывать ссылки nofollow таким же образом, чтобы помешать поставщикам услуг SEO использовать nofollow для формирования PageRank. [28] В результате этого изменения использование nofollow привело к исчезновению PageRank. Чтобы избежать вышеизложенного, инженеры SEO разработали альтернативные методы, которые заменяют теги nofollow на запутанный JavaScript и, таким образом, позволяют формировать PageRank. Кроме того, было предложено несколько решений, которые включают использование iframes , Flash и JavaScript. [29]
В декабре 2009 года Google объявила, что будет использовать историю веб-поиска всех своих пользователей для заполнения результатов поиска. [30] 8 июня 2010 года была анонсирована новая система веб-индексации под названием Google Caffeine . Разработанная для того, чтобы позволить пользователям находить результаты новостей, сообщения на форумах и другой контент гораздо быстрее после публикации, чем раньше, Google Caffeine была изменением способа обновления индекса Google, чтобы сделать вещи более быстрыми в Google, чем раньше. По словам Кэрри Граймс, инженера-программиста, которая анонсировала Caffeine для Google, «Caffeine обеспечивает на 50 процентов более свежие результаты для веб-поиска, чем наш последний индекс...» [31] Google Instant , поиск в реальном времени, был представлен в конце 2010 года в попытке сделать результаты поиска более своевременными и релевантными. Исторически администраторы сайтов тратили месяцы или даже годы на оптимизацию веб-сайта для повышения рейтинга поиска. С ростом популярности сайтов социальных сетей и блогов ведущие поисковые системы внесли изменения в свои алгоритмы, чтобы позволить новому контенту быстро ранжироваться в результатах поиска. [32]
В феврале 2011 года Google анонсировала обновление Panda , которое наказывает веб-сайты, содержащие контент, дублированный с других веб-сайтов и источников. Исторически веб-сайты копировали контент друг у друга и получали выгоду в рейтингах поисковых систем, занимаясь этой практикой. Однако Google внедрила новую систему, которая наказывает сайты, контент которых не является уникальным. [33] Google Penguin 2012 года пытался наказать веб-сайты, которые использовали манипулятивные методы для улучшения своего рейтинга в поисковой системе. [34] Хотя Google Penguin был представлен как алгоритм, направленный на борьбу со спамом в Интернете, на самом деле он фокусируется на спамных ссылках [35] , оценивая качество сайтов, с которых приходят ссылки. Обновление Google Hummingbird 2013 года включало изменение алгоритма, призванное улучшить обработку естественного языка Google и семантическое понимание веб-страниц. Система обработки языка Hummingbird подпадает под недавно признанный термин «разговорный поиск», когда система уделяет больше внимания каждому слову в запросе, чтобы лучше сопоставить страницы со смыслом запроса, а не с несколькими словами. [36] Что касается изменений, внесенных в поисковую оптимизацию, для издателей и авторов контента Hummingbird призван решить проблемы, избавившись от нерелевантного контента и спама, что позволит Google производить высококачественный контент и полагаться на них как на «доверенных» авторов.
В октябре 2019 года Google объявила, что начнет применять модели BERT для поисковых запросов на английском языке в США. Двунаправленные кодирующие представления от Transformers (BERT) были еще одной попыткой Google улучшить обработку естественного языка, но на этот раз для лучшего понимания поисковых запросов своих пользователей. [37] С точки зрения поисковой оптимизации BERT намеревался упростить подключение пользователей к релевантному контенту и повысить качество трафика, поступающего на веб-сайты, которые ранжируются на странице результатов поисковой системы .
Ведущие поисковые системы, такие как Google, Bing и Yahoo!, используют краулеры для поиска страниц для своих алгоритмических результатов поиска. Страницы, на которые ссылаются другие страницы, проиндексированные поисковой системой, не нужно отправлять, поскольку они находятся автоматически. Yahoo! Directory и DMOZ , два основных каталога, которые закрылись в 2014 и 2017 годах соответственно, оба требовали ручной отправки и редакторской проверки человеком. [38] Google предлагает Google Search Console , для которой можно создать и бесплатно отправить XML- канал Sitemap , чтобы гарантировать, что все страницы будут найдены, особенно страницы, которые нельзя обнаружить с помощью автоматического перехода по ссылкам [39] в дополнение к своей консоли отправки URL. [40] Yahoo! ранее управляла платной службой отправки, которая гарантировала сканирование за плату за клик ; [41] однако эта практика была прекращена в 2009 году.
Поисковые роботы могут учитывать ряд различных факторов при сканировании сайта. Не каждая страница индексируется поисковыми системами. Расстояние страниц от корневого каталога сайта также может быть фактором, влияющим на то, будут ли страницы сканироваться. [42]
Для большинства поисков Google используются мобильные устройства. [43] В ноябре 2016 года Google объявил о существенном изменении способа сканирования веб-сайтов и начал делать свой индекс ориентированным на мобильные устройства, что означает, что мобильная версия данного веб-сайта становится отправной точкой для того, что Google включает в свой индекс. [44] В мае 2019 года Google обновил движок рендеринга своего краулера до последней версии Chromium (74 на момент объявления). Google указал, что будет регулярно обновлять движок рендеринга Chromium до последней версии. [45] В декабре 2019 года Google начал обновлять строку User-Agent своего краулера, чтобы отразить последнюю версию Chrome, используемую их службой рендеринга. Задержка была сделана для того, чтобы дать веб-мастерам время обновить свой код, который реагировал на определенные строки User-Agent бота. Google провел оценки и был уверен, что влияние будет незначительным. [46]
Чтобы избежать нежелательного контента в поисковых индексах, веб-мастера могут дать указание паукам не сканировать определенные файлы или каталоги через стандартный файл robots.txt в корневом каталоге домена. Кроме того, страницу можно явно исключить из базы данных поисковой системы с помощью метатега , специфичного для роботов (обычно <meta name="robots" content="noindex"> ). Когда поисковая система посещает сайт, файл robots.txt, расположенный в корневом каталоге, является первым просканированным файлом. Затем файл robots.txt анализируется и сообщает роботу, какие страницы не следует сканировать. Поскольку поисковый робот может хранить кэшированную копию этого файла, он может иногда сканировать страницы, которые веб-мастер не хочет сканировать. Обычно страницы, сканирование которых запрещено, включают страницы, связанные с входом в систему, такие как корзины покупок, и пользовательский контент, такой как результаты поиска из внутренних поисков. В марте 2007 года Google предупредил веб-мастеров, что им следует запретить индексацию результатов внутреннего поиска, поскольку эти страницы считаются поисковым спамом. [47] В 2020 году Google отменил стандарт (и открыл исходный код) и теперь рассматривает его как подсказку, а не как директиву. Чтобы должным образом гарантировать, что страницы не индексируются, следует включить метатег робота на уровне страницы. [48]
Различные методы могут повысить значимость веб-страницы в результатах поиска. Перекрестные ссылки между страницами одного и того же веб-сайта для предоставления большего количества ссылок на важные страницы могут улучшить его видимость. Дизайн страницы заставляет пользователей доверять сайту и хотеть остаться, как только они его найдут. Когда люди уходят с сайта, это влияет на сайт и его авторитет. [49] Написание контента, который включает часто искомые ключевые фразы, чтобы быть релевантным широкому спектру поисковых запросов, как правило, увеличивает трафик. Обновление контента, чтобы поисковые системы часто сканировали его, может придать сайту дополнительный вес. Добавление релевантных ключевых слов в метаданные веб-страницы, включая тег заголовка и метаописание , как правило, улучшает релевантность списков поиска сайта, тем самым увеличивая трафик. Канонизация URL веб-страниц, доступных через несколько URL, с использованием элемента канонической ссылки [50] или через перенаправления 301 может помочь убедиться, что ссылки на разные версии URL учитываются в оценке популярности ссылок страницы. Они известны как входящие ссылки, которые указывают на URL-адрес и могут учитываться при оценке популярности ссылки на страницу, влияя на авторитетность веб-сайта. [49]
Методы SEO можно разделить на две большие категории: методы, которые поисковые компании рекомендуют как часть хорошего дизайна («белая шляпа»), и те методы, которые поисковые системы не одобряют («черная шляпа»). Поисковые системы пытаются минимизировать эффект последних, среди которых — спамдексинг . Отраслевые комментаторы классифицировали эти методы и практиков, которые их применяют, как « белую шляпу SEO» или «черную шляпу SEO». [51] «Белые шляпы» обычно дают результаты, которые сохраняются долгое время, тогда как «черные шляпы» предполагают, что их сайты в конечном итоге могут быть временно или навсегда запрещены, как только поисковые системы обнаружат, что они делают. [52]
Метод SEO считается белым, если он соответствует рекомендациям поисковых систем и не содержит обмана. Поскольку рекомендации поисковых систем [15] [16] [53] не написаны как ряд правил или заповедей, это важное различие, которое следует отметить. Белое SEO заключается не только в следовании рекомендациям, но и в обеспечении того, чтобы контент, индексируемый поисковой системой и впоследствии ранжируемый ею, был тем же контентом, который увидит пользователь. Советы по белому SEO обычно сводятся к созданию контента для пользователей, а не для поисковых систем, а затем к тому, чтобы сделать этот контент легкодоступным для алгоритмов «паука» в Интернете, а не к попыткам обмануть алгоритм от его предполагаемого назначения. Белое SEO во многом похоже на веб-разработку, которая способствует доступности, [54] хотя эти два понятия не идентичны.
Black Hat SEO пытается улучшить рейтинг способами, которые не одобряются поисковыми системами или включают обман. Один из методов black hat использует скрытый текст, либо как текст, окрашенный в цвет фона, в невидимом div , либо размещенный за пределами экрана. Другой метод дает другую страницу в зависимости от того, запрашивается ли страница посетителем-человеком или поисковой системой, метод, известный как маскировка . Другая категория, которая иногда используется, — grey hat SEO . Это промежуточный подход между black hat и white hat, где используемые методы позволяют избежать штрафных санкций сайта, но не способствуют созданию лучшего контента для пользователей. Grey hat SEO полностью сосредоточено на улучшении рейтинга поисковой системы.
Поисковые системы могут наказывать сайты, которые они обнаруживают с помощью методов черного или серого хакерства, либо понижая их рейтинг, либо полностью удаляя их списки из своих баз данных. Такие штрафы могут применяться либо автоматически алгоритмами поисковых систем, либо путем ручного просмотра сайта. Одним из примеров было удаление Google в феврале 2006 года BMW Germany и Ricoh Germany за использование обманных практик. [55] Однако обе компании быстро извинились, исправили оскорбительные страницы и были восстановлены на странице результатов поиска Google. [56]
SEO не является подходящей стратегией для каждого веб-сайта, и другие стратегии интернет-маркетинга могут быть более эффективными, например, платная реклама через кампании с оплатой за клик (PPC) , в зависимости от целей оператора сайта. Маркетинг в поисковых системах (SEM) — это практика разработки, запуска и оптимизации рекламных кампаний в поисковых системах. Его отличие от SEO проще всего описать как разницу между платным и неоплачиваемым приоритетным ранжированием в результатах поиска. SEM больше фокусируется на известности, чем на релевантности; разработчики веб-сайтов должны относиться к SEM с максимальным вниманием, учитывая видимость, поскольку большинство переходят к основным спискам своего поиска. [57] Успешная кампания интернет-маркетинга может также зависеть от создания высококачественных веб-страниц для привлечения и убеждения интернет-пользователей, настройки аналитических программ, позволяющих владельцам сайтов измерять результаты, и повышения коэффициента конверсии сайта . [58] [59] В ноябре 2015 года Google выпустила полную 160-страничную версию своих рекомендаций по оценке качества поиска для общественности, [60] которая показала смещение акцента в сторону «полезности» и мобильного локального поиска . В последние годы мобильный рынок взорвался, обогнав использование настольных компьютеров, как показал StatCounter в октябре 2016 года, где они проанализировали 2,5 миллиона веб-сайтов и обнаружили, что 51,3% страниц были загружены с помощью мобильного устройства. [61] Google была одной из компаний, которые используют популярность использования мобильных устройств, поощряя веб-сайты использовать свою Google Search Console , Mobile-Friendly Test, который позволяет компаниям сравнивать свои веб-сайты с результатами поисковой системы и определять, насколько удобны для пользователя их веб-сайты. Чем ближе ключевые слова друг к другу, тем лучше будет их рейтинг на основе ключевых терминов. [49]
SEO может генерировать адекватную окупаемость инвестиций . Однако поисковым системам не платят за органический поисковый трафик, их алгоритмы меняются, и нет никаких гарантий продолжения рефералов. Из-за этого отсутствия гарантий и неопределенности бизнес, который сильно зависит от трафика поисковых систем, может понести большие убытки, если поисковые системы перестанут отправлять посетителей. [62] Поисковые системы могут менять свои алгоритмы, влияя на рейтинг веб-сайта в поисковых системах, что может привести к серьезной потере трафика. По словам генерального директора Google Эрика Шмидта , в 2010 году Google внесла более 500 изменений в алгоритм — почти 1,5 в день. [63] Для операторов веб-сайтов считается мудрой деловой практикой освободиться от зависимости от трафика поисковых систем. [64] В дополнение к доступности с точки зрения веб-сканеров (о чем говорилось выше), доступность веб-сайта для пользователей становится все более важной для SEO.
Методы оптимизации в значительной степени настроены на доминирующие поисковые системы на целевом рынке. Рыночные доли поисковых систем различаются от рынка к рынку, как и конкуренция. В 2003 году Дэнни Салливан заявил, что Google представляет около 75% всех поисков. [65] На рынках за пределами Соединенных Штатов доля Google часто больше, и Google остается доминирующей поисковой системой во всем мире по состоянию на 2007 год. [66] По состоянию на 2006 год доля Google на рынке Германии составляла 85–90%. [67] В то время как в США на тот момент существовали сотни SEO-компаний, в Германии их было всего около пяти. [67] По данным Hitwise , по состоянию на июнь 2008 года рыночная доля Google в Великобритании приближалась к 90% . [68] Такая доля рынка достигнута в ряде стран.
По состоянию на 2009 год, есть только несколько крупных рынков, где Google не является ведущей поисковой системой. В большинстве случаев, когда Google не лидирует на данном рынке, он отстает от местного игрока. Наиболее яркими примерами рынков являются Китай, Япония, Южная Корея, Россия и Чешская Республика, где лидерами рынка являются соответственно Baidu , Yahoo! Japan , Naver , Yandex и Seznam .
Успешная поисковая оптимизация для международных рынков может потребовать профессионального перевода веб-страниц, регистрации доменного имени с доменом верхнего уровня на целевом рынке и веб-хостинга , который предоставляет локальный IP-адрес . В противном случае основные элементы поисковой оптимизации по сути одинаковы, независимо от языка. [67]
17 октября 2002 года SearchKing подал иск в Окружной суд США , Западный округ Оклахомы, против поисковой системы Google. SearchKing утверждал, что тактика Google по предотвращению спамдексинга представляет собой деликтное вмешательство в договорные отношения. 27 мая 2003 года суд удовлетворил ходатайство Google об отклонении жалобы, поскольку SearchKing «не смог указать требование, по которому может быть предоставлена компенсация». [69] [70]
В марте 2006 года KinderStart подала иск против Google по поводу рейтингов поисковой системы. Сайт KinderStart был удален из индекса Google до подачи иска, а объем трафика на сайт упал на 70%. 16 марта 2007 года Окружной суд США по Северному округу Калифорнии ( отделение Сан-Хосе ) отклонил жалобу KinderStart без разрешения на внесение поправок и частично удовлетворил ходатайство Google о санкциях по правилу 11 против адвоката KinderStart, потребовав от него оплатить часть судебных издержек Google. [71] [72]
{{cite web}}
: CS1 maint: несколько имен: список авторов ( ссылка )