Как работает Google и его алгоритм? Вопрос о сканировании, индексации сайтов и вывода в органическую выдачу

Для того что бы успешно оптимизировать сайт под Google и занять высокие позиции, всем необходимо знать, как именно работает Google и его алгоритм.


Приступим к основе...

Первый Google сканирует Интернет

Условно работа Google начинается со сканирования.

Поскольку нет центрального реестра всех веб-ресурсов в мире, Google каким-то образом должен регулярно исследовать всю сеть. Для этого Google использует автоматизированное программное обеспечение, известное как поисковые роботы или просто Googlebot.

Робот Googlebot регулярно бродит по Интернету и ищет новые или недавно обновленные веб-страницы. Этот процесс называется сканированием. Как правило, это делается несколькими способами.

Сначала робот Googlebot посещает страницы, которые он уже обнаружил во время предыдущих обходов. Здесь он следует либо за всеми найденными там ссылками, либо за XML-картой сайта, если она есть. Затем все вновь найденные страницы добавляются в список страниц для последующего сканирования.

Во-вторых, робот Googlebot сканирует страницы, отправленные владельцами сайтов через Google Search Console. Там сканер получает еще одну часть веб-страниц для добавления в свою очередь сканирования.



Обычно робот Googlebot сканирует все новые найденные страницы. Однако страница не будет просканирована, если:

• ему запрещено сканирование в файле robots.txt сайта
  
• к нему не может получить доступ анонимный пользователь, например, страницы входа.
  

Если страница является дубликатом другой страницы, робот Googlebot будет посещать ее реже, чтобы сделать сканирование более эффективным и не расходовать выделенный на сайт краулинговый бюджет.

Помимо поиска новых страниц в Интернете, этап сканирования также включает в себя рендеринг (визуализацию) вновь обнаруженной страницы. Робот Googlebot использует браузер Chrome для загрузки HTML-кода страницы, стороннего кода, jаvascript и CSS.

Затем Google добавляет страницы в индекс

После того как робот Googlebot находит новую страницу, он пытается понять, о чем эта страница. Этот процесс известен как индексация. Он включает в себя тщательный анализ всех элементов страницы, таких как текстовое содержимое, мета-теги и атрибуты, изображения, видео и т. д.

Как правило, все вновь обнаруженные и просканированные страницы затем индексируются. Единственное исключение — если на странице есть директива noindex в теге или заголовке. В этом случае робот Googlebot не будет индексировать страницу.


Когда индексация завершена, краулер заносит страницу в индекс Google — базу данных поиска Google. На данный момент индекс Google насчитывает сотни миллиардов веб-страниц .



Как только эта новая страница проиндексирована, она готова к показу пользователям, выполняющим поиск.

Когда Google получает запрос, он показывает результаты поиска.

Каждый раз, когда пользователь вводит запрос в поле поиска, Google обращается к своему индексу, чтобы найти и предоставить наиболее релевантные результаты. Процесс называется «обслуживание» и включает восемь шагов.

1. Определение контекста и сужение индекса

К тому моменту, когда вы отправите свой поисковый запрос, Google уже учтет несколько вещей, которые помогут сузить индекс и отфильтровать нерелевантные результаты.

Вот что проверяет Google еще до того, как вы нажмете Enter:

• Google проверяет ваше местоположение, чтобы доставлять контент, относящийся к вашему региону. Таким образом, когда вы ищете веганское кафе поблизости, вы увидите местный пакет (карту с тремя перечисленными местными предприятиями), даже если вы не укажете местоположение.
  
• Google анализирует язык запроса. Если вы выполняете поиск на немецком языке, результаты поиска будут на немецком языке независимо от вашего местоположения и предпочитаемого языка, указанного в настройках поиска .
  
• Google смотрит на тип вашего устройства. Если вы используете телефон, Google сначала отобразит страницы, оптимизированные для мобильных устройств. Более того, это также определяет, какие функции SERP вы увидите. Например, избранные сниппеты и реклама чаще возвращаются на десктоп, а некоторые другие функции уникальны для мобильного поиска.
  
• Google придерживается ваших настроек поиска. Если вы включите фильтрацию безопасного поиска , Google не будет показывать явные результаты поиска. Аналогичным образом, если вы настроите Показать личные результаты , вы будете получать личные ответы и рекомендации на основе информации в вашей учетной записи Google.
  

2. Определение смысла и намерения запроса

После того, как вы отправили свой поисковый запрос в Google, он должен понять фактическое значение вашего запроса. Не всегда пользователи знают, как правильно что-то написать или сформулировать запрос так, как это делают веб-мастера.

Первое, что делает Google в этом отношении, — это распознает новые слова и исправляет орфографические ошибки . Google использует модели понимания естественного языка для расшифровки неизвестных слов, опечаток и концептуальных ошибок. В основном это достигается за счет просмотра всего запроса, а не сосредоточения внимания на одном слове.

Затем Google определяет значение и цель запроса . Ранее Google сопоставлял слова в запросах со словами на страницах, не понимая их значения. Все изменилось с введением алгоритма Hummingbird в 2013 году. Именно тогда Google вступил в новую эру семантического поиска и развил свои возможности понимания смысла запроса, а не отдельных ключевых слов. Это обновление является предшественником систем искусственного интеллекта, которые стали самым большим прорывом в обработке естественного языка.

Я буду честен с вами. SEO-специалисты по всему миру пытаются понять алгоритмы искусственного интеллекта, которые использует Google, но тема совсем не ясна. Возможно, это потому, что Google не хочет делиться своими коммерческими секретами. Или, может быть, представители Google недостаточно осведомлены. Во всяком случае, самое авторитетное и четко сформулированное чтение по теме — это пост Барри Шварца .

Барри уделяет особое внимание трем системам семантической обработки: RankBrain, Neural Matching и BERT. Они запускались постепенно, и их цели пересекались. Итак, я разделил их сферы влияния, чтобы упростить вам задачу:

RankBrain, 2015 г.

Сопоставление запросов с конкретными реальными понятиями.

Нейронное сопоставление, 2018 г.

Сопоставление запросов с их синонимами.

БЕРТ, 2019 г.

Сопоставление слов в запросе определенным синтаксическим ролям.


Применяя эти три алгоритма искусственного интеллекта и улучшая процесс темными искусствами, Google понимает смысл запроса и переходит к следующему этапу.

3. Проверка того, требует ли запрос нового контента

Как только Google улавливает смысл и цель вашего поискового запроса, он проверяет, ищете ли вы что-то, для чего требуется самая свежая и актуальная информация (новости, политика, события и т. д.).

Чтобы определить, ищете ли вы актуальную информацию, Google применяет к вашему запросу математическую модель Query Deserves Freshness (QDF). Во-первых, модель определяет, что тема актуальна, если о ней активно пишут новостные сайты или сообщения в блогах. Или просто, если объем поиска по теме увеличивается. Когда Google приходит к выводу, что это тема, по которой вы хотите получить самую свежую информацию, он вознаграждает обновленный контент более высоким рейтингом.

Например, когда вы ищете «принц, гарри и меган», вы, вероятно, ожидаете увидеть какие-то новости о них. Итак, Google показывает Top Stories с последними новостями о паре в верхней части поисковой выдачи.

4. Проверка того, является ли запрос вашими деньгами или вашей жизнью

Наряду с проверкой QDF Google проверяет ваш запрос, чтобы определить, является ли он тем, для которого Google считает неприемлемым возвращать ненадежный контент. Такие запросы и страницы называются «Ваши деньги или ваша жизнь» (YMYL). Как правило, это темы здоровья, безопасности, финансов и т.д.

С обновлением Medic стало возможным различать запросы «Ваши деньги» или «Ваша жизнь» и сопоставлять их с нужным контентом. Если Google решает, что для запроса требуется контент YMYL, он оценивает опыт, авторитетность и надежность (EAT) соответствующих страниц, их создателей и веб-сайтов в целом. Страницы с более высоким показателем EAT в конечном итоге будут ранжироваться выше.

Например, если вы ищете «фондовая биржа», первая поисковая выдача в основном будет состоять из страниц с высоким доверием, таких как Nasdaq, Лондонская фондовая биржа, Нью-Йоркская фондовая биржа и т. д.

5. Определение того, как будет выглядеть SERP

В зависимости от типа запроса, который вы вводите, поисковая выдача может выглядеть по-разному. Например, наряду с десятью синими ссылками он может показывать кучу рекламы, результаты Сети знаний, карту и так далее.

Итак, прежде чем Google вернет свою окончательную выдачу, он решает, какой тип результатов поиска будет наиболее подходящим. Как показывает практика, структура поисковой выдачи сильно зависит от поискового интента:



Также есть заметная разница между тем, как Google выбирает, какие функции SERP показывать для мобильного и настольного поиска.

Например, мобильная поисковая выдача обладает следующими уникальными функциями: расширить этот поиск и уточнить этот поиск (функции прогнозирования), панель знаний с функцией просмотра в 3D, короткие видеоролики и веб-истории.

Между тем, есть некоторые функции, которые чаще отображаются на десктопах, например, реклама и избранные фрагменты. Вот пример того, как может выглядеть первая поисковая выдача по одному и тому же запросу:



Логика такой разницы заключается в том, как мы используем эти два типа устройств. За рабочим столом у нас больше времени на изучение текстового контента. Когда мы пользуемся телефоном, мы, наоборот, рассчитываем найти информацию как можно быстрее. Таким образом, Google «снабжает» поисковую выдачу более предсказуемыми и визуальными функциями.

6. Выбор наиболее релевантных страниц для каждого типа результатов поиска

После того, как Google усвоит концепции запроса и страниц, он проверит, насколько хорошо информация на веб-сайте соответствует поисковому запросу. Чтобы оценить релевантность контента, Google анализирует текст, изображения и видео, а также все метаэлементы, такие как заголовок, мета-описание и теги alt.

Те страницы, которые более релевантны, т.е. лучше всего отвечают требованиям пользователя, будут ранжироваться выше. Тем не менее, вы должны помнить, что релевантность контента, хотя и жизненно важная, не является единственным фактором ранжирования. Именно сочетание многих факторов может гарантировать высокие позиции в поисковой выдаче.

7. Баланс релевантности и важности страниц

Google ранжирует страницы, отдавая приоритет наиболее надежному и качественному контенту. По сути, на данном этапе он пытается достичь правильного баланса актуальности информации и авторитетности.

Первое, что делает Google для этой цели, — оценивает качество контента страницы. Таким образом, он идентифицирует сигналы, которые демонстрируют опыт, авторитетность и надежность в данной теме. Этот процесс включает в себя следующее:

• Оценка PageRank. Google проверяет, ссылаются ли другие известные веб-сайты на содержание данной страницы или ссылаются на него. Количество тоже имеет значение. Чем больше обратных ссылок с качественных сайтов получает страница, тем выше ее шанс занять первое место.
  
• Обнаружение любого спама или другого обмана или манипулятивного поведения благодаря алгоритму защиты от спама. Естественно, все, что нарушает рекомендации Google, не будет иметь высокого рейтинга.
  
• Проверка безопасности сайта. Google считает HTTPS золотым стандартом, поскольку он обеспечивает шифрование, целостность данных и аутентификацию. Если страница обеспечивает безопасный пользовательский опыт, она вознаграждается.
  

И поскольку Google ставит пользовательский опыт превыше всего, он также проверяет, легко ли ориентироваться на странице и использовать ее — удобство использования страницы. Процесс также достаточно сложен и включает в себя следующее:

• Проверка страницы на наличие навязчивых межстраничных объявлений. Если есть всплывающие окна, которые мешают пользователям потреблять основной контент, страница не будет иметь высокий рейтинг.
  
• Проверяем, подходит ли сайт для всех типов устройств . Веб-контент должен быть одинаково удобен для восприятия на мобильных устройствах, планшетах или компьютерах.
  
• Принимая во внимание Core Web Vitals сайта. Загрузка, интерактивность и визуальная стабильность определяют, насколько заинтересованными будут ваши посетители и насколько Google будет любезен с вашим контентом.
  

Очевидно, что страницы, которые обеспечивают как качество, так и удобство использования, имеют более высокий рейтинг в результатах поиска.

8. Возврат результата пользователям

Когда ваш запрос проанализирован со всех сторон, и алгоритмы искусственного интеллекта выполнили свою работу, Google, наконец, выдает наиболее релевантные результаты поиска. Просто посмотрите на изображение ниже — весь этот процесс занимает доли секунды.

Google никогда не перестает улучшать свой алгоритм

Google не может изменить определенные результаты поиска вручную, чтобы сделать поиск лучше. Вместо этого он постоянно меняет и адаптирует свои алгоритмы. Например, в 2020 году Google представил около 4 500 улучшений в поиске. В среднем это около 12 изменений в день — можно сказать, что Google настоящий трудяга.

Я попытался разбить усилия Google в этом отношении ниже.

1. Борьба с веб-спамом

Для Google борьба со спамом — головная боль. Только в 2020 году Google заявил, что ежедневно находит около 40 миллиардов страниц со спамом.

С точки зрения Google все, что вводит пользователей в заблуждение и противоречит принципам качества Google , считается спамом. Эти:

• автоматически сгенерированный контент;
  
• скрытая переадресация;
  
• схемы ссылок;
  
• тонкий контент;
  
• платные ссылки;
  
• маскировка;
  
• скрытый текст и ссылки;
  
• дорвеи страницы;
  
• скопированный контент;
  
• чисто партнерские сайты;
  
• нерелевантные ключевые слова;
  
• страницы с вредоносным поведением;
  
• автоматические запросы;
  
• пользовательский спам.
  

На самом деле борьба со спамом — это многоэтапный процесс, который включает в себя как алгоритмы искусственного интеллекта Google, так и ручную проверку командой по удалению спама.

Огромная часть спам-страниц отфильтровывается между этапами сканирования и индексации. Остаток, который ускользает, улавливается фильтрами позже, на этапе ранжирования и обслуживания.

Несмотря на совершенство существующих алгоритмов защиты от спама, некоторые веб-страницы по-прежнему попадают в поисковую выдачу. Именно тогда в игру вступает команда Google по удалению спама. Они просматривают отчеты о спаме, отправленные поисковиками, и принимают ручные меры против сайтов, которые нарушают правила Google. В результате сайты со спамом получают пониженный рейтинг или даже исключаются из результатов поиска.

В том маловероятном случае, если вы получите ручное действие от Google, не паникуйте. Сначала вы увидите соответствующее уведомление в Search Console. Затем крайне важно устранить все проблемы, которые могли привести к этому. Как только все будет исправлено, ваш сайт, скорее всего, вернется в рейтинг.

2. Алгоритм тестирования

Естественно, совершенный поиск невозможен без тестов и экспериментов. Каждая новая идея, которая приходит в голову Google, тщательно проверяется перед запуском.

Таким образом, для улучшения качества поиска Google работает с Search Quality Raters — группой независимых рецензентов со всего мира. Оценщики оценивают, насколько эффективен поиск и соответствуют ли предоставленные результаты поиска поисковому намерению пользователя. Кроме того, они оценивают качество результатов поиска на основе экспертизы, авторитетности и надежности контента. Что важно, они делают все это строго в соответствии с Руководством по оценке качества .

Помимо тестов качества поиска, Google также проводит параллельные эксперименты , опять же с помощью оценщиков качества. Google показывает Raters два разных набора результатов поиска: один с предлагаемым изменением и один без него. Затем они спрашивают оценщиков, какие результаты они предпочитают и почему.

Оценки, предоставляемые Quality Raters, не влияют напрямую на рейтинг страницы. Вместо этого эта информация берется в совокупности, чтобы помочь Google оценить, насколько хорошо работают их поисковые алгоритмы.

Более того, Google проводит эксперименты с трафиком в реальном времени, чтобы увидеть, как реальные люди взаимодействуют с тестируемой функцией. Он включает эту функцию для небольшой группы пользователей, а затем сравнивает результаты с контрольной группой. Если результат неудовлетворителен, функция не утверждается для дальнейшей интеграции.

Для полноты картины давайте погрузимся в последние обновления Google.

3. Последние разработки

Обновления Google можно разделить на две группы.

Первая группа — это минорные обновления. Как правило, они остаются незамеченными поисковиками и приводят к небольшим колебаниям рейтинга для оптимизаторов. Google обычно не предоставляет никаких подробностей о таких изменениях.

Во вторую группу входят основные (основные) обновления алгоритма Google, которые представляют особый интерес, поскольку иногда они существенно меняют игру как для пользователей, так и для SEO-специалистов. Ниже я собрал некоторые из наиболее заметных обновлений за последние 7 лет.

Подача качественного контента:

• Медицинское обновление (август 2018 г.). Этот алгоритм был развернут для улучшения идентификации экспертизы, авторитетности и надежности веб-контента. Это делается для продвижения YMYL-страниц с наивысшими баллами EAT в топ результатов поиска.
  
• Обновление рейтинга прохождения (февраль 2021 г.). С его помощью Google может оценить релевантность конкретного отрывка, а не всей страницы, и ранжировать его по отдельности. Теперь среди множества строк можно найти информацию даже по мелочи.
  
• Обновления поискового спама (2021 г.). Обновления нацелены на контент, который противоречит рекомендациям Google для веб-мастеров, и были разработаны для более эффективной борьбы со спамом в Интернете и результатами поиска изображений.
  
• Обновление спама по ссылкам (июль 2021 г.). Благодаря этому Google может более широко идентифицировать и аннулировать ссылочный спам на нескольких языках. Таким образом, эффективность обманных методов построения ссылок была значительно снижена.
  
• Обновления обзоров продуктов (2021, 2022). С его помощью Google может идентифицировать и эффективно вознаграждать высококачественные обзоры продуктов более высоким рейтингом. Теперь Google предоставляет пользователям еще больше полезной и ценной информации.
  

Понимание естественного языка и целей поиска:

• RankBrain (октябрь 2015 г.). Это первый алгоритм машинного обучения, который может обрабатывать даже невиданные ранее поисковые запросы и более разумно сопоставлять их с релевантными страницами.
  
• БЕРТ (октябрь 2019 г.). Внедрение этого алгоритма НЛП изменило то, как Google понимает слова в запросах. Благодаря этому Google может улавливать даже малейшие нюансы контекста и, следовательно, эффективно сопоставлять запросы с правильными результатами.
  
• MUM — многозадачная унифицированная модель (июнь 2021 г.). Этот новый алгоритм во много раз мощнее, чем BERT. MUM может понимать сложные вопросы и информацию всех типов (фото, видео) на нескольких языках. Благодаря MUM Google научится отвечать на вопросы пользователей так, как это сделали бы настоящие эксперты. Обновление относительно новое, поэтому нам потребуется время, чтобы увидеть весь его потенциал.
  

Обеспечение превосходного пользовательского опыта:

• Обновления для мобильных устройств (2015, 2016). Они были предназначены для повышения рейтинга мобильных страниц в результатах мобильного поиска. Теперь пользователи могут легко находить релевантные результаты, которые можно прочитать без масштабирования и горизонтальной прокрутки. Кроме того, благодаря обновлениям удобство для мобильных устройств стало сигналом ранжирования для мобильного поиска.
  
• Платформа ускоренных мобильных страниц (AMP) (2016 г.). Этот проект с открытым исходным кодом был разработан, чтобы помочь мобильным страницам загружаться намного быстрее, но был расширен до настольных сайтов, электронной почты, рекламы и т. д. С ним содержимое страницы загружается еще до того, как ее посещают.
  
• Мобильное индексирование (2019 г.). Это следующий этап обновлений для мобильных устройств — Google не только вознаграждает оптимизированные для мобильных устройств страницы высоким рейтингом, теперь он также в основном использует мобильную версию сайта для сканирования, индексации и ранжирования.
  
• Обновления интерфейса страницы (2021, 2022). Google добавил Core Web Vitals (самый большой ввод контента, задержку первого ввода и кумулятивное смещение макета) в качестве сигналов для взаимодействия со страницей как для мобильного, так и для настольного поиска. Таким образом, для ранжирования страниц Google теперь проверяет, быстро ли они загружаются, являются ли они удобными для мобильных устройств, работают ли они по протоколу HTTPS, нет ли навязчивой рекламы и не перемещается ли контент при загрузке страниц.
  

Вывод

Алгоритм поиска Google всегда будет окружен тайной, как бы глобальное SEO-сообщество ни пыталось его взломать. Причина в том, что Google хочет предотвратить любое манипулирование результатами поиска со стороны третьих лиц и поэтому раскрывает лишь часть того, как это работает на самом деле.