Сканирование Google — обнаружение и обновление
У Google есть два типа веб-сканирования:
один для обнаружения нового контента, а другой для обновления уже опубликованного контента.Google использует два типа методов сканирования при просмотре веб-страниц: один для обнаружения нового контента и один для обновления существующего контента.
Это объясняет советник Google по поиску Джон Мюллер во время видеовстречи Google Search Central SEO в рабочие часы, записанной 7 января.
Специалист по SEO по имени Свьямдипта Чакраборти присоединяется к прямой трансляции, чтобы задать Мюллеру ряд вопросов, один из которых касается того, как часто Googlebot сканирует его сайт.
Он отмечает, что робот Googlebot ежедневно сканировал его сайт, когда он публиковал его более регулярно, но не так часто, когда публикуется меньше статей.
Возможно, опасаясь, что снижение частоты сканирования — плохой знак, он спрашивает Мюллера, нормально ли это.
Мюллер уверяет его, что все в порядке, и продолжает объяснять два типа сканирования, которые использует Googlebot.
Узнайте больше о том, как Google сканирует веб-сайты, в разделе ниже.
Два типа сканирования Googlebot
Вы можете узнать, как часто Googlebot сканирует ваш сайт с помощью отчета в Search Console, и могут быть периоды, когда ваш сайт сканируется чаще, чем другие.
Отвечая на вопрос об отчете, Мюллер подтверждает, что колебания нормальны, и обсуждает два типа сканирования:
«Это может случиться. Мы сканируем не столько веб-сайт, сколько отдельные страницы веб-сайта. И когда дело доходит до ползания, у нас есть два типа ползания.
Одним из них является поисковое сканирование, при котором мы пытаемся обнаружить новые страницы на вашем веб-сайте. А другой — это сканирование с обновлением, когда мы обновляем существующие страницы, о которых нам известно».
Частота сканирования может варьироваться не только для всего сайта, но и для отдельных веб-страниц.
Например, если ваша домашняя страница обновляется чаще, чем другие страницы, вы увидите больше активности Googlebot на этой странице.
Мюллер продолжает:
«По большей части, например, мы обновляли домашнюю страницу, я не знаю, раз в день, или каждые пару часов, или что-то в этом роде.
И если мы найдем новые ссылки на их домашней странице, мы также просканируем их с помощью поискового обхода. И из-за этого вы всегда будете видеть сочетание обнаружения и обновления, происходящего в отношении сканирования. И вы увидите базовые показатели сканирования каждый день.
Но если мы признаем, что отдельные страницы изменяются очень редко, то мы понимаем, что нам не нужно сканировать их все время».
Некоторые типы веб-сайтов, вероятно, будут сканироваться чаще, чем другие.
Новостные сайты, которые обновляются несколько раз в день, будут сканироваться чаще, чем сайт, который обновляется раз в месяц.
Googlebot способен распознавать эти шаблоны и соответствующим образом корректировать частоту сканирования.
«Например, если у вас есть новостной веб-сайт, и вы обновляете его ежечасно, то мы должны понять, что нам нужно сканировать его каждый час. Если же это новостной веб-сайт, который обновляется раз в месяц, то нам следует понять, что нам не нужно сканировать его каждый час.
И это не признак качества, или признак ранжирования, или что-то в этом роде. На самом деле, чисто с технической точки зрения мы узнали, что можем сканировать это один раз в день или раз в неделю, и это нормально».
Так что не пугайтесь, если заметите, что робот Googlebot посещает ваш сайт чаще или реже.
Кроме того, не беспокойтесь, если робот Googlebot недавно просканировал ваш сайт и обновления существующего контента не отражаются в результатах поиска.
Это может быть случай, когда Google просканировал ваш сайт, чтобы найти новый контент, а не обновить существующий контент.
Если ваш сайт редко вносит изменения в опубликованный контент, робот Googlebot может сканировать больше для обнаружения, которое обновляется.
Опять же, это не обязательно имеет какое-либо отношение к качеству контента.