Краулинговый бюджет - что такое, как оптимизировать и увеличить?

Краулинговый бюджет от Скромного сеошника


Приветствую всех читателей своего блога. Сегодня поговорим о том, с чем многие сталкиваются, но мало кто слышал о таком - краулинговый бюджет сайта.

Вкратце поясню... Исходя из общения с разными клиентами, я понял, что о краулинговом бюджете практически никто не слышал, процентов 80, а то и 90. Но каждый сталкивался с тем, что краулинговый бюджет сайта слишком мал, либо тратится понапрасну, из-за чего и появляются разного рода проблемы.

Для того чтобы полноценно разобраться во всех нюансах, нужно четко понимать что такое краулинговый бюджет.

Что такое краулинговый бюджет?



Краулинговый бюджет (Crawl Budget) - это некий объем ресурсов который выделяется поисковыми системами на сканирование Вашего сайта. При этом, сканируется не только файлы html, а весь сайт полностью.

В Google Вебмастере (search.google.com) бюджет рассчитывается за 24 часа. Crawl Budget можно считать +/- стабильной величиной, если сайт без рывков развивается. Если на сайте резко измениться количество страниц, либо изменится Last-Modified и If-Modified-Since - на графике резко отобразится скачок.

Как работает краулинг?



Как работает краулинг


Чтобы полностью разобраться в вопросе краулингового бюджета, необходимо в целом понимать, что такое краулинг и как он работает. Если постараться визуализировать, то Мы можем представить следующую картину.

Робот поисковой системы, Google, Яндекс, Рамблер и любой другой в целом, получает список URL сайта при сканировании:

  • Обход файла sitemap.xml.
  • Обход страниц за счет внутренней перелинковки.
  • Внешние ссылки, как с сайтов, так и с социальных сетей.
  • И т.д.

После чего, он закидывает все собранное в общий котел и начинает индексацию.

Для того, чтобы понять можно индексировать страницу или нет, робот смотрит на правила и рекомендации от вебмастера:

  • robots.txt.
  • заголовки http.
  • meta robots.


Как работает краулинг


Важно понимать, что указания в файле robots.txt - это всего рекомендация, а не четкое правило. А вот 2 и 3 пункт списка - это правило. Именно из-за этого бывают ситуации, когда закрыв страницу от индексации в файле robots.txt, в Вебмастере Google можно наблюдать сообщение «проиндексировано несмотря на запрет».


Где посмотреть свой краулинговый бюджет?



Чтобы узнать краулинговый бюджет своего сайта, необходимо перейти в Google Search Console. В левом вертикальном меню, практически в самом низу, есть пункт "Настройки", перейдя в них, в блоке "Сканирование", нажмите на "Открыть отчет".

Где посмотреть свой краулинговый бюджет


Где посмотреть свой краулинговый бюджет


На этой странице вебмастер сможет изучить объем своего краулингового бюджета и на что он тратится.

Как определить проблему с краулинговым бюджетом?



С этим вопросом сталкиваются владельцы сайтов у которых десятки и сотни тысяч страниц, но в индексе максимум половина, они не понимают в чем проблема.

Из-за чего я надумал написать данный материал, отчасти от того, что общаясь с людьми, многие не понимают что такое краулинговый бюджет и зачем он нужен, а те кто понимает, не знают как понять, что проблема в нем. Так же и сеошники начального уровня, не могут определить проблему и правильно настроить - дать правки для настройки.


Самое простое что можно сделать, что бы определить есть ли проблемы, это сравнить примерное число страниц на сайте и страниц в индексе поисковой системы. Дополнительно, если понаблюдать за недавно созданной страницей, можно увидеть, что она, к примеру, недель, а то и больше месяца не попадает в индекс.

Это говорит о том, что краулинговый бюджет расходуется не правильно. Но это догадки, а что бы узнать более точно, необходимо проанализировать лог-файлов (в них вся информация о работе хостинга и обращений к нему от пользователей и роботов).

Куда и как расходуется краулинговый бюджет?


Краулинговый бюджет - что такое, как оптимизировать и увеличить?

Так как работать ручками всегда муторно, для этого лучше использовать программы, которых в интернете много. Софт позволит все максимально быстро сортировать и привести в более приемлемый вид для удобного изучения и анализа. Самые популярные программы для анализа:

  • Power BI;
  • Loggly;
  • Screaming Frog Log Analyzer;
  • GoAccess;
  • JetOctopus;
  • LogViewer.

В программах можно четко вывести какие боты зашли, сколько отсканировали и т.д.

Как краулинговый бюджет влияет на продвижения сайта?



Ответ очевиден - замедляет продвижение сайта за счет редкого захода робота на страницу и ее индексацию/переиндексацию. То есть, когда Вы создали новую страницу и ждете что она начнет приносить трафик, она месяц не попадает в индекс вообще. Либо, когда Вы отредактировали контент на уже созданной странице, робот долго не заходит на страницу что бы ее переиндексировать.

В таких случаях, быстро и оперативно внести правки и занять лучшие позиции не выйдет.

Как увеличить краулинговый бюджет?



В моей практике чаще всего встречается несколько видов проблем которые влияют на краулинговый бюджет, они и расскажу поподробнее, а ниже, перечислю все варианты для увеличения Crawl Budget.

№1 - Last-Modified и If-Modified-Since



Работая с большими сайтами, в большинстве случаев я не находил на них правильно настроенного Last-Modified и If-Modified-Since. Эти параметры позволяют оптимизировать работу роботов и направлять их только на те страницы, на которые они не заходили или страница обновилась и нужно зайти.

№2 - Динамические страницы



Динамический контент всегда будет ценнее для поисковых систем, чем статический. Соответственно, страницы с таким контентом роботы будут чаще обходить для анализа. От части, именно из-за этого роботы и сидят 24/7 в социальных сетях - там постоянно люди добавляют новый контент.

№3 - Дубли URL



Это пункт прям актуальный для 99% сайтов, которые ко мне обращались за продвижением. 2 и более формирования URL создают дубль контента. Хоть поисковики со временем и определят какой тег канонический, плюс Вы подскажите, но в любом случае, робот будет обходить все вариации для того чтобы понять, а ничего ли не изменилось.

Советы по увеличению краулингового бюджета сайта


  • Увеличить скорость сайта
  • Настроить HTTP-кеширование
  • Настроить 410 ответ сервера для удалённых страниц
  • Сделать больше динамических страниц
  • Настроить Last-Modified и If-Modified-Since
  • Настроить sitemap.xml
  • Уменьшить число редиректов
  • Удалить идентификатор сессии из URL
  • Избавиться от бесконечной пагинации
  • Избавиться от дублей URL
  • Уменьшить глубину сайта, если страницы есть глубже 5 уровня
  • Улучшить внутреннюю перелинковку
  • Нарастить ссылочный профиль
  • Используйте API индексирования Google

Что не поможет увеличить краулинговый бюджет?



Однозначно можно сказать, что если закрыть технические страницы в robots.txt - это не уменьшит расход бюджета, так как файл - рекомендация, а не четкое правило которому необходимо следовать. Некоторые удаляют сторонние скрипты, чтобы ускорить скорость загрузки сайта и увеличить краулинговый бюджет, но и это не поможет. Сторонние ресурсы расположенные на сайте не учитываются в общем расходе бюджета на сайт.

И последнее, закрыть ссылки технические страницы nofollow. Ранее это помогало, но сейчас, увы. Данный тег не позволит утекать ссылочной массе, но на краулинговый бюджет это никак не повлияет, так как робот все равно перейдет на страницу.

Краулинговый бюджет - Итог



Я надеюсь, что всем стало понятно, что такое краулинговый бюджет и зачем он нужен, особенно тем, у кого сайты обладают большим количеством страниц, более 10 000. Сайты с маленьким числом страниц менее подвержены негативному влиянию низкого бюджета.

Если у кого-то остались вопросы или предложения, пишите их в комментариях или мне в социальных сетях. Всегда рад обратной связи.
Как раскрутить блог в ТОП 10 поиска Google?
Как раскрутить блог в ТОП 10 поиска Google?
Битые ссылки: Как их искать и что будет если не исправить мертвые 404 страницы?
Битые ссылки: Как их искать и что будет если не
Как искусственный интеллект делает Google более полезным
Как искусственный интеллект делает Google более
Ценообразование услуг сеошника — Разбор основных понятий для бизнеса и не только
Ценообразование услуг сеошника — Разбор основных
Внутренняя перелинковка молодого сайта — Недооценённая во всех смыслах
Внутренняя перелинковка молодого сайта —

Поисковое продвижение (SEO) / Аудит сайта

  1. Олег
    Олег Гость 27 октября 2021 13:47

    Проверил свой сайт на все моменты, что вы указали в статье, у меня везде бока. Но новые статьи добавляются в поиск примерно за 3-4 дня. На сайте всего страниц 500.

    1. NikeFIT
      NikeFIT 27 октября 2021 14:06

      Сайт у вас маленький, от этого сильных проблем и не возникает. Если хорошая структура, перелинковка и ссылочная масса, а в дополнение и социальный отклик - то индексироваться будет нормально. Может и на порядок быстрее_)

  2. NiNo
    NiNo Гость 5 ноября 2021 20:18

    Автор молодец, хорошо постарался.

  3. Ира
    Ира Гость 24 ноября 2021 09:25

    Я по опыту заметила, что если интернет-магазин, то краулинговый бюджет капец как важен. Если статейник, то в принципе по барабану. Магазин сразу выгружает сотни и тысячи товаров, там важно влететь в индекс и перелинковку так не сделаешь. А на статейнике, можешь перелинковкой выехать.

  4. Алексей
    Алексей Гость 30 декабря 2021 16:28

    А почему во всех статьях в топе написано, что узнавать краулинговый бюджет нужно  в Google Search Console. Как это коррелирует с краулинговым бюджетом Яндекса?
    Как можно узнать КБ паука от Яндекса?

    1. NikeFIT
      NikeFIT 3 января 2022 08:58

      1. Потому что краулинговый бюджет открыто показывает только гугл.
      2. Никак - это разные поисковые системы и у них разные подходы к индексации
      3. Никак, точных данных нет. У меня новые сайты без добавления в вебмастер и прочее, новореги, залетают в индекс на следующий день. А в гугл и месяц могут не попадать в индекс.

{login}

Твой комментарий..


Кликните на изображение чтобы обновить код, если он неразборчив

Комментарии
{title}
Keywords - Что это такое, как заполнять и стоит ли это делать?
Я давно не заполняю. Не видел профита много лет. А как убрал, то позиции немного подросли. 
Илюха, Сегодня, 09:55
{title}
Как раскрутить блог в ТОП 10 поиска Google?
Я уже 2 месяца иду по твоим советам и блог в моем магазине растет. Трафика больше, каждая статья
Матвей, Сегодня, 08:26
{title}
12 советов по локальному SEO для малого бизнеса, которые нельзя игнорировать
хорошая обширная статья, спасибо автору за старания.
Матвей, Сегодня, 08:25
{title}
Влияет ли доменная зона на SEO? Джон Мюллер из Google объясняет
Я сколько сайтов не делал - если сайт хороший, то по барабану на домен. Вот реально.
Васинда, Вчера, 06:50
{title}
Аудит сайта от Скромного сеошника
Заказывал аудит для интернет магазина по косметике, оригинальная косметика без популярных брендов. 
Matyshin, 11 мая 2022 09:37
Все комментарии..
Полный список последних комментариев
Крутите ПФ?
Страницы
Loading...

Нашли ошибку?
Вы можете сообщить об этом администрации.
Выделив текст нажмите CTRL+Enter