Битые ссылки: Как их искать и что будет если не исправить мертвые 404 страницы?

В интернете, да и у меня в социальных сетях часто спрашивают про битые ссылки. Если вывести это все в единый список, то вопросы будут следующие:

Почему появляются битые ссылки?
Как исправить/удалить битые ссылки?
Как удалить мертвые ссылки на вордпресс и/или битрикс?
Чем вредят сайту битые ссылки?
Что будет если не исправить мертвые ссылки?
Как найти битые ссылки?
Какие есть программы и плагины для поиска битых ссылок?

В этом материале, я постараюсь ответить на все эти вопросы, но для начала, нужно начать с основ.

Что такое битые ссылки?

Под битыми ссылками подразумевают, что на странице с кодом 200, ставится ссылка отдающая код 404 - то есть, страницы не существует. Когда пользователь попадает на эту страницу, ему отобразится уведомление: "Ошибка 404. Страница не существует или она была удалена."

Почему появляются битые ссылки?

В интернете есть много различных описаний проблем, но все они сводятся к тому, что у кого-то просто кривые руки.

Недавно делал аудит одному сайту, у него более 10 000 страниц, и почти 9 000 битых ссылок. Все дело в том, что меняли сайт и структуру и программист сделал опечатку в формировании URL, от чего вышли ошибки. Клиент и другие участники не заметили оплошности и конечно же не искали, зато видели, что трафик упал и не знали в чем причина.

Но если все же разобрать на самые частые действия, связанные с появлением битых ссылок, то можно вывести следующее:

Изменилась структура сайта. В интернет-магазинах часто меняют вложенность продукта, убирая /product/, а в каталоге /catalog/.
Страница была удалена. Если брать пример снова с интернет-магазина, то из-за дублированности товаров, Вы решили сократить их и удалили часть. Но где-то в блоге, в обзорной статье, стояла ссылка и соответственно, она автоматически становится битой.
Опечатка. Это именно то, что чаще всего влияет на появление битых ссылок и 301 редиректов.

Некоторые утверждают, что можно получить битые ссылки при переезде с http на https. Но честно говоря, нигде такого не встречал. При неправильном переезде, получались 301 редиректы, но не битые ссылки с кодом ответа 404.

Как исправить/удалить битые ссылки?

Чтобы исправить битую ссылку, необходимо разобраться, из-за чего она появилась. В данной ситуации 3 сценария:

Опечатка. Если кто-то допустил ошибку и опечатался, то ее легко исправить поправив URL на правильный. Это мелкая ошибка и исправляется за считанные минуты.
Страница была удалена. Исходя из своего опыта, я не рекомендую просто удалять страницу. Как-никак, она имеет вес, историю, на нее могут ссылаться другие сайты и т.д. Если Вы хотите удалить какую-то страницу, то лучше при помощи файла.htaccess сделайте 301 редирект на похожую страницу, либо, как минимум, на страницу предыдущей вложенности.
Изменилась структура либо страница была удалена. При таком раскладе событий, становится куда интереснее. Все так же, через файл.htaccess, необходимо сделать постраничный редирект. Со старых вариантов написание URL, на новый. При правильном построении задачи, любой программист справится за 5 минут.

Как удалить битые ссылки на вордпресс и/или битрикс?

Как ни странно, но добрая половина владельцев сайтов на WordPress и Bitrix считают, что в их случае какой-то отдельный вариант решения задачи. На самом деле нет. На любом CMS, проблемы с битыми ссылка решаются одинаково.

Чем вредят сайту битые ссылки?

Ответ будет прост — своим наличием. Пользователи, которые постоянно натыкаются на страницу "404", в 70% случаев покидают сайт полностью, а не возвращаются на предыдущую страницу. А значит, сайт теряет не только поведенческий фактор, но и лояльность аудитории, что в конечном итоге сказывается на количество переходов из поисковой выдачи.

Именно из-за этого, и начали оформлять страницы 404, добавляя на них элементы навигации, предложение вернуться на предыдущую страницу. Так же, делать красивое графическое уведомление, что что-то пошло не так и беспокоится не стоит.

Что будет если не исправить битые ссылки?

В зависимости от каких показателей отталкиваться. То есть, наличие большого числа страниц 404 негативно повлияет на сайт — это 100%. Разница только в разнице влияния, на что-то больше, на что-то меньше.

1. Поведенческий фактор. Из-за того, что люди в 70% уходят из сайта, это негативно сказывается на поведенческом факторе, который считают поисковые системы, как фактор ранжирования сайта.
2. Конверсия. В дополнение, так как репутация будет ухудшаться, в глазах пользователей, это повлияет и на конверсию — количество заказов и средний чек.
3. Позиции в поисковой выдаче. А так как ПФ ухудшится, то и позиции сайта соответственно станут ниже. Так как поисковые системы давно посчитали, сколько человек каких действий должен сделать на вашем сайте, отталкиваясь от средних значений по срезу сайтов.

Некоторые утверждают что и краулинговый бюджет пострадает, с чем я отчасти согласен, но по своему. Но сначала высказывание Джона Мюллера, сотрудника Google:

4хх ошибки не приводят к снижению краулингового бюджета. Бот повторно сканирует эти страницы, чтобы убедиться, что они закрыты, но делает это не в ущерб остальным страницам.

Отчасти, я с этим согласен. Но как было мною замечено, то весь краулинговый бюджет тратился на мертвые ссылки, особенно, если они были и в sitemap.xml прописаны, после смены структуры и формирования url.

Во избежание подобных моментов, чтобы краулинговый бюджет не тратился впустую, я рекомендую настраивать Last-Modified и If-Modified-Since. Как минимум, это поможет обезопасить от прохода одних и тех же страниц каждый раз, а значит, сэкономит и краулинговый бюджет. Аналогично и с битыми ссылками, при попытке их просканировать, роботу будет выдан ответ "304 Not Modified", и во второй и последующие разы, он не будет сканировать эти страницы.

Как найти битые ссылки?

Искать вручную подобные вещи очень сложно, ведь Мы не запоминаем какие у нас правильные url, а какие стоят в ссылках. Как показывает моя практика, даже такие url "p-l-ng-z-ferulovoyu-kislotoyu" и "piling-s-ferulovoy-kislotoy" пропускаются командой работающая над сайтом.

Самый простой способ найти все ссылки, это использовать специальный софт.

Инструменты для поиска битых ссылок

Расписывать как пользоваться тем, либо иным инструментом я не буду, так как это есть на каждом официальном сайте. В дополнение. изучая это самостоятельно, Вы узнаете и про другие функции данных инструментов. что в дальнейшем Вам будет очень полезно!

Яндекс.Вебмастер

Google Search Console

Xenu’s Link Sleuth

Screaming Frog

W3C Link Checker

Online Broken Link Checker

Netpeak Spider

Broken Link Checker

Check My Links

Comparser

Dead Link Checker

Drlink Check

Ahrefs

Битые ссылки — Что хочется еще сказать?!

Битые ссылки есть на каждом втором сайте, как минимум 1, это вполне нормально. Ведь под это, есть даже поговорка:

Не ошибается только тот, кто не работает.

Я рекомендую проводить аудит сайта, хотя бы раз в 6 месяцев, для того, чтобы обнаружить все "косяки" и недоработки над сайтом. Не стоит этого бояться, поисковые системы действительно много чего прощают и позволяют делать. То что на вашем сайте обнаружиться большое число мертвых ссылок, ничего страшного. После исправления, сайт сможет дальше расти и развиваться.

Если Вы не знаете как сделать аудит, или кому доверить аудит сайта, то напишите мне. Я смогу если не посоветовать хорошего исполнителя, то сделать аудит своими руками и обсудить с Вами проект. Обещаю, будет интересно!