Битые ссылки: как найти на сайте и обезвредить

Битая ссылка на сайте ведет в тупик — на несуществующую страницу. Пользователи кликают по ней, видят сообщение об ошибке и уходят. С точки зрения SEO, неработающие ссылки на сайте – не просто мелкая техническая оплошность, они ухудшают поведенческие факторы и влияют на ранжирование сайта в поисковых системах. Разберемся, откуда берутся мертвые линки, как их найти и что с ними делать?

Содержание

1. Что такое битые ссылки

2. Как появляются нерабочие ссылки

3. В чем опасность битых ссылок

4. Программы для проверки битых ссылок на сайте

5. Онлайн-сервисы для проверки битых ссылок на сайте

6. Проверка битых ссылок в панелях вебмастеров

7. Как исправить битые ссылки

8. Что делать с битыми ссылка на чужих сайтах

9. Выводы

Что такое битые ссылки

Битая ссылка — это нерабочая ссылка с HTTP-статусом отличным от 2XX или 3XX. Битые ссылки ведут на URL, которые невозможно открыть. Чаще всего вместо страницы пользователь видит ошибку 404 Not Found, надпись «Страница не существует» или другую произвольную фразу. Ошибка 404 — это стандартный код ответа сервера, сообщающий, что по указанному адресу HTML-страницы не существует. Иногда появляются ошибки с другими кодами, например, 410 Not Found.

Такие линки могут быть внутренними, то есть вести с одной страницы сайта на другую, или внешними, ведущими на другой веб-ресурс. И те, и другие одинаково не нравятся пользователям и поисковым системам.

Пользователей раздражает, когда вместо нужной страницы они видят код 404. Поисковики замечают и учитывают поведение пользователей при ранжировании сайта.

Как появляются нерабочие ссылки

Гиперссылки на несуществующие страницы могут появиться из-за технических проблем, невнимательности контент-менеджера, из-за глобальных изменений в структуре проекта.

Удаление неактуального контента

На многих сайтах приходится удалять неактуальный контент. Несколько примеров:

• В интернет-магазине меняется ассортимент. Устаревшие карточки или целый раздел с товарами отправляются в корзину.

• Компания перестала оказывать часть услуг, ненужный контент удаляется.

• На портале развлечений становятся неактуальными страницы с анонсами прошедших выставок, кинопремьер, праздников.

• На инфосайте удаляются старые новости или статьи с нулевой посещаемостью.

• Компания прекращает сотрудничество с агрегатором, информация о компании снимается с публикации.

• Удаляется спонсорский материал, который был по договору размещен в интернет-СМИ на определенный период.

Эти документы некоторые время остаются в индексе поисковых систем, пользователи пытаются зайти на них из результатов выдачи Яндекса или Google и получают сообщение об ошибке.

Но даже когда страницы выпадают из индекса, на сайте могут остаться ссылки на удаленный документ или раздел. Пользователь может перейти туда из меню, с внутренних страниц, из блоков сопутствующих товаров.

Проблема может возникнуть на сайтах с ручной перелинковкой, если ссылка вписана в текст, а страница-реципиент удалена.

Изменение адреса или структуры URL

Не всегда удается на старте создать универсальную структуру и сохранять ее на протяжении всей жизни проекта. Часто приходится вносить изменения: дробить разделы, добавлять новые категории и удалять старые.

Считается, что лучше менять структуру без смены URL. Но не всегда удается выстроить новую иерархию и при этом сохранить прежние адреса.

Если поменять URL разделов и подразделов, адреса существующих страниц тоже могут измениться. Если не настроить редирект, то старые URL будут выдавать ошибку 404 Not Found.

Приведем пример. В интернет-магазине косметики продается набор теней для глаз. Товар находился по адресу: https://site.ru/dekorativnaya/teni

SEO-специалист решил добавить подкатегории «для глаз», «для губ», «для бровей». Адрес изменился: https://site.ru/dekorativnaya/dly-glaz/teni

Ссылка на прежний URL ведет на несуществующую страницу. Чтобы этого не произошло, нужно настроить 301 редирект и на всем сайте заменить неактуальные ссылки на новые.

Технические ошибки

Иногда «мертвые» ссылки появляются из-за технических проблем на веб-ресурсе, например, из-за некорректной работы плагинов или сервера.

К появлению ошибки 404 может привести неправильная настройка сервера, когда входящие запросы не переадресовываются на нужный URL.

При настройке SSL-сертификата важно настроить перенаправление с http на защищенный протокол https. Если этого не сделать, возникает ошибка.

Случайные ошибки

Бывает, что URL меняется из-за банальной ошибки контент-менеджера, когда адрес вводится вручную или автоматически. Иногда виноват человеческий фактор: одна ошибка в URL — лишний слэш или пропущенная буква, и гиперссылка становится нерабочей. Поэтому при работе с контентом важно вручную проверять, куда ведет каждая гиперссылка.

В чем опасность битых ссылок

В SEO неработающие ссылки не считаются прямым фактором ранжирования, но косвенно влияют на позиции сайта в поисковых системах.

• Когда пользователь переходит по битой ссылке, он чаще всего покидает сайт. Даже если страница 404 ошибки грамотно оформлена (на ней расположено меню или гиперссылка на главную), это не спасает положение. В результате портятся поведенческие факторы: растут отказы, сокращается время на сайте, уменьшается глубина просмотров. Поисковые системы учитывают ПФ при ранжировании. Одна битая ссылка вряд ли сделает погоду, но если нерабочих ссылок много, поведенческие факторы заметно ухудшаются, а позиции сайта снижаются.

• Страдает ссылочный профиль. Если перелинковка мертвая, она не работает, ссылочный вес не передается другим страницам.

• Существует SEO-теория: когда поисковые роботы переходят по таким линкам, расходуется краулинговый бюджет, и индексация сайта замедляется. Считается, что поисковый робот (краулер) сканирует ограниченное количество страниц. Если он сканирует несуществующие документы, бюджета может не хватить на работающие страницы.

• И, наконец, самое очевидное и важное последствие — упущенная выгода. Если битая ссылка ведет на карточку товара или продающий текст, сайт теряет потенциальных покупателей или заинтересованных клиентов. Они были готовы сделать покупку, но наткнулись на 404 ошибку и ушли ни с чем.

Программы для проверки битых ссылок на сайте

Невозможно проверить все гиперссылки вручную, особенно если проект большой. Существуют десктопные программы, которые оказывают помощь в решении этой задачи. Чтобы с ними работать, их нужно скачать.

Screaming Frog SEO Spider

Программа Screaming Frog SEO Spider («Лягушка») скачивается на компьютер. В бесплатной версии можно просканировать до 500 URL, в платной количество не лимитировано. Это программа комплексного аудита сайта.

Робот анализирует перенаправления, заголовки, метаданные, файл robots.txt и другие SEO-параметры. «Лягушка» показывает редиректы, визуализирует структуру проекта, находит неработающие ссылки, ошибки сервера и решает много других задач.

После сканирования ищите информацию о ссылках во вкладке «Internal». Отфильтруйте ее по «Status Code». Программа покажет все 404 ошибки. Отчет можно скачать на компьютер. Он содержит информацию о наличии неправильных ссылок, их расположении, текстах анкоров, директивах.

Netpeak Spider

Netpeak Spider — еще одна хорошая программа комплексного аудита сайтов. Она платная, но после регистрации аккаунта предоставляется бесплатный 14-дневный пробный период.

Программа работает как поисковый робот: находит ссылки, переходит по ним, определяет код ответа сервера. Если обнаруживает 404 ошибку, добавляет URL в список. Этот отчет можно выгрузить на компьютер (раздел «Специальные отчеты»). В отчете содержится адрес, где находится битая ссылка, анкор, целевой URL c 404 ошибкой.

По умолчанию программа находит только внутренние проблемные линки. Чтобы спарсить внешние ссылки, нужно отметить эту опцию в настройках сканирования.

Xenu’s Link

Бесплатная десктопная программа. Проводит сканирование, составляет список, отмечает красным неработающие линки.

Xenu’s Link определяет анкор, страницу донора и реципиента. После сканирования создает удобный отчет.

Онлайн-сервисы проверки битых ссылок на сайте

Онлайн-сервисы удобны тем, что их не нужно устанавливать на компьютер, они не расходуют оперативную память.

Siteliner

Siteliner — условно бесплатный онлайн-сервис. Проводит краткий аудит сайта: подсчитывает количество страниц, находит поддомены, документы с неуникальным контентом, закрытые от индексации или несуществующие страницы.

Список битых ссылок можно посмотреть в разделе «Broken Links».

Ahrefs

Популярный платный онлайн-сервис анализа ссылочного профиля и других SEO-параметров. Бесплатного пробного периода нет.

Отслеживает видимость и позиции по запросам, анализирует ключевые слова, прогнозирует цену клика в контекстной рекламе. Точно оценивает количество и качество бэклинков. Проверяет внешние и внутренние ссылки.

Запустите проверку. Отчет по битым линкам можно посмотреть в разделе «Broken links». Он включает адрес ссылающейся страницы, анкор, неработающий URL, количество соцсигналов.

Badlinks

Недорогой онлайн-сервис. Робот последовательно обходит все страницы и проверяет их доступность. Анализирует не только внутренние документы, но и сторонние сайты. Формирует удобный отчет.

Dead Link Checker

Онлайн-инструмент работает по подписке. Один сайт (до 2000 линков) можно проанализировать бесплатно. Dead Link Checker позволяет проверить сразу весь сайт или только одну страницу.

Check My Links

Check My Links — бесплатное расширение для браузера Google Chrome.

Расширение сканирует не весь сайт, оно работает только на странице, открытой в браузере. После анализа выводится отчет о ссылках и их состоянии — рабочие они или нет.

Broken Link Checker

Broken Link Checker — бесплатный плагин для сайтов на WordPress. Мониторит сайт с заданной в настройках периодичностью, составляет список сломанных ссылок и неработающих роликов YouTube.

Broken Link Checker удобен тем, что позволяет быстро удалить или отредактировать ссылку прямо в настройках плагина, не заходя на страницу. Хорошая опция: обнаружив проблемный линк, плагин отправляет отчет на почту администратора.

Проверка битых ссылок в панелях вебмастеров

Поисковые системы анализируют ссылочный профиль сайтов. Роботы Яндекса и Google находят гиперссылки, переходят по ним, проверяют, куда они ведут. А значит, «знают» о ссылках на несуществующие страницы.

В панели Яндекс.Вебмастера зайдите в раздел «Внутренние ссылки». Вы увидите список неработающих линков или надпись о том, что робот их не нашел.

Еще один способ — найти через Вебмастер страницы с 404 ошибкой. Он не поможет обнаружить битые линки, но подскажет, какие страницы требуют внимания. Возможно, их нужно исправить: восстановить контент или сделать редирект.

Зайдите в раздел «Индексирование»—«Страницы в поиске»—«Исключенные страницы» и выберите статус «Ошибка HTTP: 404».

В Google Search Console битые ссылки можно было посмотреть в отчете «Покрытие» (ошибка со статусом «Отправленный URL не найден»). В обновленной консоли такой опции нет, но можно найти документы, которые отдают код 404. Для этого надо зайти в раздел «Индекс»—«Страницы» и кликнуть на пункт «Не найдено» (404).

Как исправить битые ссылки

Когда поиск битых ссылок на сайте завершен, проанализируйте полученный список. Алгоритм действий зависит от причины ошибки. Если виновата опечатка, исправьте ее. Если страница-реципиент удалена, нужно либо убрать ссылку, либо восстановить страницу. Если битые линки возникли из-за смены URL, настройте редирект. Перенаправить трафик рекомендуется и в некоторых других ситуациях.

Если проект большой, сломанных URL очень много, и проблему невозможно решить массовым редиректом, можно поправить только те страницы, на которые идет трафик.

Расскажем подробнее о каждом способе.

Оформить 404 страницу

Оговоримся сразу: это не решение проблемы битых ссылок. Нестандартно оформленная 404 страница только отчасти нейтрализует их вред. Идея в том, чтобы побудить пользователей не возвращаться в выдачу, а продолжить поиск нужной информации на сайте.

Самый очевидный и эффективный способ — разместить навигацию: меню и ссылку на главную.

Удержать пользователя помогут привлекательные блоки из каталога.

А также шутливые картинки и надписи. Обратите внимание на кликабельный блок «Начать покупки», который побуждает остаться на сайте.

Заменить неработающую ссылку

Если в адресе ссылки есть опечатка, просто исправьте URL. Заменить неработающий линк на работающий полезно в ситуации, когда целевая страница была удалена, но на сайте есть страницы с похожим содержимым. Например, карточка товара с аналогичной моделью или информационная статья по близкой теме. Поменяйте битую ссылку на работающую, которая ведет на актуальный контент.

Например, в интернет-магазине сменился ассортимент, старая модель снята с продажи, но появились более современные модели.

Адрес карточки неактуального товара: https://site/fen/galaxy-line-gl4337

Адрес нового, похожего по характеристикам товара: https://site/fen/galaxy-line-gl4344

Поменяйте ссылку: перенаправьте трафик со старой модели на новую, либо на страницу категории https://site/fen.

Перенаправить с проблемной страницы

Настроить 301 редирект рекомендуется при смене структуры сайта:

• Меняется уровень вложенности. Было: https://site.ru/dekorativnaya/pomada. Стало: https://site.ru/dekorativnaya/dly-gub/pomada.

• Переименованы разделы. Было: https://site.ru/dekarativnaya/dly-gub/pomada. Стало: https://site.ru/kosmetika/dly-gub/pomada.

• Переезд сайта с http на https.

• Другие изменения, которые приводят к массовой смене URL.

Удалить битую ссылку

Если ссылка ведет на удаленную неактуальную статью, а переходов по ссылке было мало, ее можно просто удалить. Если же переходы были, то чтобы не терять трафик, лучше настроить редирект или поменять нерабочий линк на новый.

Восстановить удаленные страницы

Страница может быть удалена по ошибке, тогда ее нужно восстановить. Если документ удалили из-за низкого качества контента, его можно поправить, дополнить, актуализировать и восстановить.

Что делать с битыми ссылками на чужих сайтах

Битая ссылка на ваш сайт на стороннем ресурсе может появиться из-за банальной опечатки или из-за того, что страница была удалена после того, как на нее сослались. Это не ваша ошибка, но ваша проблема. Пользователь по некорректной ссылке попадает на ваш сайт, натыкается на объявление о 404 ошибке и уходит. Если таких переходов много, растут отказы, портится статистика, ухудшается ранжирование. Сайт мог бы получить потенциальных клиентов, а получает низкие ПФ. Такие бэклинки тоже нужно исправлять.

Связаться с администратором

Свяжитесь с администратором сайта и попросите его исправить ошибку. Поищите на сайте форму обратной связи или контакты. Если их нет, свяжитесь с владельцем через регистратора или хостинг. Для этого забейте адрес домена в сервис Whois и перейдите на форму обратной связи. Либо попросите помощь у хостера.

Настроить редирект

Если достучаться до администратора не удалось, настройте 301 редирект с неправильного URL на правильный любым удобный способом. Пользователи попадут на нужную вам страницу. Если же страница была удалена, можно перенаправить трафик на похожую по содержанию страницу.

Восстановить страницу

Если страница удалена, а ссылка осталась, стоит восстановить страницу или разместить на этом адресе новый актуальный контент.

Выводы

Итак, битые ссылки — очевидно зло, с которым нужно бороться. Они раздражают пользователей, приводят к росту отказов, компания теряет потенциальных клиентов. Поисковые системы солидарны с пользователями и снижают позиции сайтов со слабыми поведенческими факторами. В результате падает органический трафик.

Проанализировать работоспособность линков помогают десктопные и онлайн-сервисы, плагины, расширения для браузеров.

Найденные проблемные ссылки можно исправить одним из способов:

• удалить;

• заменить нерабочий URL на рабочий;

• настроить редирект;

• восстановить удаленную страницу или разместить на ней новый контент.

Битые бэклинки тоже доставляют неприятности владельцам сайтов. Переходы портят поведенческие факторы. Если заинтересованный пользователь не может попасть на ваш сайт из-за ошибки, ее нужно исправить. Попросите владельца проекта, на котором размещена ссылка, исправить ошибку или решите проблему на собственном сайте: сделайте редирект или восстановите страницу.

В любой ситуации можно найти подходящее решение.