Поиск

Проверка robots.txt в модуле ведения проектов

12 Сентября 2019

На вкладке «Аудит» модуля ведения проектов добавлен блок «Проверка файла robots.txt».

Проверка файла robots txt

Чем полезна новая функция?

  • регулярный анализ robots.txt проекта;

  • уведомление об изменении файла robots.txt;

  • хранение последних 30 версий файла robots.txt;

  • уведомление о скрытии продвигаемых документов от индексации любым роботом.

Когда на сайте регулярно происходят обновления и внедряются доработки, регулярная проверка файла robots.txt — единственная возможность своевременно узнать о важных изменениях настроек. 

Например, можно узнать о закрытии от роботов важных страниц до того, как поисковые системы их проиндексируют. И наоборот, обнаружить снятие запрета на индексацию служебных директорий сайта до того, как они попадут в индекс.

Конечно, для максимальной пользы новой функции важно добавить в проект все трафиковые запросы и для каждого из них проставить продвигаемый URL. Это можно легко и быстро сделать с помощью раздела «Рекомендованные фразы».

Другие полезные инструменты Пиксель Тулс для анализа структуры и индексации сайта:

Узнайте, как увеличить SEO‑трафик сайта в 3+ раза?

Укажите домен вашего сайта, приоритетные регионы продвижения и получите самый
полный список точек взрывного роста трафика и заявок с вашего сайта

Выберите ваш сайт
 
укажите сайт, регион и близких вам конкурентов
Немного магии поисковой
оптимизации —
мы подготовим для вас не менее 25 персональных рекомендаций
Отслеживайте прогресс
 
и получайте регулярные советы, рост трафика и продаж

Задайте вопрос или оставьте комментарий

Инструменты доступны после быстрой регистрации

?
Прочитал и принимаю условия Оферты сервиса.