На вкладке «Аудит» модуля ведения проектов добавлен блок «Проверка файла robots.txt».
регулярный анализ robots.txt проекта;
уведомление об изменении файла robots.txt;
хранение последних 30 версий файла robots.txt;
уведомление о скрытии продвигаемых документов от индексации любым роботом.
Когда на сайте регулярно происходят обновления и внедряются доработки, регулярная проверка файла robots.txt — единственная возможность своевременно узнать о важных изменениях настроек.
Например, можно узнать о закрытии от роботов важных страниц до того, как поисковые системы их проиндексируют. И наоборот, обнаружить снятие запрета на индексацию служебных директорий сайта до того, как они попадут в индекс.
Конечно, для максимальной пользы новой функции важно добавить в проект все трафиковые запросы и для каждого из них проставить продвигаемый URL. Это можно легко и быстро сделать с помощью раздела «Рекомендованные фразы».
Другие полезные инструменты Пиксель Тулс для анализа структуры и индексации сайта:
