Проверка индексации страниц сайта в Яндексе и Google

Индекс поисковой системы — база данных, которая хранит информацию о веб-документах. Назначение этого «хранилища» очевидно — используя базу данных, поисковик может быстро и точно вычислять значения факторов ранжирования, численное значение релевантности URL по запросу пользователя и формировать результаты выдачи.

Для SEO-специалистов и владельцев сайтов это означает одно — какое количество страниц проиндексировано, такое количество документов и может быть найдено в результатах выдачи по целевым запросам и столько же URL может привлекать трафик из поисковиков.

Как быстро проверить индексацию в Яндексе и Google?

Способов и онлайн-сервисов массовой проверки индексации страниц достаточно много и у нас есть три инструмента, которые определяют количество документов в индексе по домену:

• Быстрый аудит сайта.

• Быстрый анализ списка сайтов.

• Онлайн-аудит.

Просто укажите домен в любом из них. Инструмент поможет проверить сайт и обозначит количество проиндексированных страниц в базе данных Google и Яндекс, с учётом поддоменов или без них:

Если данные нескольких проверок индексации сайта разнятся, обратите внимание на историю индексации сайта в панелях Яндекс.Вебмастера и Google Search Console. Данные в них являются наиболее достоверными, так как результаты выдачи поисковых систем с использованием операторов с течением времени могут немного отличаться.

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:», «host:» и «url:».

Для Google — «site:», «inurl:» и «info:».

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

Если вы уже добавили свой сайт в панель Яндекс.Вебмастер и/или Google Search Console, то можете детально отслеживать статус сканирования и индексирования документов.

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить массовую индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, список исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

1. Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

2. Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

   • С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

   • Crawl delay — задаёт минимальное время обращения робота к серверу для избегания нагрузок на сайт.

   • Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию, отслеживайте изменения и удачных позиций в выдаче!

Вопросы и ответы