Обновление краулера Googlebot — что важно знать каждому?

Googlebot — поисковый робот, который сканирует (краулер) и индексирует наши сайты. 7 мая Google объявили о его существенном обновлении.

От сканирования к индексации и ранжированию

Главный вопрос, который задавали специалистам из Google на последних конференциях и в социальных сетях — смогут ли они сделать робот «неувядающим» и актуальным с точки зрения последних браузеров. Google уверяет, что им это удалось.

Теперь Googlebot работает на движке Chromium 74-й версии, вместо уже постаревшей 41-й версии. В дальнейшем движок будет постоянно обновляться, не теряя «свежести» и соответствуя требованиям рендеринга для современных веб-платформ.

Что это значит?

В сравнении с предыдущей версией робота, обновлённый Googlebot поддерживает более 1 000 новых функций. Например:

  • ES6 (последний языковый стандарт JS) и свежий функционал JavaScript.

  • IntersectionObserver for lazy-loading (подгрузка контента при скролле).

  • API для веб-компонентов v1 (Web Components — удобная технология для упрощения и ускорения разработки веб-документов).

Всё эти новшества позволят Googlebot индексировать больше контента, а разработчикам наконец отказаться от использования полифиллов (библиотеки для поддержки новых JS-возможностей в старых браузерах) и транспайлеров (тип компиляции), при условии, что они внедрялись специально для краулера Googlebot.

Тем не менее, некоторые ограничения пока остались и поисковый робот по-прежнему сканирует контент подгруженный с помощью JavaScript значительно медленнее (в реальности — задержка может быть и несколько недель). Так же следует учесть, что Googlebot используется для разных задач внутри компании, но обновился он пока не во всех.

Google рекомендует проверять страницы на наличие возможных JS-ошибок и по возможности подробнее изучить вопрос. Вот, например, советы по ускорению страниц, в том числе с помощью минимизации JS и CSS: https://tools.pixelplus.ru/news/speed-up-your-site.

Экспертное мнение

Вот как комментирует обновление евангелист проекта «Пиксель Тулс», Дмитрий Севальнев:

Обновление, которое могло бы пройти незамеченным для многих, на самом деле, важно для поисковых оптимизаторов. Google ооочень долгое время использовал 41 версию Google Chrome от 2015 года для рендеринга сайтов, что, могло сказываться и на конечной индексации (именно эта версия использовалась в системе Caffeine).

Нововведение может изменить ситуацию и с ранжированием ряда сайтов, в результате их переиндексации. Это относится и к той части SPA-проектов, которые используют технологии Angular, React, Vue.

SPA (Single Page Applications или «одностраничные приложения») — проекты, которые исключают большую часть фоновой активности и сразу загружают сайт (целиком) при первом посещении пользователем страницы. Вместо загрузки новой страницы каждый раз с нуля — необходимый контент загружается динамически.

В ряде случаев, когда применяются реактивные технологии Angular, React и прочие, это может приводить к тому, что в исходном коде документа может отсутствовать часть контента страницы, которую просматривает пользователь.

Для корректной индексации SPA-сайтов, использующих фреймворки Angular и React, можно использовать SSR (server-side rendering), чтобы поисковому роботу (краулеру) отдавался уже готовый контент документов в исходном коде (формировать основной контент документа на стороне сервера).

Стоит помнить, что Google как и ранее, не будет выполнять пользовательские сценарии (клики, скроллинг, взаимодействие с формами и так далее), то есть, все страницы вашего сайта и их основной контент, должны быть доступны по прямым ссылкам сразу в том виде, в котором вы хотите, чтобы они были включены в индекс поисковой системы.

Приведем ниже отличия, которые есть у 41 и 74 версий Chrome, которые могут сказаться на индексации. Полный список отличий доступен по ссылке.

Отличия версий Googlebot

Отличия 41-й и 74-й версий Googlebot

Чем отличается новая версия Googlebot

Внимательно проверьте, как изменятся позиции ваших сайтов после очередного переобхода проекта новым краулером Google и формировании нового индекса и удачи в ТОПе!

Рейтинг новости
5 (37 оценок)
Задайте вопрос или оставьте комментарий

Читайте также

Новый раздел «Источники» в AI SEO проектах
Новый раздел «Источники» в AI SEO проектах
Запустили анализ источников из 3 нейросетей: Яндекс Алиса, Google AI Overview, Perplexity. Узнайте, где вас упоминают и увеличьте трафик на 50%+. Начните использовать новый инструмент аналитики прямо сейчас!
11 Сентября 2025
Анонс вебинара «Всё, что мы знаем о AI SEO (GEO) прямо сейчас»
Анонс вебинара «Всё, что мы знаем о AI SEO (GEO) прямо сейчас»
9 сентября в 11:00 (МСК) проведём вебинар с Дмитрием Севальневым. Поговорим о роли AI SEO в стратегии, KPI, рынке и практических действиях на 2025 год. За активность и лучшие вопросы разыграем тариф «Профессионал» в Пиксель Тулс и доступ к нашим курсам.
4 Сентября 2025
Добавили поле «Альтернативные варианты написания бренда или сайта» в AI SEO проекты
Добавили поле «Альтернативные варианты написания бренда или сайта» в AI SEO проекты
Заполните в настройках проекта новое поле «Альтернативные варианты написания бренда или сайта». Это займёт всего 1 минуту. Тем самым вы повысите точность метрики видимости бренда в нейросетях.
27 Августа 2025
Пиксель Подкаст #8 — Андрей Терехов: стоит ли закрывать интернет-агентство в 2025 году?
Пиксель Подкаст #8 — Андрей Терехов: стоит ли закрывать интернет-агентство в 2025 году?
Смотрите новый выпуск Пиксель Подкаста с Андреем Тереховым. Big-данные о количестве агентств в России, ТОП-3 ошибки роста, будущее рынка с AI и инхаусами. Для владельцев бизнеса и маркетологов.
27 Августа 2025
Пиксель Подкаст #7 — Евгений Чуранов о Росте из Регионов и Партнерствах в Digital
Пиксель Подкаст #7 — Евгений Чуранов о Росте из Регионов и Партнерствах в Digital
Новый выпуск Пиксель Подкаста с Евгением Чурановым из WebCanape! Как масштабировать бизнес из регионов, развивать личный бренд и находить клиентов в кризис? Секреты автоматизации, контент-маркетинга и партнерств для предпринимателей и маркетологов.
19 Августа 2025
Пиксель Подкаст #6 — Александр Ожгибесов о SEO, Нейросетях и Выживании Бизнеса в Регионах
Пиксель Подкаст #6 — Александр Ожгибесов о SEO, Нейросетях и Выживании Бизнеса в Регионах
Новый выпуск Пиксель Подкаста с Александром Ожгибесовым, SEO-экспертом и предпринимателем, который говорит как есть. Разбираем, как выживать в турбулентности поисковиков, почему нейросети — это уже must-have для бизнеса и как микробизнесу в регионах конку
13 Августа 2025

ТОП-4 популярных инструментов

Список URL в ТОП
Сервис для быстрой выгрузки ТОП-10 до ТОП-200 сайтов по заданным поисковым запросам в Яндекс и Google. Получение списка URL в ТОПе с выбором региона по заданной глубине проверки
ИИ-генератор изображений
Онлайн-генерация картинок из текста на русском языке нейросетями Midjourney, Dall-E 3, Leonardo AI. Просто введите описание и искусственный интеллект (ИИ) создаст красивое и уникальное изображение.

Узнайте, как увеличить SEO‑трафик сайта в 3+ раза?

Укажите домен + регион продвижения, получите текущие позиции проекта в выдаче и первые 25 рекомендаций для роста трафика и заказов.
1
Выберите ваш сайт
Укажите сайт, регион и близких вам конкурентов
2
Магия поисковой оптимизации
25 персональных рекомендаций ждут вас
3
Отслеживайте прогресс
Получайте регулярные советы, рост трафика и продаж
0%
Подбираем семантику,
это займёт около 20-30 секунд
Открыть справку Написать в поддержку
Обратная связь и помощь
Если у вас есть идеи, как улучшить данный инструмент или остались вопросы по работе с ним, напишите в нашу службу поддержки, мы обязательно вам поможем.