Обновление краулера Googlebot — что важно знать каждому?

Googlebot — поисковый робот, который сканирует (краулер) и индексирует наши сайты. 7 мая Google объявили о его существенном обновлении.

От сканирования к индексации и ранжированию

Главный вопрос, который задавали специалистам из Google на последних конференциях и в социальных сетях — смогут ли они сделать робот «неувядающим» и актуальным с точки зрения последних браузеров. Google уверяет, что им это удалось.

Теперь Googlebot работает на движке Chromium 74-й версии, вместо уже постаревшей 41-й версии. В дальнейшем движок будет постоянно обновляться, не теряя «свежести» и соответствуя требованиям рендеринга для современных веб-платформ.

Что это значит?

В сравнении с предыдущей версией робота, обновлённый Googlebot поддерживает более 1 000 новых функций. Например:

  • ES6 (последний языковый стандарт JS) и свежий функционал JavaScript.

  • IntersectionObserver for lazy-loading (подгрузка контента при скролле).

  • API для веб-компонентов v1 (Web Components — удобная технология для упрощения и ускорения разработки веб-документов).

Всё эти новшества позволят Googlebot индексировать больше контента, а разработчикам наконец отказаться от использования полифиллов (библиотеки для поддержки новых JS-возможностей в старых браузерах) и транспайлеров (тип компиляции), при условии, что они внедрялись специально для краулера Googlebot.

Тем не менее, некоторые ограничения пока остались и поисковый робот по-прежнему сканирует контент подгруженный с помощью JavaScript значительно медленнее (в реальности — задержка может быть и несколько недель). Так же следует учесть, что Googlebot используется для разных задач внутри компании, но обновился он пока не во всех.

Google рекомендует проверять страницы на наличие возможных JS-ошибок и по возможности подробнее изучить вопрос. Вот, например, советы по ускорению страниц, в том числе с помощью минимизации JS и CSS: https://tools.pixelplus.ru/news/speed-up-your-site.

Экспертное мнение

Вот как комментирует обновление евангелист проекта «Пиксель Тулс», Дмитрий Севальнев:

Обновление, которое могло бы пройти незамеченным для многих, на самом деле, важно для поисковых оптимизаторов. Google ооочень долгое время использовал 41 версию Google Chrome от 2015 года для рендеринга сайтов, что, могло сказываться и на конечной индексации (именно эта версия использовалась в системе Caffeine).

Нововведение может изменить ситуацию и с ранжированием ряда сайтов, в результате их переиндексации. Это относится и к той части SPA-проектов, которые используют технологии Angular, React, Vue.

SPA (Single Page Applications или «одностраничные приложения») — проекты, которые исключают большую часть фоновой активности и сразу загружают сайт (целиком) при первом посещении пользователем страницы. Вместо загрузки новой страницы каждый раз с нуля — необходимый контент загружается динамически.

В ряде случаев, когда применяются реактивные технологии Angular, React и прочие, это может приводить к тому, что в исходном коде документа может отсутствовать часть контента страницы, которую просматривает пользователь.

Для корректной индексации SPA-сайтов, использующих фреймворки Angular и React, можно использовать SSR (server-side rendering), чтобы поисковому роботу (краулеру) отдавался уже готовый контент документов в исходном коде (формировать основной контент документа на стороне сервера).

Стоит помнить, что Google как и ранее, не будет выполнять пользовательские сценарии (клики, скроллинг, взаимодействие с формами и так далее), то есть, все страницы вашего сайта и их основной контент, должны быть доступны по прямым ссылкам сразу в том виде, в котором вы хотите, чтобы они были включены в индекс поисковой системы.

Приведем ниже отличия, которые есть у 41 и 74 версий Chrome, которые могут сказаться на индексации. Полный список отличий доступен по ссылке.

Отличия версий Googlebot

Отличия 41-й и 74-й версий Googlebot

Чем отличается новая версия Googlebot

Внимательно проверьте, как изменятся позиции ваших сайтов после очередного переобхода проекта новым краулером Google и формировании нового индекса и удачи в ТОПе!

Рейтинг новости
5 (37 оценок)
Задайте вопрос или оставьте комментарий

Читайте также

Пиксель Подкаст: Евгений Чуранов о Росте из Регионов и Партнерствах в Digital
Пиксель Подкаст: Евгений Чуранов о Росте из Регионов и Партнерствах в Digital
Новый выпуск Пиксель Подкаста с Евгением Чурановым из WebCanape! Как масштабировать бизнес из регионов, развивать личный бренд и находить клиентов в кризис? Секреты автоматизации, контент-маркетинга и партнерств для предпринимателей и маркетологов.
19 Августа 2025
Пиксель Подкаст #6: Александр Ожгибесов о SEO, Нейросетях и Выживании Бизнеса в Регионах
Пиксель Подкаст #6: Александр Ожгибесов о SEO, Нейросетях и Выживании Бизнеса в Регионах
Новый выпуск Пиксель Подкаста с Александром Ожгибесовым, SEO-экспертом и предпринимателем, который говорит как есть. Разбираем, как выживать в турбулентности поисковиков, почему нейросети — это уже must-have для бизнеса и как микробизнесу в регионах конку
13 Августа 2025
Новые модели GPT-5, GPT Nano и GPT Mini!
Новые модели GPT-5, GPT Nano и GPT Mini!
В инструменты «Проверка текста на ИИ», «ИИ-генератор текста» и «ИИ-чат-бот» добавлены модели GPT-5, GPT Nano и GPT Mini для улучшения качества и скорости работы.
8 Августа 2025
Встречайте Grok-4: новая модель нейросети в AI-Чат-боте и ИИ-генераторе текста
Встречайте Grok-4: новая модель нейросети в AI-Чат-боте и ИИ-генераторе текста
В сервисах Пиксель Тулс теперь доступна нейросеть Grok-4 — выбирайте новую модель в инструментах AI-Чат-бот и ИИ-генератор текста для более креативных и точных ответов, генерации статей и идей. Попробуйте прямо сейчас!
6 Августа 2025
Генератор видео нейросетью (ИИ) онлайн
Генератор видео нейросетью (ИИ) онлайн
Используйте генератор видео нейросетью: создавайте ролики онлайн по тексту и из фото за считанные минуты. Простота, скорость и уникальность в одном инструменте. Начните создавать яркие видео прямо сейчас!
16 Июля 2025

ТОП-4 популярных инструментов

Список URL в ТОП
Сервис для быстрой выгрузки ТОП-10 до ТОП-200 сайтов по заданным поисковым запросам в Яндекс и Google. Получение списка URL в ТОПе с выбором региона по заданной глубине проверки
ИИ-генератор изображений
Онлайн-генерация картинок из текста на русском языке нейросетями Midjourney, Dall-E 3, Leonardo AI. Просто введите описание и искусственный интеллект (ИИ) создаст красивое и уникальное изображение.

Узнайте, как увеличить SEO‑трафик сайта в 3+ раза?

Укажите домен + регион продвижения, получите текущие позиции проекта в выдаче и первые 25 рекомендаций для роста трафика и заказов.
1
Выберите ваш сайт
Укажите сайт, регион и близких вам конкурентов
2
Магия поисковой оптимизации
25 персональных рекомендаций ждут вас
3
Отслеживайте прогресс
Получайте регулярные советы, рост трафика и продаж
0%
Подбираем семантику,
это займёт около 20-30 секунд
Открыть справку Написать в поддержку
Обратная связь и помощь
Если у вас есть идеи, как улучшить данный инструмент или остались вопросы по работе с ним, напишите в нашу службу поддержки, мы обязательно вам поможем.