Обновление краулера Googlebot — что важно знать каждому?

Googlebot — поисковый робот, который сканирует (краулер) и индексирует наши сайты. 7 мая Google объявили о его существенном обновлении.

От сканирования к индексации и ранжированию

Главный вопрос, который задавали специалистам из Google на последних конференциях и в социальных сетях — смогут ли они сделать робот «неувядающим» и актуальным с точки зрения последних браузеров. Google уверяет, что им это удалось.

Теперь Googlebot работает на движке Chromium 74-й версии, вместо уже постаревшей 41-й версии. В дальнейшем движок будет постоянно обновляться, не теряя «свежести» и соответствуя требованиям рендеринга для современных веб-платформ.

Что это значит?

В сравнении с предыдущей версией робота, обновлённый Googlebot поддерживает более 1 000 новых функций. Например:

  • ES6 (последний языковый стандарт JS) и свежий функционал JavaScript.

  • IntersectionObserver for lazy-loading (подгрузка контента при скролле).

  • API для веб-компонентов v1 (Web Components — удобная технология для упрощения и ускорения разработки веб-документов).

Всё эти новшества позволят Googlebot индексировать больше контента, а разработчикам наконец отказаться от использования полифиллов (библиотеки для поддержки новых JS-возможностей в старых браузерах) и транспайлеров (тип компиляции), при условии, что они внедрялись специально для краулера Googlebot.

Тем не менее, некоторые ограничения пока остались и поисковый робот по-прежнему сканирует контент подгруженный с помощью JavaScript значительно медленнее (в реальности — задержка может быть и несколько недель). Так же следует учесть, что Googlebot используется для разных задач внутри компании, но обновился он пока не во всех.

Google рекомендует проверять страницы на наличие возможных JS-ошибок и по возможности подробнее изучить вопрос. Вот, например, советы по ускорению страниц, в том числе с помощью минимизации JS и CSS: https://tools.pixelplus.ru/news/speed-up-your-site.

Экспертное мнение

Вот как комментирует обновление евангелист проекта «Пиксель Тулс», Дмитрий Севальнев:

Обновление, которое могло бы пройти незамеченным для многих, на самом деле, важно для поисковых оптимизаторов. Google ооочень долгое время использовал 41 версию Google Chrome от 2015 года для рендеринга сайтов, что, могло сказываться и на конечной индексации (именно эта версия использовалась в системе Caffeine).

Нововведение может изменить ситуацию и с ранжированием ряда сайтов, в результате их переиндексации. Это относится и к той части SPA-проектов, которые используют технологии Angular, React, Vue.

SPA (Single Page Applications или «одностраничные приложения») — проекты, которые исключают большую часть фоновой активности и сразу загружают сайт (целиком) при первом посещении пользователем страницы. Вместо загрузки новой страницы каждый раз с нуля — необходимый контент загружается динамически.

В ряде случаев, когда применяются реактивные технологии Angular, React и прочие, это может приводить к тому, что в исходном коде документа может отсутствовать часть контента страницы, которую просматривает пользователь.

Для корректной индексации SPA-сайтов, использующих фреймворки Angular и React, можно использовать SSR (server-side rendering), чтобы поисковому роботу (краулеру) отдавался уже готовый контент документов в исходном коде (формировать основной контент документа на стороне сервера).

Стоит помнить, что Google как и ранее, не будет выполнять пользовательские сценарии (клики, скроллинг, взаимодействие с формами и так далее), то есть, все страницы вашего сайта и их основной контент, должны быть доступны по прямым ссылкам сразу в том виде, в котором вы хотите, чтобы они были включены в индекс поисковой системы.

Приведем ниже отличия, которые есть у 41 и 74 версий Chrome, которые могут сказаться на индексации. Полный список отличий доступен по ссылке.

Отличия версий Googlebot

Отличия 41-й и 74-й версий Googlebot

Чем отличается новая версия Googlebot

Внимательно проверьте, как изменятся позиции ваших сайтов после очередного переобхода проекта новым краулером Google и формировании нового индекса и удачи в ТОПе!

Рейтинг новости
5 (37 оценок)

Задайте вопрос или оставьте комментарий

Читайте также

Новый сервис для тех, кто хочет отслеживать видимость бренда в нейросетях от Пиксель Тулс
Новый сервис для тех, кто хочет отслеживать видимость бренда в нейросетях от Пиксель Тулс
Новый сервис от Пиксель Тулс — мониторинг видимости бренда в популярных нейросетях (ChatGPT, DeepSeek, Claude, YandexGPT и др.) с аналитикой и рекомендациями. Проверьте свой бренд прямо сейчас!
2 Июля 2025
Анонс вебинара «Региональное SEO: как продвигать бизнес в городах до 500 тыс. человек»
Анонс вебинара «Региональное SEO: как продвигать бизнес в городах до 500 тыс. человек»
24 июня в 11:00 (МСК) на нашем YouTube-канале пройдёт вебинар с Романом Калининым (KeyCraft). Узнаете, как эффективно продвигать бизнес в городах до 500 тыс. человек: особенности локального SEO, что работает в 2025, разбор ключевых кейсов. Регистрируйтесь
19 Июня 2025
Добавили GPT-Image-1 в ИИ-генератор изображений
Добавили GPT-Image-1 в ИИ-генератор изображений
В Пиксель Тулс появилась GPT-Image-1 — новая модель от OpenAI для создания изображений. Она понимает русский язык и пишет на нём. Генерируйте логотипы, инфографику, баннеры и иллюстрации. Попробуйте GPT-Image-1 прямо сейчас!
9 Июня 2025
С Днём SEO-специалиста
С Днём SEO-специалиста
Команда Пиксель Тулс поздравляет SEO-специалистов с профессиональным праздником! Желаем топовых позиций, стабильного трафика и понятных апдейтов. Спасибо, что делаете интернет лучше!
28 Мая 2025
Анонс вебинара «SEO для ECOM 2025: 2 исследования + тренды + всё что нужно знать, чтобы выжать максимум»
Анонс вебинара «SEO для ECOM 2025: 2 исследования + тренды + всё что нужно знать, чтобы выжать максимум»
5 июня в 11:00 (по МСК) на YouTube-канале проведём вебинар с Дмитрием Севальневым. Обсудим: SEO мертво или нет? Тренды 2025; Какие работы дают результат, а какие нет; Кейсы. Подпишитесь, чтобы не пропустить.
23 Мая 2025
Проверка UpTime сайта стала платной
Проверка UpTime сайта стала платной
Проверка UpTime сайта теперь платная для снижения нагрузки на инфраструктуру сервиса. Включите её в настройках проекта, если она вам действительно нужна. Стоимость 1 лимит за 1 запрос (96 лимитов в сутки).
16 Мая 2025

ТОП-4 популярных инструментов

Список URL в ТОП
Сервис для быстрой выгрузки ТОП-10 до ТОП-200 сайтов по заданным поисковым запросам в Яндекс и Google. Получение списка URL в ТОПе с выбором региона по заданной глубине проверки
ИИ-генератор изображений
Онлайн-генерация картинок из текста на русском языке нейросетями Midjourney, Dall-E 3, Leonardo AI. Просто введите описание и искусственный интеллект (ИИ) создаст красивое и уникальное изображение.

Узнайте, как увеличить SEO‑трафик сайта в 3+ раза?

Укажите домен + регион продвижения, получите текущие позиции проекта в выдаче и первые 25 рекомендаций для роста трафика и заказов.
1
Выберите ваш сайт
Укажите сайт, регион и близких вам конкурентов
2
Магия поисковой оптимизации
25 персональных рекомендаций ждут вас
3
Отслеживайте прогресс
Получайте регулярные советы, рост трафика и продаж
0%
Подбираем семантику,
это займёт около 20-30 секунд
Открыть справку Написать в поддержку
Обратная связь и помощь
Если у вас есть идеи, как улучшить данный инструмент или остались вопросы по работе с ним, напишите в нашу службу поддержки, мы обязательно вам поможем.