Все SEO-специалисты знают, что апдейты в Яндексе случаются 1 раз в 3-4 дня и поисковая система «порциями» выкладывает новые документы в свою базу данных. А ещё есть новостной бот, его называют «быстробот», он отвечает за индексацию свежих результатов.
По крайней мере, именно так было «всегда», а новостной бот появился ещё в далёком 2012 году.
И вот, 2020 год, который и так был бурным, приносит нам изменения, которые остались незамеченным в широком кругу SEO-специалистов, а ведь они действительно носят исторический характер. Давайте разбираться!
Похоже, что больше нет классического разделения индекса на новостной (80 часов ≈ 3 дня) и основной.
Типичный путь, которые преодолевал новый URL, который был проиндексирован быстроботом Яндекса был таким:
А типичный апдейт Яндекса с разбивкой документов на дату индексации выглядел следующим образом:
Оранжевым прямоугольником на иллюстрации выделены документы, которые относятся к новостной базе, далее идёт «пропасть» в 1-3 дня, документы проиндексированные в эти даты Яндексу как бы неизвестны.
Далее, на примере — начиная с 28 декабря идет документы, которые уже находятся в основном индексе поисковой системе.
Стоит также обратить внимание и на размер баз: новостная совсем «небольшая» — десятки или сотни тысяч страниц за сутки, а основная — десятки миллионов URL.
На текущий момент (IV квартал 2020) ситуация кардинально изменилась:
более нет «склейки» из нескольких дат с нулевым числом проиндексированных документов;
количество URL, по которым осуществляется поиск за последние 3-5 дней, соизмеримо по количеству с другими датами — десятки миллионов.
Архитектура базы данных Яндекса была устаревшей относительно Google, который уже давно может включать URL в индекс по запросу, не дожидаясь текстового апдейта.
Это свойство базы данных Google получилось название «непрерывный индекс». Фактически, новые документы просто дописывались с основную базу без дополнительной процедуры апдейта.
В беседах с представителями поисковой системы Яндекс проскакивала мысль, что этот успех важно повторить, но что это крайне сложная инженерная задача. Если она была успешно решена, то мы поздравляем коллег!
В конечном счете, данный подход позволит Яндексу повысить качество поиска за счёт более быстрой индексации новых документов и отсутствия «пустого окна дат» (см. выше).
В мае 2020 года эксперт и просто уважаемый в SEO-сообществе человек Сергей Людкевич предложил интересный способ «быстрого определения быстроботовской примеси».
В частности, в мае 2020 новостные результаты проходили кворум даже по запросам со словами, которые полностью отсутствовали на странице, что говорило об особенном статусе этих документов.
На момент написания этой статьи указанное выше свойство у недавно проиндексированных документах — уже отсутствует. Что также указывает на сильные изменения, которые произошли в Яндексе.
Но исключить новостные результаты из ТОПа всё же возможно — используя оператор «date» с указанием даты, скажем, на 3-7 дней ранее текущей.
Если вы никогда не испытывали сложностей с индексацией вашего сайта, то изменение не сильно коснётся вас, но корректировки архитектуры БД могут быть крайне важны тем, кто:
работает с новостными проектами и привлекает трафик по событийным запросам;
устраняет сложности с индексацией крупных проектов.
Не исключаем, что текущий постоянный шторм в выдаче Яндекса в том числе связан и с новой архитектурой, а не только массовым применением алгоритма «Многоруких бандитов», который, в свою очередь, может использоваться и для поиска накрутчиков поведенческих метрик и применения нового фильтра.
