Как алгоритм TW-BERT изменит поиск в Google?

Компания Google в августе 2023 анонсировала систему ранжирования под названием Term Weighting BERT (TW-BERT), которая должна улучшить результаты поиска по всем направлениям, в том числе по расширенным запросам, а также легко внедрится в существующие системы ранжирования.

Что такое TW-BERT?

TW-BERT — это система ранжирования, которая присваивает оценки (вес) словам в поисковом запросе, чтобы более точно определить, какие документы наиболее релевантны этому поисковому запросу. Он также полезен при расширении запросов.

Под расширением запросов мы понимаем процесс, при котором поисковый запрос переформулируется или в него добавляются слова (например, «куриный суп» + «рецепт») для более точного сопоставления поискового запроса с документами.

Добавление оценок (весов) к запросу помогает поисковой систему лучше понять, о чём идет речь в этом запросе.

TW-BERT объединяет 2 подхода к поиску информации

В исследовательской статье рассматриваются два метода поиска. Один из них основан на статистике, а другой на моделях глубокого обучения. Затем обсуждаются преимущества и недостатки этих методов, и делается вывод, что TW-BERT — это способ соединить эти два подхода, лишив их всех недостатков.

Исследователи пишут:

«Эти методы поиска, основанные на статистике, обеспечивают эффективный поиск, который масштабируется с увеличением объёма запроса и включают в себя информацию с большего числа доменов. Однако слова взвешиваются независимо друг от друга и не учитывают контекст всего запроса».

Далее исследователи отмечают, что модели глубокого обучения могут выяснить контекст поисковых запросов. При этом поясняется:

«Для решения этой задачи модели глубокого обучения могут выполнять контекстуализацию запроса, чтобы обеспечить лучшее представление отдельных слов».

Исследователи предлагают использовать TW-Bert для соединения этих двух методов.

Прорыв описывается следующим образом:

«Мы соединяем эти два подхода, чтобы определить, какие слова в запросе являются наиболее релевантными или нерелевантными. Затем эти слова могут быть повышены или понижены в весе, чтобы наша поисковая система могла выдавать более релевантные результаты».

Пример взвешивания поисковых запросов TW-BERT

В статье приводится пример поискового запроса «беговые кроссовки Nike». Проще говоря, слова «беговые кроссовки Nike» — это три слова, которые алгоритм ранжирования должен понимать так, как их хочет понять пользователь.

По их мнению, если сделать акцент на части запроса «беговые», то будут выдаваться нерелевантные результаты поиска, содержащие бренды, отличные от Nike. В данном примере название бренда Nike является важным, и поэтому процесс ранжирования должен требовать, чтобы страницы кандидаты на показ в поиске содержали слово Nike.

TW-BERT предоставляет оценку (вес) для каждой части поискового запроса, чтобы она имела тот же смысл, что и для пользователя, который ввёл поисковый запрос. В данном примере слово Nike считается важным, поэтому ему следует присвоить более высокую оценку (вес).

Исследователи пишут:

«Таким образом, задача состоит в том, чтобы обеспечить достаточно высокий вес слова Nike, но при этом обеспечить наличие беговой обуви в конечных результатах поиска».

Другая проблема заключается в том, чтобы понять контекст слов «бег» и «кроссовки», а это означает, что вес должен быть выше для соединения этих двух слов во фразу «беговые кроссовки», а не для взвешивания двух слов по отдельности.

Эта проблема и её решение объясняются:

«Второй аспект заключается в том, как использовать более значимые n-граммы при подсчёте. В нашем запросе слова «бег» и «кроссовки» обрабатываются независимо друг от друга, что может в равной степени соответствовать «носкам для бега» или «кроссовкам для фитнеса». В этом случае мы хотим, чтобы наш фреймворк работал на уровне n-грамм, указывая на то, что фраза «беговые кроссовки» должна иметь больший вес при оценке».

Устранение недостатков существующих подходов

В исследовательской статье традиционное взвешивание рассматривается как ограниченное в вариациях запросов и упоминается, что методы взвешивания, основанные на статистике, хуже работают в сценариях с нулевым обучением.

Под «нулевым обучением» понимается способность модели решать задачи, для которых она не была обучена. В статье также кратко описаны ограничения, присущие существующим методам расширения слов.

Расширение слов — это использование синонимов для поиска дополнительных ответов на поисковые запросы или вывод другого слова. Например, если кто-то ищет «куриный суп», то, скорее всего, он хочет найти «рецепт куриного супа».

Исследователи пишут о недостатках существующих методов:

«...эти вспомогательные скоринговые функции не учитывают дополнительные шаги по взвешиванию, выполняемые скоринговыми функциями, используемыми в существующих фреймворках, такие, как статистика запросов, статистика документов и значения гиперпараметров. Это может привести к изменению исходного распределения весов слов при окончательной оценке и поиске».

Также исследователи отмечают, что и глубокое обучение имеет свои недостатки в виде сложности его развертывания и непредсказуемого поведения, когда оно сталкивается с новыми областями, для которых оно не было предварительно обучено. В этом случае на помощь приходит TW-BERT.

Как TW-BERT объединяет эти два подхода?

Предлагаемое решение похоже на гибридный подход. В приведенной ниже цитате термин IR означает Information Retrieval.

Исследователи пишут:

«Чтобы заполнить разрыв в возможном недопонимании запроса, мы используем надёжность существующих лексических фреймворков с контекстуальными текстовыми представлениями, обеспечиваемые глубокими моделями. Лексические фреймворки уже предоставляют возможность присваивать веса n-граммам запроса при выполнении поиска.

Мы используем языковую модель на этом этапе для присвоения соответствующих весов n-граммам запроса. TW-BERT оптимизирован от начала до конца с использованием тех же функций оценки, которые используются в поисковом извлечении, чтобы обеспечить согласованность между обучением и поиском.

Это приводит к улучшению поиска при использовании весов слов, полученных с помощью TW-BERT, при сохранении IR-инфраструктуры, аналогичной её существующему производственному аналогу».

Алгоритм TW-BERT присваивает веса запросам для получения более точной оценки релевантности, с которой впоследствии могут работать остальные компоненты процесса ранжирования.

TW-BERT легко внедряется

Одним из преимуществ TW-BERT является то, что он может быть внедрён непосредственно в текущий процесс ранжирования поиска информации, как готовый компонент.

Исследователи пишут:

«Это позволяет нам непосредственно внедрять наши весовые коэффициенты слов в IR-систему во время поиска. Алгоритм отличается от предыдущих методов взвешивания, которые требуют дополнительной настройки параметров фреймворка для достижения оптимальной производительности поиска, поскольку они оптимизируют веса слов, полученные с помощью эвристики, вместо сквозной аналитики».

Важным моментом является то, что для добавления TW-BERT в процесс алгоритма ранжирования не требуется специализированного программного обеспечения или обновления аппаратного обеспечения.

Использует ли Google TW-BERT в своём алгоритме ранжирования?

Как уже говорилось, развернуть TW-BERT относительно просто.

Можно предположить, что простота развёртывания повышает вероятность того, что эта структура может быть добавлена в алгоритм Google. Это означает, что Google может добавить TW-BERT в ранжирующую часть алгоритма, не прибегая к полномасштабному обновлению основного алгоритма.

Помимо простоты внедрения, ещё одним качеством, по которому можно судить о возможности использования алгоритма, является то, насколько успешно он улучшает текущее состояние поиска. Существует множество исследовательских работ, в которых достигнут лишь ограниченный успех или вообще нет никаких улучшений. Такие алгоритмы интересны, но можно предположить, что они не попадут в алгоритмы ранжирования Google.

Интерес представляют те, которые очень успешны и TW-BERT — именно такой случай.

Исследователи объяснили, как он улучшает существующие системы ранжирования:

«Используя эти фреймворки, мы показали, что наш метод взвешивания слов превосходит базовые стратегии взвешивания слов для задач в пределах одной области.

В задачах вне области TW-BERT превосходит базовые стратегии взвешивания, а также имеющиеся нейронные ранжировщики.

Далее мы продемонстрировали полезность нашей модели, интегрировав её с существующими моделями расширения запросов, что позволило улучшить производительность по сравнению со стандартным поиском и точным поиском в случаях с нулевыми результатами.

Это мотивирует нас на то, что наша работа может обеспечить улучшение существующих поисковых систем с минимальными издержками при внедрении».

Итак, это две веские причины, по которым TW-BERT может стать частью алгоритма ранжирования Google.

Или же Google уже внедрил TW-BERT, тогда это может объяснить колебания ранжирования, которые мониторинги и представители SEO-сообщества фиксируют в течение последнего месяца. Апометром Пиксель Тулс тоже фиксировал колебания выдачи за период июль-август 2023.

Как правило, Google объявляет о некоторых изменениях в ранжировании только тогда, когда они вызывают заметный эффект, как, например, это было при появлении алгоритма BERT.

В отсутствие официального подтверждения мы можем только предполагать, насколько вероятно, что TW-BERT является или будет являться частью алгоритма поискового ранжирования Google. Тем не менее, TW-BERT — это замечательный фреймворк, который, судя по всему, позволяет повысить точность поиска информации и может использоваться компанией Google.

Для владельца сайта одним из основных направлений в SEO является донесение его содержания до целевой аудитории и обеспечение оптимальной видимости в поисковых системах. Благодаря возможности повысить точность ранжирования различных типов контента TW-BERT способен привлечь больше трафика на ваш сайт и способствовать увеличению продаж или расширению его аудитории.

Рекомендуем SEO-специалистам уже сейчас сконцентрироваться на повышении качества контента для увеличения трафика на целевые страницы. Важно, чтобы тексты, которые находятся на страницах, имели понятный контекст для пользователя и для поисковых систем. Сделать быструю оценку на основные SEO-параметры можно с помощью инструмента «Комплексная оценка текста» от Пиксель Тулс.

Какое влияние TW-BERT может оказывать на SEO?

Давайте рассмотрим, на какие SEO-показатели, может повлиять данный алгоритм:

1. Улучшение видимости.

Благодаря TW-BERT повышается вероятность того, что ваш сайт будет занимать более высокие позиции в результатах поиска по соответствующим запросам. В результате, если у вас действительно качественно продуманная и написанная статья, то можно рассчитывать на увеличение посещаемости сайта.

2. Повышение релевантности.

TW-BERT эффективно помогает поисковым системам лучше понять важность ключевых слов и их контекст в поисковых запросах. Таким образом, ваш контент должен гораздо точнее соответствовать тому, что ищут пользователи. Это повышает релевантность поисковых запросов и позволяет всегда находить нужный контент.

3. Увеличение количества переходов по ссылкам.

Более высокий коэффициент кликов свидетельствует, что пользователи действительно считают ваш контент ценным. Это может оказать положительное влияние на достижение общих целей по SEO. Тем более что, когда пользователи видят контент, соответствующий их поисковым запросам, они с большей вероятностью нажмут на него.

4. Целевой трафик.

TW-BERT может помочь привести к вашему продукту или контенту пользователей, которые действительно в нем заинтересованы. В результате трафик, приходящий на ваш сайт, с большей вероятностью превратится в заинтересованных читателей или даже покупателей.

5. Конкурентное преимущество.

Эффективное использование TW-BERT позволяет выделиться на фоне конкурентов. Это особенно актуально в тех случаях, когда другие могут не использовать все возможности TW-BERT. Ваш сайт может появиться на более заметном месте в результатах поиска пользователей, что позволит вам привлечь их внимание. Максимально полно и точно описывается ваши товары и услуги, чтобы попасть в выборку и оказаться на самом верху поисковой выдачи.

6. Более лёгкая интеграция.

TW-BERT легко встраивается в существующий поисковый алгоритм без необходимости внесения сложных изменений. Это обеспечивает более плавную интеграцию, позволяющую в кратчайшие сроки принять и внедрить его. Не будет массового скачка позиций или просадки по всему домену, как это происходит при больших обновлениях поисковых алгоритмов.

7. Ориентированный на пользователя подход.

Учитывая, что TW-BERT ориентирован на повышение точности результатов поиска для пользователей, он прекрасно сочетается с обеспечением лучшего опыта для конечных пользователей и их удовлетворенности получаемыми результатами. Когда пользователи легко и быстро находят нужную им информацию, они с большей вероятностью будут работать с вашим сайтом и просматривать ваш контент и продукты. Хорошие поведенческие показатели, как известно, благоприятно влияют на сайт в целом.

8. Влияние на расширение запросов.

TW-BERT позволяет улучшить модели расширения поисковых запросов. Это позволяет вывести ваш контент на первый план в интернете, чтобы пользователи могли обнаружить его, если он соответствует их интересам. Это позволяет повысить уровень вовлечённости и заставить людей проводить больше времени на вашем сайте. Не бойтесь использовать многословные запросы, грамотно оптимизируйте ваш контент и получайте больше от нового алгоритма.

9. Адаптивность к обновлениям.

По мере того, как поисковые системы развиваются и совершенствуются, алгоритм TW-BERT продолжает адаптироваться к изменениям. Обучение новым данным гарантирует, что ваша SEO-стратегия будет оставаться эффективной и соответствовать изменениям в тенденциях с течением времени.

10. ROI и потенциал конверсии.

Повышение рейтинга среди более релевантной аудитории позволяет увеличить количество переходов по ссылкам. Все эти факторы способствуют повышению рентабельности инвестиций в ваш проект. Кроме того, за счёт привлечения на сайт более релевантных пользователей повышается конверсия или продажи в целом.

Все эти характеристики помогают уточнять результаты поиска и сигнализируют, что пользователи получают больше позитивного опыта. Таким образом, TW-BERT является ценным инструментом в арсенале SEO, поскольку с его помощью можно более эффективно связать свой сайт с целевой аудиторией. Это позволяет добиться лучших результатов и повысить шансы на успех.

Благодарим коллег из SEJ за предоставленную информацию.

Подписывайтесь на наш канал YouTube, чат Telegram и группу ВКонтакте, чтобы стать частью дружной SEO-тусовки.