Инструменты · key

lemmadubli Лемматизация и удаление неявных дублей запросов

Чистит список поисковых запросов: удаляет неявные дубли — запросы, которые отличаются только словоформой или порядком слов, — приводит фразы к начальной форме и убирает запросы со стоп-словами. По желанию для каждой группы дублей находит самую частотную словоформу по Вордстату. Метод асинхронный: POST ставит задачу и возвращает report_id, по нему GET отдаёт результат. То же в интерфейсе — лемматизация и удаление дублей; задача из API видна в истории инструмента и скачивается там в CSV.

Стоимость
5 лимитов за список; с find_popular_word_form — плюс 1 лимит за каждую группу дублей, проверенную в Вордстате
Режим
асинхронный: report_id
Запросов за задачу
от 1 до 10 000 (после удаления пустых строк и точных повторов)
Тело
форма или JSON

Постановка задачи

POST /api/lemmadubli

Параметры — в теле формы или JSON (Content-Type: application/json), ключ — в query. Флаги принимают 1/0, true/false или on/off; не переданный флаг берёт значение по умолчанию. Нужно хотя бы одно действие: remove_duplicates, lemmatising_phrase или непустой stop_words.

Параметры query и тело формы

  • requests array обязательный
    Запросы: массив requests[] или строка, по запросу на строку. Запросы приводятся к нижнему регистру, лишние пробелы, пустые строки и точные повторы отбрасываются до подсчёта. До 10 000.
  • remove_duplicates int
    Удалить неявные дубли — запросы, которые в начальной форме совпадают с запросом выше по списку с точностью до порядка слов. Остаётся первый вариант, поэтому список лучше заранее отсортировать по частоте; с find_popular_word_form — самый частотный.
    1
    удалить дубли
    0
    не удалять
    По умолчанию 1
  • find_popular_word_form int
    Для каждой группы дублей найти по Вордстату (Россия) самую частотную словоформу и оставить её. Если такой словоформы нет в списке, она заменит оставленный запрос. Работает только вместе с remove_duplicates. Платно: +1 лимит за каждую группу дублей.
    0
    не искать
    1
    найти популярные словоформы
    По умолчанию 0
  • lemmatising_phrase int
    Лемматизировать фразы: у запросов в ответе появится поле lemma — фраза в начальной форме, без служебных слов (предлогов, союзов, местоимений).
    0
    нет
    1
    добавить леммы
    По умолчанию 0
  • exceptions_words array
    Слова, которые не приводить к начальной форме: бренды, аббревиатуры, имена. Массив или строка, по слову на строку. Учитываются и при поиске дублей: запросы с разными формами такого слова дублями не считаются.
  • stop_words array
    Удалить запросы с этими словами. Массив или строка, по слову на строку. Сравнение — в начальной форме: стоп-слово москва удалит и «диван в москве». * — фрагмент слова, только в начале и/или в конце: *матем* (так же *матем и матем*) удалит запросы, где в любом слове есть «матем».

Ответ

  • report_id int
    ID задачи для получения результата.

Получение результата

GET /api/lemmadubli

Пока задача выполняется, приходит {"error": "In progress", "code": 50, "progress": 40}. С find_popular_word_form задача идёт дольше: словоформы проверяются в Вордстате.

Параметры query

  • report_id int обязательный
    ID задачи из ответа на постановку.

Ответ

  • response.queries[] array
    Запросы, оставшиеся после чистки, в порядке исходного списка.
    Вложенные поля
    • query string
      Запрос; с find_popular_word_form — уже заменённый популярной словоформой.
    • lemma string
      Фраза в начальной форме. Только с lemmatising_phrase.
  • response.removed[] array
    Удалённые запросы.
    Вложенные поля
    • query string
      Удалённый запрос.
    • lemma string
      Только с lemmatising_phrase.
    • reason object|null
      Причина: type и value. duplicate — неявный дубль запроса value, который остался в списке; stop_word — в запросе есть стоп-слово value (в начальной форме или фрагмент без *); word_form — запрос заменён более популярной словоформой value, которой не было в списке.
  • response.word_forms[] array
    Только с find_popular_word_form: группы дублей, для которых нашлась словоформа частотнее оставленного запроса.
    Вложенные поля
    • word_form string
      Самая популярная словоформа — она и осталась в queries.
    • queries string[]
      Остальные запросы группы.
  • response.words[] array
    Слова оставшихся запросов в начальной форме — по убыванию числа вхождений; служебные слова не считаются.
    Вложенные поля
    • word string
      Слово.
    • count int
      Сколько раз встречается в запросах.
  • time string
    Время готовности, Unix timestamp.
  • cost int
    Списано за задачу, лимитов.

Ошибки

КодСообщениеКогда
-100 tools errors Ошибки параметров — список сообщений в details: пустой список запросов, больше 10 000 запросов, стоп-слов или исключений, * не по краям стоп-слова или одна *, нераспознанное значение флага, не выбрано ни одного действия, уже идут 5 задач. С errorType: TASK_START_FAIL — задачу не удалось поставить в очередь.
-51 No requests data Задача поставлена не методом POST.
-68, -80…-83 Not enough … limits Не хватает лимитов; в ответе available и need.
50 In progress Задача ещё выполняется; progress — процент готовности.
-4 Access denied report_id чужой или от другого инструмента.
-104 Processing error Задача завершилась ошибкой. Если причина известна — например, Вордстат для find_popular_word_form временно недоступен, — её текст в details.
-105…-107, -125 Limits run out / … Задача остановлена — см. асинхронные задачи.
-1, -2 Access denied Ключ не передан (HTTP 404) или не найден (HTTP 403).

Как ищутся дубли

Каждый запрос приводится к начальной форме без служебных слов, слова сортируются — запросы с одинаковым результатом считаются дублями. Например, «купить диван в москве», «диваны москва купить» и «купить диван москва» — одна группа. Остаётся запрос, который в списке выше, остальные попадают в removed с причиной duplicate. Дубли ищутся только внутри одной задачи — передавайте весь список сразу.

Стоимость и ограничения

Список стоит 5 лимитов независимо от числа запросов. С find_popular_word_form добавляется 1 лимит за каждую группу дублей, которую проверили в Вордстате; итог списывается после расчёта и приходит в поле cost. Перед постановкой проверяется остаток: 5 лимитов, а с популярными словоформами — ещё 5% от числа запросов.

Одновременно можно держать до 5 задач. В интерфейсе инструмента на платных тарифах действует тот же лимит — до 10 000 запросов за проверку.

Обратная связь и помощь
Если у вас есть идеи, как улучшить данный инструмент или остались вопросы по работе с ним, напишите в нашу службу поддержки, мы обязательно вам поможем.