lemmadubli Лемматизация и удаление неявных дублей запросов
Чистит список поисковых запросов: удаляет неявные дубли — запросы, которые отличаются только словоформой или порядком слов, — приводит фразы к начальной форме и убирает запросы со стоп-словами. По желанию для каждой группы дублей находит самую частотную словоформу по Вордстату. Метод асинхронный: POST ставит задачу и возвращает report_id, по нему GET отдаёт результат. То же в интерфейсе — лемматизация и удаление дублей; задача из API видна в истории инструмента и скачивается там в CSV.
- Стоимость
- 5 лимитов за список; с
find_popular_word_form— плюс 1 лимит за каждую группу дублей, проверенную в Вордстате - Режим
- асинхронный: report_id
- Запросов за задачу
- от 1 до 10 000 (после удаления пустых строк и точных повторов)
- Тело
- форма или JSON
Постановка задачи
/api/lemmadubli
Параметры — в теле формы или JSON (Content-Type: application/json), ключ — в query. Флаги принимают 1/0, true/false или on/off; не переданный флаг берёт значение по умолчанию. Нужно хотя бы одно действие: remove_duplicates, lemmatising_phrase или непустой stop_words.
Параметры query и тело формы
-
requestsarray обязательныйЗапросы: массивrequests[]или строка, по запросу на строку. Запросы приводятся к нижнему регистру, лишние пробелы, пустые строки и точные повторы отбрасываются до подсчёта. До 10 000. -
remove_duplicatesintУдалить неявные дубли — запросы, которые в начальной форме совпадают с запросом выше по списку с точностью до порядка слов. Остаётся первый вариант, поэтому список лучше заранее отсортировать по частоте; сfind_popular_word_form— самый частотный. -
find_popular_word_formintДля каждой группы дублей найти по Вордстату (Россия) самую частотную словоформу и оставить её. Если такой словоформы нет в списке, она заменит оставленный запрос. Работает только вместе сremove_duplicates. Платно: +1 лимит за каждую группу дублей. -
lemmatising_phraseintЛемматизировать фразы: у запросов в ответе появится полеlemma— фраза в начальной форме, без служебных слов (предлогов, союзов, местоимений). -
exceptions_wordsarrayСлова, которые не приводить к начальной форме: бренды, аббревиатуры, имена. Массив или строка, по слову на строку. Учитываются и при поиске дублей: запросы с разными формами такого слова дублями не считаются. -
stop_wordsarrayУдалить запросы с этими словами. Массив или строка, по слову на строку. Сравнение — в начальной форме: стоп-словомоскваудалит и «диван в москве».*— фрагмент слова, только в начале и/или в конце:*матем*(так же*матемиматем*) удалит запросы, где в любом слове есть «матем».
Ответ
-
report_idintID задачи для получения результата.
Получение результата
/api/lemmadubli
Пока задача выполняется, приходит {"error": "In progress", "code": 50, "progress": 40}. С find_popular_word_form задача идёт дольше: словоформы проверяются в Вордстате.
Параметры query
-
report_idint обязательныйID задачи из ответа на постановку.
Ответ
-
response.queries[]arrayЗапросы, оставшиеся после чистки, в порядке исходного списка.Вложенные поля
-
querystringЗапрос; сfind_popular_word_form— уже заменённый популярной словоформой. -
lemmastringФраза в начальной форме. Только сlemmatising_phrase.
-
-
response.removed[]arrayУдалённые запросы.Вложенные поля
-
querystringУдалённый запрос. -
lemmastringТолько сlemmatising_phrase. -
reasonobject|nullПричина:typeиvalue.duplicate— неявный дубль запросаvalue, который остался в списке;stop_word— в запросе есть стоп-словоvalue(в начальной форме или фрагмент без*);word_form— запрос заменён более популярной словоформойvalue, которой не было в списке.
-
-
response.word_forms[]arrayТолько сfind_popular_word_form: группы дублей, для которых нашлась словоформа частотнее оставленного запроса.Вложенные поля
-
word_formstringСамая популярная словоформа — она и осталась вqueries. -
queriesstring[]Остальные запросы группы.
-
-
response.words[]arrayСлова оставшихся запросов в начальной форме — по убыванию числа вхождений; служебные слова не считаются.Вложенные поля
-
wordstringСлово. -
countintСколько раз встречается в запросах.
-
-
timestringВремя готовности, Unix timestamp. -
costintСписано за задачу, лимитов.
Ошибки
| Код | Сообщение | Когда |
|---|---|---|
-100 |
tools errors |
Ошибки параметров — список сообщений в details: пустой список запросов, больше 10 000 запросов, стоп-слов или исключений, * не по краям стоп-слова или одна *, нераспознанное значение флага, не выбрано ни одного действия, уже идут 5 задач. С errorType: TASK_START_FAIL — задачу не удалось поставить в очередь. |
-51 |
No requests data |
Задача поставлена не методом POST. |
-68, -80…-83 |
Not enough … limits |
Не хватает лимитов; в ответе available и need. |
50 |
In progress |
Задача ещё выполняется; progress — процент готовности. |
-4 |
Access denied |
report_id чужой или от другого инструмента. |
-104 |
Processing error |
Задача завершилась ошибкой. Если причина известна — например, Вордстат для find_popular_word_form временно недоступен, — её текст в details. |
-105…-107, -125 |
Limits run out / … |
Задача остановлена — см. асинхронные задачи. |
-1, -2 |
Access denied |
Ключ не передан (HTTP 404) или не найден (HTTP 403). |
Как ищутся дубли
Каждый запрос приводится к начальной форме без служебных слов, слова сортируются — запросы с одинаковым результатом считаются дублями. Например, «купить диван в москве», «диваны москва купить» и «купить диван москва» — одна группа. Остаётся запрос, который в списке выше, остальные попадают в removed с причиной duplicate. Дубли ищутся только внутри одной задачи — передавайте весь список сразу.
Стоимость и ограничения
Список стоит 5 лимитов независимо от числа запросов. С find_popular_word_form добавляется 1 лимит за каждую группу дублей, которую проверили в Вордстате; итог списывается после расчёта и приходит в поле cost. Перед постановкой проверяется остаток: 5 лимитов, а с популярными словоформами — ещё 5% от числа запросов.
Одновременно можно держать до 5 задач. В интерфейсе инструмента на платных тарифах действует тот же лимит — до 10 000 запросов за проверку.