Основы полнотекстового поиска в ElasticSearch. Часть третья

Оглавление цикла:

1. Часть первая

2. Часть вторая

3. Часть третья (вы тут)

---

Это третья и заключительная статья из цикла, в которой рассмотрим стандартную модель ранжирования документов в Elasticsearch.

Релевантность документов

После того как определено множество документов, которые удовлетворяют параметрам полнотекстового запроса, Elasticsearch рассчитывает метрику релевантности для каждого найденного документа. По значению метрики набор документов сортируется и отдается потребителю.

В Elasticsearch существует несколько моделей ранжирования документов, о которых можно почитать в документации. По умолчанию используется Okapi BM25. Три кита этой модели:

• Term frequency (TF) — частотность терма. Чем чаще терм появляется в поле документа, тем он релевантнее;

• Inverse document frequency (IDF) — обратная частота употребления терма в документах. Чем больше документов содержат искомый терм в поле, тем меньше значимость этого терма. Данный параметр вводится для снижения веса часто употребляемых слов в выборке;

• Normalization by field length — нормализация по длине поля. Если два документа имеют одинаковое количество вхождения искомого терма и документы отличаются по размеру, то наиболее релевантным будет документ, размер которого меньше.

Описание функции ранжирования:

• Q (query) — текущий запрос;

• ? (document) — текущий документ;

• ?_? — ?-ый терм;

• ?(?_?, ?) — частота появления терма ?_? в документе ?;

• ??????????ℎ — длина поля в термах;

• ?????????????ℎ — средняя длина поля в термах;

• ???(?_?) — обратная частота употребления терма ?_? в документах;

• ?(?_? ) — кол-во документов, в которых встречается искомый терм;

• ???????? — количество документов, которые имеют искомое поле;

• ?₁ — коэффициент, который задает порог насыщения по частоте терма (в Elasticsearch равен 1.2);

• ? — коэффициент, который усиливает отношение длины документа к средней длине (в Elasticsearch равен 0.75).

Рассмотрим несколько графиков.

Зависимость метрики релевантности от частоты термов при разных значениях k₁

Чем больше коэффициент k₁, тем выше порог и меньше скорость насыщения. При k₁ равным нулю все параметры игнорируются кроме ???.

Также на приведенном графике видно, что начиная с некоторого значения частоты, добавление новых термов, которые соответствуют поисковому запросу, не вносит дополнительный вклад в значение метрики релевантности.

Зависимость метрики релевантности от частоты термов при разных значениях отношения длины документы к средней длине

Короткие документы гораздо быстрее достигают порога насыщения, т.к. рассматриваемое отношение находится в знаменателе. Чем больше это отношение, тем меньше значение метрики релевантности.

После достижения «потолка» добавление новых термов, соответствующих поисковому запросу, не вносит дополнительный вклад в значение метрики релевантности.

Задав коэффициент b в ноль, можно полностью убрать влияние данного параметра.

Зависимость IDF от частоты термов при фиксированном количестве документов в выборке

Чем чаще терм встречается в документах, тем меньший вес он будет иметь среди других термов в поисковом запросе.

Пример

Для примера используется индекс с названием kotlin_articles, который имеет стандартные настройки и ровно одну шарду. Если повторить шаги примера для индекса, который имеет больше чем одну шарду, то результат будет отличаться от приведенного. Это связано с тем, что Elasticsearch рассчитывает метрику релевантности в рамках одного шарда.

В рассматриваемый индекс сохраним 5 документов.

Наш поисковый запрос состоит ровно из одного слова — Kotlin. На этом шаге несложно догадаться, в каком порядке будут выданы документы:

Результат ранжирования Elasticsearch:

Значение релевантности находится в после «_score».

А теперь предлагаю проверить, совпадает ли выданное значение метрики с теоретическим. Для проверки возьмем самый релевантный документ, и подставим его параметры в функцию ранжирования.

И мы видим, что значения совпадают!

Для закрепления проверим наши расчеты с помощью Explain API:

{     "_index": "kotlin_articles",     "_id": "2",     "matched": true,     "explanation": {         "value": 0.12335789,         "description": "weight(name:kotlin in 1) [PerFieldSimilarity], result of:",         "details": [             {                 "value": 0.12335789,                 "description": "score(freq=2.0), computed as boost * idf * tf from:",                 "details": [                     {                         "value": 2.2,                         "description": "boost",                         "details": []                     },                     {                         "value": 0.087011375,                         "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",                         "details": [                             {                                 "value": 5,                                 "description": "n, number of documents containing term",                                 "details": []                             },                             {                                 "value": 5,                                 "description": "N, total number of documents with field",                                 "details": []                             }                         ]                     },                     {                         "value": 0.64441884,                         "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",                         "details": [                             {                                 "value": 2,                                 "description": "freq, occurrences of term within document",                                 "details": []                             },                             {                                 "value": 1.2,                                 "description": "k1, term saturation parameter",                                 "details": []                             },                             {                                 "value": 0.75,                                 "description": "b, length normalization parameter",                                 "details": []                             },                             {                                 "value": 5,                                 "description": "dl, length of field",                                 "details": []                             },                             {                                 "value": 5.6,                                 "description": "avgdl, average length of field",                                 "details": []                             }                         ]                     }                 ]             }         ]     } }

В ответе можно узнать функцию ранжирования Okapi BM25, а также какие значения были использованы для расчета.

---

Это была последняя статья из цикла. Спасибо, что дочитали, если у вас будут какие-то вопросы — добро пожаловать в комментарии.