{"id":503863,"date":"2026-11-19T09:19:08","date_gmt":"2026-11-19T06:19:08","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=503863"},"modified":"2026-11-19T09:19:08","modified_gmt":"2026-11-19T06:19:08","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=503863","title":{"rendered":"BM25 \u0438 RAG: \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u043e\u0442 AI-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u043e\u0440\u0430"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/0d\/fb\/35\/0dfb355d89f75e59f09ddfffd5421737.png\" width=\"1493\" height=\"802\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/0d\/fb\/35\/0dfb355d89f75e59f09ddfffd5421737.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/0d\/fb\/35\/0dfb355d89f75e59f09ddfffd5421737.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041c\u0430\u0442\u0447\u0430\u0441\u0442\u044c \u043f\u043e BM25 \u0443\u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0430\u0441\u044c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445: <a href=\"https:\/\/habr.com\/ru\/articles\/860830\/\">\u043e\u0442 \u042d\u0432\u0430\u043d\u0430 \u0428\u0432\u0430\u0440\u0446\u0430 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435<\/a>, \u0433\u0434\u0435 \u043e\u043d \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u043b \u0432\u044b\u0432\u043e\u0434 IDF \u0438\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0420\u043e\u0431\u0435\u0440\u0442\u0441\u043e\u043d\u0430 \u0438 \u0421\u043f\u0430\u0440\u043a-\u0414\u0436\u043e\u043d\u0441, \u0432 <a href=\"https:\/\/academy.claude.com\/courses\/building-with-the-claude-api\/bm25-lexical-search\">\u043a\u0443\u0440\u0441\u0435 Claude Academy<\/a> \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430 <code>INC-2023-Q4-011<\/code> \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u043f\u043e\u0447\u0435\u043c\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0438\u0441\u043a \u0442\u0435\u0440\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u044b\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b, \u0430 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 <a href=\"https:\/\/github.com\/Michael-JB\/bm25\">Michael-JB\/bm25<\/a> \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 BM25 \u0432 \u0432\u0438\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043d\u0430 Rust. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0441\u043c\u044b\u0441\u043b\u0430 \u043d\u0435\u0442 &#8212; \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0432\u044b\u0448\u0435.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 BM25 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u043c\u0438, \u0438\u0437\u0443\u0447\u0438\u043c \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c \u0435\u0433\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0431\u0435\u0440\u0451\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0433\u0438\u0431\u0440\u0438\u0434\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u0437 \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c (\u0430\u043a\u0430 \u041d\u0435\u0439\u0440\u043e\u042e\u0440\u0438\u0441\u0442).<\/p>\n<p>\u0418\u0437 \u0432\u0432\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0430\u0437\u0443 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u0442\u044b\u0440\u0435 \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d. \u0421\u043a\u043e\u0440 BM25 &#8212; \u044d\u0442\u043e \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c: \u043e\u043d \u043d\u0435 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d \u0438 \u043d\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f\u043c\u0438, \u043d\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432 \u0432\u0438\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441 \u043f\u0440\u0435\u0434\u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u043d\u0430 \u044d\u0442\u0430\u043f \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438. \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 &#8212; \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435: \u043f\u0440\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0435 \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 <code>avgdl<\/code> \u0434\u0440\u0435\u0439\u0444\u0443\u0435\u0442, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 <code>avgdl<\/code> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>b<\/code> \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0442\u044c, \u0430 \u043f\u0440\u0438 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u2014 \u043e\u0431\u043d\u0443\u043b\u044f\u0442\u044c (<code>b = 0<\/code>).<\/p>\n<h3>TL;DR<\/h3>\n<ul>\n<li>\n<p><strong>BM25 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u00ab\u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u00bb \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u044b\u043c.<\/strong> \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0432\u0441\u0435\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438. \u041a\u043e\u0433\u0434\u0430 \u0432\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0438\u043b\u0438 \u0443\u0434\u0430\u043b\u044f\u0435\u0442\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b, \u043e\u0446\u0435\u043d\u043a\u0438 \u00ab\u043f\u043b\u044b\u0432\u0443\u0442\u00bb, \u0438 \u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0446\u0435\u043d\u043a\u0438 BM25 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439.<\/strong> \u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0432\u043e\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430, \u0438 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a \u043f\u043b\u043e\u0445\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0434\u043a\u043e\u0435: \u0444\u0430\u043c\u0438\u043b\u0438\u0438, \u043d\u043e\u043c\u0435\u0440\u0430 \u0434\u0435\u043b, \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b.<\/strong> \u041d\u0430 \u0442\u0435\u0441\u0442\u0435 EntityQuestions BM25 \u043d\u0430\u0445\u043e\u0434\u0438\u043b \u043d\u0443\u0436\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0432 72% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 49,7%. \u0421 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u043e\u043d\u0438 \u00ab\u043b\u044e\u0431\u044f\u0442\u00bb \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c BM25 \u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u043e\u0439 \u043e\u0446\u0435\u043d\u043e\u043a, \u0430 \u043d\u0435 \u043f\u043e \u0440\u0430\u043d\u0433\u0430\u043c (RRF).<\/strong> \u041d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u0441\u043c\u0435\u0441\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0445\u0443\u0436\u0435, \u043f\u043e\u043a\u0430 \u0432\u044b \u043d\u0435 \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u0442\u0435 \u0432\u0435\u0441\u0430 \u0437\u0430\u043d\u043e\u0432\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430: \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438, \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043d\u0430\u0440\u0435\u0437\u043a\u0438 \u043d\u0430 \u043a\u0443\u0441\u043a\u0438.<\/strong> \u042d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u0440\u043e\u0434\u0435 BM25L \u0438 BM25+ \u0434\u0430\u044e\u0442 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ul>\n<h3>1. BM25 \u043a\u0430\u043a \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/6c\/c4\/aa\/6cc4aac174263602f74fafd99c66d393.png\" width=\"1494\" height=\"806\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/6c\/c4\/aa\/6cc4aac174263602f74fafd99c66d393.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/6c\/c4\/aa\/6cc4aac174263602f74fafd99c66d393.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p> \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u043c\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0443 \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430\u00bb. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0438\u0441\u043a \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043b\u043e\u0432 \u0438\u0437 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 BM25 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e. <\/p>\n<p>\u0412\u043a\u043b\u0430\u0434 \u0442\u0435\u0440\u043c\u0430 <code>t<\/code> \u0432 \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 <code>D<\/code> \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0442\u0435\u0440\u043c\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0434\u043b\u0438\u043d\u044b \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u043e\u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 (<code>N<\/code>, <code>df(t)<\/code>, <code>avgdl<\/code>), \u043d\u043e \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0432\u0435\u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b <code>(\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0442\u0435\u0440\u043c)<\/code> \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u0438 \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0438\u0441\u043a \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u0438\u0445 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.<\/p>\n<p>\u042d\u0442\u0443 \u0438\u0434\u0435\u044e \u0434\u043e\u0432\u0435\u043b\u0430 \u0434\u043e \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2407.03618\">BM25S (arXiv:2407.03618)<\/a>. \u041f\u043e \u0437\u0430\u043c\u0435\u0440\u0430\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 ArguAna \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c <code>BM25S<\/code> \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0430 <strong>573,9 QPS<\/strong> \u043f\u0440\u043e\u0442\u0438\u0432 <strong>13,7 QPS<\/strong> \u0443 Elasticsearch, <strong>110,5 QPS<\/strong> \u0443 <code>BM25-PT<\/code> \u0438 <strong>2,0 QPS<\/strong> \u0443 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 Python-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <code>rank-bm25<\/code>. \u0412 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u0435\u0441\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c (\u0441 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c IDF \u0438\u0437 Lucene) \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 <code>scipy.sparse<\/code>:<\/p>\n<pre><code class=\"python\">import mathimport numpy as npfrom collections import Counterfrom scipy import sparse as spdef build(docs, k1=1.2, b=0.75):    # docs: \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u043f\u0438\u0441\u043a\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432    N = len(docs)    dl = np.array([len(d) for d in docs], dtype=np.float32)    avgdl = float(dl.mean())    tfs = [Counter(d) for d in docs]    df = Counter(t for tf in tfs for t in tf)    vocab, rows, cols, vals = {}, [], [], []    for i, tf in enumerate(tfs):        norm = k1 * (1 - b + b * dl[i] \/ avgdl)        for t, f in tf.items():            j = vocab.setdefault(t, len(vocab))            idf = math.log(1 + (N - df[t] + 0.5) \/ (df[t] + 0.5))            rows.append(i)            cols.append(j)            vals.append(idf * f * (k1 + 1) \/ (f + norm))    M = sp.csc_matrix((vals, (rows, cols)), shape=(N, len(vocab)), dtype=np.float32)    return M, vocabdef search(M, vocab, query_tokens, top_k=10):    ids = [vocab[t] for t in set(query_tokens) if t in vocab]    if not ids:        return []    scores = np.asarray(M[:, ids].sum(axis=1)).ravel()    k = min(top_k, len(scores) - 1)    top = np.argpartition(-scores, k)[:top_k]    return [(int(i), float(scores[i])) for i in sorted(top, key=lambda i: -scores[i])]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0432 Lucene \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 8-\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c <code>(k1 + 1)<\/code> \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435 \u0443\u0431\u0440\u0430\u043b\u0438. \u041d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u044d\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442, \u043d\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u2014 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u0432\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u0441\u043a\u043e\u0440\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u0438\u043b\u0438 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438.<\/p>\n<p>\u0418\u0437 \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0442 \u0432\u043f\u043e\u043b\u043d\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <code>IDF<\/code> \u0438 <code>avgdl<\/code> \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b, \u043b\u044e\u0431\u043e\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0441\u0430 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435: eager-\u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c, \u043b\u0438\u0431\u043e \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0436\u0438\u0442\u044c \u0441 \u0434\u0440\u0435\u0439\u0444\u043e\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a. \u0412 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u2014 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 <code>IDF<\/code> \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0448\u0430\u0440\u0434\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 <code>IDF<\/code> \u043f\u043e \u0432\u0441\u0435\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438, \u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e. Elasticsearch \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u043e \u0440\u0435\u0436\u0438\u043c\u043e\u043c <code>search_type=dfs_query_then_fetch<\/code> \u0446\u0435\u043d\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0435\u0432\u043e\u0433\u043e \u0440\u0430\u0443\u043d\u0434\u0430, \u043d\u043e \u0434\u043b\u044f \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432, \u0432\u043b\u0435\u0437\u0430\u044e\u0449\u0438\u0445 \u043d\u0430 \u043e\u0434\u043d\u0443 \u043d\u043e\u0434\u0443, \u043f\u0440\u043e\u0449\u0435 \u0438 \u0442\u043e\u0447\u043d\u0435\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0448\u0430\u0440\u0434.<\/p>\n<p>\u0415\u0449\u0451 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u043c \u043e\u0446\u0435\u043d\u043e\u043a \u0438 \u0441\u043b\u043e\u0432\u0430\u0440\u044f. \u0421\u043a\u043e\u0440 BM25 \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u0441\u0432\u0435\u0440\u0445\u0443 \u0438 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0434\u043b\u0438\u043d\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u0432\u0440\u043e\u0434\u0435 \u00ab\u043e\u0446\u0435\u043d\u043a\u0430 \u0432\u044b\u0448\u0435 12 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0439\u00bb \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u2014 \u0438\u0445 \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 (\u0434\u043e\u043b\u044f \u043e\u0442 <code>top-1<\/code> \u0438\u043b\u0438 \u0441\u043a\u043e\u0440 \u043f\u043e\u0441\u043b\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438). \u0410 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 sparse-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 Rust-\u043a\u0440\u0435\u0439\u0442\u0430 <code>bm25<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0447\u0435\u0440\u0435\u0437 \u0445\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e <code>u32<\/code>), \u043d\u0430 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0440\u044f\u0445 \u0441 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u0434\u0435\u043b \u0438 \u0440\u0435\u043a\u0432\u0438\u0437\u0438\u0442\u0430\u043c\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438, \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u0432 \u043e\u0434\u043d\u0443 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0443; \u0432 \u0442\u0430\u043a\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u043d\u0443\u0436\u043d\u043e \u0441\u0440\u0430\u0437\u0443 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 <code>u64<\/code>.<\/p>\n<h3>2. \u041f\u043e\u0434 \u0432\u044b\u0432\u0435\u0441\u043a\u043e\u0439 \u00abBM25\u00bb \u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/73\/69\/5d\/73695d2b4387f12130af95e756f9b020.png\" width=\"1489\" height=\"803\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/73\/69\/5d\/73695d2b4387f12130af95e756f9b020.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/73\/69\/5d\/73695d2b4387f12130af95e756f9b020.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0421\u043b\u043e\u0432\u043e \u00abBM25\u00bb \u043d\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443: \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u043e\u043d\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f, \u043a\u0430\u043a \u0440\u0435\u0446\u0435\u043f\u0442 \u0431\u043e\u0440\u0449\u0430 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u044c\u044f\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438, \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e.  <\/p>\n<p>\u0415\u0434\u0438\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430 BM25 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442. Kamphuis \u0438 \u0434\u0440. (ECIR 2020) \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0432\u043e\u0441\u0435\u043c\u044c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432: \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0420\u043e\u0431\u0435\u0440\u0442\u0441\u043e\u043d\u0430, Lucene, ATIRE, BM25L, BM25+ \u0438 \u0434\u0440\u0443\u0433\u0438\u0435. \u041e\u043d\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0451\u0442\u0435 <code>IDF<\/code>, \u0432 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0442\u0435\u0440\u043c\u0430 \u0438 \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043a \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c <code>IDF<\/code> (\u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u043c, \u0435\u0441\u043b\u0438 \u0441\u043b\u043e\u0432\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0430). \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 <code>BM25S<\/code> \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u043f\u044f\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u2014 <code>robertson<\/code>, <code>atire<\/code>, <code>bm25l<\/code>, <code>bm25+<\/code> \u0438 <code>lucene<\/code> (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e).<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0435\u043c \u0440\u0438\u0441\u043a\u0443\u0435\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>rank-bm25<\/code> \u0438 Lucene<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b IDF: \u0447\u0438\u0441\u043b\u0430 \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0443\u0442, \u0430 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0440\u0430\u0437\u043e\u0439\u0434\u0451\u0442\u0441\u044f. \u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441 <code>rank-bm25<\/code> \u0432 <code>BM25S<\/code> \u0443\u0434\u0430\u0451\u0442\u0441\u044f \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0436\u0438\u043c\u043e\u043c <code>atire<\/code> \u0441 IDF \u0420\u043e\u0431\u0435\u0440\u0442\u0441\u043e\u043d\u0430 \u043f\u0440\u0438 <code>epsilon = 0<\/code>.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Lucene \/ ES \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0435\u043d\u044f\u043b\u0441\u044f \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c (\u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c <code>k1 + 1<\/code>), \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0441\u043a\u043e\u0440\u044b \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438 \u043d\u0435\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BM25L, BM25+ \u0438 Lucene<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0423 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>\u03b4<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0431\u043e\u0440\u0430, \u0438\u043d\u0430\u0447\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043d\u0435\u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0443\u0436\u0438\u0435 <code>k1<\/code> \u0438 <code>b<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0435\u0444\u043e\u043b\u0442\u044b \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0433\u0443\u043b\u044f\u044e\u0442 \u043e\u0442 <code>k1=1.2..2.0, b=0.75<\/code> \u0432 \u043e\u0431\u0449\u0438\u0445 \u0433\u0430\u0439\u0434\u0430\u0445 \u0434\u043e <code>k1=0.9, b=0.4<\/code> \u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u0445 \u043f\u043e \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0443.<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u0434\u0435\u044f BM25L \u0438 BM25+ (Lv \u0438 Zhai, CIKM\/SIGIR 2011) \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0431\u043e\u0440\u043e\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0434\u043b\u0438\u043d\u0443: \u0432 \u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0437\u0430\u043d\u0438\u0437\u0438\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u0442\u0435\u0440\u043c\u0430 \u0442\u0430\u043a, \u0447\u0442\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0441 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0431\u0430\u043b\u043b \u043d\u0438\u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0432\u043a\u043b\u0430\u0434\u0430. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0442\u0435\u0441\u0442 Kamphuis \u0438 \u0434\u0440. \u043d\u0430 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f\u0445 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u043d\u0435 \u043d\u0430\u0448\u0451\u043b. \u0412\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0438 RuBQ \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435: \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 <code>0,003\u20130,009 nDCG@10<\/code> \u0431\u0435\u0437 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0451\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438. \u041c\u0435\u043d\u044f\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u0441\u043e \u0441\u0432\u0435\u0440\u0445\u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u2014 \u043a\u0430\u043a \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u0435\u0442\u043a\u0438, \u0430 \u043d\u0435 \u043a\u0430\u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n<h3>3. \u0412\u044b\u0431\u043e\u0440 \u0441\u0442\u0435\u043a\u0430 \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0443<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/75\/d6\/a8\/75d6a869ca6cee0a924c2ec5d5abc4fb.png\" width=\"1482\" height=\"808\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/75\/d6\/a8\/75d6a869ca6cee0a924c2ec5d5abc4fb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/75\/d6\/a8\/75d6a869ca6cee0a924c2ec5d5abc4fb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0438\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Elasticsearch \/ OpenSearch<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0418\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441, \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u0437\u0440\u0435\u043b\u043e\u0441\u0442\u044c, \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445, \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043b\u0430\u0433\u0438\u043d\u044b \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, JVM, \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0430\u043d\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Pyserini (Anserini)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0451\u0440\u0442\u043a\u0430 \u043d\u0430\u0434 Lucene \u0434\u043b\u044f Python<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0435 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">Java \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044f\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>BM25S<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Eager-\u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432 <code>scipy<\/code> \/ <code>mmap<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0441\u043e\u043a\u0438\u0439 throughput, \u0431\u0435\u0437 JVM, 5 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0430, \u043d\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0445 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>rank-bm25<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0435\u0440\u0435\u0441\u0447\u0451\u0442 \u043d\u0430 \u043b\u0435\u0442\u0443 \u0432 Python<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0437\u0430 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439, \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 IDF<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Rust-\u043a\u0440\u0435\u0439\u0442 <\/strong><code><strong>bm25<\/strong><\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">Sparse-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440 \u0438 in-memory \u0441\u043a\u043e\u0440\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f sparse-\u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0411\u0414<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0425\u044d\u0448-\u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435, \u0442\u043e\u043b\u044c\u043a\u043e in-memory<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0415\u0441\u043b\u0438 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435 \u0440\u0435\u0447\u044c \u0438\u0434\u0451\u0442 \u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u0445 \u0447\u0430\u043d\u043a\u043e\u0432 \u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e \u044e\u0440\u0438\u0441\u0434\u0438\u043a\u0446\u0438\u0438, \u0434\u0430\u0442\u0435 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0438, ACL \u0438\u043b\u0438 \u0442\u0438\u043f\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0440\u0430\u0437\u0443\u043c\u043d\u0435\u0435 \u0441\u0440\u0430\u0437\u0443 \u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 \u0432 OpenSearch \u0438\u043b\u0438 Elasticsearch \u2014 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438 pre-filtering \u0442\u0430\u043c \u0440\u0435\u0448\u0435\u043d\u044b \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438. \u0414\u043b\u044f \u043e\u0444\u0444\u043b\u0430\u0439\u043d-\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043f\u0440\u043e\u0433\u043e\u043d\u043a\u0438 golden set \u0438 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0431\u0435\u0437 \u0447\u0430\u0441\u0442\u044b\u0445 \u0430\u043f\u0434\u0435\u0439\u0442\u043e\u0432 \u043b\u0443\u0447\u0448\u0438\u043c \u0441\u0442\u0435\u043d\u0434\u043e\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f <code>BM25S<\/code>. \u0412\u044b\u043d\u043e\u0441\u0438\u0442\u044c BM25 \u0432 \u0432\u0438\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0436\u0451\u0441\u0442\u043a\u043e\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0432\u0443\u0445 \u0438 \u0441\u0430\u043c\u0430 \u0411\u0414 \u0443\u043c\u0435\u0435\u0442 \u043d\u0430\u0442\u0438\u0432\u043d\u043e \u0441\u043b\u0438\u0432\u0430\u0442\u044c dense \u0438 sparse \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435.<\/p>\n<h3>4. \u041f\u043e\u0431\u0435\u0434\u044b \u0438 \u043f\u043e\u0440\u0430\u0436\u0435\u043d\u0438\u044f: \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/1c\/e4\/4b\/1ce44b4aee0bae9257e0f738f1fdb136.png\" width=\"1480\" height=\"805\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/1c\/e4\/4b\/1ce44b4aee0bae9257e0f738f1fdb136.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/1c\/e4\/4b\/1ce44b4aee0bae9257e0f738f1fdb136.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u0441\u043c\u044b\u0441\u043b, \u043d\u043e \u0441\u043b\u0430\u0431\u043e \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u0440\u0435\u0434\u043a\u0438\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0438 \u043d\u043e\u043c\u0435\u0440\u0430, \u0430 BM25 \u0438\u0449\u0435\u0442 \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e \u0441\u043b\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0444\u0430\u043c\u0438\u043b\u0438\u0439, \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u043e\u0432 \u0438 \u043d\u043e\u043c\u0435\u0440\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u043d \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435. <\/p>\n<p>\u0414\u043b\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432\u0430\u0436\u043d\u044b \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u043d\u0430 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b, \u0438\u0437-\u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u044e\u0442 \u0438\u043b\u0438 \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f.<\/p>\n<p>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a <a href=\"https:\/\/arxiv.org\/abs\/2104.08663\">BEIR (arXiv:2104.08663)<\/a>, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 zero-shot \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0430 \u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0440\u043e\u0434\u043d\u044b\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445, \u0437\u0430\u043a\u0440\u0435\u043f\u0438\u043b \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e: BM25 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u044b\u043c \u0431\u0430\u0437\u043e\u0432\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c, \u0430 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u044c \u0435\u0433\u043e \u0443\u0434\u0430\u0451\u0442\u0441\u044f \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430\u043c \u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u0441 \u043f\u043e\u0437\u0434\u043d\u0438\u043c \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435\u043c (late interaction) \u0446\u0435\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0442\u044f\u0436\u0451\u043b\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u044e\u0431\u043e\u0439 \u043d\u043e\u0432\u044b\u0439 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440 \u0432 R&amp;D \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0441 \u043d\u0443\u043b\u0451\u043c, \u0430 \u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c BM25.<\/p>\n<h4>\u041f\u043b\u043e\u0442\u043d\u044b\u0435 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u044b \u0438 \u0440\u0435\u0434\u043a\u0438\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438<\/h4>\n<p>\u041f\u0440\u0438\u0447\u0438\u043d\u044b, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u043b\u043e\u0442\u043d\u044b\u0435 \u0431\u0438-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u0443\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u043b\u0435\u043a\u0441\u0438\u043a\u0435, \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0441\u043a\u0440\u044b\u043b\u0438 \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/arxiv.org\/abs\/2109.08535\">EntityQuestions (arXiv:2109.08535, EMNLP 2021)<\/a>. \u041d\u0430 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0438\u0434\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 \u0432\u0438\u0434\u0430 \u00ab\u0413\u0434\u0435 \u0440\u043e\u0434\u0438\u043b\u0441\u044f <code>[E]<\/code>?\u00bb DPR, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 Natural Questions, \u043d\u0430\u0431\u0440\u0430\u043b <strong>49,7%<\/strong> \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432 top-20, DPR \u043d\u0430 \u0441\u043c\u0435\u0441\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u2014 <strong>56,7%<\/strong>, \u0430 BM25 \u2014 <strong>72,0%<\/strong>. \u041d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0435 \u00ab\u0421 \u043a\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0431\u0440\u0430\u043a\u0435 <code>[E]<\/code>?\u00bb \u0440\u0430\u0437\u0440\u044b\u0432 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0435\u0449\u0451 \u0436\u0451\u0441\u0442\u0447\u0435: <strong>35,6%<\/strong> \u0438 <strong>48,1%<\/strong> \u043f\u0440\u043e\u0442\u0438\u0432 <strong>89,7%<\/strong> \u0443 BM25. \u041f\u043b\u043e\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0447\u0430\u0441\u0442\u043e\u0442\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0438 \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043d\u0435 \u0441\u043d\u0438\u043c\u0430\u0435\u0442. \u0412 \u043f\u0440\u0430\u0432\u0435, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0435 \u0438\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 \u044d\u0442\u043e \u043f\u0440\u044f\u043c\u0430\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044f \u0434\u043b\u044f \u043d\u043e\u043c\u0435\u0440\u043e\u0432 \u0434\u0435\u043b, \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0439 \u0441\u0442\u0430\u0442\u0435\u0439, \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u043e\u0432 \u0438 \u0440\u0435\u0434\u043a\u0438\u0445 \u0444\u0430\u043c\u0438\u043b\u0438\u0439 \u2014 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441 \u0432\u044b\u0441\u043e\u043a\u0438\u043c <code>IDF<\/code>, \u0433\u0434\u0435 BM25 \u0441\u0438\u043b\u0451\u043d \u043f\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e.<\/p>\n<h4>Touch\u00e9 2020: \u0434\u043b\u0438\u043d\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u043d\u0435\u043f\u043e\u043b\u043d\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430<\/h4>\n<p>\u041f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u0438 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 <a href=\"https:\/\/arxiv.org\/abs\/2407.07790\">Touch\u00e9 2020 (arXiv:2407.07790, SIGIR 2024)<\/a>, \u0433\u0434\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u043b\u0438 BM25. \u0412\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u0440\u0435\u0442\u0440\u0438\u0432\u0435\u0440\u044b \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0442\u044f\u0433\u0438\u0432\u0430\u044e\u0442 \u043d\u0430\u0432\u0435\u0440\u0445 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0447\u0430\u0441\u0442\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438. \u041f\u043e\u0441\u043b\u0435 \u043e\u0447\u0438\u0441\u0442\u043a\u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043e\u0442 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043a\u043e\u0440\u043e\u0447\u0435 20 \u0441\u043b\u043e\u0432 \u0438 \u0434\u043e\u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u043f\u043e\u0434\u043d\u044f\u043b\u043e\u0441\u044c \u0434\u043e <code>0,52 nDCG@10<\/code>, \u043d\u043e BM25 (\u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u044d\u0442\u043e\u0442 \u043f\u0435\u0440\u0435\u043a\u043e\u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043f\u043e \u0434\u043b\u0438\u043d\u0435) \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0432\u043f\u0435\u0440\u0435\u0434\u0438. \u041f\u043e\u043f\u0443\u0442\u043d\u043e \u0432\u0441\u043a\u0440\u044b\u043b\u0430\u0441\u044c \u0432\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u2014 \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f: \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0438 \u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u0438 \u0443 BM25 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043d\u0435 \u0438\u043c\u0435\u043b\u0438 \u043e\u0446\u0435\u043d\u043e\u043a \u0432 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435 \u0438 \u0441\u0447\u0438\u0442\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c\u0438. \u0415\u0441\u043b\u0438 \u0437\u043e\u043b\u043e\u0442\u043e\u0439 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e <code>top-10<\/code> \u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u043d\u0438\u0436\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043b\u044e\u0431\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b.<\/p>\n<h4>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 LLM<\/h4>\n<p>\u041f\u043e\u043f\u044b\u0442\u043a\u0438 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u0447\u0435\u0440\u0435\u0437 LLM \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u0432 <a href=\"https:\/\/arxiv.org\/abs\/2303.07678\">Query2doc (arXiv:2303.07678)<\/a>: few-shot-\u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0441\u0435\u0432\u0434\u043e\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438 \u043f\u0440\u0438\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a \u0437\u0430\u043f\u0440\u043e\u0441\u0443, \u043f\u0440\u0438\u0447\u0451\u043c \u0441\u0430\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f <code>n=5<\/code> \u0440\u0430\u0437, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0443\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435. \u041d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0438\u0445 MS MARCO dev (\u0433\u0434\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 BM25 \u0434\u0430\u0451\u0442 <code>MRR@10 = 18,4<\/code>) \u0438 TREC DL 19\/20 (<code>nDCG@10 = 51,2<\/code> \u0438 <code>47,7<\/code>) \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0442 <strong>3% \u0434\u043e 15%<\/strong>, \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0440\u043e\u0432\u043d\u044f <code>text-davinci-003<\/code> \u2014 \u043c\u0430\u043b\u044b\u0435 LLM \u0434\u0430\u044e\u0442 \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442. \u0412 \u043f\u0440\u043e\u0434\u0435 \u0437\u0430 \u044d\u0442\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u043e\u0439 (&gt;2 \u0441\u0435\u043a\u0443\u043d\u0434 \u043d\u0430 \u0437\u0430\u043f\u0440\u043e\u0441) \u0438 \u0440\u0438\u0441\u043a\u043e\u043c \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439: \u0432\u044b\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u043e\u043c\u0435\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u043b\u0438 \u043a\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u044b\u0441\u043e\u043a\u043e-IDF \u0442\u043e\u043a\u0435\u043d\u043e\u043c \u0438 \u0443\u0432\u043e\u0434\u0438\u0442 \u0432\u044b\u0434\u0430\u0447\u0443 \u0432 \u0447\u0443\u0436\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0441\u0435\u0432\u0434\u043e\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u0447\u0438\u0441\u0442\u0438\u0442\u044c \u043e\u0442 \u0446\u0438\u0444\u0440 \u0438 \u0440\u0435\u043a\u0432\u0438\u0437\u0438\u0442\u043e\u0432, \u043b\u0438\u0431\u043e \u0432\u044b\u043d\u043e\u0441\u0438\u0442\u044c \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u043d\u0438\u0437\u043a\u043e\u0432\u0435\u0441\u043e\u0432\u0443\u044e \u0432\u0435\u0442\u043a\u0443.<\/p>\n<h4>BM25 \u0432 \u043c\u043d\u043e\u0433\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u044b\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u0445<\/h4>\n<p>\u0413\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 BM25 \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u044b\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430\u0445 \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u044b \u043f\u043e \u0434\u0432\u0443\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043c 2026 \u0433\u043e\u0434\u0430. \u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2601.05200\">\u0434\u0432\u0443\u0445\u0441\u0442\u0430\u0434\u0438\u0439\u043d\u043e\u0433\u043e \u0440\u0435\u0440\u0430\u043d\u043a\u0438\u043d\u0433\u0430 multi-vector \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 (arXiv:2601.05200)<\/a> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e BM25 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 recall \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 <code>MRR@10<\/code> \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440\u0430 \u0443 \u043d\u0435\u0433\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043d\u0438\u0436\u0435, \u0447\u0435\u043c \u0443 learned-sparse \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 \u0441\u043b\u0430\u0431\u0430\u044f \u043f\u0435\u0440\u0432\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u0443\u0434\u043e\u0440\u043e\u0436\u0430\u0435\u0442 \u0432\u0442\u043e\u0440\u0443\u044e. \u0412 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 <a href=\"https:\/\/arxiv.org\/abs\/2604.21511\">SAE-SPLADE \u0438 ColBERTv2 (arXiv:2604.21511)<\/a> \u043d\u0430 MS MARCO v1 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u0446\u0435\u043d\u0443 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b: \u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e\u0437\u0434\u043d\u0435\u0433\u043e \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e <strong>20 GiB<\/strong> \u043f\u0440\u043e\u0442\u0438\u0432 <strong>~3 GiB<\/strong> \u0443 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e, \u0430 \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0443 PLAID \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 ~58 \u043c\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 &lt;10 \u043c\u0441 \u0443 sparse. \u041f\u043e\u043a\u0430 \u0431\u044e\u0434\u0436\u0435\u0442 \u043d\u0430 RAM \u0438 latency \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d, \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0443\u0445\u043e\u0434\u044f\u0442.<\/p>\n<h4>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0441\u043b\u0430\u0431\u043e\u0441\u0442\u0438<\/h4>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0441\u043b\u0430\u0431\u043e\u0441\u0442\u0438 BM25 \u043d\u0438\u043a\u0443\u0434\u0430 \u043d\u0435 \u0438\u0441\u0447\u0435\u0437\u0430\u044e\u0442. \u041e\u043d \u0431\u0435\u0441\u0441\u0438\u043b\u0435\u043d \u043f\u0440\u0438 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0430\u0437\u0440\u044b\u0432\u0435 (\u00ab\u0443\u0432\u043e\u043b\u0438\u0442\u044c\u00bb \u043f\u0440\u043e\u0442\u0438\u0432 \u00ab\u0440\u0430\u0441\u0442\u043e\u0440\u0436\u0435\u043d\u0438\u0435 \u0442\u0440\u0443\u0434\u043e\u0432\u043e\u0433\u043e \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0430\u00bb), \u0441\u043b\u0435\u043f \u043a \u043f\u043e\u0440\u044f\u0434\u043a\u0443 \u0441\u043b\u043e\u0432 \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u043d\u0438\u044f\u043c (\u00ab\u043d\u0435 \u043f\u043e\u0434\u043b\u0435\u0436\u0438\u0442\u00bb \u0438 \u00ab\u043f\u043e\u0434\u043b\u0435\u0436\u0438\u0442\u00bb \u0432 \u043c\u0435\u0448\u043a\u0435 \u0441\u043b\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b, \u0430 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u043e\u043f-\u0441\u043b\u043e\u0432 \u0432\u043e\u0432\u0441\u0435 \u0441\u0442\u0438\u0440\u0430\u0435\u0442 \u00ab\u043d\u0435\u00bb), \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442 \u0432\u0435\u0441 \u0441\u0432\u0435\u0440\u0445\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0448\u0443\u043c\u043d\u044b\u0445 \u0447\u0430\u043d\u043a\u043e\u0432 \u0441 \u043e\u0434\u043d\u0438\u043c \u0440\u0435\u0434\u043a\u0438\u043c \u0441\u043b\u043e\u0432\u043e\u043c \u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h3>5. \u0413\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a: \u043a\u043e\u0433\u0434\u0430 RRF \u043d\u0435 \u0441\u043f\u0430\u0441\u0430\u0435\u0442<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/0d\/40\/57\/0d4057e0ea143e2404aa794a6196a674.png\" width=\"1485\" height=\"802\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/0d\/40\/57\/0d4057e0ea143e2404aa794a6196a674.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/0d\/40\/57\/0d4057e0ea143e2404aa794a6196a674.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u0432\u044f\u0437\u043a\u0430 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432, \u043d\u043e \u0432\u0430\u0436\u043d\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442. \u0412\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u043e\u0446\u0435\u043d\u043e\u043a, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0442\u043e\u0447\u043d\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u043e \u043c\u0435\u0441\u0442\u0430\u043c \u0432 \u0432\u044b\u0434\u0430\u0447\u0435, \u043d\u043e \u0432\u0435\u0441\u0430 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0434\u0430\u043d\u043d\u044b\u0435.  <\/p>\n<p>\u041f\u0440\u0438 \u0441\u043b\u0438\u044f\u043d\u0438\u0438 sparse \u0438 dense \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0441\u0442\u0430\u0432\u044f\u0442 Reciprocal Rank Fusion (RRF), \u043e\u0434\u043d\u0430\u043a\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0441\u043b\u0438\u044f\u043d\u0438\u044f \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 Bruch, Gai, Ingber \u2014 <a href=\"https:\/\/arxiv.org\/abs\/2210.11934\">An Analysis of Fusion Functions for Hybrid Retrieval (arXiv:2210.11934)<\/a> \u2014 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u044b\u043f\u0443\u043a\u043b\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043e\u0446\u0435\u043d\u043e\u043a (Convex Combination, CC) \u043e\u0431\u044b\u0433\u0440\u044b\u0432\u0430\u0435\u0442 RRF \u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0434\u043e\u043c\u0435\u043d\u0430, \u0438 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0435. RRF \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0441\u043a\u043e\u0440\u043e\u0432, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u043d\u0433\u0438, \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0430\u043c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0435 <code>k<\/code>, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0432\u0435\u0441 <code>\u03b1<\/code> \u0432 CC \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0430 \u0432\u044b\u0431\u043e\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u043c, \u0447\u0435\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c.<\/p>\n<p>\u0415\u0449\u0451 \u0432\u0430\u0436\u043d\u0435\u0435 \u0432\u044b\u0432\u043e\u0434 \u0438\u0437 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f Louis, van Dijck, Spanakis \u043d\u0430 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u043e\u043c \u043f\u0440\u0430\u0432\u0435 \u2014 <a href=\"https:\/\/arxiv.org\/abs\/2409.01357\">Know When to Fuse (arXiv:2409.01357, COLING 2025)<\/a>. \u0412 zero-shot \u0440\u0435\u0436\u0438\u043c\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u043b\u044e\u0431\u043e\u0439 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0438. \u041d\u043e \u043a\u043e\u0433\u0434\u0430 dense-\u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u043f\u0430\u0440\u0430\u0445 \u00ab\u0432\u043e\u043f\u0440\u043e\u0441 \u2192 \u043d\u043e\u0440\u043c\u0430\u00bb \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u043d\u0430\u0438\u0432\u043d\u043e\u0435 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e <em>\u0443\u0445\u0443\u0434\u0448\u0430\u0435\u0442<\/em> \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435\u0439 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0435\u0441\u043b\u0438 \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0432\u0435\u0441\u0430. \u0413\u0438\u0431\u0440\u0438\u0434 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u0431\u044b\u0442\u044c \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u043c \u0431\u043e\u043d\u0443\u0441\u043e\u043c.<\/p>\n<pre><code class=\"python\">def minmax(scores):    # scores: dict[doc_id, float] \u043f\u043e top-K \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0438    if not scores:        return {}    lo, hi = min(scores.values()), max(scores.values())    if hi == lo:        return {k: 1.0 for k in scores}    return {k: (v - lo) \/ (hi - lo) for k, v in scores.items()}def convex_fusion(bm25, dense, alpha=0.5, top_n=50):    a, b = minmax(bm25), minmax(dense)    ids = set(a) | set(b)    fused = {i: alpha * a.get(i, 0.0) + (1 - alpha) * b.get(i, 0.0) for i in ids}    return sorted(fused, key=fused.get, reverse=True)[:top_n]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043a\u0440\u044b\u0442\u044b \u0434\u0432\u0430 \u043d\u044e\u0430\u043d\u0441\u0430. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, <code>minmax<\/code> \u043f\u043e <code>top-K<\/code> \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d \u043a \u0441\u0430\u043c\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 <code>K<\/code>: \u043f\u0440\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u0432\u044b\u0434\u0430\u0447\u0438 \u043c\u0435\u0436\u0434\u0443 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439 \u0438 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u043e\u043c \u0442\u0435 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442 \u0434\u0440\u0443\u0433\u0438\u0435 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <code>K<\/code> \u043d\u0443\u0436\u043d\u043e \u0436\u0451\u0441\u0442\u043a\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u043e\u0439, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u0432\u0442\u043e\u0440\u043e\u0439 <code>0.0<\/code> \u2014 \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u043f\u043e \u044d\u0442\u043e\u0439 \u0432\u0435\u0442\u043a\u0435.<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0433\u0438\u0431\u0440\u0438\u0434\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u043e\u044d\u0442\u0430\u043f\u043d\u043e. \u041f\u043e\u043a\u0430 \u043d\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438, \u0431\u0435\u0440\u0438\u0442\u0435 <code>RRF (k=60)<\/code> \u043a\u0430\u043a \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0434\u0435\u0444\u043e\u043b\u0442; \u0437\u0430\u0442\u0435\u043c \u0441\u043e\u0431\u0435\u0440\u0438\u0442\u0435 50\u2013100 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043f\u043e\u0434\u0431\u0435\u0440\u0438\u0442\u0435 <code>\u03b1<\/code> \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u043e\u043c \u043f\u043e \u0441\u0435\u0442\u043a\u0435 \u043e\u0442 <code>0.0<\/code> \u0434\u043e <code>1.0<\/code> \u0441 \u0448\u0430\u0433\u043e\u043c <code>0.1<\/code> \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435 CC \u0441 RRF \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u043d\u044b\u0439 bootstrap. \u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u0430, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0439\u0442\u0435 RRF \u2014 \u043e\u043d \u043f\u0440\u043e\u0449\u0435 \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0435\u0435 \u043a \u0437\u0430\u043c\u0435\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 CC \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 dense-\u044d\u043d\u043a\u043e\u0434\u0435\u0440, \u043f\u0435\u0440\u0435\u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0439\u0442\u0435 <code>\u03b1<\/code> \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<h3>6. \u041c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 BM25<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/0d\/cd\/3c\/0dcd3c2e03d9e38a18c3d274edf02af8.png\" width=\"1481\" height=\"803\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/0d\/cd\/3c\/0dcd3c2e03d9e38a18c3d274edf02af8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/0d\/cd\/3c\/0dcd3c2e03d9e38a18c3d274edf02af8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0418\u0437 \u044d\u043a\u0441\u0442\u0435\u043d\u0448\u0435\u043d\u043e\u0432 \u0441\u0430\u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f <a href=\"https:\/\/arxiv.org\/abs\/2408.06643\">BMX (arXiv:2408.06643)<\/a>, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0439 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u0438 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 LLM (WQA). \u041f\u043e \u0434\u0430\u043d\u043d\u044b\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043e\u043d \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 BM25 \u0438 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u043e\u0432 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u0435\u0442 \u0441 \u043f\u043b\u043e\u0442\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043f\u043e\u043a\u0430 \u043d\u0435\u0442, \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0441\u0442\u043e\u0438\u0442 \u043b\u0438\u0448\u044c \u043a\u0430\u043a \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u0430 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0432 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0443\u0436\u0435 \u0433\u043e\u0442\u043e\u0432\u044b \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0437\u0430 LLM \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<p>\u041d\u0430\u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u0435\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043c\u0435\u043d\u044f\u044e\u0449\u0438\u0435 \u043d\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0443, \u0430 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 BM25. \u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 (<code>doc2query<\/code> \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0439 BM25 \u0432 \u0434\u0443\u0445\u0435 Anthropic) \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043a \u0447\u0430\u043d\u043a\u0430\u043c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u0441\u0435\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c LLM \u0441 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u044d\u0442\u0430\u043f \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438, \u0433\u0434\u0435 \u0435\u0451 \u043c\u043e\u0436\u043d\u043e \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412\u0442\u043e\u0440\u043e\u0439 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u2014 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0435\u0439 (<code>BM25F<\/code> \u0438\u043b\u0438 <code>combined_fields<\/code> \u0432 Elasticsearch), \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0435\u0435 \u043e\u0442\u0434\u0435\u043b\u0438\u0442\u044c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u043b\u0438 \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u043e\u0442 \u0442\u0435\u043b\u0430 \u043f\u0443\u043d\u043a\u0442\u0430: \u0432 \u043d\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0430\u043a\u0442\u0430\u0445 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0432 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0435\u0441\u043e\u043c\u0435\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0430 \u0444\u0440\u0430\u0437\u044b \u0432 \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<h3>7. \u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u0439 \u0434\u043e\u043c\u0435\u043d: \u0442\u044f\u043d\u0435\u0442 \u0438\u043b\u0438 \u043d\u0435 \u0442\u044f\u043d\u0435\u0442<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/56\/66\/cb\/5666cb5a8965f55546a9ac91f85a0ce0.png\" width=\"1478\" height=\"803\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/56\/66\/cb\/5666cb5a8965f55546a9ac91f85a0ce0.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/56\/66\/cb\/5666cb5a8965f55546a9ac91f85a0ce0.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0434\u0430\u0451\u0442 \u043d\u0435 \u00ab\u0443\u043c\u043d\u0430\u044f\u00bb \u0444\u043e\u0440\u043c\u0443\u043b\u0430, \u0430 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0430\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0442\u0435\u043a\u0441\u0442\u0430. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d\u043d\u044b\u0435 \u043a \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0435 \u0441\u043b\u043e\u0432\u0430, \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0435 \u0446\u0438\u0444\u0440\u044b \u0438 \u0447\u0430\u0441\u0442\u0438\u0446\u0430 \u00ab\u043d\u0435\u00bb \u0438 \u0440\u0430\u0437\u0443\u043c\u043d\u0430\u044f \u043d\u0430\u0440\u0435\u0437\u043a\u0430 \u043d\u0430 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0432\u043b\u0438\u044f\u044e\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043b\u044e\u0431\u044b\u0435 \u0434\u043e\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.  <\/p>\n<p>\u041d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435 RuBQ \u043f\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 BM25 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u043d\u044f\u043b\u043e\u0441\u044c \u043e\u0442 <code>0,282 nDCG@10<\/code> (\u0441\u044b\u0440\u044b\u0435 \u0441\u043b\u043e\u0432\u043e\u0444\u043e\u0440\u043c\u044b \u0431\u0435\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438) \u0434\u043e <code>0,384 nDCG@10<\/code> (\u0443\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u043e \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0430 \u0438\u0437 \u043f\u044f\u0442\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432) \u2014 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b <strong>+0,10<\/strong>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0441\u0430\u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u0430\u0432\u0430\u043b \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043e\u043a\u043e\u043b\u043e <code>0,005<\/code>. \u0410\u043d\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u0440\u0430\u0437 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0441\u0430\u043c\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c BM25L \u0441 Lucene \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e.<\/p>\n<p>\u041f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u2014 Snowball-\u0441\u0442\u0435\u043c\u043c\u0435\u0440, \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044e (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>pymorphy3<\/code>), \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u043b\u0430\u0433\u0438\u043d\u044b \u0438\u043b\u0438 \u0443\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u043e N \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u2014 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435: \u0433\u0440\u0443\u0431\u043e\u0435 \u0443\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0434\u043e \u043f\u044f\u0442\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e \u043d\u0430 RuBQ, \u043d\u043e \u0432 \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u043a\u0430\u043d\u0446\u0435\u043b\u044f\u0440\u0438\u0437\u043c\u0430\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0443\u043c N \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u043d\u0435 \u0443\u0434\u0430\u043b\u044f\u0442\u044c \u0438\u0437 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0447\u0430\u0441\u0442\u0438\u0446\u0443 \u00ab\u043d\u0435\u00bb, \u0441\u043e\u044e\u0437\u044b \u00ab\u0438\u043b\u0438\u00bb, \u00ab\u043b\u0438\u0431\u043e\u00bb, \u043f\u0440\u0435\u0434\u043b\u043e\u0433 \u00ab\u043a\u0440\u043e\u043c\u0435\u00bb \u0438 \u0446\u0438\u0444\u0440\u044b. BM25 \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043b\u043e\u0433\u0438\u043a\u0443 \u0444\u0440\u0430\u0437\u044b \u00ab\u043d\u0435 \u043f\u043e\u0434\u043b\u0435\u0436\u0438\u0442\u00bb, \u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0432\u043a\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043d\u0430 \u044d\u0442\u0430\u043f \u0440\u0435\u0440\u0430\u043d\u043a\u0438\u043d\u0433\u0430, \u0430 \u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u0432\u0440\u043e\u0434\u0435 \u00ab\u0441\u0442. 395\u00bb \u0438\u043c\u0435\u043d\u043d\u043e <code>395<\/code> \u043d\u0435\u0441\u0451\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443.<\/p>\n<h4>\u0418\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u0438 \u0441\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043d\u043e\u0440\u043c\u044b<\/h4>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043e\u0431\u044b\u0447\u043d\u043e \u0440\u0435\u0436\u0435\u0442 \u0441\u0441\u044b\u043b\u043a\u0438 \u0432\u0438\u0434\u0430 \u00ab\u0441\u0442. 395\u00bb, \u00ab\u043f. 1.1\u00bb \u0438\u043b\u0438 \u00ab\u2116 14-\u0424\u0417\u00bb \u043d\u0430 \u043e\u0431\u043b\u043e\u043c\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435 \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0442\u044c \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u0440\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 <code>keyword<\/code>-\u043f\u043e\u043b\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <code>gk_rf_395<\/code>), \u0430 \u0430\u0431\u0431\u0440\u0435\u0432\u0438\u0430\u0442\u0443\u0440\u044b \u0438 \u043f\u043e\u043b\u043d\u044b\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f (\u00ab\u0413\u041a \u0420\u0424\u00bb \u0438 \u00ab\u0413\u0440\u0430\u0436\u0434\u0430\u043d\u0441\u043a\u0438\u0439 \u043a\u043e\u0434\u0435\u043a\u0441 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 \u0424\u0435\u0434\u0435\u0440\u0430\u0446\u0438\u0438\u00bb) \u0441\u0432\u043e\u0434\u0438\u0442\u044c synonym-\u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c \u0432 \u043e\u0434\u0438\u043d \u0442\u0435\u0440\u043c:<\/p>\n<pre><code class=\"python\">import reART = re.compile(r'\u0441\u0442(?:\u0430\u0442\u044c\u044f|\u0430\u0442\u044c\u0438|\u0430\u0442\u044c\u0435|\\.)?\\s*(\\d+(?:\\.\\d+)*)', re.IGNORECASE)def extract_refs(text, code_alias):    # code_alias: 'gk_rf', 'tk_rf' \u0438 \u0442. \u0434., \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430    return [f'{code_alias}_{m.group(1)}' for m in ART.finditer(text)]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<h4>\u0420\u0435\u0434\u0430\u043a\u0446\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043e\u0442\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 IDF<\/h4>\n<p>\u041f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0432\u0430\u0436\u043d\u043e \u043d\u0435 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043e\u0442\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f <code>IDF<\/code>. \u0415\u0441\u043b\u0438 \u0432 \u043e\u0434\u0438\u043d \u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432\u0441\u0435 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0438 \u043a\u043e\u0434\u0435\u043a\u0441\u0430, \u0442\u0435\u043a\u0441\u0442 \u0441\u0442\u0430\u0442\u0435\u0439 \u0434\u0443\u0431\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u0440\u0430\u0437, <code>df<\/code> \u0440\u0430\u0441\u0442\u0451\u0442, \u0430 <code>IDF<\/code> \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u043f\u0430\u0434\u0430\u0435\u0442. \u0412\u044b\u0445\u043e\u0434 \u2014 \u043b\u0438\u0431\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0439, \u0432\u044b\u043d\u0435\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441, \u043b\u0438\u0431\u043e \u0434\u0435\u0434\u0443\u043f\u043b\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b\u0435 \u0447\u0430\u043d\u043a\u0438 \u043f\u0435\u0440\u0435\u0434 \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044f \u0444\u0438\u043b\u044c\u0442\u0440 \u043f\u043e \u0434\u0430\u0442\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0432 \u043e\u0431\u0435\u0438\u0445 \u0432\u0435\u0442\u043a\u0430\u0445 \u0433\u0438\u0431\u0440\u0438\u0434\u0430.<\/p>\n<h4>\u0414\u043b\u0438\u043d\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0447\u0430\u043d\u043a\u0438\u043d\u0433<\/h4>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0434\u043b\u044f \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 (\u0432 \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043c\u0435\u0434\u0438\u0430\u043d\u0430 \u0434\u043b\u0438\u043d\u044b \u2014 1 396 \u0441\u043b\u043e\u0432, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u2014 505 809) \u043d\u0430\u0440\u0435\u0437\u043a\u0430 \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u043f\u043e \u043b\u0443\u0447\u0448\u0435\u043c\u0443 \u0447\u0430\u043d\u043a\u0443 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u0441\u043c\u0435\u043d\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043d\u0430 BM25L: \u0432 \u0442\u0435\u0441\u0442\u0430\u0445 \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u043f\u043e 100 \u0441\u043b\u043e\u0432 \u0434\u0430\u043b\u0438 <strong>+0,022 nDCG@10<\/strong> \u043f\u0440\u043e\u0442\u0438\u0432 <strong>+0,004<\/strong> \u0438 <strong>+0,003<\/strong> \u0443 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e 200 \u0438 400 \u0441\u043b\u043e\u0432. \u042d\u0442\u043e \u0436\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u043e <a href=\"https:\/\/arxiv.org\/abs\/2504.12879\">RusBEIR (arXiv:2504.12879)<\/a>: \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u0440\u0443\u0441\u0441\u043a\u0438\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c BM25 \u043d\u0430\u0431\u0440\u0430\u043b <code>52,16 nDCG@10<\/code> \u043f\u0440\u043e\u0442\u0438\u0432 <code>60,12<\/code> \u0443 <code>mE5-large<\/code>, <code>61,13<\/code> \u0443 <code>BGE-M3<\/code> \u0438 <code>59,87<\/code> \u0443 BM25 \u0441 \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440\u043e\u043c, \u043d\u043e \u043d\u0430 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447\u0435 \u0441 \u043f\u043e\u043b\u043d\u044b\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0441\u0442\u0430\u0442\u0435\u0439 BM25 \u043e\u0431\u043e\u0433\u043d\u0430\u043b <code>BGE-M3<\/code> \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 <strong>13 \u043f\u0443\u043d\u043a\u0442\u043e\u0432<\/strong>, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0435 \u043e\u043a\u043d\u043e, \u0430 \u0443 BM25 \u2014 \u043d\u0435\u0442.<\/p>\n<h3>8. \u041a\u0430\u043a \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/5c\/02\/88\/5c02887f3829934b945aab940971fe23.png\" width=\"1478\" height=\"804\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/5c\/02\/88\/5c02887f3829934b945aab940971fe23.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/5c\/02\/88\/5c02887f3829934b945aab940971fe23.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412\u0441\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d:<\/p>\n<pre><code>\u0437\u0430\u043f\u0440\u043e\u0441 -&gt; \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f (\u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f \/ \u0441\u0442\u0435\u043c\u043c\u0438\u043d\u0433)       -&gt; \u0434\u043e\u0440\u043e\u0436\u043a\u0430 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432: regex -&gt; exact match \u043f\u043e gk_rf_395, \u043d\u043e\u043c\u0435\u0440\u0430\u043c \u0434\u0435\u043b       -&gt; BM25 (ru_legal, k1\/b \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u044b) top-100 --\\       -&gt; dense (BGE-M3 \u0438\u043b\u0438 mE5)          top-100 ---&gt; CC \u0438\u043b\u0438 RRF -&gt; \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440 -&gt; top-8 -&gt; LLM       (\u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e \u044e\u0440\u0438\u0441\u0434\u0438\u043a\u0446\u0438\u0438 \u0438 \u0434\u0430\u0442\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043e\u0431\u0435\u0438\u0445 \u0432\u0435\u0442\u043a\u0430\u0445)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0421\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a Elasticsearch \u0432 \u0432\u0438\u0434\u0435 \u0441\u043b\u043e\u0432\u0430\u0440\u044f \u0434\u043b\u044f Python-\u043a\u043b\u0438\u0435\u043d\u0442\u0430 (\u0441\u0442\u0435\u043c\u043c\u0435\u0440 \u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <code>k1=1.2, b=0.5<\/code> \u0437\u0434\u0435\u0441\u044c \u0441\u043b\u0443\u0436\u0430\u0442 \u043a\u0430\u0440\u043a\u0430\u0441\u043e\u043c \u0434\u043e \u0437\u0430\u043c\u0435\u0440\u043e\u0432 \u043d\u0430 dev-\u0432\u044b\u0431\u043e\u0440\u043a\u0435):<\/p>\n<pre><code class=\"python\">settings = {    'index': {'similarity': {'legal_bm25': {'type': 'BM25', 'k1': 1.2, 'b': 0.5}}},    'analysis': {        'filter': {            'legal_syn': {                'type': 'synonym',                'synonyms': ['\u0433\u043a \u0440\u0444, \u0433\u0440\u0430\u0436\u0434\u0430\u043d\u0441\u043a\u0438\u0439 \u043a\u043e\u0434\u0435\u043a\u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u0439 \u0444\u0435\u0434\u0435\u0440\u0430\u0446\u0438\u0438'],            },            'ru_stem': {'type': 'stemmer', 'language': 'russian'},        },        'analyzer': {            'ru_legal': {                'tokenizer': 'standard',                'filter': ['lowercase', 'legal_syn', 'ru_stem'],            },        },    },}mappings = {    'properties': {        'text':  {'type': 'text', 'analyzer': 'ru_legal', 'similarity': 'legal_bm25'},        'title': {'type': 'text', 'analyzer': 'ru_legal', 'similarity': 'legal_bm25'},        'refs':  {'type': 'keyword'},        'valid_from': {'type': 'date'},        'valid_to':   {'type': 'date'},    }}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0442\u0442\u0435\u0440\u043d<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0438\u0441\u043a<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>BM25 \u043a\u0430\u043a \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0442\u043e\u043b\u043e\u043a \u0437\u0430\u0434\u0430\u0451\u0442 <code>Recall@N<\/code> \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0413\u0438\u0431\u0440\u0438\u0434 BM25 + dense (CC \/ RRF)<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u043b\u0438\u044f\u043d\u0438\u0435 \u0443\u0445\u0443\u0434\u0448\u0430\u0435\u0442 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e dense-\u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0435\u0437 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0414\u043e\u0440\u043e\u0436\u043a\u0430 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u043e\u0432<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u043e, \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u044b, \u0442\u0438\u043a\u0435\u0442\u044b, \u043b\u043e\u0433\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 LLM<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u044b\u0442\u043e\u0432\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0440\u044b\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0438 \u0432\u044b\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u043a\u0432\u0438\u0437\u0438\u0442\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u043b\u0435\u043a\u0441\u0438\u043a\u0438 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u0438 \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438 \u043f\u0440\u0430\u0432\u043a\u0430\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>BM25 \u043a\u0430\u043a sparse-\u0432\u0435\u043a\u0442\u043e\u0440 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0441\u0435\u0440\u0432\u0438\u0441 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0432\u0443\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0440\u0435\u0439\u0444 <code>avgdl<\/code> \u0438 \u0445\u044d\u0448-\u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>9. \u041f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043e\u0446\u0435\u043d\u043a\u0438<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/7e\/84\/76\/7e8476d95f738d2105f0501af1d1db25.png\" width=\"1487\" height=\"808\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/7e\/84\/76\/7e8476d95f738d2105f0501af1d1db25.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/7e\/84\/76\/7e8476d95f738d2105f0501af1d1db25.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041e\u043f\u0438\u0440\u0430\u044f\u0441\u044c \u043d\u0430 \u0443\u0440\u043e\u043a Touch\u00e9 \u043e \u043d\u0435\u043f\u043e\u043b\u043d\u043e\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438, \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044e \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441:<\/p>\n<ol>\n<li>\n<p><strong>\u0421\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 golden set.<\/strong> \u0421\u043e\u0431\u0435\u0440\u0438\u0442\u0435 200\u2013500 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0440\u0430\u0437\u0431\u0435\u0439\u0442\u0435 \u0438\u0445 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c: \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b, \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u043a\u0438, \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439, \u0431\u044b\u0442\u043e\u0432\u0430\u044f \u043b\u0435\u043a\u0441\u0438\u043a\u0430. \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0432 \u0440\u0430\u0437\u0440\u0435\u0437\u0435 \u043a\u043b\u0430\u0441\u0441\u043e\u0432, \u0438\u043d\u0430\u0447\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0441\u043a\u0440\u043e\u0435\u0442 \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0443 \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0443\u043b\u0438\u043d\u0433 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c.<\/strong> \u0420\u0430\u0437\u043c\u0435\u0447\u0430\u0439\u0442\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0439 <code>top-20<\/code> \u0432\u0441\u0435\u0445 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 (BM25 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440\u0430\u043c\u0438, dense, \u0433\u0438\u0431\u0440\u0438\u0434), \u0430 \u043d\u0435 \u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0435\u0440\u0430\u0440\u0445\u0438\u044f \u0442\u044e\u043d\u0438\u043d\u0433\u0430.<\/strong> \u041f\u043e\u0434\u0431\u0438\u0440\u0430\u0439\u0442\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430 <code>dev<\/code>-\u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0440\u043e\u0433\u043e \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u00ab\u0430\u043d\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440 \u0438 \u0447\u0430\u043d\u043a\u0438\u043d\u0433 \u2192 <code>k1<\/code> \u0438 <code>b<\/code> \u2192 <code>\u03b4<\/code> (\u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0435 BM25L\/+) \u2192 <code>\u03b1<\/code> \u0432 \u0433\u0438\u0431\u0440\u0438\u0434\u0435\u00bb, \u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0437\u0430\u043c\u0435\u0440 \u043d\u0430 <code>test<\/code> \u0434\u0435\u043b\u0430\u0439\u0442\u0435 \u043e\u0434\u0438\u043d \u0440\u0430\u0437.<\/p>\n<\/li>\n<li>\n<p><strong>\u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a \u043f\u043e \u0441\u0442\u0430\u0434\u0438\u044f\u043c.<\/strong> \u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0434\u0438\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0439\u0442\u0435 <code>Recall@50<\/code> \u0438 <code>Recall@100<\/code>, \u0434\u043b\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440\u0430 \u2014 <code>nDCG@10<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438.<\/strong> \u041b\u044e\u0431\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u043f\u0430\u0440\u043d\u044b\u043c bootstrap \u043f\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430:<\/p>\n<\/li>\n<\/ol>\n<pre><code class=\"python\">import numpy as npdef paired_bootstrap(a, b, n=10000, seed=0):    # a, b: \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0443 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0441\u0438\u0441\u0442\u0435\u043c (\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a)    rng = np.random.default_rng(seed)    diffs = np.asarray(a, dtype=float) - np.asarray(b, dtype=float)    idx = rng.integers(0, len(diffs), size=(n, len(diffs)))    means = diffs[idx].mean(axis=1)    lo, hi = np.percentile(means, [2.5, 97.5])    return float(diffs.mean()), (float(lo), float(hi))# \u0415\u0441\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b [lo, hi] \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 0, \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u043d<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0432 205 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (\u043a\u0430\u043a \u0432 \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u043e\u043a\u0441\u0438-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0435) \u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430 \u0441 <code>0,01<\/code>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 <code>+0,009<\/code> \u0443 BM25L \u0431\u0435\u0437 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<h3>10. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/bb\/fd\/90\/bbfd907d19943d70e0aa5cb276965280.png\" width=\"1477\" height=\"790\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/bb\/fd\/90\/bbfd907d19943d70e0aa5cb276965280.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/bb\/fd\/90\/bbfd907d19943d70e0aa5cb276965280.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0432\u0430\u043b\u043e\u0432 \u043f\u0440\u0438 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 BM25 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438 \u043e \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u0435\u0433\u043e \u043e\u0446\u0435\u043d\u043e\u043a \u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438. \u0416\u0451\u0441\u0442\u043a\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u043e\u0442\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u043c\u0443 \u0441\u043a\u043e\u0440\u0443 (\u00ab\u0432\u044b\u0448\u0435 12 \u2014 \u043d\u0430\u0439\u0434\u0435\u043d\u043e\u00bb) \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438 \u0441\u043c\u0435\u043d\u0435 \u0434\u043b\u0438\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438\u043b\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u0440\u043e\u0432\u043d\u043e \u043a\u0430\u043a \u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u043e\u0432\u044b\u0435 \u0441\u043a\u043e\u0440\u044b \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0438 \u043c\u0430\u0436\u043e\u0440\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 Lucene. \u041d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043e\u043f\u0430\u0441\u043d\u0430 \u0443\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445: \u043f\u043e\u0434\u0431\u043e\u0440 <code>k1<\/code> \u0438 <code>b<\/code> \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0441\u0434\u0430\u0451\u0442\u0441\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0430 \u043d\u043e\u0432\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0435 <code>top-10<\/code> \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0440\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438. \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u0438\u0446\u044b \u00ab\u043d\u0435\u00bb \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u0441\u043e\u044e\u0437\u043e\u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u0441\u0442\u043e\u043f-\u043b\u0438\u0441\u0442\u0430\u043c\u0438 \u0440\u0430\u0437\u0440\u0443\u0448\u0430\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0438 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043d\u043e\u0440\u043c, \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u043e \u0434\u0430\u0442\u0435 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0438 \u0438\u043b\u0438 \u044e\u0440\u0438\u0441\u0434\u0438\u043a\u0446\u0438\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0442\u043a\u0435 \u0433\u0438\u0431\u0440\u0438\u0434\u0430 \u043f\u0440\u043e\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442 \u0432 \u043e\u0442\u0432\u0435\u0442 \u0443\u0442\u0440\u0430\u0442\u0438\u0432\u0448\u0438\u0435 \u0441\u0438\u043b\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b, \u0430 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u0430\u043a\u0442\u0430 \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u0438\u0441\u043a\u0430\u0436\u0430\u0435\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 <code>IDF<\/code>.<\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0432\u0440\u0435\u0434\u044f\u0442 \u043e\u0431\u0435 \u043a\u0440\u0430\u0439\u043d\u043e\u0441\u0442\u0438 \u0432 \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u0430. \u0421\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c BM25 \u043a\u0430\u043a \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0438\u0439 \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u0430\u0436\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 EntityQuestions (49,7% \u0443 dense \u043f\u0440\u043e\u0442\u0438\u0432 72,0% \u043d\u0430 \u0440\u0435\u0434\u043a\u0438\u0445 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u044f\u0445), \u043d\u043e \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0435\u0433\u043e \u0431\u0435\u0437 dense-\u0432\u0435\u0442\u043a\u0438 \u0438\u043b\u0438 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u043d\u0435\u043b\u044c\u0437\u044f \u2014 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 \u043e\u0431\u043d\u0443\u043b\u0438\u0442 \u0432\u044b\u0434\u0430\u0447\u0443. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f LLM-\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430 \u043b\u0435\u0442\u0443, \u0435\u0433\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c \u0432 \u0438\u043d\u0434\u0435\u043a\u0441 \u0431\u0435\u0437 \u0441\u0430\u043d\u0438\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043d\u043e\u043c\u0435\u0440\u043e\u0432 \u0438 \u043a\u043e\u0434\u043e\u0432.<\/p>\n<h3>\u0413\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438<\/h3>\n<p>\u0440\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0435 \u044d\u0442\u0438\u0445 \u0446\u0438\u0444\u0440 \u0432 \u0441\u0432\u043e\u0439 \u043f\u0440\u043e\u0435\u043a\u0442 \u0432\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0442\u0440\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>\u041f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u043f\u043e \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0443 \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u043c\u0435\u043d\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0435 <code>RuBQ<\/code> \u0438 \u043f\u0440\u043e\u0433\u043e\u043d \u043d\u0430 205 \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u0431\u0435\u0437 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0430\u0441\u0441\u0430 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432 (<code>BEIR<\/code>, <code>EntityQuestions<\/code>, <code>MS MARCO<\/code>, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 Louis \u0438 \u0434\u0440.) \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c \u0438 \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0430\u0445: \u0441\u0430\u043c\u0438 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442\u0441\u044f, \u043d\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u0439 \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><code>BMX<\/code> \u0438 <code>query2doc<\/code> \u043e\u043f\u0438\u0441\u0430\u043d\u044b \u043f\u043e \u0441\u0442\u0430\u0442\u044c\u044f\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0434\u043e \u0437\u0430\u043a\u043b\u0430\u0434\u043a\u0438 \u0432 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h3>\n<p>0. <a href=\"https:\/\/docs.google.com\/document\/d\/1tqF35u2Kn9fkl14RbS_gWjx8Qm7ak8vMknV9gPjfbfw\/edit?tab=t.0\">\u041d\u043e\u0441\u043e\u0432 \u0410.\u0412. BM25 \u0434\u043b\u044f \u041d\u0435\u0439\u0440\u043e\u042e\u0440\u0438\u0441\u0442\u0430, \u041e\u0442\u0447\u0451\u0442 \u043e\u0442 13 \u043d\u043e\u044f\u0431\u0440\u044f 2026<\/a> <\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2104.08663\">BEIR, arXiv:2104.08663<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2109.08535\">Simple Entity-Centric Questions Challenge Dense Retrievers, arXiv:2109.08535<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2407.07790\">Touch\u00e9 2020 Argument Retrieval Subset of BEIR, arXiv:2407.07790<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2407.03618\">BM25S, arXiv:2407.03618<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2408.06643\">BMX, arXiv:2408.06643<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2210.11934\">An Analysis of Fusion Functions for Hybrid Retrieval, arXiv:2210.11934<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2409.01357\">Know When to Fuse, arXiv:2409.01357<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2303.07678\">Query2doc, arXiv:2303.07678<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2601.05200\">Multivector Reranking in the Era of Strong First-Stage Retrievers, arXiv:2601.05200<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2604.21511\">From Tokens to Concepts: Leveraging SAE for SPLADE, arXiv:2604.21511<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2307.10488\">SPRINT, arXiv:2307.10488<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2504.12879\">RusBEIR, arXiv:2504.12879<\/a><\/p>\n<\/li>\n<li>\n<p>Lv Y., Zhai C. <em>Lower-bounding term frequency normalization<\/em> (CIKM 2011); <em>When documents are very long, BM25 fails!<\/em> (SIGIR 2011).<\/p>\n<\/li>\n<li>\n<p>Kamphuis C. \u0438 \u0434\u0440. <em>Which BM25 Do You Mean?<\/em> (ECIR 2020).<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/habr.com\/ru\/articles\/860830\/\">\u0420\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u043b\u043d\u043e\u0442\u0435\u043a\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 BM25 \u2014 \u0425\u0430\u0431\u0440<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/academy.claude.com\/courses\/building-with-the-claude-api\/bm25-lexical-search\">BM25 lexical search \u2014 Claude Academy<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/Michael-JB\/bm25\">Michael-JB\/bm25 \u2014 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f BM25 \u043a\u0430\u043a sparse-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430 \u043d\u0430 Rust<\/a><\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1109666\/\">https:\/\/habr.com\/ru\/articles\/1109666\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041c\u0430\u0442\u0447\u0430\u0441\u0442\u044c \u043f\u043e BM25 \u0443\u0436\u0435 \u043c\u043d\u043e\u0433\u043e \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0430\u0441\u044c \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445: \u043e\u0442 \u042d\u0432\u0430\u043d\u0430 \u0428\u0432\u0430\u0440\u0446\u0430 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435, \u0433\u0434\u0435 \u043e\u043d \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u043b \u0432\u044b\u0432\u043e\u0434 IDF \u0438\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0420\u043e\u0431\u0435\u0440\u0442\u0441\u043e\u043d\u0430 \u0438 \u0421\u043f\u0430\u0440\u043a-\u0414\u0436\u043e\u043d\u0441, \u0432 \u043a\u0443\u0440\u0441\u0435 Claude Academy \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u043d\u0446\u0438\u0434\u0435\u043d\u0442\u0430 INC-2023-Q4-011 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u043f\u043e\u0447\u0435\u043c\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u043e\u0438\u0441\u043a \u0442\u0435\u0440\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u044b\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u044b, \u0430 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 Michael-JB\/bm25 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 BM25 \u0432 \u0432\u0438\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u043d\u0430 Rust. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0441\u043c\u044b\u0441\u043b\u0430 \u043d\u0435\u0442 &#8212; \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0432\u044b\u0448\u0435.\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 BM25 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0430 \u043a\u0430\u043a \u043d\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u043c\u0438, \u0438\u0437\u0443\u0447\u0438\u043c \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c \u0435\u0433\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u0431\u0435\u0440\u0451\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0433\u0438\u0431\u0440\u0438\u0434\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438. \u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u0437 \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u043e \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c (\u0430\u043a\u0430 \u041d\u0435\u0439\u0440\u043e\u042e\u0440\u0438\u0441\u0442).\u0418\u0437 \u0432\u0432\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0430\u0437\u0443 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u0442\u044b\u0440\u0435 \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d. \u0421\u043a\u043e\u0440 BM25 &#8212; \u044d\u0442\u043e \u043d\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c: \u043e\u043d \u043d\u0435 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d \u0438 \u043d\u0435 \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0438 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f\u043c\u0438, \u043d\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432 \u0432\u0438\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441 \u043f\u0440\u0435\u0434\u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0441\u0430\u043c\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0442\u0438 \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u043d\u0430 \u044d\u0442\u0430\u043f \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438. \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 &#8212; \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435: \u043f\u0440\u0438 \u0432\u0441\u0442\u0430\u0432\u043a\u0435 \u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 avgdl \u0434\u0440\u0435\u0439\u0444\u0443\u0435\u0442, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 avgdl \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 b \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0442\u044c, \u0430 \u043f\u0440\u0438 \u043f\u043e\u043b\u043d\u043e\u043c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u2014 \u043e\u0431\u043d\u0443\u043b\u044f\u0442\u044c (b = 0).TL;DRBM25 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u00ab\u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u00bb \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0438\u0441\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u044b\u043c. \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0432\u0441\u0435\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438. \u041a\u043e\u0433\u0434\u0430 \u0432\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0438\u043b\u0438 \u0443\u0434\u0430\u043b\u044f\u0435\u0442\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b, \u043e\u0446\u0435\u043d\u043a\u0438 \u00ab\u043f\u043b\u044b\u0432\u0443\u0442\u00bb, \u0438 \u0438\u043d\u0434\u0435\u043a\u0441 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c.\u041e\u0446\u0435\u043d\u043a\u0438 BM25 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u0423 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0432\u043e\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430, \u0438 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0438 \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u0438 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438.\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a \u043f\u043b\u043e\u0445\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0440\u0435\u0434\u043a\u043e\u0435: \u0444\u0430\u043c\u0438\u043b\u0438\u0438, \u043d\u043e\u043c\u0435\u0440\u0430 \u0434\u0435\u043b, \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b. \u041d\u0430 \u0442\u0435\u0441\u0442\u0435 EntityQuestions BM25 \u043d\u0430\u0445\u043e\u0434\u0438\u043b \u043d\u0443\u0436\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0432 72% \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 49,7%. \u0421 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438 \u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0442\u043e\u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u043e\u043d\u0438 \u00ab\u043b\u044e\u0431\u044f\u0442\u00bb \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b.\u0421\u043c\u0435\u0448\u0438\u0432\u0430\u0442\u044c BM25 \u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043b\u0443\u0447\u0448\u0435 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u043e\u0439 \u043e\u0446\u0435\u043d\u043e\u043a, \u0430 \u043d\u0435 \u043f\u043e \u0440\u0430\u043d\u0433\u0430\u043c (RRF). \u041d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0434\u043e\u043e\u0431\u0443\u0447\u0438\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0434 \u0441\u0432\u043e\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u0441\u043c\u0435\u0441\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0445\u0443\u0436\u0435, \u043f\u043e\u043a\u0430 \u0432\u044b \u043d\u0435 \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u0442\u0435 \u0432\u0435\u0441\u0430 \u0437\u0430\u043d\u043e\u0432\u043e.\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430: \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438, \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043d\u0430\u0440\u0435\u0437\u043a\u0438 \u043d\u0430 \u043a\u0443\u0441\u043a\u0438. \u042d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u0440\u043e\u0434\u0435 BM25L \u0438 BM25+ \u0434\u0430\u044e\u0442 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043c\u0435\u043d\u044c\u0448\u0435.1. BM25 \u043a\u0430\u043a \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u043c\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043e\u0446\u0435\u043d\u043a\u0443 \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0441\u043b\u043e\u0432\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430\u00bb. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0438\u0441\u043a \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043b\u043e\u0432 \u0438\u0437 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 BM25 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e. \u0412\u043a\u043b\u0430\u0434 \u0442\u0435\u0440\u043c\u0430 t \u0432 \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 D \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0442\u0435\u0440\u043c\u0430 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0434\u043b\u0438\u043d\u044b \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u043e\u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 (N, df(t), avgdl), \u043d\u043e \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0432\u0435\u0441 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u044b (\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0442\u0435\u0440\u043c) \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u0440\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0446\u0438\u0438 \u0438 \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0438\u0441\u043a \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0438 \u0438\u0445 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435.\u042d\u0442\u0443 \u0438\u0434\u0435\u044e \u0434\u043e\u0432\u0435\u043b\u0430 \u0434\u043e \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 BM25S (arXiv:2407.03618). \u041f\u043e \u0437\u0430\u043c\u0435\u0440\u0430\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 ArguAna \u043e\u0434\u043d\u043e\u043f\u043e\u0442\u043e\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c BM25S \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0430 573,9 QPS \u043f\u0440\u043e\u0442\u0438\u0432 13,7 QPS \u0443 Elasticsearch, 110,5 QPS \u0443 BM25-PT \u0438 2,0 QPS \u0443 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 Python-\u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 rank-bm25. \u0412 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u0435\u0441\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c (\u0441 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c IDF \u0438\u0437 Lucene) \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 scipy.sparse:import mathimport numpy as npfrom collections import Counterfrom scipy import sparse as spdef build(docs, k1=1.2, b=0.75):    # docs: \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u043f\u0438\u0441\u043a\u043e\u0432 \u0442\u043e\u043a\u0435\u043d\u043e\u0432    N = len(docs)    dl = np.array([len(d) for d in docs], dtype=np.float32)    avgdl = float(dl.mean())    tfs = [Counter(d) for d in docs]    df = Counter(t for tf in tfs for t in tf)    vocab, rows, cols, vals = {}, [], [], []    for i, tf in enumerate(tfs):        norm = k1 * (1 &#8212; b + b * dl[i] \/ avgdl)        for t, f in tf.items():            j = vocab.setdefault(t, len(vocab))            idf = math.log(1 + (N &#8212; df[t] + 0.5) \/ (df[t] + 0.5))            rows.append(i)            cols.append(j)            vals.append(idf * f * (k1 + 1) \/ (f + norm))    M = sp.csc_matrix((vals, (rows, cols)), shape=(N, len(vocab)), dtype=np.float32)    return M, vocabdef search(M, vocab, query_tokens, top_k=10):    ids = [vocab[t] for t in set(query_tokens) if t in vocab]    if not ids:        return []    scores = np.asarray(M[:, ids].sum(axis=1)).ravel()    k = min(top_k, len(scores) &#8212; 1)    top = np.argpartition(-scores, k)[:top_k]    return [(int(i), float(scores[i])) for i in sorted(top, key=lambda i: -scores[i])]\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u0432 Lucene \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 8-\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c (k1 + 1) \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435 \u0443\u0431\u0440\u0430\u043b\u0438. \u041d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u044d\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442, \u043d\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u2014 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u0432\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u0441\u043a\u043e\u0440\u044b \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u0438\u043b\u0438 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438.\u0418\u0437 \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0442\u0435\u043a\u0430\u044e\u0442 \u0432\u043f\u043e\u043b\u043d\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 IDF \u0438 avgdl \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b, \u043b\u044e\u0431\u043e\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0441\u0430 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435: eager-\u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c, \u043b\u0438\u0431\u043e \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0436\u0438\u0442\u044c \u0441 \u0434\u0440\u0435\u0439\u0444\u043e\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a. \u0412 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u2014 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 IDF \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0448\u0430\u0440\u0434\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 IDF \u043f\u043e \u0432\u0441\u0435\u0439 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438, \u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0437\u043b\u043e\u0432 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e. Elasticsearch \u0440\u0435\u0448\u0430\u0435\u0442 \u044d\u0442\u043e \u0440\u0435\u0436\u0438\u043c\u043e\u043c search_type=dfs_query_then_fetch \u0446\u0435\u043d\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0435\u0432\u043e\u0433\u043e \u0440\u0430\u0443\u043d\u0434\u0430, \u043d\u043e \u0434\u043b\u044f \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432, \u0432\u043b\u0435\u0437\u0430\u044e\u0449\u0438\u0445 \u043d\u0430 \u043e\u0434\u043d\u0443 \u043d\u043e\u0434\u0443, \u043f\u0440\u043e\u0449\u0435 \u0438 \u0442\u043e\u0447\u043d\u0435\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0448\u0430\u0440\u0434.\u0415\u0449\u0451 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u043c \u043e\u0446\u0435\u043d\u043e\u043a \u0438 \u0441\u043b\u043e\u0432\u0430\u0440\u044f. \u0421\u043a\u043e\u0440 BM25 \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u0441\u0432\u0435\u0440\u0445\u0443 \u0438 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441 \u0434\u043b\u0438\u043d\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u043f\u043e\u0440\u043e\u0433\u0438 \u0432\u0440\u043e\u0434\u0435 \u00ab\u043e\u0446\u0435\u043d\u043a\u0430 \u0432\u044b\u0448\u0435 12 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0439\u00bb \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u2014 \u0438\u0445 \u0437\u0430\u043c\u0435\u043d\u044f\u044e\u0442 \u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 (\u0434\u043e\u043b\u044f \u043e\u0442 top-1 \u0438\u043b\u0438 \u0441\u043a\u043e\u0440 \u043f\u043e\u0441\u043b\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438). \u0410 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 sparse-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u043e\u0432 \u0432\u0440\u043e\u0434\u0435 Rust-\u043a\u0440\u0435\u0439\u0442\u0430 bm25, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u044f\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0447\u0435\u0440\u0435\u0437 \u0445\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e u32), \u043d\u0430 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0440\u044f\u0445 \u0441 \u043d\u043e\u043c\u0435\u0440\u0430\u043c\u0438 \u0434\u0435\u043b \u0438 \u0440\u0435\u043a\u0432\u0438\u0437\u0438\u0442\u0430\u043c\u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438, \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043b\u043e\u0432\u0430 \u0432 \u043e\u0434\u043d\u0443 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0443; \u0432 \u0442\u0430\u043a\u0438\u0445 \u0434\u043e\u043c\u0435\u043d\u0430\u0445 \u043d\u0443\u0436\u043d\u043e \u0441\u0440\u0430\u0437\u0443 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043d\u0430 u64.2. \u041f\u043e\u0434 \u0432\u044b\u0432\u0435\u0441\u043a\u043e\u0439 \u00abBM25\u00bb \u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b\u0421\u043b\u043e\u0432\u043e \u00abBM25\u00bb \u043d\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0434\u043d\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443: \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u043e\u043d\u0430 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f, \u043a\u0430\u043a \u0440\u0435\u0446\u0435\u043f\u0442 \u0431\u043e\u0440\u0449\u0430 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u044c\u044f\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0446\u0435\u043d\u043a\u0438, \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0438\u0445 \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e.  \u0415\u0434\u0438\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430 BM25 \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442. Kamphuis \u0438 \u0434\u0440. (ECIR 2020) \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0432\u043e\u0441\u0435\u043c\u044c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432: \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0420\u043e\u0431\u0435\u0440\u0442\u0441\u043e\u043d\u0430, Lucene, ATIRE, BM25L, BM25+ \u0438 \u0434\u0440\u0443\u0433\u0438\u0435. \u041e\u043d\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0451\u0442\u0435 IDF, \u0432 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0442\u0435\u0440\u043c\u0430 \u0438 \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043a \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c IDF (\u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u043c, \u0435\u0441\u043b\u0438 \u0441\u043b\u043e\u0432\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0430). \u0411\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 BM25S \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u043f\u044f\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u2014 robertson, atire, bm25l, bm25+ \u0438 lucene (\u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e).\u0427\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u0427\u0435\u043c \u0440\u0438\u0441\u043a\u0443\u0435\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435rank-bm25 \u0438 Lucene\u0420\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b IDF: \u0447\u0438\u0441\u043b\u0430 \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0443\u0442, \u0430 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0440\u0430\u0437\u043e\u0439\u0434\u0451\u0442\u0441\u044f. \u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441 rank-bm25 \u0432 BM25S \u0443\u0434\u0430\u0451\u0442\u0441\u044f \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0436\u0438\u043c\u043e\u043c atire \u0441 IDF \u0420\u043e\u0431\u0435\u0440\u0442\u0441\u043e\u043d\u0430 \u043f\u0440\u0438 epsilon = 0.Lucene \/ ES \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0435\u0440\u0441\u0438\u0439\u041c\u0435\u043d\u044f\u043b\u0441\u044f \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c (\u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c k1 + 1), \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0441\u043a\u043e\u0440\u044b \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438 \u043d\u0435\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u044b.BM25L, BM25+ \u0438 Lucene\u0423 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u03b4, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0431\u043e\u0440\u0430, \u0438\u043d\u0430\u0447\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043d\u0435\u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0439.\u0427\u0443\u0436\u0438\u0435 k1 \u0438 b\u0414\u0435\u0444\u043e\u043b\u0442\u044b \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0433\u0443\u043b\u044f\u044e\u0442 \u043e\u0442 k1=1.2..2.0, b=0.75 \u0432 \u043e\u0431\u0449\u0438\u0445 \u0433\u0430\u0439\u0434\u0430\u0445 \u0434\u043e k1=0.9, b=0.4 \u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u0445 \u043f\u043e \u0444\u0440\u0430\u043d\u0446\u0443\u0437\u0441\u043a\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0443.\u0418\u0434\u0435\u044f BM25L \u0438 BM25+ (Lv \u0438 Zhai, CIKM\/SIGIR 2011) \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0431\u043e\u0440\u043e\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0434\u043b\u0438\u043d\u0443: \u0432 \u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0437\u0430\u043d\u0438\u0437\u0438\u0442\u044c \u0432\u043a\u043b\u0430\u0434 \u0442\u0435\u0440\u043c\u0430 \u0442\u0430\u043a, \u0447\u0442\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0441 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0431\u0430\u043b\u043b \u043d\u0438\u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0432\u043a\u043b\u0430\u0434\u0430. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0442\u0435\u0441\u0442 Kamphuis \u0438 \u0434\u0440. \u043d\u0430 \u043d\u043e\u0432\u043e\u0441\u0442\u043d\u044b\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f\u0445 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u043d\u0435 \u043d\u0430\u0448\u0451\u043b. \u0412\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u043c \u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0438 RuBQ \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435: \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 0,003\u20130,009 nDCG@10 \u0431\u0435\u0437 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0451\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438. \u041c\u0435\u043d\u044f\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u0432\u0435 \u0447\u0442\u043e \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0442\u044e\u043d\u0438\u043d\u0433\u0430 \u043d\u0430 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u0441\u043e \u0441\u0432\u0435\u0440\u0445\u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u2014 \u043a\u0430\u043a \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u0435\u0442\u043a\u0438, \u0430 \u043d\u0435 \u043a\u0430\u043a \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435.3. \u0412\u044b\u0431\u043e\u0440 \u0441\u0442\u0435\u043a\u0430 \u043f\u043e\u0434 \u0437\u0430\u0434\u0430\u0447\u0443\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430\u0421\u0438\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044fElasticsearch \/ OpenSearch\u0418\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441, \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430\u041f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d-\u0437\u0440\u0435\u043b\u043e\u0441\u0442\u044c, \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445, \u0448\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043b\u0430\u0433\u0438\u043d\u044b \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0438\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430, JVM, \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0430\u043d\u0430\u043b\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432Pyserini (Anserini)\u041e\u0431\u0451\u0440\u0442\u043a\u0430 \u043d\u0430\u0434 Lucene \u0434\u043b\u044f Python\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0435 \u0430\u043a\u0430\u0434\u0435\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0431\u0435\u0439\u0437\u043b\u0430\u0439\u043d\u044bJava \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044f\u0445BM25SEager-\u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432 scipy \/ mmap\u0412\u044b\u0441\u043e\u043a\u0438\u0439 throughput, \u0431\u0435\u0437 JVM, 5 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u044b\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u0441\u0447\u0451\u0442\u0430, \u043d\u0435\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0445 \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u0432rank-bm25\u041f\u0435\u0440\u0435\u0441\u0447\u0451\u0442 \u043d\u0430 \u043b\u0435\u0442\u0443 \u0432 Python\u041f\u0440\u043e\u0442\u043e\u0442\u0438\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0437\u0430 \u043f\u0430\u0440\u0443 \u043c\u0438\u043d\u0443\u0442\u041c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439, \u043d\u0435\u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 IDFRust-\u043a\u0440\u0435\u0439\u0442 bm25Sparse-\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440 \u0438 in-memory \u0441\u043a\u043e\u0440\u0435\u0440\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f sparse-\u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0445 \u0411\u0414\u0425\u044d\u0448-\u043a\u043e\u043b\u043b\u0438\u0437\u0438\u0438 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0441\u043b\u043e\u0432\u0430\u0440\u0435, \u0442\u043e\u043b\u044c\u043a\u043e in-memory\u0415\u0441\u043b\u0438 \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435 \u0440\u0435\u0447\u044c \u0438\u0434\u0451\u0442 \u043e \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u0445 \u0447\u0430\u043d\u043a\u043e\u0432 \u0438 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e \u044e\u0440\u0438\u0441\u0434\u0438\u043a\u0446\u0438\u0438, \u0434\u0430\u0442\u0435 \u0440\u0435\u0434\u0430\u043a\u0446\u0438\u0438, ACL \u0438\u043b\u0438 \u0442\u0438\u043f\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u0440\u0430\u0437\u0443\u043c\u043d\u0435\u0435 \u0441\u0440\u0430\u0437\u0443 \u0431\u0440\u0430\u0442\u044c \u0438\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0438\u043d\u0434\u0435\u043a\u0441 \u0432 OpenSearch \u0438\u043b\u0438 Elasticsearch \u2014 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438 pre-filtering \u0442\u0430\u043c \u0440\u0435\u0448\u0435\u043d\u044b \u0438\u0437 \u043a\u043e\u0440\u043e\u0431\u043a\u0438. \u0414\u043b\u044f \u043e\u0444\u0444\u043b\u0430\u0439\u043d-\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u043f\u0440\u043e\u0433\u043e\u043d\u043a\u0438 golden set \u0438 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u044b\u0445 \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0431\u0435\u0437 \u0447\u0430\u0441\u0442\u044b\u0445 \u0430\u043f\u0434\u0435\u0439\u0442\u043e\u0432 \u043b\u0443\u0447\u0448\u0438\u043c \u0441\u0442\u0435\u043d\u0434\u043e\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f BM25S. \u0412\u044b\u043d\u043e\u0441\u0438\u0442\u044c BM25 \u0432 \u0432\u0438\u0434\u0435 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043d\u0443\u0442\u0440\u044c \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414 \u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0436\u0451\u0441\u0442\u043a\u043e\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u0441 \u0432\u043c\u0435\u0441\u0442\u043e \u0434\u0432\u0443\u0445 \u0438 \u0441\u0430\u043c\u0430 \u0411\u0414 \u0443\u043c\u0435\u0435\u0442 \u043d\u0430\u0442\u0438\u0432\u043d\u043e \u0441\u043b\u0438\u0432\u0430\u0442\u044c dense \u0438 sparse \u043d\u0430 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435.4. \u041f\u043e\u0431\u0435\u0434\u044b \u0438 \u043f\u043e\u0440\u0430\u0436\u0435\u043d\u0438\u044f: \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u043f\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c\u041d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442 \u0441\u043c\u044b\u0441\u043b, \u043d\u043e \u0441\u043b\u0430\u0431\u043e \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u044e\u0442 \u0440\u0435\u0434\u043a\u0438\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0438 \u043d\u043e\u043c\u0435\u0440\u0430, \u0430 BM25 \u0438\u0449\u0435\u0442 \u043f\u043e \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e \u0441\u043b\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0444\u0430\u043c\u0438\u043b\u0438\u0439, \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u043e\u0432 \u0438 \u043d\u043e\u043c\u0435\u0440\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u043d \u043d\u0430\u0434\u0451\u0436\u043d\u0435\u0435. \u0414\u043b\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0432\u0430\u0436\u043d\u044b \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u043d\u0430 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b, \u0438\u0437-\u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u044e\u0442 \u0438\u043b\u0438 \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f.\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a BEIR&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-503863","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/503863","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=503863"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/503863\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=503863"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=503863"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=503863"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}