{"id":490958,"date":"2026-08-14T11:53:31","date_gmt":"2026-08-14T11:53:31","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=490958"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2026-08-14T11:53:31","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=490958","title":{"rendered":"\u0427\u0435\u0441\u0442\u043d\u044b\u0439 RAG eval set: \u043a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0435 100-300 \u043a\u0435\u0439\u0441\u043e\u0432 \u0438 \u043d\u0435 \u043e\u0431\u043c\u0430\u043d\u0443\u0442\u044c \u0441\u0435\u0431\u044f \u0446\u0438\u0444\u0440\u043e\u0439"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 <a href=\"https:\/\/habr.com\/ru\/articles\/1054930\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u0435\u0440\u0438\u0438<\/a> \u043c\u044b \u0441\u0436\u0438\u043c\u0430\u043b\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438 \u0437\u0430\u043c\u0435\u0440\u044f\u043b\u0438, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u0432\u044b\u0434\u0430\u0447\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e fp32-\u043f\u043e\u0438\u0441\u043a\u0430. \u0422\u0430\u043c \u044d\u0442\u043e \u0431\u044b\u043b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: <em>\u043b\u043e\u043c\u0430\u0435\u0442 \u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 retrieval<\/em>.<\/p>\n<p>\u041d\u043e \u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u0437\u0430\u043c\u0435\u0440\u0430 \u0435\u0441\u0442\u044c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0441\u043b\u0435\u043f\u043e\u0435 \u043f\u044f\u0442\u043d\u043e. \u041c\u043e\u0436\u043d\u043e \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c 99% \u0432\u044b\u0434\u0430\u0447\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430 \u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u043b\u043e\u0445\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u0434\u043e\u043c\u0435\u043d\u0435. \u0412\u043d\u0435\u0448\u043d\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u0434\u0430\u0436\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0439, \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442. <a href=\"https:\/\/github.com\/beir-cellar\/beir\" rel=\"noopener noreferrer nofollow\">BEIR<\/a> \u043a\u0430\u043a \u0440\u0430\u0437 \u0431\u044b\u043b \u0441\u043e\u0437\u0434\u0430\u043d, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b retrieval \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c\u0438; \u043e\u0434\u0438\u043d \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u044b\u0439 \u0441\u043a\u043e\u0440 \u0442\u0430\u043c \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041d\u0443\u0436\u0435\u043d \u0441\u0432\u043e\u0439 <strong>eval set<\/strong>. \u0418 \u0442\u0443\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043b\u043e\u0436\u043d\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430:<\/p>\n<ul>\n<li>\n<p>\u043b\u0438\u0431\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u043c \u0442\u044b\u0441\u044f\u0447\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0436\u0434\u0435\u043c \u043a\u0432\u0430\u0440\u0442\u0430\u043b;<\/p>\n<\/li>\n<li>\n<p>\u043b\u0438\u0431\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0434\u0435\u0441\u044f\u0442\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <code>recall@10 = 0.91<\/code> \u0438 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0435\u043c \u043f\u043e\u0438\u0441\u043a \u0433\u043e\u0442\u043e\u0432\u044b\u043c<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u043a\u0440\u0430\u0439\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0435\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0435\u0435 \u043c\u0435\u0441\u0442\u043e: \u043f\u0435\u0440\u0432\u044b\u0435 100-300 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043a\u0435\u0439\u0441\u043e\u0432. \u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043d\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043d\u0435 \u043f\u043e\u0432\u043e\u0434 \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0434\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u043d\u0430\u043a\u0430. \u0417\u0430\u0442\u043e <strong>\u0442\u0430\u043a\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0445\u0432\u0430\u0442\u0430\u0435\u0442<\/strong>, \u0447\u0442\u043e\u0431\u044b <strong>\u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u043c\u0435\u043d\u044f\u0442\u044c<\/strong> chunking, embedder \u0438 reranker <strong>\u0432\u0441\u043b\u0435\u043f\u0443\u044e<\/strong>.<\/p>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0443, \u043a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u043d\u0430\u0431\u043e\u0440, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044f \u0432 \u043d\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c, \u0447\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u0440\u0438\u0442\u044c retrieval \u0438 \u043e\u0442\u0432\u0435\u0442, \u0430 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 &#8212; \u043a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u0434\u0438\u043d \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0441\u043a\u043e\u0440 \u043d\u0435 \u0441\u043f\u0440\u044f\u0442\u0430\u043b \u043f\u043e\u043b\u043e\u043c\u043a\u0443 \u0432 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438.<\/p>\n<h3>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430<\/h3>\n<p>\u0421\u043b\u043e\u0432\u0430 <code>dataset<\/code>, <code>benchmark<\/code> \u0438 <code>eval<\/code> \u0447\u0430\u0441\u0442\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0442 \u0432 \u043e\u0434\u043d\u043e. \u041e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f: \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043a\u0430\u043a \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0430\u0440\u044b &#8212; \u043a\u0430\u043a \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0442\u0435\u0441\u0442.<\/p>\n<p>\u0423 \u043c\u0435\u043d\u044f \u0434\u043b\u044f RAG \u043e\u0431\u044b\u0447\u043d\u043e \u0435\u0441\u0442\u044c <strong>\u0442\u0440\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">\u041d\u0430\u0431\u043e\u0440<\/p>\n<\/th>\n<th data-colwidth=\"128\" width=\"128\">\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n<th data-colwidth=\"236\" width=\"236\">\n<p align=\"left\">\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u043d\u0443\u0436\u0435\u043d<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0435\u0433\u043e \u043e\u043d \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">Smoke-\u043d\u0430\u0431\u043e\u0440<\/p>\n<\/td>\n<td data-colwidth=\"128\" width=\"128\">\n<p align=\"left\">20-50<\/p>\n<\/td>\n<td data-colwidth=\"236\" width=\"236\">\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0433\u0440\u0443\u0431\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043f\u0435\u0440\u0435\u0434 \u0440\u0435\u043b\u0438\u0437\u043e\u043c: \u043f\u0440\u043e\u043f\u0430\u043b \u0444\u0438\u043b\u044c\u0442\u0440, \u0441\u043b\u043e\u043c\u0430\u043b\u0441\u044f \u043f\u0430\u0440\u0441\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0427\u0442\u043e \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043b\u0443\u0447\u0448\u0435 \u0441\u0442\u0430\u0440\u043e\u0439 \u0432 \u0446\u0435\u043b\u043e\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">\u0420\u0443\u0447\u043d\u043e\u0439 eval set<\/p>\n<\/td>\n<td data-colwidth=\"128\" width=\"128\">\n<p align=\"left\">100-300<\/p>\n<\/td>\n<td data-colwidth=\"236\" width=\"236\">\n<p align=\"left\">\u0412\u044b\u0431\u0438\u0440\u0430\u0442\u044c chunking, \u043f\u043e\u0438\u0441\u043a, reranker, \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u0438 \u043f\u0440\u043e\u043c\u043f\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0438\u0441\u0442\u0438\u043d\u0443 \u043f\u0440\u043e \u0432\u0441\u0435 \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">\u0414\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"128\" width=\"128\">\n<p align=\"left\">\u041e\u0442 \u0441\u043e\u0442\u0435\u043d \u0434\u043e \u0442\u044b\u0441\u044f\u0447 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435<\/p>\n<\/td>\n<td data-colwidth=\"236\" width=\"236\">\n<p align=\"left\">\u0423\u0447\u0438\u0442\u044c retriever, reranker \u0438\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043d\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u043f\u043e\u043f\u0430\u043b\u0438 \u0438 \u0432 eval<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Smoke-\u043d\u0430\u0431\u043e\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0436\u0438\u0442\u044c \u0440\u044f\u0434\u043e\u043c \u0441 CI \u0438 \u0431\u044b\u0442\u044c \u0441\u043a\u0443\u0447\u043d\u044b\u043c. \u0412 \u043d\u0435\u043c \u043b\u0435\u0436\u0430\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u0436\u0435 \u043e\u0434\u043d\u0430\u0436\u0434\u044b \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c, \u043f\u043b\u044e\u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0445 happy path. \u041e\u043d \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e: \u0435\u0433\u043e \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438.<\/p>\n<p>\u0420\u0443\u0447\u043d\u043e\u0439 eval set &#8212; \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0432\u044b\u0431\u043e\u0440\u0430. \u0415\u0433\u043e \u0437\u0430\u0434\u0430\u0447\u0430 &#8212; \u043f\u043e\u043c\u043e\u0433\u0430\u0442\u044c \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438: \u00ab\u043d\u0443\u0436\u0435\u043d \u043b\u0438 hybrid search\u00bb, \u00ab\u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043b\u0438 reranker \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0430\u0445\u00bb, \u00ab\u0441\u043b\u043e\u043c\u0430\u043b\u0438 \u043b\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0441\u0442\u0430\u0440\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u00bb.<\/p>\n<p>\u0410 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043b\u044c\u0437\u044f \u0442\u0438\u0445\u043e \u0442\u0430\u0449\u0438\u0442\u044c \u0432 \u044d\u0442\u043e\u0442 \u043d\u0430\u0431\u043e\u0440. \u0415\u0441\u043b\u0438 hard negative \u0438\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u043b\u0438\u044f\u043b \u043d\u0430 fine-tune, \u0435\u043c\u0443 \u043d\u0443\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 holdout. \u0418\u043d\u0430\u0447\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0437\u043d\u0430\u043a\u043e\u043c\u0430\u044f \u043c\u0430\u0433\u0438\u044f: \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043d\u043e\u0432\u0430 \u0443\u0432\u0438\u0434\u0435\u043b\u0430 \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0431\u0438\u043b\u0435\u0442\u044b.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d59\/de4\/ae2\/d59de4ae29442285fea109da61d55301.png\" alt=\"\u0426\u0438\u043a\u043b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 RAG: \u043e\u0442 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e, \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0438 \u043d\u043e\u0432\u043e\u043c\u0443 regression case\" title=\"\u0426\u0438\u043a\u043b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 RAG: \u043e\u0442 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e, \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0438 \u043d\u043e\u0432\u043e\u043c\u0443 regression case\" width=\"1600\" height=\"900\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d59\/de4\/ae2\/d59de4ae29442285fea109da61d55301.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d59\/de4\/ae2\/d59de4ae29442285fea109da61d55301.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0426\u0438\u043a\u043b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 RAG: \u043e\u0442 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e, \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0438 \u043d\u043e\u0432\u043e\u043c\u0443 regression case<\/figcaption><\/div>\n<\/figure>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 MTEB \u0438 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441<\/h3>\n<p>\u041f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043d\u0443\u0436\u043d\u044b. \u0418\u043d\u0430\u0447\u0435 \u043c\u044b \u0431\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043c\u043e\u0433\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430. <a href=\"https:\/\/docs.mteb.org\/overview\/\" rel=\"noopener noreferrer nofollow\">MTEB<\/a> \u0438 <a href=\"https:\/\/github.com\/beir-cellar\/beir\" rel=\"noopener noreferrer nofollow\">BEIR<\/a> \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u00bb. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043f\u0443\u043d\u043a\u0442\u0430 4.7 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0432\u0430\u0448\u0435\u0433\u043e \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043d\u0430\u0437\u0432\u0430\u043b \u0441\u0432\u043e\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043e\u043d\u0438 \u043d\u0430 \u0441\u0435\u0431\u044f \u043d\u0435 \u0431\u0435\u0440\u0443\u0442.<\/p>\n<p>\u0412 \u0434\u043e\u043c\u0435\u043d\u043d\u043e\u043c retrieval \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u043e\u043b\u044f\u0442 \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u0438\u0434\u043d\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u043a\u043e\u0440\u0435:<\/p>\n<ul>\n<li>\n<p>\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438: \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b, \u043d\u043e\u043c\u0435\u0440\u0430 \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u043e\u0432, \u043a\u043e\u0434\u044b \u043e\u0448\u0438\u0431\u043e\u043a, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0435\u0439;<\/p>\n<\/li>\n<li>\n<p>\u0432\u0435\u0440\u0441\u0438\u044f \u0438 \u0434\u0430\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u0433\u0434\u0435 \u043e\u0442\u0432\u0435\u0442 \u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0440\u0430\u0437\u043d\u0435\u0441\u0435\u043d\u044b \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0431\u0437\u0430\u0446\u0435\u0432;<\/p>\n<\/li>\n<li>\n<p>\u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0430\u0441\u044c \u0448\u0430\u043f\u043a\u0430;<\/p>\n<\/li>\n<li>\n<p>\u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438: \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c, \u0430 \u0441\u0442\u0430\u0440\u044b\u0439 FAQ \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0432\u043e\u043f\u0440\u043e\u0441, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0447\u0435\u0441\u0442\u043d\u043e \u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430, \u043d\u0435 \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0441\u0442\u0430\u0440\u0442: \u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u0432\u0440\u043e\u0434\u0435 <a href=\"https:\/\/aclanthology.org\/2024.naacl-long.20.pdf\" rel=\"noopener noreferrer nofollow\">ARES<\/a>. \u041d\u043e \u043e\u043d\u0430 \u043e\u043f\u0430\u0441\u043d\u0430 \u043a\u0430\u043a \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0438\u0434\u0438\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u043f\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435, \u0447\u0430\u0441\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0443. \u0412 \u0436\u0438\u0432\u043e\u043c \u043b\u043e\u0433\u0435 \u043b\u044e\u0434\u0438 \u043d\u0435 \u043f\u0438\u0448\u0443\u0442 \u00ab\u043e\u043f\u0438\u0448\u0438\u0442\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u043a\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0443 3.2\u00bb. \u041e\u043d\u0438 \u043f\u0438\u0448\u0443\u0442 \u00ab\u043a\u043e\u043c\u0443 \u043d\u0435\u0441\u0442\u0438 \u0437\u0430\u044f\u0432\u043a\u0443, \u0435\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0432\u0447\u0435\u0440\u0430 \u0437\u0430\u043a\u0440\u044b\u043b\u0438?\u00bb.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443 \u044f \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c: \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0440\u0435\u0434\u043a\u0438\u0439 \u0442\u0438\u043f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u0438 \u043a\u0435\u0439\u0441\u0430 \u0432 eval \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u043e\u043c\u0435\u043d \u0438 \u0446\u0435\u043d\u0443 \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<h3>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0435\u0448\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440<\/h3>\n<p>\u0421\u0430\u043c\u0430\u044f \u0447\u0430\u0441\u0442\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 &#8212; \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0447\u0430\u0442\u044c \u0441\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 <code>question<\/code> \u0432 CSV. \u0412\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u043d\u0438 \u043f\u0440\u043e \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 FAQ, \u043e\u0434\u0438\u043d \u0441\u0442\u0438\u043b\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u043e\u0434\u043d\u0430 \u0432\u0435\u0440\u0441\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430. \u0421\u0440\u0435\u0434\u043d\u0438\u0439 <code>recall@10<\/code> \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u043d\u0438 \u043d\u0430 \u0447\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442.<\/p>\n<p>\u0414\u043e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c 6-8 \u0441\u0440\u0435\u0437\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440 \u0437\u0434\u0435\u0441\u044c &#8212; \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0438\u0441\u043a\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<p>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0430 \u043f\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u0421\u0440\u0435\u0437<\/p>\n<\/th>\n<th data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u0430\u0436\u0435\u043d<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">Exact entity<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u041a\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u043c\u044f API, \u0430\u0440\u0442\u0438\u043a\u0443\u043b, \u043d\u043e\u043c\u0435\u0440 \u043f\u0443\u043d\u043a\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Dense-\u043f\u043e\u0438\u0441\u043a \u0447\u0430\u0441\u0442\u043e \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u041f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0435 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u043d\u0430\u0439\u0434\u0435\u0442 \u043b\u0438 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0435\u0437 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0434\u0435\u043b<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u041e\u0442\u0432\u0435\u0442 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430\u043d \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u0443\u0441\u043a\u0430\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c chunking, <code>top_k<\/code> \u0438 reranker<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u0422\u0430\u0431\u043b\u0438\u0446\u044b<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u041e\u0442\u0432\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0438 \u0441\u0442\u0440\u043e\u043a\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041b\u043e\u0432\u0438\u043c \u043e\u0448\u0438\u0431\u043a\u0438 ingestion \u0434\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u0412\u0435\u0440\u0441\u0438\u0438 \u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u0412 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0435\u0441\u0442\u044c \u0441\u0442\u0430\u0440\u044b\u0439 \u0438 \u043d\u043e\u0432\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c metadata, \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u0438 \u0441\u0432\u0435\u0436\u0435\u0441\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u041d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u0412 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043d\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u0443\u043c\u0435\u0435\u0442 \u043b\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u041f\u043b\u043e\u0445\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u041e\u043f\u0435\u0447\u0430\u0442\u043a\u0430, \u0436\u0430\u0440\u0433\u043e\u043d, \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u043c eval \u043a \u0436\u0438\u0432\u043e\u043c\u0443 \u0432\u0432\u043e\u0434\u0443<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"200\" width=\"200\">\n<p align=\"left\">\u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/td>\n<td data-colwidth=\"269\" width=\"269\">\n<p align=\"left\">\u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0440\u043e\u0433\u043e \u0441\u0442\u043e\u0438\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0432\u043e\u0434\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 release gate, \u0430 \u043d\u0435 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u043c \u0435\u0433\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0440\u0435\u0437 \u043f\u043e\u0440\u043e\u0432\u043d\u0443. \u0415\u0441\u043b\u0438 70% \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 &#8212; \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443, \u044d\u0442\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0432\u0438\u0434\u043d\u043e \u0432 \u043d\u0430\u0431\u043e\u0440\u0435. \u041d\u043e \u0440\u0435\u0434\u043a\u0438\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0446\u0435\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0442\u043e\u0436\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0442\u0440\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445: \u0435\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0432\u043e\u0442\u0430 \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<h4>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u0439 \u0441\u0442\u0430\u0440\u0442 \u043d\u0430 120 \u043a\u0435\u0439\u0441\u043e\u0432<\/h4>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u043d\u0443\u0442\u044c \u043d\u0430\u0434 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0442\u0430\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/p>\n<\/th>\n<th data-colwidth=\"120\" width=\"120\">\n<p align=\"left\">\u041a\u0435\u0439\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u0430\u0447\u0435\u043c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u043b\u043e\u0433\u0438 \u0438\u043b\u0438 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"120\" width=\"120\">\n<p align=\"left\">45<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0430\u043c\u044b\u0439 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044f\u0437\u044b\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0438 changelog<\/p>\n<\/td>\n<td data-colwidth=\"120\" width=\"120\">\n<p align=\"left\">30<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0435\u0440\u0441\u0438\u0438, \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u0440\u0435\u0434\u043a\u0438\u0435, \u043d\u043e \u0432\u0430\u0436\u043d\u044b\u0435 \u0442\u0435\u043c\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0418\u043d\u0442\u0435\u0440\u0432\u044c\u044e \u0441 domain expert<\/p>\n<\/td>\n<td data-colwidth=\"120\" width=\"120\">\n<p align=\"left\">25<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u043e\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u043d\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u044e\u0434\u0438 \u0438\u0437 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b \u043f\u043e\u0441\u043b\u0435 \u0440\u0443\u0447\u043d\u043e\u0433\u043e \u0440\u0435\u0432\u044c\u044e<\/p>\n<\/td>\n<td data-colwidth=\"120\" width=\"120\">\n<p align=\"left\">20<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u043a\u0440\u044b\u0442\u044c \u043f\u0443\u0441\u0442\u044b\u0435 \u0441\u0440\u0435\u0437\u044b \u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043e\u043a<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u043d\u0435 \u043d\u043e\u0440\u043c\u0430 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u0443\u043c\u043d\u0430\u044f \u043f\u0435\u0440\u0432\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f: \u043f\u043e 12-20 \u043a\u0435\u0439\u0441\u043e\u0432 \u043d\u0430 \u0432\u0430\u0436\u043d\u044b\u0439 \u0441\u0440\u0435\u0437 \u0443\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043a\u0440\u0443\u043f\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0430 \u043d\u0430\u0431\u043e\u0440 \u0435\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438 \u0437\u0430 \u0432\u0435\u0447\u0435\u0440-\u0434\u0432\u0430.<\/p>\n<h3>\u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0434\u0438\u043d \u043a\u0435\u0439\u0441<\/h3>\n<p>\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u00ab\u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u00bb \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043d\u0430\u0431\u0440\u043e\u0441\u043a\u0430. \u041d\u043e \u043f\u043e\u0442\u043e\u043c \u0432\u044b \u0437\u0430\u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c, \u0438 \u043e\u0434\u043d\u043e\u0433\u043e <code>gold_doc_id<\/code> \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u0442.<\/p>\n<p>\u042f \u0445\u0440\u0430\u043d\u044e eval set \u0432 JSONL, \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442 \u043d\u0430 \u043a\u0435\u0439\u0441. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438 \u043c\u0435\u0441\u0442\u043e \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c \u043b\u0443\u0447\u0448\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c <code>document_id<\/code> \u0438 <code>section_id<\/code> \u043b\u0438\u0431\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u043c \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0435. <code>chunk_id<\/code> \u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430: \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 chunking &#8212; \u0441\u0442\u0430\u0440\u044b\u0439 gold-label \u0443\u0436\u0435 \u043d\u0435 \u0441 \u0447\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c.<\/p>\n<pre><code class=\"json\">{  \"id\": \"ops-047\",  \"query\": \"\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c. \u0413\u0434\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 E204?\",  \"scenario\": \"exact_entity\",  \"difficulty\": \"medium\",  \"answerability\": \"answerable\",  \"expected_document_ids\": [\"runbook-errors-v3\"],  \"gold_evidence\": [    {\"document_id\": \"runbook-errors-v3\", \"section_id\": \"errors\/e204\", \"relevance\": 2},    {\"document_id\": \"release-notes-2-4\", \"section_id\": \"known-issues\", \"relevance\": 1}  ],  \"expected_facts\": [    \"E204 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c upstream API\",    \"\u041d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u0443\u0441 upstream \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\"  ],  \"acceptable_answer\": \"\u041a\u043e\u0440\u043e\u0442\u043a\u0430\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0441 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c; \u0431\u0435\u0437 \u043f\u0440\u0438\u0447\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438\",  \"why_it_matters\": \"\u042d\u0442\u043e \u0447\u0430\u0441\u0442\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0435\u0440\u0432\u043e\u0439 \u043b\u0438\u043d\u0438\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438\",  \"source\": \"support_log\",  \"reviewed_by\": \"domain_expert\",  \"dataset_version\": \"2026-08-14\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u043e\u043b\u0435\u0439.<\/p>\n<p><code>answerability<\/code> \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u044f\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0431\u0435\u0437 \u043e\u0442\u0432\u0435\u0442\u0430. \u0411\u0435\u0437 \u043d\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0443\u0447\u0438\u0442\u0441\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u00ab\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0442\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u0435\u0441\u044c eval \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043b\u044e\u0431\u043e\u0439 \u0446\u0435\u043d\u043e\u0439 \u0447\u0442\u043e-\u0442\u043e \u043d\u0430\u0439\u0442\u0438.<\/p>\n<p><code>expected_document_ids<\/code> \u0438 <code>gold_evidence<\/code> \u043e\u0442\u0434\u0435\u043b\u044f\u044e\u0442 \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f. Runner \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0437\u043d\u0430\u0435\u0442 mapping <code>chunk_id -&gt; document_id + source span<\/code> \u0438 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 chunk \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c, \u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u0443\u0436\u043d\u044b\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u043c. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c chunking \u0438 \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c eval set. \u0418\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0430\u0439\u0434\u0435\u043d, \u043d\u043e \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u0442\u0435\u0440\u044f\u043d \u0438\u0437-\u0437\u0430 chunking. \u0418\u043d\u043e\u0433\u0434\u0430 \u0432 top-5 \u0435\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442, \u043d\u043e \u0432\u044b\u0448\u0435 \u043d\u0435\u0433\u043e \u043b\u0435\u0436\u0438\u0442 \u043c\u0443\u0441\u043e\u0440. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u043b\u043e\u043c\u043a\u0438 \u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u0438\u043a\u0441\u044b.<\/p>\n<p><code>expected_facts<\/code> \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u044d\u043a\u0437\u0430\u043c\u0435\u043d \u043d\u0430 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u0430. \u042d\u0442\u043e \u043e\u043f\u043e\u0440\u043d\u044b\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0443\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u0438 \u0434\u043b\u044f LLM-as-a-judge, \u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u0437\u0436\u0435.<\/p>\n<p><code>why_it_matters<\/code> \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u043d\u0438\u043c \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043e\u0440\u0430 \u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u043e\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043f\u043e\u043b\u0435\u043c: \u043e\u043d\u043e \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u0434\u0438\u043d \u043a\u0435\u0439\u0441 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0430\u043a \u00ab\u0440\u0435\u0434\u043a\u0438\u0439 edge case\u00bb.<\/p>\n<h3>\u0420\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u043c retrieval \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u043e\u0442\u0432\u0435\u0442\u0430<\/h3>\n<p>RAG \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0438\u0441\u0442\u0435\u043c: \u043f\u043e\u0438\u0441\u043a \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0441\u0442\u0440\u043e\u0438\u0442 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443. \u0415\u0441\u043b\u0438 \u043c\u0435\u0440\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438:<\/p>\n<ol>\n<li>\n<p>\u0412 top-5 \u043d\u0435\u0442 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0430. \u041f\u0440\u043e\u043c\u043f\u0442 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0447\u043d\u043e \u043d\u0438 \u043f\u0440\u0438 \u0447\u0435\u043c: \u043d\u0430\u0434\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c ingestion, chunking, \u0444\u0438\u043b\u044c\u0442\u0440\u044b, embedder, BM25 \u0438\u043b\u0438 reranker<\/p>\n<\/li>\n<li>\n<p>\u041d\u0443\u0436\u043d\u044b\u0439 chunk \u0435\u0441\u0442\u044c, \u043d\u043e \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u0434\u0443\u043c\u0430\u043b \u0444\u0430\u043a\u0442. Retrieval \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b; \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438<\/p>\n<\/li>\n<li>\n<p>\u0412 top-5 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0440\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0430 \u043e\u0442\u0432\u0435\u0442 \u0447\u0435\u0441\u0442\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0435\u043c\u0443. \u041f\u0440\u0438\u0447\u0438\u043d\u0443 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0432 metadata \u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0435 \u0441\u0432\u0435\u0436\u0435\u0441\u0442\u0438<\/p>\n<\/li>\n<\/ol>\n<p>\u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <a href=\"https:\/\/learn.microsoft.com\/en-us\/azure\/foundry\/concepts\/evaluation-evaluators\/rag-evaluators\" rel=\"noopener noreferrer nofollow\">Microsoft Foundry<\/a> \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 retrieval-\u043e\u0446\u0435\u043d\u043a\u0443 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0435\u0435 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438. Groundedness, completeness \u0438 relevance \u043e\u0442\u0432\u0435\u0442\u0430 \u0442\u0430\u043c \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c\u0438. <a href=\"https:\/\/docs.ragas.io\/en\/latest\/concepts\/metrics\/available_metrics\/\" rel=\"noopener noreferrer nofollow\">RAGAS<\/a> \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e \u0442\u043e\u043c\u0443 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443: \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0432\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 &#8212; \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0441\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0441\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443<\/p>\n<h4>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 retrieval<\/h4>\n<p>\u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e eval set \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0442\u0440\u0435\u0445 \u043c\u0435\u0442\u0440\u0438\u043a.<\/p>\n<p><strong>Recall@k.<\/strong> \u0414\u043e\u043b\u044f \u043a\u0435\u0439\u0441\u043e\u0432, \u0433\u0434\u0435 \u0441\u0440\u0435\u0434\u0438 \u043f\u0435\u0440\u0432\u044b\u0445 <code>k<\/code> \u043d\u0430\u0439\u0434\u0435\u043d \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 chunk. \u042d\u0442\u043e \u0441\u0442\u0440\u0430\u0445\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430: \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 \u043e\u043a\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0441\u043f\u0430\u0441\u0442\u0438<\/p>\n<pre><code>Recall@k = \u043a\u0435\u0439\u0441\u044b, \u0433\u0434\u0435 \u0435\u0441\u0442\u044c relevant chunk \u0432 top-k \/ \u0432\u0441\u0435 answerable \u043a\u0435\u0439\u0441\u044b<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><strong>MRR@k.<\/strong> \u041e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0440\u0430\u043d\u0433 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0430. \u041f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u043e\u0433\u0434\u0430 \u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043a\u0430\u043d\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438 \u0432\u0430\u0436\u0435\u043d \u0435\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043e\u043a. \u0415\u0441\u043b\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u044f\u0442\u044b\u043c, \u043e\u043d \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u043f\u0430\u0441\u0430\u0435\u0442 Recall@5, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u0442\u043e\u043d\u0443\u0442\u044c \u0441\u0440\u0435\u0434\u0438 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u043a\u0443\u0441\u043a\u043e\u0432<\/p>\n<p><strong>nDCG@k.<\/strong> \u041d\u0443\u0436\u0435\u043d, \u0435\u0441\u043b\u0438 \u0432\u044b \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u0442\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f\u043c\u0438: <code>2<\/code> &#8212; \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043f\u0440\u044f\u043c\u043e, <code>1<\/code> &#8212; \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0444\u043e\u043d, <code>0<\/code> &#8212; \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u0435\u043d. \u0414\u043b\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u043c\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u043c\u0438 \u044d\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u0435\u0435, \u0447\u0435\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u00ab\u0437\u043e\u043b\u043e\u0442\u043e\u0439\u00bb chunk<\/p>\n<p>\u041d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u0441\u0435 \u0442\u0440\u0438 \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0435\u043d\u044c. \u0414\u043b\u044f \u043c\u043d\u043e\u0433\u0438\u0445 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e <code>Recall@5<\/code> \u043f\u043b\u044e\u0441 \u0440\u0443\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440 top-5. \u041d\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0435 reranker \u0438\u043b\u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, <code>nDCG@5<\/code> \u0431\u044b\u0441\u0442\u0440\u043e \u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0441\u0440\u0435\u0437\u0430 <code>\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430<\/code> \u043e\u0431\u044b\u0447\u043d\u044b\u0439 Recall \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u0435\u043d. \u0422\u0430\u043c \u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u044e, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043f\u043e\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438\u043b\u0438 \u0432\u044b\u0434\u0430\u043b\u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u0423\u0434\u043e\u0431\u043d\u044b\u0439 release gate \u0437\u0432\u0443\u0447\u0438\u0442: \u00ab\u043d\u0430 20 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 \u0432\u043d\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0432\u0443\u0445 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0431\u0435\u0437 \u043f\u043e\u043c\u0435\u0442\u043a\u0438 \u043e \u043d\u0435\u0445\u0432\u0430\u0442\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445\u00bb.<\/p>\n<h4>\u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u0430<\/h4>\n<p>\u041a\u043e\u0433\u0434\u0430 retrieval \u0443\u0436\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d, \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439:<\/p>\n<ul>\n<li>\n<p><strong>groundedness \/ faithfulness<\/strong>: \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442;<\/p>\n<\/li>\n<li>\n<p><strong>completeness<\/strong>: \u043e\u0442\u0432\u0435\u0442 \u0437\u0430\u043a\u0440\u044b\u043b \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0435 \u0444\u0430\u043a\u0442\u044b, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u043f\u0443\u043d\u043a\u0442;<\/p>\n<\/li>\n<li>\n<p><strong>answer relevance<\/strong>: \u043e\u0442\u0432\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u0430 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0441\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442;<\/p>\n<\/li>\n<li>\n<p><strong>correct abstention<\/strong>: \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0435\u0437 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p><a href=\"https:\/\/docs.ragas.io\/en\/latest\/concepts\/metrics\/available_metrics\/\" rel=\"noopener noreferrer nofollow\">LLM-as-a-judge<\/a> \u0437\u0434\u0435\u0441\u044c \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u0432\u0440\u0435\u043c\u044f. \u041f\u0435\u0440\u0435\u0434 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0435\u0433\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430 \u0440\u0443\u0447\u043d\u043e\u0439 \u043f\u043e\u0434\u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043d\u0430 \u0442\u0435\u0445 \u043a\u043b\u0430\u0441\u0441\u0430\u0445, \u0433\u0434\u0435 \u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435. \u0418\u043d\u0430\u0447\u0435 \u0432\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0442\u0435\u043d\u0438\u044f \u0441\u0443\u0434\u044c\u0438. \u0412 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u0445 ARES \u0438 \u0432 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0441\u043e\u0447\u0435\u0442\u0430\u044e\u0442 \u0441 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043a\u0430\u043c\u0438.<\/p>\n<h3>Baseline: \u043a\u0430\u043a \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u0438\u0434\u0435\u0438<\/h3>\n<p>\u0412 eval \u043b\u0435\u0433\u043a\u043e \u0443\u0442\u043e\u043d\u0443\u0442\u044c \u0432 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0442\u043e\u0440\u0438\u043a\u0435: \u0434\u0440\u0443\u0433\u043e\u0439 chunk size, overlap, embedding model, BM25, filter, reranker, <code>top_k<\/code>, prompt. \u041c\u0435\u043d\u044f\u0442\u044c \u0432\u0441\u0435 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e: \u043d\u043e\u0432\u044b\u0439 \u0441\u043a\u043e\u0440 \u0431\u0443\u0434\u0435\u0442, \u0430 \u043f\u0440\u0438\u0447\u0438\u043d\u044b &#8212; \u043d\u0435\u0442.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c baseline. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<pre><code>\u041a\u043e\u0440\u043f\u0443\u0441: \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430, 18 400 \u0447\u0430\u043d\u043a\u043e\u0432Chunking: \u043f\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c 450 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, overlap 60\u041f\u043e\u0438\u0441\u043a: dense, top-20 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u044b\u0434\u0430\u0447\u0430: top-5\u041c\u043e\u0434\u0435\u043b\u044c: &lt;\u0432\u0435\u0440\u0441\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430&gt;\u0418\u043d\u0434\u0435\u043a\u0441: &lt;\u0432\u0435\u0440\u0441\u0438\u044f \u0438 \u0434\u0430\u0442\u0430 \u0441\u0431\u043e\u0440\u043a\u0438&gt;<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043c\u0435\u043d\u044f\u0435\u0442 \u043e\u0434\u043d\u0443 \u043f\u043e\u043d\u044f\u0442\u043d\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443:<\/p>\n<ul>\n<li>\n<p><code>dense -&gt; hybrid<\/code>: \u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438 \u0438 \u0440\u0435\u0434\u043a\u0438\u0435 \u0442\u0435\u0440\u043c\u0438\u043d\u044b \u043d\u0430\u0439\u0434\u0443\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435;<\/p>\n<\/li>\n<li>\n<p><code>hybrid -&gt; hybrid + reranker<\/code>: \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u0434\u043d\u0438\u043c\u0443\u0442\u0441\u044f \u0432\u044b\u0448\u0435 \u0432 top-5;<\/p>\n<\/li>\n<li>\n<p><code>450 -&gt; 700 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/code>: \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0443\u0442 \u0440\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u0430\u0442\u044c \u0448\u0443\u043c\u043d\u0435\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0444\u0438\u043b\u044c\u0442\u0440 \u043f\u043e \u0432\u0435\u0440\u0441\u0438\u0438: \u0441\u0442\u0430\u0440\u044b\u0435 \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0443\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0442\u044c \u043f\u043e\u0438\u0441\u043a.<\/p>\n<\/li>\n<\/ul>\n<p>\u0432\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u0438\u0437 120 \u043a\u0435\u0439\u0441\u043e\u0432. \u041e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0444\u043e\u0440\u043c\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0432\u0430\u0448\u0438\u0445 \u043f\u043e\u0442\u0440\u0435\u0431\u043d\u043e\u0441\u0442\u0435\u0439 \u0438\u043b\u0438 \u0434\u043e\u043c\u0435\u043d\u0430<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"163\" width=\"163\">\n<p align=\"left\">\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th data-colwidth=\"121\" width=\"121\">\n<p align=\"left\">Recall@5<\/p>\n<\/th>\n<th data-colwidth=\"112\" width=\"112\">\n<p align=\"left\">nDCG@5<\/p>\n<\/th>\n<th data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">Median latency, ms<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0432\u0438\u0434\u043d\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"163\" width=\"163\">\n<p align=\"left\">Dense<\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"left\">0.717<\/p>\n<\/td>\n<td data-colwidth=\"112\" width=\"112\">\n<p align=\"left\">0.632<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">74<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0430 \u0435\u0441\u0442\u044c, \u043d\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"163\" width=\"163\">\n<p align=\"left\">Dense + BM25 (hybrid)<\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"left\">0.792<\/p>\n<\/td>\n<td data-colwidth=\"112\" width=\"112\">\n<p align=\"left\">0.694<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">86<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0431\u0435\u0437 \u0434\u043e\u0440\u043e\u0433\u043e\u0433\u043e reranker<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"163\" width=\"163\">\n<p align=\"left\">Hybrid + reranker<\/p>\n<\/td>\n<td data-colwidth=\"121\" width=\"121\">\n<p align=\"left\">0.808<\/p>\n<\/td>\n<td data-colwidth=\"112\" width=\"112\">\n<p align=\"left\">0.748<\/p>\n<\/td>\n<td data-colwidth=\"136\" width=\"136\">\n<p align=\"left\">163<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u043e, \u043d\u043e latency \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u043e\u0438\u043b\u0430\u0441\u044c<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043f\u043e\u0431\u0435\u0434\u0438\u043b reranker. \u041d\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u0434\u0435\u0441\u044c \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0435 \u0432\u0441\u0435.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u0421\u0440\u0435\u0437<\/p>\n<\/th>\n<th data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">\u041a\u0435\u0439\u0441\u043e\u0432<\/p>\n<\/th>\n<th data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">Dense<\/p>\n<\/th>\n<th data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">Hybrid<\/p>\n<\/th>\n<th data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">Hybrid + reranker<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">Exact entity<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">18<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">Recall@5<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.500<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.778<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.778<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u041f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">22<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">Recall@5<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.818<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.773<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.864<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u0414\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">17<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">Recall@5<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.647<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.706<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.824<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u0412\u0435\u0440\u0441\u0438\u0438 \u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">15<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">Recall@5<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.533<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.667<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.867<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u0422\u0430\u0431\u043b\u0438\u0446\u044b<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">16<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">Recall@5<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.625<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.625<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.750<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u041d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">20<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">\u041a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0435 \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.550<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.600<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.700<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"187\" width=\"187\">\n<p align=\"left\">\u041f\u043b\u043e\u0445\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">12<\/p>\n<\/td>\n<td data-colwidth=\"138\" width=\"138\">\n<p align=\"left\">Recall@5<\/p>\n<\/td>\n<td data-colwidth=\"94\" width=\"94\">\n<p align=\"left\">0.667<\/p>\n<\/td>\n<td data-colwidth=\"95\" width=\"95\">\n<p align=\"left\">0.750<\/p>\n<\/td>\n<td data-colwidth=\"97\" width=\"97\">\n<p align=\"left\">0.750<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8bd\/035\/63c\/8bd03563cef4d1f46cf21bff4d497280.png\" alt=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 Dense, Hybrid \u0438 Hybrid \u0441 reranker \u043f\u043e \u0441\u0440\u0435\u0437\u0430\u043c RAG eval set\" title=\"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 Dense, Hybrid \u0438 Hybrid \u0441 reranker \u043f\u043e \u0441\u0440\u0435\u0437\u0430\u043c RAG eval set\" width=\"1600\" height=\"1120\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/8bd\/035\/63c\/8bd03563cef4d1f46cf21bff4d497280.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8bd\/035\/63c\/8bd03563cef4d1f46cf21bff4d497280.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 Dense, Hybrid \u0438 Hybrid \u0441 reranker \u043f\u043e \u0441\u0440\u0435\u0437\u0430\u043c RAG eval set<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u0437 \u044d\u0442\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0443\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f<\/p>\n<p>Hybrid \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 exact entity. Reranker \u0442\u0430\u043c \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442: \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u043b\u0438\u0448\u043d\u0438\u0435 77 ms \u0437\u0430 \u044d\u0442\u043e\u0442 \u0441\u0440\u0435\u0437 \u043d\u0435 \u0437\u0430 \u0447\u0442\u043e. \u0417\u0430\u0442\u043e reranker \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b \u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438. \u041d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0437\u0430\u0441\u043b\u0443\u0433\u043e\u0439 reranker \u0432\u043e\u043e\u0431\u0449\u0435: \u0435\u0441\u043b\u0438 \u0432 \u0432\u044b\u0434\u0430\u0447\u0435 \u0435\u0441\u0442\u044c \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0438\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c metadata-\u0444\u0438\u043b\u044c\u0442\u0440 \u0438 \u0438\u043d\u0434\u0435\u043a\u0441, \u0430 \u043d\u0435 \u0440\u0430\u0434\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0443\u0434\u0430\u0447\u043d\u043e.<\/p>\n<p>\u0421\u0440\u0435\u0437 <code>\u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430<\/code> \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u0432\u0435\u0449\u044c. \u0425\u043e\u0440\u043e\u0448\u0438\u0439 retriever \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u043d \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u043f\u0443\u0441\u0442\u043e\u0439 top-5: \u043c\u043d\u043e\u0433\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u044b\u0435 \u0431\u0430\u0437\u044b \u043d\u0430\u0439\u0434\u0443\u0442 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u0432\u0441\u0435\u0433\u0434\u0430. \u0412\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e policy \u043f\u043e\u0432\u0435\u0440\u0445 \u0441\u043a\u043e\u0440\u0438\u043d\u0433\u0430, \u043f\u043e\u0440\u043e\u0433\u043e\u0432, metadata \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438. \u0415\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 1-2 \u043f\u0443\u043d\u043a\u0442\u0430 \u0435\u0449\u0435 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442<\/h3>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 &#8212; \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0430, \u0430 \u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0449\u0435\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430. \u041d\u0430 120 \u043a\u0435\u0439\u0441\u0430\u0445 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 <code>0.808<\/code> \u043f\u0440\u043e\u0442\u0438\u0432 <code>0.792<\/code> &#8212; \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u0432\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430. \u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u00ab\u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c \u043b\u0438 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 reranker \u043d\u0430 \u0432\u0435\u0441\u044c \u0442\u0440\u0430\u0444\u0438\u043a\u00bb \u044d\u0442\u043e\u0433\u043e \u043c\u0430\u043b\u043e\u0432\u0430\u0442\u043e.<\/p>\n<p>\u0413\u0440\u0443\u0431\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<pre><code>SE = sqrt(p * (1 - p) \/ n)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0415\u0441\u043b\u0438 <code>Recall@5 = 0.78<\/code> \u043d\u0430 120 \u043a\u0435\u0439\u0441\u0430\u0445, 95% \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043f\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e <code>+\/- 7.4<\/code> \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0443\u043d\u043a\u0442\u0430. \u041d\u0430 200 \u043a\u0435\u0439\u0441\u0430\u0445 \u043f\u0440\u0438 \u0441\u043a\u043e\u0440\u0435 <code>0.80<\/code> &#8212; \u0432\u0441\u0435 \u0435\u0449\u0435 \u043e\u043a\u043e\u043b\u043e <code>+\/- 5.5<\/code> \u043f\u0443\u043d\u043a\u0442\u0430. \u042d\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u0434\u043e \u0436\u0434\u0430\u0442\u044c 10 000 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442: \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0442\u044c \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u0435\u043c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0438\u0433\u0440\u0430\u043b\u0430 \u043e\u0434\u0438\u043d-\u0434\u0432\u0430 \u043a\u0435\u0439\u0441\u0430 \u0432 \u043e\u0431\u0449\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<p>\u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e:<\/p>\n<ul>\n<li>\n<p>\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043a\u0435\u0439\u0441\u0435, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0441\u043a\u043e\u0440;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043d\u0430 <strong>\u043e\u0434\u043d\u0438\u0445 \u0438 \u0442\u0435\u0445 \u0436\u0435<\/strong> \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043a\u0435\u0439\u0441\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u0443\u0441\u043f\u0435\u0445\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0430\u0440\u043d\u044b\u0439 <a href=\"https:\/\/www.statsmodels.org\/dev\/generated\/statsmodels.stats.contingency_tables.mcnemar.html\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u0441\u0442 \u041c\u0430\u043a-\u041d\u0435\u043c\u0430\u0440\u0430<\/a> \u0438\u043b\u0438 bootstrap \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a;<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0439 \u0441\u0440\u0435\u0437, \u043d\u0435 \u043d\u0430\u0440\u0443\u0448\u0430\u0435\u0442 safety gate \u0438 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 latency\/\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u0443\u043d\u043a\u0442 \u0432\u0430\u0436\u043d\u0435\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438. \u0415\u0441\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u0444\u0438\u043b\u044c\u0442\u0440 \u0443\u0431\u0440\u0430\u043b \u0432\u044b\u0434\u0430\u0447\u0443 \u0441\u0442\u0430\u0440\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u043d\u0430 14 \u0438\u0437 15 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0441 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438, \u0430 \u043e\u0431\u0449\u0438\u0439 Recall \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0441\u0434\u0432\u0438\u043d\u0443\u043b\u0441\u044f, \u044d\u0442\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 reranker \u0434\u043e\u0431\u0430\u0432\u0438\u043b 1.6 \u043f\u0443\u043d\u043a\u0442\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c, \u043d\u043e \u0441\u044a\u0435\u043b \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 latency-\u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u0438 \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u043b \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0440\u0435\u0437\u044b, \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c.<\/p>\n<h3>\u041a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0435 120 \u043a\u0435\u0439\u0441\u043e\u0432 \u0431\u0435\u0437 \u043c\u0435\u0441\u044f\u0446\u0430 \u0440\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b<\/h3>\n<p>\u042f \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<h4>1. \u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u0440\u043f\u0443\u0441<\/h4>\n<p>\u0421\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432\u0435\u0440\u0441\u0438\u044e \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0447\u0438\u0441\u0442\u043a\u0438, chunking \u0438 mapping <code>chunk_id -&gt; document_id<\/code>. \u0411\u0435\u0437 \u044d\u0442\u043e\u0433\u043e \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0434\u0435\u043b\u044e \u043d\u0435\u043b\u044c\u0437\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u0443\u043b\u0443\u0447\u0448\u0438\u043b \u043b\u0438 retrieval \u043d\u043e\u0432\u044b\u0439 embedder \u0438\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u0431\u0430\u0437\u0430.<\/p>\n<h4>2. \u0421\u043e\u0431\u0440\u0430\u0442\u044c smoke-\u043d\u0430\u0431\u043e\u0440 \u0438\u0437 20-50 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432<\/h4>\n<p>\u0412\u0437\u044f\u0442\u044c \u0441\u0430\u043c\u044b\u0435 \u0447\u0430\u0441\u0442\u044b\u0435, \u0441\u0430\u043c\u044b\u0435 \u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u0438 \u0441\u0430\u043c\u044b\u0435 \u0445\u0440\u0443\u043f\u043a\u0438\u0435 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438. \u041f\u0440\u043e\u0433\u043d\u0430\u0442\u044c baseline, \u043e\u0442\u043a\u0440\u044b\u0442\u044c top-5 \u0440\u0443\u043a\u0430\u043c\u0438. \u0417\u0434\u0435\u0441\u044c \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043d\u0443\u0436\u043d\u0430 \u043d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u044b, \u043d\u0435\u0432\u0435\u0440\u043d\u0430\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u043a\u0430, \u0440\u0430\u0441\u043f\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0431\u0435\u0437 \u0434\u0430\u0442\u044b.<\/p>\n<h4>3. \u0417\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u0440\u0435\u0437\u043e\u0432<\/h4>\n<p>\u041d\u0435 \u043f\u044b\u0442\u0430\u0442\u044c\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c 300 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u043e\u0439\u0442\u0438\u0441\u044c \u043f\u043e \u0432\u043e\u0441\u044c\u043c\u0438 \u0441\u0440\u0435\u0437\u0430\u043c \u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0445\u043e\u0442\u044f \u0431\u044b 10-15 \u0441\u0442\u0440\u043e\u043a. \u041f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u0442\u0430\u043d\u0435\u0442 \u0432\u0438\u0434\u043d\u043e, \u0433\u0434\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043e\u0434\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u0430 \u0438 \u0433\u0434\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f.<\/p>\n<h4>4. \u0420\u0430\u0437\u043c\u0435\u0442\u0438\u0442\u044c \u0432 \u0434\u0432\u0430 \u043f\u0440\u043e\u0445\u043e\u0434\u0430<\/h4>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u0447\u0435\u043b\u043e\u0432\u0435\u043a \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u0444\u0430\u043a\u0442\u044b. \u0412\u0442\u043e\u0440\u043e\u0439 \u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0440\u043e\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0441\u043f\u043e\u0440\u043d\u044b\u0435 \u0438 \u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u043a\u0435\u0439\u0441\u044b. \u041f\u043e\u043b\u043d\u044b\u0439 double annotation \u0434\u043b\u044f \u0432\u0441\u0435\u0445 120 \u0441\u0442\u0440\u043e\u043a \u0434\u043e\u0440\u043e\u0433; \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u0434\u0430\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u0442\u0435\u043c \u043c\u0435\u0441\u0442\u0430\u043c, \u0433\u0434\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443.<\/p>\n<h4>5. \u0417\u0430\u043c\u043e\u0440\u043e\u0437\u0438\u0442\u044c v0 \u0438 \u043d\u0435 \u043f\u043e\u0434\u0447\u0438\u0449\u0430\u0442\u044c \u0435\u0435 \u043f\u043e\u0434 \u043d\u043e\u0432\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/h4>\n<p>\u041e\u0447\u0435\u043d\u044c \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0443\u0431\u0440\u0430\u0442\u044c \u00ab\u043d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u0439\u00bb \u0437\u0430\u043f\u0440\u043e\u0441, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u0441\u0442\u0440\u0430\u043d\u043d\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d \u0438\u043b\u0438 \u043b\u043e\u043c\u0430\u0435\u0442 \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443. \u0422\u0430\u043a eval \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0435\u043c\u043e. \u041b\u0443\u0447\u0448\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0433\u043e, \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u043e\u043c\u0435\u0442\u043a\u0443 \u0438 \u0437\u0430\u0432\u0435\u0441\u0442\u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0435\u0439\u0441, \u0435\u0441\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u0430\u0432\u0434\u0430 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0435\u043d.<\/p>\n<h4>6. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430\u043c\u0438<\/h4>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438:<\/p>\n<pre><code class=\"markdown\">\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430: hybrid-\u043f\u043e\u0438\u0441\u043a \u043f\u043e\u0434\u043d\u0438\u043c\u0435\u0442 exact entity \u0431\u0435\u0437 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435: BM25 + RRF, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b.\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c: Recall@5, nDCG@5, \u0441\u0440\u0435\u0437\u044b exact entity \u0438 \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, p95 latency.\u0420\u0435\u0448\u0435\u043d\u0438\u0435: \u043f\u0440\u0438\u043d\u044f\u0442\u044c \/ \u043e\u0442\u043a\u043b\u043e\u043d\u0438\u0442\u044c \/ \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f ingestion.<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u042d\u0442\u043e \u0441\u043a\u0443\u0447\u043d\u0435\u0435, \u0447\u0435\u043c \u0434\u0435\u0441\u044f\u0442\u044c \u0432\u0435\u0442\u043e\u043a \u0441 \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c\u0438, \u0437\u0430\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0441\u044f\u0446 \u0432\u0441\u0435 \u0435\u0449\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u0441\u0442\u0435\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a.<\/p>\n<h3>\u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e \u0441\u043c\u0435\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043e\u0431\u0449\u0438\u0439 \u0441\u043a\u043e\u0440 \u043f\u043b\u043e\u0445\u043e\u0439, \u043f\u0435\u0440\u0432\u0430\u044f \u0440\u0435\u0430\u043a\u0446\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u00ab\u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u0440\u0443\u0433\u043e\u0439 embedder\u00bb. \u0418\u043d\u043e\u0433\u0434\u0430 \u043e\u043d \u043f\u0440\u0430\u0432\u0434\u0430 \u043d\u0443\u0436\u0435\u043d. \u041d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u0434\u0432\u0430\u0434\u0446\u0430\u0442\u044c \u043f\u0440\u043e\u043c\u0430\u0445\u043e\u0432 \u0438 \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0438\u0445 \u043f\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u0421\u0438\u043c\u043f\u0442\u043e\u043c<\/p>\n<\/th>\n<th data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">\u0427\u0430\u0441\u0442\u0430\u044f \u043f\u0440\u0438\u0447\u0438\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0430\u043d\u044c\u0448\u0435 \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u041d\u0443\u0436\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043d\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u043e\u043e\u0431\u0449\u0435<\/p>\n<\/td>\n<td data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 \u0438\u043d\u0434\u0435\u043a\u0441 \u0438\u043b\u0438 \u0440\u0430\u0441\u043f\u0430\u043b\u0441\u044f \u043f\u0440\u0438 ingestion<\/p>\n<\/td>\n<td>\n<p align=\"left\">Coverage \u043a\u043e\u0440\u043f\u0443\u0441\u0430, \u043f\u0430\u0440\u0441\u0435\u0440, mapping \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u041d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u043e\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u043e\u0432\u043e\u0433\u043e<\/p>\n<\/td>\n<td data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">\u041d\u0435\u0442 \u0432\u0435\u0440\u0441\u0438\u0438, \u0434\u0430\u0442\u044b \u0438\u043b\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u0441\u0432\u0435\u0436\u0435\u0441\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">Metadata, alias \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, reindex<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u0422\u0435\u0440\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u0434\u044b \u0438 \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b<\/p>\n<\/td>\n<td data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">Dense retrieval \u043d\u0435 \u043b\u044e\u0431\u0438\u0442 \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">BM25, hybrid, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u041e\u0442\u0432\u0435\u0442 \u0435\u0441\u0442\u044c \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u043d\u043e \u043d\u0435 \u0432 chunk<\/p>\n<\/td>\n<td data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">\u0427\u0430\u043d\u043a \u0440\u0430\u0437\u0440\u0435\u0437\u0430\u043b \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0438\u043b\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">Structure-aware chunking, \u0440\u0430\u0437\u043c\u0435\u0440 \u0438 overlap<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u041d\u0443\u0436\u043d\u044b\u0439 chunk \u0432 top-5, \u043e\u0442\u0432\u0435\u0442 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439<\/p>\n<\/td>\n<td data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0434\u043e\u0434\u0443\u043c\u0430\u043b\u0430 \u0444\u0430\u043a\u0442 \u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">Prompt, \u0446\u0438\u0442\u0430\u0442\u044b, constrained answer, judge<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"231\" width=\"231\">\n<p align=\"left\">\u0421\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0432\u043d\u0435 \u043a\u043e\u0440\u043f\u0443\u0441\u0430<\/p>\n<\/td>\n<td data-colwidth=\"254\" width=\"254\">\n<p align=\"left\">\u041d\u0435\u0442 \u044f\u0432\u043d\u043e\u0439 policy \u043d\u0430 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u0440\u043e\u0433, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0448\u0430\u0431\u043b\u043e\u043d \u0432\u043e\u0437\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u043a\u043e\u0440\u043f\u043e\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0443\u0440\u0435 \u043a \u044d\u0442\u043e\u043c\u0443 \u0441\u043f\u0438\u0441\u043a\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430. Eval, \u0433\u0434\u0435 search \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d, \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u043c retrieval. ACL-\u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u0438 tenant isolation \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0447\u0430\u0441\u0442\u044c\u044e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f, \u0430 \u043d\u0435 \u0432\u043d\u0435\u0448\u043d\u0438\u043c middleware, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0431\u044b\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435.<\/p>\n<h3>\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 runner<\/h3>\n<p>\u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d \u043d\u043e\u0432\u044b\u0439 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b runner \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 <code>case_id<\/code> \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b:<\/p>\n<pre><code class=\"json\">{  \"case_id\": \"ops-047\",  \"config_id\": \"hybrid-rerank-v3\",  \"index_version\": \"2026-08-14\",  \"retrieved\": [    {\"chunk_id\": \"runbook-errors-v3#e204\", \"rank\": 1, \"score\": 0.82},    {\"chunk_id\": \"release-notes-2-4#known-issues\", \"rank\": 2, \"score\": 0.71}  ],  \"answer\": \"...\",  \"latency_ms\": 163,  \"prompt_version\": \"answer-v5\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0411\u0435\u0437 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u0430. \u041e\u043d\u0430 \u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e Recall \u0443\u043f\u0430\u043b \u0441 <code>0.79<\/code> \u0434\u043e <code>0.72<\/code>, \u043d\u043e \u043d\u0435 \u0441\u043a\u0430\u0436\u0435\u0442, \u0447\u0442\u043e \u0432 \u0438\u043d\u0434\u0435\u043a\u0441\u0435 \u0438\u0441\u0447\u0435\u0437\u043b\u0430 \u0432\u0435\u0442\u043a\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 reranker \u043d\u0430\u0447\u0430\u043b \u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043d\u0438\u0436\u0435 \u043b\u0438\u043c\u0438\u0442\u0430 <code>top_k<\/code>.<\/p>\n<p>\u041f\u043e\u0437\u0436\u0435 \u044d\u0442\u043e\u0442 \u0436\u0435 trace \u0441\u0442\u0430\u043d\u0435\u0442 \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0448\u0430\u0433\u0430 \u0441\u0435\u0440\u0438\u0438: \u0436\u0438\u0432\u043e\u0439 \u043f\u043b\u043e\u0445\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 eval \u043a\u0430\u043a regression case.<\/p>\n<h3>\u0427\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0443\u0441\u043f\u0435\u0445\u043e\u043c \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438<\/h3>\n<p>\u041d\u0435 <code>Recall@10 = 0.95<\/code>. \u0414\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0434\u043e\u043c\u0435\u043d\u0430 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043c\u0430\u043b\u043e, \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u043e\u0433\u043e &#8212; \u0443\u0436\u0435 \u043b\u0438\u0448\u043d\u0438\u0439 latency \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c. \u0423\u0441\u043f\u0435\u0445 \u043f\u0435\u0440\u0432\u043e\u0433\u043e eval set \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u043f\u0440\u043e\u0437\u0430\u0438\u0447\u043d\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>\u0443 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0435\u0441\u0442\u044c \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 \u043a\u0435\u0439\u0441\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0432 \u043d\u0430\u0431\u043e\u0440\u0435 \u0435\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u0441\u043b\u0443\u0447\u0430\u0438 \u0431\u0435\u0437 \u043e\u0442\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 happy path;<\/p>\n<\/li>\n<li>\n<p>retrieval \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u043e\u0434\u043d\u0443 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e top-5 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u044b \u043f\u0440\u043e\u043c\u0430\u0445\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0440\u0435\u0437\u044b \u0438\u043c\u0435\u044e\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u0440\u043e\u0433\u0438, \u0430 \u043d\u0435 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u0435\u043d\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043b\u043e\u0445\u043e\u0439 production trace \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u043d\u043e\u0432\u044b\u0439 regression test.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e RAG \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0432\u0438\u0433\u0430\u044e\u0442 \u00ab\u043d\u0430 \u043e\u0449\u0443\u0449\u0435\u043d\u0438\u044f\u0445 \u0438 \u0441\u0443\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438\u00bb. \u041c\u043e\u0436\u043d\u043e \u0447\u0435\u0441\u0442\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c: \u0432\u043e\u0442 \u0433\u0434\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u0432\u043e\u0442 \u0433\u0434\u0435 \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f, \u0432\u043e\u0442 \u043a\u0430\u043a\u0443\u044e \u0446\u0435\u043d\u0443 \u043c\u044b \u043f\u043b\u0430\u0442\u0438\u043c \u0437\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<p>\u0418 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0447\u0442\u043e\u0431\u044b \u0438\u0434\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435. \u0414\u0430\u0436\u0435 \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u044b\u0439 eval set \u043d\u0435 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043d\u044b\u043c: \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u043f\u0440\u0438\u043d\u043e\u0441\u044f\u0442 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432 \u043d\u0435\u043c \u043d\u0435 \u0431\u044b\u043b\u043e. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c, \u043a\u0430\u043a \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0436\u0430\u043b\u043e\u0431\u0443 \u00ab\u043e\u0442\u0432\u0435\u0442 \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0439\u00bb \u0432 trace, \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0438 \u043d\u043e\u0432\u044b\u0439 \u0442\u0435\u0441\u0442, \u0430 \u043d\u0435 \u0432 \u043e\u0434\u043d\u043e\u0440\u0430\u0437\u043e\u0432\u044b\u0439 \u0442\u0438\u043a\u0435\u0442 \u043d\u0430 \u0441\u043c\u0435\u043d\u0443 \u043f\u0440\u043e\u043c\u043f\u0442\u0430<\/p>\n<p>\u0412 Telegram <a href=\"https:\/\/t.me\/torch_lab\" rel=\"noopener noreferrer nofollow\">torch lab<\/a> \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0440\u0430\u0437\u0431\u043e\u0440\u044b, \u0441\u0445\u0435\u043c\u044b \u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0435 \u0437\u0430\u0433\u043e\u0442\u043e\u0432\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043c\u0435\u0449\u0430\u044e\u0442\u0441\u044f \u0432 \u0441\u0442\u0430\u0442\u044c\u044e: \u043e\u0442 trace \u0434\u043e \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u0422\u0430\u043c \u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u0435\u0441\u0442\u0438 \u0441\u0432\u043e\u0439 \u043a\u0435\u0439\u0441 \u0438\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0435 \ud83d\ude42<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1070534\/\">https:\/\/habr.com\/ru\/articles\/1070534\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u0435\u0440\u0438\u0438 \u043c\u044b \u0441\u0436\u0438\u043c\u0430\u043b\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0438 \u0437\u0430\u043c\u0435\u0440\u044f\u043b\u0438, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f \u0432\u044b\u0434\u0430\u0447\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043d\u043e\u0433\u043e fp32-\u043f\u043e\u0438\u0441\u043a\u0430. \u0422\u0430\u043c \u044d\u0442\u043e \u0431\u044b\u043b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u043b\u043e\u043c\u0430\u0435\u0442 \u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 retrieval.\u041d\u043e \u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u0437\u0430\u043c\u0435\u0440\u0430 \u0435\u0441\u0442\u044c \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u043e\u0435 \u0441\u043b\u0435\u043f\u043e\u0435 \u043f\u044f\u0442\u043d\u043e. \u041c\u043e\u0436\u043d\u043e \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c 99% \u0432\u044b\u0434\u0430\u0447\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430 \u0438 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u043b\u043e\u0445\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u0434\u043e\u043c\u0435\u043d\u0435. \u0412\u043d\u0435\u0448\u043d\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u0434\u0430\u0436\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0439, \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442. BEIR \u043a\u0430\u043a \u0440\u0430\u0437 \u0431\u044b\u043b \u0441\u043e\u0437\u0434\u0430\u043d, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b retrieval \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u0438 \u0434\u043e\u043c\u0435\u043d\u0430\u043c\u0438; \u043e\u0434\u0438\u043d \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u044b\u0439 \u0441\u043a\u043e\u0440 \u0442\u0430\u043c \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.\u041d\u0443\u0436\u0435\u043d \u0441\u0432\u043e\u0439 eval set. \u0418 \u0442\u0443\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043b\u043e\u0436\u043d\u0430\u044f \u0440\u0430\u0437\u0432\u0438\u043b\u043a\u0430:\u043b\u0438\u0431\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u043c \u0442\u044b\u0441\u044f\u0447\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0436\u0434\u0435\u043c \u043a\u0432\u0430\u0440\u0442\u0430\u043b;\u043b\u0438\u0431\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u0434\u0435\u0441\u044f\u0442\u043e\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c recall@10 = 0.91 \u0438 \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0435\u043c \u043f\u043e\u0438\u0441\u043a \u0433\u043e\u0442\u043e\u0432\u044b\u043c\u041c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u043a\u0440\u0430\u0439\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0435\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0447\u0435\u0435 \u043c\u0435\u0441\u0442\u043e: \u043f\u0435\u0440\u0432\u044b\u0435 100-300 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043a\u0435\u0439\u0441\u043e\u0432. \u042d\u0442\u043e \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043d\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043d\u0435 \u043f\u043e\u0432\u043e\u0434 \u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0434\u043e \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u043d\u0430\u043a\u0430. \u0417\u0430\u0442\u043e \u0442\u0430\u043a\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0445\u0432\u0430\u0442\u0430\u0435\u0442, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0442\u044c \u043c\u0435\u043d\u044f\u0442\u044c chunking, embedder \u0438 reranker \u0432\u0441\u043b\u0435\u043f\u0443\u044e.\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0443, \u043a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u043d\u0430\u0431\u043e\u0440, \u043a\u0430\u043a\u0438\u0435 \u043f\u043e\u043b\u044f \u0432 \u043d\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c, \u0447\u0435\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u0440\u0438\u0442\u044c retrieval \u0438 \u043e\u0442\u0432\u0435\u0442, \u0430 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 &#8212; \u043a\u0430\u043a \u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u0434\u0438\u043d \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0441\u043a\u043e\u0440 \u043d\u0435 \u0441\u043f\u0440\u044f\u0442\u0430\u043b \u043f\u043e\u043b\u043e\u043c\u043a\u0443 \u0432 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e\u043c \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0421\u043b\u043e\u0432\u0430 dataset, benchmark \u0438 eval \u0447\u0430\u0441\u0442\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u044e\u0442 \u0432 \u043e\u0434\u043d\u043e. \u041e\u0442\u0441\u044e\u0434\u0430 \u0438 \u0441\u0442\u0440\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f: \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043a\u0430\u043a \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0430\u0440\u044b &#8212; \u043a\u0430\u043a \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439 \u0442\u0435\u0441\u0442.\u0423 \u043c\u0435\u043d\u044f \u0434\u043b\u044f RAG \u043e\u0431\u044b\u0447\u043d\u043e \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438\u041d\u0430\u0431\u043e\u0440\u0420\u0430\u0437\u043c\u0435\u0440\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u043d\u0443\u0436\u0435\u043d\u0427\u0435\u0433\u043e \u043e\u043d \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442Smoke-\u043d\u0430\u0431\u043e\u044020-50\u0411\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0439\u043c\u0430\u0442\u044c \u0433\u0440\u0443\u0431\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043f\u0435\u0440\u0435\u0434 \u0440\u0435\u043b\u0438\u0437\u043e\u043c: \u043f\u0440\u043e\u043f\u0430\u043b \u0444\u0438\u043b\u044c\u0442\u0440, \u0441\u043b\u043e\u043c\u0430\u043b\u0441\u044f \u043f\u0430\u0440\u0441\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441\u0427\u0442\u043e \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043b\u0443\u0447\u0448\u0435 \u0441\u0442\u0430\u0440\u043e\u0439 \u0432 \u0446\u0435\u043b\u043e\u043c\u0420\u0443\u0447\u043d\u043e\u0439 eval set100-300\u0412\u044b\u0431\u0438\u0440\u0430\u0442\u044c chunking, \u043f\u043e\u0438\u0441\u043a, reranker, \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u0438 \u043f\u0440\u043e\u043c\u043f\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0438\u0441\u0442\u0438\u043d\u0443 \u043f\u0440\u043e \u0432\u0441\u0435 \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u044b\u0414\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u041e\u0442 \u0441\u043e\u0442\u0435\u043d \u0434\u043e \u0442\u044b\u0441\u044f\u0447 \u0438 \u0434\u0430\u043b\u044c\u0448\u0435\u0423\u0447\u0438\u0442\u044c retriever, reranker \u0438\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043d\u0430 \u043d\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u043f\u043e\u043f\u0430\u043b\u0438 \u0438 \u0432 evalSmoke-\u043d\u0430\u0431\u043e\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u0436\u0438\u0442\u044c \u0440\u044f\u0434\u043e\u043c \u0441 CI \u0438 \u0431\u044b\u0442\u044c \u0441\u043a\u0443\u0447\u043d\u044b\u043c. \u0412 \u043d\u0435\u043c \u043b\u0435\u0436\u0430\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0443\u0436\u0435 \u043e\u0434\u043d\u0430\u0436\u0434\u044b \u043e\u0448\u0438\u0431\u043b\u0430\u0441\u044c, \u043f\u043b\u044e\u0441 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0445 happy path. \u041e\u043d \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e: \u0435\u0433\u043e \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438.\u0420\u0443\u0447\u043d\u043e\u0439 eval set &#8212; \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0432\u044b\u0431\u043e\u0440\u0430. \u0415\u0433\u043e \u0437\u0430\u0434\u0430\u0447\u0430 &#8212; \u043f\u043e\u043c\u043e\u0433\u0430\u0442\u044c \u0441 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438: \u00ab\u043d\u0443\u0436\u0435\u043d \u043b\u0438 hybrid search\u00bb, \u00ab\u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043b\u0438 reranker \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u044b\u0445 \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0430\u0445\u00bb, \u00ab\u0441\u043b\u043e\u043c\u0430\u043b\u0438 \u043b\u0438 \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u043f\u043e\u0438\u0441\u043a \u043f\u043e \u0441\u0442\u0430\u0440\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u00bb.\u0410 \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043b\u044c\u0437\u044f \u0442\u0438\u0445\u043e \u0442\u0430\u0449\u0438\u0442\u044c \u0432 \u044d\u0442\u043e\u0442 \u043d\u0430\u0431\u043e\u0440. \u0415\u0441\u043b\u0438 hard negative \u0438\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432\u043b\u0438\u044f\u043b \u043d\u0430 fine-tune, \u0435\u043c\u0443 \u043d\u0443\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 holdout. \u0418\u043d\u0430\u0447\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0437\u043d\u0430\u043a\u043e\u043c\u0430\u044f \u043c\u0430\u0433\u0438\u044f: \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043d\u043e\u0432\u0430 \u0443\u0432\u0438\u0434\u0435\u043b\u0430 \u044d\u043a\u0437\u0430\u043c\u0435\u043d\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0431\u0438\u043b\u0435\u0442\u044b.\u0426\u0438\u043a\u043b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 RAG: \u043e\u0442 \u043a\u043e\u0440\u043f\u0443\u0441\u0430 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044e, \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0438 \u043d\u043e\u0432\u043e\u043c\u0443 regression case\u041f\u043e\u0447\u0435\u043c\u0443 MTEB \u0438 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441\u041f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 \u043d\u0443\u0436\u043d\u044b. \u0418\u043d\u0430\u0447\u0435 \u043c\u044b \u0431\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043c\u043e\u0433\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430. MTEB \u0438 BEIR \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u00ab\u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0435\u0434\u0435\u0442 \u0441\u0435\u0431\u044f \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u00bb. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043f\u0443\u043d\u043a\u0442\u0430 4.7 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0432\u0430\u0448\u0435\u0433\u043e \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043d\u0430\u0437\u0432\u0430\u043b \u0441\u0432\u043e\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043e\u043d\u0438 \u043d\u0430 \u0441\u0435\u0431\u044f \u043d\u0435 \u0431\u0435\u0440\u0443\u0442.\u0412 \u0434\u043e\u043c\u0435\u043d\u043d\u043e\u043c retrieval \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u043e\u043b\u044f\u0442 \u0432\u0435\u0449\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0432\u0438\u0434\u043d\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0441\u043a\u043e\u0440\u0435:\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0438: \u0430\u0440\u0442\u0438\u043a\u0443\u043b\u044b, \u043d\u043e\u043c\u0435\u0440\u0430 \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u043e\u0432, \u043a\u043e\u0434\u044b \u043e\u0448\u0438\u0431\u043e\u043a, \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0435\u0439;\u0432\u0435\u0440\u0441\u0438\u044f \u0438 \u0434\u0430\u0442\u0430 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430;\u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u0433\u0434\u0435 \u043e\u0442\u0432\u0435\u0442 \u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0440\u0430\u0437\u043d\u0435\u0441\u0435\u043d\u044b \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0430\u0431\u0437\u0430\u0446\u0435\u0432;\u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438 \u043f\u0430\u0440\u0441\u0438\u043d\u0433\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b\u0430\u0441\u044c \u0448\u0430\u043f\u043a\u0430;\u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u044e\u0449\u0438\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438: \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u043e\u0431\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c, \u0430 \u0441\u0442\u0430\u0440\u044b\u0439 FAQ \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435;\u0432\u043e\u043f\u0440\u043e\u0441, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0447\u0435\u0441\u0442\u043d\u043e \u043d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430;\u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430, \u043d\u0435 \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430.\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0441\u0442\u0430\u0440\u0442: \u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438 \u0432\u0440\u043e\u0434\u0435 ARES. \u041d\u043e \u043e\u043d\u0430 \u043e\u043f\u0430\u0441\u043d\u0430 \u043a\u0430\u043a \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u0438\u0434\u0438\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u043f\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435, \u0447\u0430\u0441\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0443. \u0412 \u0436\u0438\u0432\u043e\u043c \u043b\u043e\u0433\u0435 \u043b\u044e\u0434\u0438 \u043d\u0435 \u043f\u0438\u0448\u0443\u0442 \u00ab\u043e\u043f\u0438\u0448\u0438\u0442\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u043a\u0438 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0443 3.2\u00bb. \u041e\u043d\u0438 \u043f\u0438\u0448\u0443\u0442 \u00ab\u043a\u043e\u043c\u0443 \u043d\u0435\u0441\u0442\u0438 \u0437\u0430\u044f\u0432\u043a\u0443, \u0435\u0441\u043b\u0438 \u0434\u043e\u0441\u0442\u0443\u043f \u0432\u0447\u0435\u0440\u0430 \u0437\u0430\u043a\u0440\u044b\u043b\u0438?\u00bb.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443 \u044f \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u043b\u043e\u0435\u043c: \u0437\u0430\u043a\u0440\u044b\u0442\u044c \u0440\u0435\u0434\u043a\u0438\u0439 \u0442\u0438\u043f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432. \u0424\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u0438 \u043a\u0435\u0439\u0441\u0430 \u0432 eval \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u043e\u043c\u0435\u043d \u0438 \u0446\u0435\u043d\u0443 \u043e\u0448\u0438\u0431\u043a\u0438.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0435\u0448\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0430\u0431\u043e\u0440\u0421\u0430\u043c\u0430\u044f \u0447\u0430\u0441\u0442\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 &#8212; \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u0447\u0430\u0442\u044c \u0441\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430 question \u0432 CSV. \u0412\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0430\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u044f\u0441\u043d\u044f\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u043d\u0438 \u043f\u0440\u043e \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 FAQ, \u043e\u0434\u0438\u043d \u0441\u0442\u0438\u043b\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438, \u043e\u0434\u043d\u0430 \u0432\u0435\u0440\u0441\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430. \u0421\u0440\u0435\u0434\u043d\u0438\u0439 recall@10 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0445\u043e\u0440\u043e\u0448\u0438\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u043d\u0438 \u043d\u0430 \u0447\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442.\u0414\u043e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c 6-8 \u0441\u0440\u0435\u0437\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041e\u0440\u0438\u0435\u043d\u0442\u0438\u0440 \u0437\u0434\u0435\u0441\u044c &#8212; \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0438\u0441\u043a\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0433\u043e \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0430 \u043f\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438:\u0421\u0440\u0435\u0437\u0427\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u0430\u0436\u0435\u043dExact entity\u041a\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438\u043c\u044f API, \u0430\u0440\u0442\u0438\u043a\u0443\u043b, \u043d\u043e\u043c\u0435\u0440 \u043f\u0443\u043d\u043a\u0442\u0430Dense-\u043f\u043e\u0438\u0441\u043a \u0447\u0430\u0441\u0442\u043e \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e\u041f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0435 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u043d\u0430\u0439\u0434\u0435\u0442 \u043b\u0438 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0439 \u043f\u043e\u0438\u0441\u043a \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u0435\u0437 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u043e\u043c\u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u0440\u0430\u0437\u0434\u0435\u043b\u041e\u0442\u0432\u0435\u0442 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430\u043d \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u0443\u0441\u043a\u0430\u043c\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c chunking, top_k \u0438 reranker\u0422\u0430\u0431\u043b\u0438\u0446\u044b\u041e\u0442\u0432\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u043e\u043d\u043a\u0438 \u0438 \u0441\u0442\u0440\u043e\u043a\u0438\u041b\u043e\u0432\u0438\u043c \u043e\u0448\u0438\u0431\u043a\u0438 ingestion \u0434\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e\u0412\u0435\u0440\u0441\u0438\u0438 \u0438 \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u044b\u0412 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0435\u0441\u0442\u044c \u0441\u0442\u0430\u0440\u044b\u0439 \u0438 \u043d\u043e\u0432\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c metadata, \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u0438 \u0441\u0432\u0435\u0436\u0435\u0441\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u041d\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430\u0412 \u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u043d\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438\u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u0443\u043c\u0435\u0435\u0442 \u043b\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c\u041f\u043b\u043e\u0445\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u041e\u043f\u0435\u0447\u0430\u0442\u043a\u0430, \u0436\u0430\u0440\u0433\u043e\u043d, \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441\u041f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u043c eval \u043a \u0436\u0438\u0432\u043e\u043c\u0443 \u0432\u0432\u043e\u0434\u0443\u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439\u041e\u0448\u0438\u0431\u043a\u0430 \u0434\u043e\u0440\u043e\u0433\u043e \u0441\u0442\u043e\u0438\u0442\u0412\u0432\u043e\u0434\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 release gate, \u0430 \u043d\u0435 \u0440\u0430\u0441\u0442\u0432\u043e\u0440\u044f\u0435\u043c \u0435\u0433\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u041d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0440\u0435\u0437 \u043f\u043e\u0440\u043e\u0432\u043d\u0443. \u0415\u0441\u043b\u0438 70% \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430 &#8212; \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0443, \u044d\u0442\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0432\u0438\u0434\u043d\u043e \u0432 \u043d\u0430\u0431\u043e\u0440\u0435. \u041d\u043e \u0440\u0435\u0434\u043a\u0438\u0439 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0446\u0435\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0442\u043e\u0436\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0442\u0440\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u0445: \u0435\u043c\u0443 \u043d\u0443\u0436\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0432\u043e\u0442\u0430 \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u0439 \u0441\u0442\u0430\u0440\u0442 \u043d\u0430 120 \u043a\u0435\u0439\u0441\u043e\u0432\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u043d\u0443\u0442\u044c \u043d\u0430\u0434 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0442\u0430\u043a:\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u041a\u0435\u0439\u0441\u0417\u0430\u0447\u0435\u043c\u041e\u0431\u0435\u0437\u043b\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u043b\u043e\u0433\u0438 \u0438\u043b\u0438 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f45\u0421\u0430\u043c\u044b\u0439 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044f\u0437\u044b\u043a \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0438 changelog30\u0412\u0435\u0440\u0441\u0438\u0438, \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b, \u0440\u0435\u0434\u043a\u0438\u0435, \u043d\u043e \u0432\u0430\u0436\u043d\u044b\u0435 \u0442\u0435\u043c\u044b\u0418\u043d\u0442\u0435\u0440\u0432\u044c\u044e \u0441 domain expert25\u0412\u043e\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u043d\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u044e\u0434\u0438 \u0438\u0437 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u044b \u043f\u043e\u0441\u043b\u0435 \u0440\u0443\u0447\u043d\u043e\u0433\u043e \u0440\u0435\u0432\u044c\u044e20\u0417\u0430\u043a\u0440\u044b\u0442\u044c \u043f\u0443\u0441\u0442\u044b\u0435 \u0441\u0440\u0435\u0437\u044b \u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043e\u043a\u042d\u0442\u043e \u043d\u0435 \u043d\u043e\u0440\u043c\u0430 \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0438, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u0443\u043c\u043d\u0430\u044f \u043f\u0435\u0440\u0432\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f: \u043f\u043e 12-20 \u043a\u0435\u0439\u0441\u043e\u0432 \u043d\u0430 \u0432\u0430\u0436\u043d\u044b\u0439 \u0441\u0440\u0435\u0437 \u0443\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043a\u0440\u0443\u043f\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0430 \u043d\u0430\u0431\u043e\u0440 \u0435\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438 \u0437\u0430 \u0432\u0435\u0447\u0435\u0440-\u0434\u0432\u0430.\u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043e\u0434\u0438\u043d \u043a\u0435\u0439\u0441\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u00ab\u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u00bb \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043d\u0430\u0431\u0440\u043e\u0441\u043a\u0430. \u041d\u043e \u043f\u043e\u0442\u043e\u043c \u0432\u044b \u0437\u0430\u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c, \u0438 \u043e\u0434\u043d\u043e\u0433\u043e gold_doc_id \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u0442.\u042f \u0445\u0440\u0430\u043d\u044e eval set \u0432 JSONL, \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442 \u043d\u0430 \u043a\u0435\u0439\u0441. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438 \u043c\u0435\u0441\u0442\u043e \u0441 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c \u043b\u0443\u0447\u0448\u0435 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c document_id \u0438 section_id \u043b\u0438\u0431\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u043e\u043c \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0435. chunk_id \u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430: \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 chunking &#8212; \u0441\u0442\u0430\u0440\u044b\u0439 gold-label \u0443\u0436\u0435 \u043d\u0435 \u0441 \u0447\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c.{  &#171;id&#187;: &#171;ops-047&#187;,  &#171;query&#187;: &#171;\u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c. \u0413\u0434\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434 \u043e\u0448\u0438\u0431\u043a\u0438 E204?&#187;,  &#171;scenario&#187;: &#171;exact_entity&#187;,  &#171;difficulty&#187;: &#171;medium&#187;,  &#171;answerability&#187;: &#171;answerable&#187;,  &#171;expected_document_ids&#187;: [&#171;runbook-errors-v3&#187;],  &#171;gold_evidence&#187;: [    {&#171;document_id&#187;: &#171;runbook-errors-v3&#187;, &#171;section_id&#187;: &#171;errors\/e204&#187;, &#171;relevance&#187;: 2},    {&#171;document_id&#187;: &#171;release-notes-2-4&#187;, &#171;section_id&#187;: &#171;known-issues&#187;, &#171;relevance&#187;: 1}  ],  &#171;expected_facts&#187;: [    &#171;E204 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c upstream API&#187;,    &#171;\u041d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u0443\u0441 upstream \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441&#187;  ],  &#171;acceptable_answer&#187;: &#171;\u041a\u043e\u0440\u043e\u0442\u043a\u0430\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u0441 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c; \u0431\u0435\u0437 \u043f\u0440\u0438\u0447\u0438\u043d, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438&#187;,  &#171;why_it_matters&#187;: &#171;\u042d\u0442\u043e \u0447\u0430\u0441\u0442\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0435\u0440\u0432\u043e\u0439 \u043b\u0438\u043d\u0438\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438&#187;,  &#171;source&#187;: &#171;support_log&#187;,  &#171;reviewed_by&#187;: &#171;domain_expert&#187;,  &#171;dataset_version&#187;: &#171;2026-08-14&#187;}\u0417\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u043e\u043b\u0435\u0439.answerability \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u044f\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0431\u0435\u0437 \u043e\u0442\u0432\u0435\u0442\u0430. \u0411\u0435\u0437 \u043d\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0443\u0447\u0438\u0442\u0441\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u00ab\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0442\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432\u0435\u0441\u044c eval \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043b\u044e\u0431\u043e\u0439 \u0446\u0435\u043d\u043e\u0439 \u0447\u0442\u043e-\u0442\u043e \u043d\u0430\u0439\u0442\u0438.expected_document_ids \u0438 gold_evidence \u043e\u0442\u0434\u0435\u043b\u044f\u044e\u0442 \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f. Runner \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0437\u043d\u0430\u0435\u0442 mapping chunk_id -&gt; document_id + source span \u0438 \u043e\u0442\u043c\u0435\u0447\u0430\u0435\u0442 chunk \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u043c, \u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u0441 \u043d\u0443\u0436\u043d\u044b\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u043c. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c chunking \u0438 \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c eval set. \u0418\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043d\u0430\u0439\u0434\u0435\u043d, \u043d\u043e \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u0442\u0435\u0440\u044f\u043d \u0438\u0437-\u0437\u0430 chunking. \u0418\u043d\u043e\u0433\u0434\u0430 \u0432 top-5 \u0435\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442, \u043d\u043e \u0432\u044b\u0448\u0435 \u043d\u0435\u0433\u043e \u043b\u0435\u0436\u0438\u0442 \u043c\u0443\u0441\u043e\u0440. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u043b\u043e\u043c\u043a\u0438 \u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0444\u0438\u043a\u0441\u044b.expected_facts \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u044d\u043a\u0437\u0430\u043c\u0435\u043d \u043d\u0430 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u0430. \u042d\u0442\u043e \u043e\u043f\u043e\u0440\u043d\u044b\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0443\u0447\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u044b \u0438 \u0434\u043b\u044f LLM-as-a-judge, \u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u0437\u0436\u0435.why_it_matters \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u043d\u0438\u043c \u0434\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043f\u043e\u0440\u0430 \u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u043e\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u043f\u043e\u043b\u0435\u043c: \u043e\u043d\u043e \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u0434\u0438\u043d \u043a\u0435\u0439\u0441 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0430\u043a \u00ab\u0440\u0435\u0434\u043a\u0438\u0439 edge case\u00bb.\u0420\u0430\u0437\u043c\u0435\u0447\u0430\u0435\u043c retrieval \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u043e\u0442\u0432\u0435\u0442\u0430RAG \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0445\u043e\u0442\u044f \u0431\u044b \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0438\u0441\u0442\u0435\u043c: \u043f\u043e\u0438\u0441\u043a \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440 \u0441\u0442\u0440\u043e\u0438\u0442 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443. \u0415\u0441\u043b\u0438 \u043c\u0435\u0440\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f.\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438:\u0412 top-5 \u043d\u0435\u0442 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0430. \u041f\u0440\u043e\u043c\u043f\u0442 \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0447\u043d\u043e \u043d\u0438 \u043f\u0440\u0438 \u0447\u0435\u043c: \u043d\u0430\u0434\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c ingestion, chunking, \u0444\u0438\u043b\u044c\u0442\u0440\u044b, embedder, BM25 \u0438\u043b\u0438 reranker\u041d\u0443\u0436\u043d\u044b\u0439 chunk \u0435\u0441\u0442\u044c, \u043d\u043e \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u0434\u0443\u043c\u0430\u043b \u0444\u0430\u043a\u0442. Retrieval \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b; \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0438\u043b\u0438 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438\u0412 top-5 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u0440\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0430 \u043e\u0442\u0432\u0435\u0442 \u0447\u0435\u0441\u0442\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0435\u043c\u0443. \u041f\u0440\u0438\u0447\u0438\u043d\u0443 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0432 metadata \u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0435 \u0441\u0432\u0435\u0436\u0435\u0441\u0442\u0438\u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 Microsoft Foundry \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 retrieval-\u043e\u0446\u0435\u043d\u043a\u0443 \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0435\u0435 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u0438. Groundedness, completeness \u0438 relevance \u043e\u0442\u0432\u0435\u0442\u0430 \u0442\u0430\u043c \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c\u0438. RAGAS \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e \u0442\u043e\u043c\u0443 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443: \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0432\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 &#8212; \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0441\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0441\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u0443\u041c\u0435\u0442\u0440\u0438\u043a\u0438 retrieval\u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e eval set \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0442\u0440\u0435\u0445 \u043c\u0435\u0442\u0440\u0438\u043a.Recall@k. \u0414\u043e\u043b\u044f \u043a\u0435\u0439\u0441\u043e\u0432, \u0433\u0434\u0435 \u0441\u0440\u0435\u0434\u0438 \u043f\u0435\u0440\u0432\u044b\u0445 k \u043d\u0430\u0439\u0434\u0435\u043d \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0439 chunk. \u042d\u0442\u043e \u0441\u0442\u0440\u0430\u0445\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430: \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-490958","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490958","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=490958"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490958\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=490958"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=490958"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=490958"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}