{"id":375013,"date":"2024-05-21T06:14:16","date_gmt":"2024-05-21T06:14:16","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=375013"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=375013","title":{"rendered":"<span>\u041f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Optuna<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<blockquote>\n<p>\u041a\u0430\u043a \u0433\u043b\u0430\u0441\u0438\u0442 \u043d\u0430\u0440\u043e\u0434\u043d\u0430\u044f \u043c\u0443\u0434\u0440\u043e\u0441\u0442\u044c: \u201c\u041f\u043b\u043e\u0445 \u0442\u043e\u0442 \u0434\u0430\u0442\u0430\u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0441\u0432\u0430\u043b\u0438\u0442\u044c \u0432\u0441\u0435 \u043d\u0430 Optuna\u2019\u0443.<\/p>\n<\/blockquote>\n<p>RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u0430\u0440\u043c\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a (\u0430-\u043b\u044f \u0413\u0443\u0433\u043b \u0438\u043b\u0438 \u042f\u043d\u0434\u0435\u043a\u0441), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u043f\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c \u0432\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u043e\u0432\u0430\u0432\u043e\u0433\u043e \u044d\u043d\u0442\u0435\u0440\u043f\u0440\u0430\u0439\u0437\u0430 \ud83d\ude42<\/p>\n<blockquote>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e-\u043d\u0430\u0443\u0447\u043d\u043e\u043c\u0443: Retrieval Augmented Generation (RAG) \u2014 \u044d\u0442\u043e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (LLM) \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0435\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0412\u0441\u0435\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0437 \u043e RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0440\u0430\u043c\u043a\u0438 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0442 \u0442\u0443\u0442 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438: <a href=\"https:\/\/habr.com\/ru\/articles\/779526\/\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/habr.com\/ru\/articles\/779526\/<\/u><\/a> \u0438 <a href=\"https:\/\/habr.com\/ru\/companies\/raft\/articles\/791034\/\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/habr.com\/ru\/companies\/raft\/articles\/791034\/<\/u><\/a> <\/p>\n<\/blockquote>\n<p>\u041f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u041f\u0440\u0438\u0447\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u044d\u0442\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430. \u0418 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0445 \u044d\u0442\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0418 \u0432\u0435\u0441\u044c \u044d\u0442\u043e\u0442 \u0437\u043e\u043e\u043f\u0430\u0440\u043a \u043d\u0430\u0434\u043e \u043a\u0430\u043a-\u0442\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e. [\u0421\u043f\u043e\u0439\u043b\u0435\u0440] \u0414\u043e\u043b\u0433\u043e, \u0443\u0442\u043e\u043c\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e [\/\u0421\u043f\u043e\u0439\u043b\u0435\u0440] \ud83d\ude42 \u0410 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u0430\u043b\u0438\u0442\u044c \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 Optuna\u2019\u0443 (\u0430 \u0447\u0435 \u043e\u043d\u0430 \u0431\u0435\u0437\u0434\u0435\u043b\u044c\u043d\u0438\u0447\u0430\u0435\u0442 \ud83d\ude42 \u0427\u0435\u043c \u043c\u044b \u0438 \u0437\u0430\u0439\u043c\u0435\u043c\u0441\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438.<\/p>\n<h2>\u0417\u0430\u0434\u0430\u0447\u0430<\/h2>\n<p>\u041d\u043e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443, \u0442.\u043a. \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0430\u0448\u0430 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u0438\u0441\u043a \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: \u0422\u0417, \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u044b \u0438 \u043f\u0440.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0435\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432: DOCX, PDF \u0438 TXT.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u043c\u043d\u043e\u0433\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u041d\u043e \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0432 \u043e\u0434\u043d\u043e\u0439 \u0435\u0433\u043e \u0447\u0430\u0441\u0442\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0431\u0437\u0430\u0446\u0435).<br \/>\u0422.\u0435. \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p>\u042f\u0437\u044b\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, &#8212; \u0440\u0443\u0441\u0441\u043a\u0438\u0439. \u0418\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f &#8212; \u0438\u043c\u0435\u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0443\u0440\u0435 (\u0442.\u0435. \u043d\u0438\u043a\u0430\u043a\u0438\u0445 OpenAI \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0435\u0439).<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 GPU A100 40\u041c\u0431.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/h2>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043d\u0430\u0448\u0435\u0439 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u0442\u0440\u0435\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0438 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. <\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432:<\/p>\n<p><strong>1. \u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/strong><\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2df\/22c\/320\/2df22c32063a7c39ab4bebf35a0daa16.png\" width=\"350\" height=\"71\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2df\/22c\/320\/2df22c32063a7c39ab4bebf35a0daa16.png\"\/><\/figure>\n<p>\u042d\u0442\u0430\u043f\u044b:<\/p>\n<ul>\n<li>\n<p>\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 \u201c\u0441\u0438\u0441\u0442\u0435\u043c\u0443\u201d \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442(\u044b).<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0447\u0430\u043d\u043a\u0438 (\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430) \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0447\u0430\u043d\u043a \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c bi-encoder\u2019\u0430 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (\u043e\u043d \u0436\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433).<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0441\u0430\u043c\u0438\u043c \u0447\u0430\u043d\u043a\u043e\u043c (\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439) \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p>\u041f\u043e \u0444\u044d\u043d-\u0448\u0443\u044e \u0442\u0443\u0442 \u0435\u0449\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u043d\u043e \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043e\u043d \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d.<\/p>\n<\/blockquote>\n<p><strong>2. \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441<\/strong><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/479\/207\/c40\/479207c40d1591ec8b3a85c1dd672400.png\" width=\"1600\" height=\"357\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/479\/207\/c40\/479207c40d1591ec8b3a85c1dd672400.png\"\/><\/figure>\n<p>\u042d\u0442\u0430\u043f\u044b:<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c bi-encoder\u2019\u0430 (\u043f\u0440\u0438\u0447\u0435\u043c \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0447\u0430\u043d\u043a\u043e\u0432).<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u0438\u0449\u0435\u043c \u0432 \u0411\u0414 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430. \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0442\u043e\u043f-N \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u043d\u0438\u043c\u0438 \u0447\u0430\u043d\u043a\u0438).<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u043c\u0442 \u0434\u043b\u044f LLM. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u043c \u0432\u043e\u0435\u0434\u0438\u043d\u043e: \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442, \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u0447\u0430\u043d\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u0440\u043e\u043c\u0442 \u0432 LLM \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u0438 \u0434\u0432\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0430\u043d\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0432\u043c\u0435\u0441\u0442\u0435.<\/p>\n<p><strong>\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b<\/strong><\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0442\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430:<\/p>\n<ol>\n<li>\n<p>Bi-encoder &#8212; \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440.<br \/>\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e? \u0414\u0432\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0438 \u043f\u043e\u0445\u043e\u0436\u0438. \u0422\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0411\u0414. \u041d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u0410 \u0435\u0449\u0435 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c (\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c) \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u043c\u0443 (\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0434\u0440\u0443\u0433\u0438\u043c) \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e.<br \/>\u0412 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0430\u043d\u043a\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0418 \u043f\u043e \u043a\u043e\u0441\u0438\u043d\u043e\u0441\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0447\u0430\u043d\u043a\u0438. \u0418 \u0443\u0436\u0435 \u044d\u0442\u0438 \u0447\u0430\u043d\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c LLM.<\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e? \u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435 \u0441\u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0432\u0441\u0435 \u0447\u0430\u043d\u043a\u0438 \u0432 LLM? \u041f\u0440\u0438\u0447\u0438\u043d\u044b \u0434\u0432\u0435:<\/p>\n<ul>\n<li>\n<p>\u0423 LLM \u0435\u0441\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0432\u0441\u0435 \u0447\u0430\u043d\u043a\u0438 \u0432 \u043d\u0435\u0435 \u0442\u0443\u043f\u043e \u043d\u0435 \u0432\u043b\u0435\u0437\u0443\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b \u0441\u043a\u043e\u0440\u043c\u0438\u0442\u0435 LLM, \u0442\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0447\u0430\u043d\u043a\u043e\u0432. \u0427\u0442\u043e \u043c\u044b \u0438 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<br \/>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/qdrant.tech\" rel=\"noopener noreferrer nofollow\">Qdrant<\/a>.<\/p>\n<\/li>\n<li>\n<p>LLM &#8212; \u0441\u0435\u0440\u0434\u0446\u0435 \u043d\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b &#8212; \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u201c\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0432\u0430\u043d\u0438\u0435\u043c\u201d \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u043d\u0435\u0433\u043e. \u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0430 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0440\u0430\u0437\u0438\u043d\u0443\u0442\u0443\u044e Llama 3 (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0437\u0430\u0442\u044e\u043d\u0435\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e <a href=\"https:\/\/huggingface.co\/IlyaGusev\/saiga_llama3_8b\" rel=\"noopener noreferrer nofollow\">IlyaGusev\/saiga_llama3_8b<\/a>). \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u043e\u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u0432\u043b\u0430\u0437\u0438\u0442 \u043d\u0430 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0443. \u0412 \u043e\u0431\u0449\u0435\u043c, \u0442\u043e \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \ud83d\ude42<\/p>\n<\/li>\n<\/ol>\n<blockquote>\n<p>\u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u0432\u0438\u0434\u0435\u0442\u044c (\u0437\u0430\u0442\u0435\u043d\u0435\u043d) \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 &#8212; Cross-encoder (\u0435\u0449\u0435 \u0435\u0433\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 re-ranker). \u0412 \u044d\u0442\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u043e\u043d \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043d\u043e \u043e\u043d \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u0445. \u0415\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u043d\u043a\u043e\u0432. Cross-encoder \u0442\u0438\u043f\u0430 \u0443\u043c\u043d\u0435\u0435 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0434\u043e\u043b\u044c\u0448\u0435 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430. \u0410 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 &#8212; \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0442\u0430\u043a: \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0442\u0431\u0438\u0440\u0430\u044e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e\u043f-100 \u0447\u0430\u043d\u043a\u043e\u0432. \u0418\u0445 \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u044e\u0442 \u0441ross-encoder\u2019\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043d\u0438\u0445 3-5 \u0447\u0430\u043d\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432 LLM.<\/p>\n<p>\u0418\u043b\u0438 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u0445\u0438\u0442\u0440\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u043f\u0440\u043e\u0441\u044f\u0442 LLM \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f 2 \u0440\u0430\u0437\u0430. \u041f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0445\u0441\u044f 3 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438\u0449\u0443\u0442 \u0447\u0430\u043d\u043a\u0438 \u0432 \u0411\u0414 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e 30 \u0447\u0430\u043d\u043a\u043e\u0432 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441). \u0417\u0430\u0442\u0435\u043c cross-encoder \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0447\u0430\u043d\u043a\u043e\u0432 3-5 \u043b\u0443\u0447\u0448\u0438\u0445.<\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0443\u0442: <a href=\"https:\/\/www.sbert.net\/examples\/applications\/cross-encoder\/README.html\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/www.sbert.net\/examples\/applications\/cross-encoder\/README.html<\/u><\/a><\/p>\n<p>\u0417.\u042b. \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u044b\u0439 cross-encoder: <a href=\"https:\/\/huggingface.co\/PitKoro\/cross-encoder-ru-msmarco-passage\" rel=\"noopener noreferrer nofollow\">PitKoro\/cross-encoder-ru-msmarco-passage<\/a><\/p>\n<\/blockquote>\n<h2>\u0422\u0435\u0441\u0442\u044b<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043a \u043d\u0438\u043c. \u0418 \u043b\u0443\u0447\u0448\u0435 \u0447\u0442\u043e\u0431\u044b \u0432 \u0438\u0445 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b (\u0438\u043b\u0438 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438), \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u0430\u0448\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u201c\u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u043c\u201d \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e. \u0412\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 20-30 \u043d\u0430 5-10 \u0444\u0430\u0439\u043b\u043e\u0432.<\/p>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">#<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u043e\u043f\u0440\u043e\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u0439\u043b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2116 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0413\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441 &#8212; \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 &#8212; \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u0432\u0438\u0434\u0435\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 &#8212; \u0446\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a \u0442\u0435\u043a\u0441\u0442\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0431\u0437\u0430\u0446), \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0424\u0430\u0439\u043b &#8212; \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u2116 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b &#8212; \u043d\u043e\u043c\u0435\u0440 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043e\u0442\u0432\u0435\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0444\u0430\u043a\u0442\u044b \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0441 \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0427\u0438\u0441\u043b\u0430, \u0434\u0430\u0442\u044b, \u0438\u043c\u0435\u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0418 \u043f\u0440.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u043e\u0440\u0438\u044f \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u043d\u0430\u043c \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0447\u0435\u043c-\u0442\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \ud83d\ude42\u00a0<\/p>\n<p><strong>Ru RAG Test Dataset<\/strong><\/p>\n<p>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f \u0441\u043e\u0431\u0440\u0430\u043b \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b: <a href=\"https:\/\/github.com\/slivka83\/ru_rag_test_dataset\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/github.com\/slivka83\/ru_rag_test_dataset<\/u><\/a><\/p>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <a href=\"https:\/\/github.com\/vladislavneon\/RuBQ\/tree\/master\/RuBQ_2.0\" rel=\"noopener noreferrer nofollow\">RuBQ<\/a>. \u0412 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u043d\u0443\u0436\u043d\u044b\u0435 \u043d\u0430\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u044b (\u043a\u0440\u043e\u043c\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 &#8212; \u0432 \u0432\u0435\u0431\u0435 \u0438 txt \u0438\u0445 \u043d\u0435\u0442 :). \u0412\u0441\u0435\u0433\u043e 923 \u0432\u043e\u043f\u0440\u043e\u0441\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f54\/0d6\/ea7\/f540d6ea7cf77f50f592727f85edba63.png\" width=\"1757\" height=\"648\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f54\/0d6\/ea7\/f540d6ea7cf77f50f592727f85edba63.png\"\/><\/figure>\n<blockquote>\n<p>\u0418\u0437 RuBQ \u044f \u043e\u0442\u043e\u0431\u0440\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438. \u041d\u043e \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445\/\u0430\u0431\u0437\u0430\u0446\u0430\u0445. \u0415\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0445 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e &#8212; \u043a\u043e\u0434 \u044f \u043f\u0440\u0438\u043b\u043e\u0436\u0438\u043b.<\/p>\n<\/blockquote>\n<p>\u0417.\u042b. \u0415\u0441\u043b\u0438 \u0447\u0442\u043e, \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0436\u0438\u0442\u044c \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u041e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 (\u0435\u0441\u043b\u0438 \u043d\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u043d\u044b\u0435 \ud83d\ude42<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0430\u044f) \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 LLM \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u0430 \u0435\u0435 \u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u0418 \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043e\u0442\u043a\u0443\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0437\u044f\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 &#8212; \u0438\u0437 \u0447\u0430\u043d\u043a\u043e\u0432 \u0438\u043b\u0438 \u0438\u0437 \u0441\u0432\u043e\u0438\u0445 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u0430\u0445.<\/p>\n<\/li>\n<\/ul>\n<h2>\u041e\u0446\u0435\u043d\u043a\u0430<\/h2>\n<p>\u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0443, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0442\u0440\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430:<\/p>\n<ol>\n<li>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b?<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442?<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 LLM.<\/p>\n<\/li>\n<\/ol>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 LLM \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e: BERTScore, BLEURT, METEOR \u0438 \u043f\u0440. \u0418 \u0432\u0441\u0435 \u043e\u043d\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u0443\u0434\u0440\u0435\u043d\u044b\u0435. \u041d\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u043d\u0430\u0448\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 &#8212; \u043e\u043d\u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u044b. \u0411\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0432\u043e \u0438\u043b\u0438 \u0434\u0432\u0430. \u0410 LLM \u0431\u044b\u0432\u0430\u044e\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u201c\u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0447\u0438\u0432\u044b\u201d. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 LLM \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e (\u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f) \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 LLM. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 Rouge-1, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0443\u043d\u0438\u0433\u0440\u0430\u043c\u043c\u044b.<\/p>\n<blockquote>\n<p>\u0415\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b LLM \u0442\u0430\u043a\u0436\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLM: \u043f\u043e\u0434\u0430\u044e\u0442 \u0432 LLM \u0432\u043e\u043f\u0440\u043e\u0441 \u0438 \u043e\u0442\u0432\u0435\u0442 \u0438 \u043f\u0440\u043e\u0441\u044f\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c (\u043e\u0442 1 \u0434\u043e 10) \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0432\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439.<\/p>\n<\/blockquote>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044e. \u0422.\u0435. \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u043a\u0443\u0441\u043e\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u043d\u043a\u0430\u0445.<\/p>\n<p>\u0424\u0430\u0439\u043b \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0435\u0433\u043e \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f: \u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043b\u0438 \u043d\u0430\u043c \u0411\u0414 \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0430\u0439\u043b (\u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0447\u0430\u043d\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d \u0432\u0437\u044f\u0442).<\/p>\n<h2>\u041a\u043e\u0434<\/h2>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u043d\u0430\u0448 \u043a\u043e\u0434.<\/p>\n<p>\u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0437\u0434\u0435\u0441\u044c: <a href=\"https:\/\/github.com\/slivka83\/rag_optuna_optimization\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/slivka83\/rag_optuna_optimization<\/a><\/p>\n<h3>\u0427\u0430\u043d\u043a\u0438<\/h3>\n<pre><code class=\"python\">from langchain_community.document_loaders import TextLoader, Docx2txtLoader, PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter  def file_to_chunks(file_name, sep, chunk_size, chunk_overlap):     file_ext = file_name.split('.')[-1]     file_path = f'{TEST_FOLDER_PATH}\/{file_name}'          # \u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0444\u0430\u0439\u043b\u0430      if file_ext == 'txt':         loader = TextLoader(file_path, encoding='utf-8')     elif file_ext == 'docx':         loader = Docx2txtLoader(file_path)     elif file_ext == 'pdf':         loader = PyPDFLoader(file_path)     else:         return     file = loader.load()     content = file[0].page_content          # \u0420\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0447\u0430\u043d\u043a\u0438     text_splitter = RecursiveCharacterTextSplitter(         separators = sep,         chunk_size = chunk_size,         chunk_overlap = chunk_overlap,         length_function = len,         is_separator_regex = False,         add_start_index = False     )     chunks = text_splitter.split_text(content)          return chunks<\/code><\/pre>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f <em>file_to_chunks<\/em>, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430, \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0435\u0433\u043e \u0438 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u043d\u0430 \u0447\u0430\u043d\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 langchain. \u0418 \u044d\u0442\u0438 \u0447\u0430\u043d\u043a\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442.<\/p>\n<p>\u0418 \u0437\u0434\u0435\u0441\u044c \u0443 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<\/p>\n<ul>\n<li>\n<p>sep &#8212; \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044c \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0448\u0438\u043d\u043a\u043e\u0432\u0430\u0442\u044c \u0444\u0430\u0439\u043b.<\/p>\n<\/li>\n<li>\n<p>chunk_size &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u0447\u0430\u043d\u043a\u043e\u0432 (\u0432 \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u0445).<\/p>\n<\/li>\n<li>\n<p>chunk_overlap &#8212; \u0441 \u043a\u0430\u043a\u0438\u043c \u043f\u0435\u0440\u0435\u0445\u043b\u0435\u0441\u0442\u043e\u043c \u0431\u0443\u0434\u0443\u0442 \u0434\u0435\u043b\u0430\u0442\u044c\u0441\u044f \u0447\u0430\u043d\u043a\u0438.<\/p>\n<\/li>\n<\/ul>\n<h3>Bi-encoder<\/h3>\n<pre><code class=\"python\">from sentence_transformers import SentenceTransformer from sentence_transformers.models import Pooling, Transformer  # \u041f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u043c bi-encoder  def get_bi_encoder(bi_encoder_name):     raw_model = Transformer(model_name_or_path=f'{bi_encoder_name}')      # \u0412\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432     bi_encoder_dim = raw_model.get_word_embedding_dimension()          pooling_model = Pooling(         bi_encoder_dim,         pooling_mode_cls_token = False,         pooling_mode_mean_tokens = True     )     bi_encoder = SentenceTransformer(         modules = [raw_model, pooling_model],         device = 'cuda' # \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u043c \u0435\u0433\u043e \u043d\u0430 GPU     )          return bi_encoder, bi_encoder_dim  # \u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0438\u0437 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432\u0435\u043a\u0442\u043e\u0440 def str_to_vec(bi_encoder, text):     embeddings = bi_encoder.encode(         text,         convert_to_tensor = True,         show_progress_bar = False     )     return embeddings<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u0443 \u043d\u0430\u0441 \u0434\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p><em>get_bi_encoder<\/em> &#8212; \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 bi-encoder \u043f\u043e \u0435\u0433\u043e \u0438\u043c\u0435\u043d\u0438.<\/p>\n<\/li>\n<li>\n<p><em>str_to_vec<\/em> &#8212; \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u0442\u0440\u043e\u043a\u0443 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e bi-encoder\u2019\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0443\u0442 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445 \u0432\u0430\u0436\u043d\u044b\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u0445 bi-encoder\u2019\u0430:<\/p>\n<ul>\n<li>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0441\u043a\u0443\u0448\u0430\u0442\u044c \u0437\u0430 \u0440\u0430\u0437 &#8212; \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0431\u0440\u043e\u0448\u0435\u043d\u043e. <br \/>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0447\u0430\u043d\u043a\u0438 \u0438\/\u0438\u043b\u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0442\u043e \u0432\u0430\u043c, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c bi-encoder \u0441 \u0431\u041e\u043b\u044c\u0448\u0435\u0439 \u0434\u043b\u0438\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043e\u043d \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442. \u041f\u0440\u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0440\u0430\u0432\u043d\u044b\u0445, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u043b\u0438\u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u043d\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c.\u00a0<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0430 \u044d\u0442\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u201c\u0437\u0430\u0448\u0438\u0442\u044b\u201d \u0432 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0438 \u043e\u0431\u0430 \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u041f\u043b\u044e\u0441 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u043c &#171;\u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u043e\u043c&#187;. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443 \u043d\u0430\u0441 \u0441\u0430\u043c bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440 \u0431\u0443\u0434\u0435\u0442 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c. \u0422.\u0435. \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u044b \u0438 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043b\u0443\u0447\u0448\u0435 \u0441\u0435\u0431\u044f \u043f\u043e\u043a\u0430\u0436\u0435\u0442.<\/p>\n<blockquote>\n<p>\u0415\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u043b\u0438\u0434\u0435\u0440\u0431\u043e\u0440\u0434 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0439 \u0432\u0430\u043c: <a href=\"https:\/\/github.com\/avidale\/encodechka\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/github.com\/avidale\/encodechka<\/u><\/a><\/p>\n<\/blockquote>\n<h3>Qdrant<\/h3>\n<pre><code class=\"python\">import uuid  from qdrant_client import QdrantClient from qdrant_client.http.models import Distance, VectorParams, PointStruct   # \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414 qdrant_client = QdrantClient('my_qdrant_server.ru', port=6333)     # \u041f\u043e\u043c\u0435\u0449\u0430\u0435\u043c \u0447\u0430\u043d\u043a\u0438 \u0438 \u0434\u043e\u043f. \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0438\u0446\u044e \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0443\u044e \u0411\u0414 def save_chunks(bi_encoder, chunks, file_name):     # \u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0447\u0430\u043d\u043a\u0438 \u0432 \u0432\u0435\u043a\u0438\u0442\u043e\u0440\u0430     chunk_embeddings = str_to_vec(bi_encoder, chunks)      # \u0421\u043e\u0434\u0430\u0435\u043c \u043e\u0431\u044a\u0435\u043a\u0442(\u044b) \u0434\u043b\u044f \u0411\u0414     points = []     for i in range(len(chunk_embeddings)):         point = PointStruct(             id=str(uuid.uuid4()), # \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c GUID             vector = chunk_embeddings[i],              payload={'file': file_name, 'chunk': chunks[i]}         )         points.append(point)          # \u0421\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u0411\u0414     operation_info = qdrant_client.upsert(         collection_name = COLL_NAME,         wait = True,         points = points     )          return operation_info  def files_to_vecdb(files, bi_encoder, vec_size, sep, chunk_size, chunk_overlap):         # \u0423\u0434\u0430\u043b\u044f\u0435\u043c \u0438 \u0437\u0430\u043d\u043e\u0432\u043e \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e     qdrant_client.delete_collection(collection_name=COLL_NAME)     qdrant_client.create_collection(         collection_name = COLL_NAME,         vectors_config = VectorParams(size=vec_size, distance=Distance.COSINE),     )          # \u041a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u0439\u043b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443...     for file_name in files:         # \u0434\u0435\u043b\u0438\u043c \u043d\u0430 \u0447\u0430\u043d\u043a\u0438 ...         chunks = file_to_chunks(file_name, sep, chunk_size, chunk_overlap)         # \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u043c \u0447\u0430\u043d\u043a\u0438 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0443\u044e \u0411\u0414         operation_status = save_chunks(bi_encoder, chunks, file_name)<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u0437\u0434\u0430\u0435\u043c \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414 Qdrant. <br \/>\u0417.\u042b. \u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0440\u0430\u043c\u043a\u0438 \u0441\u0442\u0430\u0442\u044c\u0438, \u043d\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u0441\u044f \u0441 \u043d\u0438\u043c \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: <a href=\"https:\/\/qdrant.tech\/documentation\/guides\/installation\/\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/qdrant.tech\/documentation\/guides\/installation\/<\/u><\/a><\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044a\u044f\u0432\u043b\u044f\u0435\u043c \u0434\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p><em>save_chunks<\/em> &#8212; \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0430\u043d\u043a\u0438 \u0432 \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u0438 \u0438 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442 \u0438\u0445 \u0432 Qdrant.<\/p>\n<\/li>\n<li>\n<p><em>files_to_vecdb<\/em> &#8212; \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0432\u0435 \u0432\u0435\u0449\u0438:<\/p>\n<ul>\n<li>\n<p>\u0423\u0434\u0430\u043b\u044f\u0435\u0442 \u0438 \u0432\u043d\u043e\u0432\u044c \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e \u0432 \u0411\u0414 Qdrant, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u043b\u0430\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0430\u043d\u043a\u0438.<br \/>\u0417.\u042b. \u041a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044f \u044d\u0442\u043e \u0430\u043d\u0430\u043b\u043e\u0433 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432 \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0411\u0414.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u0435\u043b\u0438\u0442 \u043d\u0430 \u0447\u0430\u043d\u043a\u0438 \u0438 \u043a\u043b\u0430\u0434\u0435\u0442 \u0432 \u0411\u0414 Qdrant.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0435\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u043a\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 bi-encoder.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043c\u0435\u0441\u0442\u0435 \u0441 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u0430\u043c \u0447\u0430\u043d\u043a, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d \u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d \u0432\u0437\u044f\u0442.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p>\u0414\u0430, \u043c\u044b \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0442\u0435\u0441\u0442\u0430 \u0437\u0430\u043d\u043e\u0432\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0444\u0430\u0439\u043b\u044b \u043d\u0430 \u0447\u0430\u043d\u043a\u0438 \u0438 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0438\u0437 \u043d\u0438\u0445 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u044e. \u041d\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0431 \u044d\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0436\u0438\u0432\u0430\u0442\u044c. \u041d\u0430 \u0444\u043e\u043d\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 LLM \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0447\u0442\u0438 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e \ud83d\ude42<\/p>\n<\/blockquote>\n<h3>\u041f\u043e\u0438\u0441\u043a \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432<\/h3>\n<pre><code class=\"python\">def vec_search(bi_encoder, query, n_top_cos):     # \u041a\u043e\u0434\u0438\u0440\u0443\u0435\u043c \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440     query_emb = str_to_vec(bi_encoder, query)      # \u041f\u043e\u0438\u0441\u043a \u0432 \u0411\u0414     search_result = qdrant_client.search(         collection_name = COLL_NAME,         query_vector = query_emb,         limit = n_top_cos,         with_vectors = False     )          top_chunks = [x.payload['chunk'] for x in search_result]     top_files = list(set([x.payload['file'] for x in search_result]))          return top_chunks, top_files<\/code><\/pre>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f <em>vec_search<\/em> \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440, \u0430 \u0437\u0430\u0442\u0435\u043c \u0438\u0449\u0435\u0442 \u043f\u043e \u043a\u043e\u0441\u0438\u043d\u043e\u0441\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432 \u0411\u0414 Qdrant. \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0442\u043e\u043f-N \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432: \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0447\u0430\u043d\u043a\u043e\u0432 (\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0444\u0430\u0439\u043b\u043e\u0432) \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u043a \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c.<\/p>\n<h3>LLM<\/h3>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0441\u0430\u043c\u0443 LLM:<\/p>\n<pre><code class=\"python\">import torch from transformers import AutoTokenizer, AutoModelForCausalLM  model_id = 'IlyaGusev\/saiga_llama3_8b'  tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained(     model_id,     torch_dtype = torch.bfloat16,     device_map = \"auto\" )<\/code><\/pre>\n<p>\u041a\u0430\u043a \u043c\u044b \u043f\u043e\u043c\u043d\u0438\u043c, \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u043e\u0434\u043e\u043f\u044b\u0442\u043d\u043e\u0439 LLM\u2019\u0438 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u043e\u043c\u043e\u0434\u043d\u0430\u044f Llama3.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c LLM \u043f\u0440\u043e\u043c\u0442 \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442:<\/p>\n<pre><code class=\"python\">def get_llm_answer(query, chunks_join, max_new_tokens, temperature, top_p, top_k):     user_prompt = '''\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0447\u0442\u043e\u0431\u044b \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432 \u043a\u043e\u043d\u0446\u0435.     \u041d\u0435 \u043f\u044b\u0442\u0430\u0439\u0441\u044f \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442.     \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442:     ===========     {chunks_join}     ===========     \u0412\u043e\u043f\u0440\u043e\u0441:     ===========     {query}'''.format(chunks_join=chunks_join, query=query)          SYSTEM_PROMPT = \"\u0422\u044b \u2014 \u0421\u0430\u0439\u0433\u0430, \u0440\u0443\u0441\u0441\u043a\u043e\u044f\u0437\u044b\u0447\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0430\u0441\u0441\u0438\u0441\u0442\u0435\u043d\u0442. \u0422\u044b \u0440\u0430\u0437\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u0448\u044c \u0441 \u043b\u044e\u0434\u044c\u043c\u0438 \u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0448\u044c \u0438\u043c.\"     RESPONSE_TEMPLATE = \"&lt;|im_start|>assistant\\n\"          prompt = f'''&lt;|im_start|>system\\n{SYSTEM_PROMPT}&lt;|im_end|>\\n&lt;|im_start|>user\\n{user_prompt}&lt;|im_end|>\\n{RESPONSE_TEMPLATE}'''          def generate(model, tokenizer, prompt):         data = tokenizer(prompt, return_tensors=\"pt\", add_special_tokens=False)         data = {k: v.to(model.device) for k, v in data.items()}         output_ids = model.generate(             **data,             bos_token_id=128000,             eos_token_id=128001,             pad_token_id=128001,             do_sample=True,             max_new_tokens=max_new_tokens,             no_repeat_ngram_size=15,             repetition_penalty=1.1,             temperature=temperature,             top_k=top_k,             top_p=top_p          )[0]         output_ids = output_ids[len(data[\"input_ids\"][0]) :]         output = tokenizer.decode(output_ids, skip_special_tokens=True)         return output.strip()          response = generate(model, tokenizer, prompt)          return response<\/code><\/pre>\n<p>\u041f\u0440\u0438\u0431\u0430\u0432\u0438\u043b\u043e\u0441\u044c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u0432\u0441\u0435 \u043e\u043d\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a LLM:<\/p>\n<ul>\n<li>\n<p>max_new_tokens &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e LLM (\u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u044b \u0432 \u043f\u0440\u043e\u043c\u0442\u0435).<\/p>\n<\/li>\n<li>\n<p>temperature &#8212; \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u201c\u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u0438\u043c\u201d \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 LLM. \u0427\u0435\u043c \u0432\u044b\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u201c\u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u043e\u201d.<\/p>\n<\/li>\n<li>\n<p>top_p &#8212; \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0432\u0435\u0442\u044b. \u041c\u0435\u043d\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0435 \u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b.<br \/>\u0417.\u042b. \u0420\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u043b\u0438\u0431\u043e \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443, \u043b\u0438\u0431\u043e top_p, \u043d\u043e \u043d\u0435 \u043e\u0431\u0430 \u0441\u0440\u0430\u0437\u0443.<\/p>\n<\/li>\n<li>\n<p>top_k &#8212; \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0417.\u042b. \u0417\u0434\u0435\u0441\u044c \u043d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442. \u0422\u043e\u0447\u043d\u0435\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0435\u0433\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0438. \u041d\u043e \u043f\u043e\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0433\u043e \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u044b\u043c.<\/p>\n<blockquote>\n<p>\u0422.\u043a. \u043e\u0442\u0432\u0435\u0442\u044b \u0443 \u043d\u0430\u0441 \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e-\u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0432 &#8212; \u043f\u0440\u043e\u0441\u0438\u043c \u043b\u0430\u043c\u0443 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0430\u0442\u043a\u043e.<\/p>\n<\/blockquote>\n<h3>\u041e\u0446\u0435\u043d\u043a\u0430<\/h3>\n<p>\u041e\u0446\u0435\u043d\u043a\u043e\u0439 \u043e\u0442\u0432\u0435\u0442\u0430 LLM (\u043e\u0442 0 \u0434\u043e 100) \u0431\u0443\u0434\u0443\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0434\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u041e\u0434\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442, \u0430 \u0432\u0442\u043e\u0440\u0430\u044f \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Rouge-1.<\/p>\n<pre><code class=\"python\">import re import json from rouge import Rouge from pymorphy2 import MorphAnalyzer  f = open('stopwords-ru.json', encoding='utf-8') stop_words = json.load(f) #print(stop_words)  morph = MorphAnalyzer() patterns = \"[\u00ab\u00bb\u00b0!#$%&amp;'()*+,.\/:;&lt;=>?@[\\]^_`{|}~\u2014\\\"\\-]+\"  def lemmatize(string):     clear = re.sub(patterns, ' ', string)     tokens = []     for token in clear.split():         if token:             token = token.strip()             token = morph.normal_forms(token)[0]             if token not in stop_words:                 tokens.append(token)     tokens = ' '.join(tokens)     return tokens  def get_llm_score(answer, answer_true):     answer = lemmatize(answer)     answer_true = lemmatize(answer_true)     if len(answer) == 0:         answer = '-'              rouge = Rouge()     scores = rouge.get_scores(answer, answer_true)[0]     rouge_1 = round(scores['rouge-1']['r']*100, 2)          return rouge_1<\/code><\/pre>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 (\u043e\u0442 0 \u0434\u043e 100) \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 Rouge. \u0422\u043e\u0447\u043d\u0435\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0435\u0435 \u0432\u0435\u0440\u0441\u0438\u0439 (Rouge-L), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043e\u0431\u0449\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438:<\/p>\n<pre><code class=\"python\">def get_context_score(chunks_join, context):     rouge = Rouge()     scores = rouge.get_scores(chunks_join, context)[0]     score = round(scores['rouge-l']['r'] * 100)     return score<\/code><\/pre>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d \u043b\u0438 \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0430\u0439\u043b (0 \u0438\u043b\u0438 1) \u043c\u044b \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0447\u0430\u043d\u043a\u0430\u043c: \u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 (\u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d \u0432\u0437\u044f\u0442). \u041a\u043e\u0434 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u044b \u043d\u0430\u0439\u0434\u0435\u0442\u0435 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435.<\/p>\n<h3>\u0417\u0430\u043f\u0443\u0441\u043a \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0430<\/h3>\n<p>\u0412\u0441\u0435 \u0447\u0430\u0441\u0442\u0438 \u043f\u0430\u0437\u043b\u0430 \u0433\u043e\u0442\u043e\u0432\u044b \u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0438\u0445 \u0432\u043c\u0435\u0441\u0442\u0435 \u0438 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0445 \u0432\u0441\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432:<\/p>\n<pre><code class=\"python\">def run_one_test(df, encoder_name, sep, chunk_size, chunk_overlap, n_top_cos, max_new_tokens, temperature, top_p, top_k):     try:         bi_encoder, vec_size = get_bi_encoder(encoder_name)          files = df['\u0424\u0430\u0439\u043b'].unique()         files_to_vecdb(files, bi_encoder, vec_size, sep, chunk_size, chunk_overlap)          result = []         for i, row in df.iterrows():             query = row['\u0412\u043e\u043f\u0440\u043e\u0441']             answer_true = row['\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442']             file_name = row['\u0424\u0430\u0439\u043b']             context = row['\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442']              top_chunks, top_files = vec_search(bi_encoder, query, n_top_cos)             row['top_files'] = top_files             row['top_chunks'] = top_chunks             top_chunks_join = '\\n'.join(top_chunks) # \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c \u0447\u0430\u043d\u043a\u0438              answer = get_llm_answer(query, top_chunks_join, max_new_tokens, temperature, top_p, top_k)             row['\u041e\u0442\u0432\u0435\u0442'] = answer              row['file_score'] = int(file_name in top_files)             row['context_score'] = get_context_score(top_chunks_join, context)             row['llm_score'] = get_llm_score(answer, answer_true)              result.append(row)          result = pd.DataFrame(result)         result = result.sort_values(by=['llm_score','context_score','file_score'], ascending=False)         result = result.reset_index(drop=True)          score = result['llm_score'].mean()          return result, score          except Exception as e:         print(e)         return None, 0<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u043c bi-encoder<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u0435 \u0444\u0430\u0439\u043b\u044b \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u043d\u0430 \u0447\u0430\u043d\u043a\u0438, \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u043c \u0432 Qdrant.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438\u0437 \u0442\u0435\u0441\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0432\u043e\u043f\u0440\u043e\u0441 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0449\u0435\u043c \u043f\u043e\u0445\u043e\u0436\u0438\u0435 (\u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441) \u0447\u0430\u043d\u043a\u0438 \u0432 \u0411\u0414 Qdrant.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c \u0447\u0430\u043d\u043a\u0438 \u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u0438\u0437 \u043d\u0438\u0445 \u043f\u0440\u043e\u043c\u0442 \u0434\u043b\u044f LLM.<br \/>\u0417.\u042b. \u0421\u043f\u043e\u0441\u043e\u0431 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0447\u0430\u043d\u043a\u043e\u0432 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0435\u043c \u043f\u0440\u043e\u043c\u0442 LLM \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442 LLM, \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0444\u0430\u0439\u043b.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u043e\u0446\u0435\u043d\u043a\u0443. \u041e\u0431\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0432\u0441\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043e\u0442\u0432\u0435\u0442\u0430 LLM. \u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043a\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e.<\/p>\n<blockquote>\n<p>\u0421 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0438\u0433\u0440\u0430\u0442\u044c\u0441\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0443 \u0444\u0430\u0439\u043b\u0430, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 LLM. \u0418\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0446\u0435\u043d\u043a\u0438 LLM \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u043e \u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0443 \u0444\u0430\u0439\u043b\u0430 (\u0435\u0441\u043b\u0438 \u0444\u0430\u0439\u043b \u043d\u0430\u0439\u0434\u0435\u043d \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0442\u043e \u0432\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0437\u0430\u043d\u0443\u043b\u0438\u0442\u0441\u044f). \u0412 \u043e\u0431\u0449\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0444\u0430\u043d\u0442\u0430\u0437\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439.<\/p>\n<\/blockquote>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043a\u043e\u0434 \u0432\u043d\u0443\u0442\u0440\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <em>run_one_test<\/em> \u043c\u044b \u043e\u0431\u0435\u0440\u043d\u0443\u043b\u0438 \u0432 try-except. \u042d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439, \u0435\u0441\u043b\u0438 \u043e\u043f\u0442\u0443\u043d\u0430 \u0437\u0430\u0445\u043e\u0447\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0432 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0436\u0438\u0440\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u041e\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043f\u0430\u0434\u0435\u0442. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u043c \u043c\u044b \u043d\u0435 \u043f\u0440\u0435\u043a\u0440\u0430\u0449\u0430\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0441\u043a\u043e\u0440 0. \u041e\u043f\u0442\u0443\u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u0443\u0447\u0438\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u043e\u0437\u0432\u043e\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0438 \u0441\u0443\u0432\u0430\u0442\u044c\u0441\u044f \u0437\u0430 \u0438\u0445 \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442.<\/p>\n<h3>\u0417\u0430\u043f\u0443\u0441\u043a Optuna&#8217;\u044b<\/h3>\n<p>\u0412\u043e\u0442 \u043c\u044b \u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c \u043a \u0432\u0438\u0448\u0435\u043d\u043a\u0435 \u043d\u0430 \u0442\u043e\u0440\u0442\u0435.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0442\u0443\u043d\u0430:<\/p>\n<pre><code class=\"python\">import optuna  def objective(trial):     global best_score, best_result          encoder_name = trial.suggest_categorical('encoder_name', ['cointegrated\/rubert-tiny2',                                                               'kazzand\/ru-longformer-large-4096',                                                               'cointegrated\/LaBSE-en-ru'])     sep = trial.suggest_categorical('sep', ['.',' ','\\n'])          chunk_size = trial.suggest_int('chunk_size', 100, 2000)     chunk_overlap = trial.suggest_int('chunk_overlap', 50, 600)     n_top_cos = trial.suggest_int('n_top_cos', 1, 8)          max_new_tokens = trial.suggest_int('max_new_tokens', 100, 1600)     temperature = trial.suggest_float('temperature', 0.01, 0.99)     top_p = trial.suggest_float('top_p', 0.01, 0.99)     top_k = trial.suggest_int('top_k', 10, 150)          result, score = run_one_test(         TEST_DF,         encoder_name,         sep, chunk_size, chunk_overlap, n_top_cos,         max_new_tokens, temperature, top_p, top_k     )          if score > best_score:         best_score = score         best_score_tag = ' &lt;--'         best_result = result     else:         best_score_tag = ''             print(f'{score:.2f}', best_score_tag)          return score  optuna.logging.set_verbosity(optuna.logging.WARNING) <\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u0437\u0430\u0434\u0430\u0435\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0434\u043b\u044f \u0438\u0445 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <em>run_one_test<\/em> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0446\u0438\u043a\u043b\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432 \u0432\u0438\u0434\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438 \u0438 \u043e\u0446\u0435\u043d\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0441\u043a\u043e\u0440 \u0441 \u043b\u0443\u0447\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0438 \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u043c \u0435\u0433\u043e \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0441 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438 (\u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439).<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0441\u043a\u043e\u0440 \u043e\u043f\u0442\u0443\u043d\u0435.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u0435\u043b\u044f \u0434\u043b\u044f \u0447\u0430\u043d\u043a\u043e\u0432 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u0441\u0438\u043c\u0432\u043e\u043b (\u0442\u043e\u0447\u043a\u0443, \u0437\u0430\u043f\u044f\u0442\u0443\u044e \u0438\u043b\u0438 \u043f\u0440\u043e\u0431\u0435\u043b). \u041d\u043e \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u044e RecursiveCharacterTextSplitter \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432. \u041f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a: [&#8216;\/n&#8217;, &#8216;.&#8217;, &#8216;,&#8217;, &#8216; &#8216;]. \u0422\u043e\u0433\u0434\u0430, \u043e\u043d\u0430 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u0437\u043d\u0430\u043a, \u0437\u0430\u0442\u0435\u043c \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u0442 \u043a\u043e \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u0438 \u0442.\u0434. \u0422\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0447\u0430\u043d\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b. \u041d\u0443 \u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u044d\u0442\u0438\u0445 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0440 \u0434\u043b\u044f \u0444\u0430\u043d\u0442\u0430\u0437\u0438\u0438 \ud83d\ude42<\/p>\n<\/blockquote>\n<p>\u041d\u0443 \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043e\u043f\u0442\u0443\u043d\u0443:<\/p>\n<pre><code class=\"python\">import pandas as pd  COLL_NAME = 'optuna_test_llama3_1' TEST_FILE_PATH = 'ru_rag_test_dataset.pkl' TEST_FOLDER_PATH = '\u0422\u0435\u0441\u0442_RuBQ'  TEST_DF = pd.read_pickle(TEST_FILE_PATH)[::15] print('\u041a\u043e\u043b-\u0432\u043e \u0441\u0442\u0440\u043e\u043a:', TEST_DF.shape[0])   best_score = 0 best_result = None  study = optuna.create_study(direction='maximize') study.optimize(objective, n_trials=5000, timeout=60*60*24)<\/code><\/pre>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435: \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u043b\u043b\u0435\u043a\u0446\u0438\u0438 \u0432 \u0411\u0414 Qdrant \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0447\u0430\u043d\u043a\u0438, \u043f\u0443\u0442\u0438 \u0434\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u0438 \u043f\u0443\u0442\u044c \u0432 \u043f\u0430\u043f\u043a\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u0435\u0436\u0430\u0442 \u0444\u0430\u0439\u043b\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u0430\u0436\u0434\u044b\u0439 15 \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0431\u0449\u0435\u0435 \u0438\u0445 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u0435\u0441\u0442. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f 62 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 (\u0438\u0437 923), \u0447\u0435\u0433\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u043f\u0442\u0443\u043d\u0443 \u0438 \u0441\u0442\u0430\u0432\u0438\u043c \u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043a\u043e\u0440.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0443 \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u0440:<\/p>\n<pre><code class=\"python\">0.00  42.60  &lt;-- 0.00  29.01  0.00  46.47  &lt;-- 30.48  40.38  38.78  32.56  39.10  38.94  43.59  42.87  59.62  &lt;-- 64.42  &lt;-- 62.18  65.70  &lt;-- 58.81  65.38  ...<\/code><\/pre>\n<blockquote>\n<p>\u041a\u0430\u043a \u0433\u043b\u0430\u0441\u0438\u0442 \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u043d\u0430\u0440\u043e\u0434\u043d\u0430\u044f \u043c\u0443\u0434\u0440\u043e\u0441\u0442\u044c, \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0442\u0440\u0438 \u0432\u0435\u0449\u0438: \u043a\u0430\u043a \u0433\u043e\u0440\u0438\u0442 \u043e\u0433\u043e\u043d\u044c, \u043a\u0430\u043a \u0442\u0435\u0447\u0435\u0442 \u0432\u043e\u0434\u0430 \u0438 \u043a\u0430\u043a \u043f\u0430\u0434\u0430\u0435\u0442 \u043b\u043e\u0441\u0441 \ud83d\ude42<\/p>\n<\/blockquote>\n<p>\u0417.\u042b. \u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u0435\u0445\u043d\u0438\u043a\u043e\u0439 Pruners, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: <a href=\"https:\/\/t.me\/ds_private_sharing\/76\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/t.me\/ds_private_sharing\/76<\/u><\/a><\/p>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/h2>\n<p>\u042f \u0433\u043e\u043d\u044f\u043b \u043e\u043f\u0442\u0443\u043d\u0443 24 \u0447\u0430\u0441\u0430 \u0438 \u043f\u0440\u043e\u0432\u0435\u043b 482 \u0442\u0435\u0441\u0442\u0430. \u041b\u0443\u0447\u0448\u0438\u0439 \u0441\u043a\u043e\u0440 &#8212;\u00a0 <strong>77.95%<\/strong>. \u0415\u0441\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u044b\u043c (69.72%) \u0438\u043b\u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u043c (66.56%), \u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 10%.<\/p>\n<p>\u0413\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0432:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a1c\/8f2\/cd1\/a1c8f2cd16fc9d0810f312b4873cbcee.png\" width=\"841\" height=\"351\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1c\/8f2\/cd1\/a1c8f2cd16fc9d0810f312b4873cbcee.png\"\/><\/figure>\n<p>\u041d\u0443\u043b\u0435\u0432\u044b\u0445 \u0441\u043a\u043e\u0440\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043b\u0443\u0447\u0448\u0438\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<\/p>\n<pre><code class=\"python\">{'encoder_name': 'cointegrated\/LaBSE-en-ru',  'sep': '\\n',  'chunk_size': 1977,  'chunk_overlap': 61,  'n_top_cos': 8,  'max_new_tokens': 302,  'temperature': 0.6095279086616815,  'top_p': 0.1871688966686985,  'top_k': 129}<\/code><\/pre>\n<p>\u0422\u0443\u0442 \u043c\u044b \u044f\u0432\u043d\u043e \u0443\u043f\u0435\u0440\u043b\u0438\u0441\u044c \u0432 chunk_size \u0438 n_top_cos. \u041c\u043e\u0436\u043d\u043e \u0435\u0449\u0435 \u0440\u0430\u0437 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043f\u043e\u0434\u0431\u043e\u0440, \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432 \u044d\u0442\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043b\u0443\u0447\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/aca\/edf\/56f\/acaedf56fe56baabd04009c842f42ca9.png\" width=\"1600\" height=\"555\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aca\/edf\/56f\/acaedf56fe56baabd04009c842f42ca9.png\"\/><\/figure>\n<p>\u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0445\u0443\u0434\u0448\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c37\/d4e\/c13\/c37d4ec134c8ab132b7071f8a0e9c9a4.png\" width=\"1600\" height=\"835\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c37\/d4e\/c13\/c37d4ec134c8ab132b7071f8a0e9c9a4.png\"\/><\/figure>\n<p>\u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043e\u0442\u0432\u0435\u0442\u044b \u0434\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0422.\u0435. \u0432 \u0441\u0430\u043c\u043e\u043c \u201c\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435\u201d \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043b\u0438\u0431\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043b\u0438\u0431\u043e \u043e\u0442\u0432\u0435\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0442\u0440\u0430\u043a\u0442\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u043e\u044f\u043a\u043e. \u0410 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0441\u043a\u043e\u0440 \u0443 \u043b\u0443\u0447\u0448\u0435\u0439 \u201c\u043c\u043e\u0434\u0435\u043b\u0438\u201d \u0435\u0449\u0435 \u0432\u044b\u0448\u0435.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043d\u0435 \u043d\u0430\u0448\u043b\u0438 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0430\u0439\u043b. \u041c\u043e\u0436\u043d\u043e \u0435\u0449\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 bi-encider\u2019\u043e\u0432 \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430.<\/p>\n<blockquote>\n<p>\u0410 \u0435\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0438\u043d\u0433\u043e\u0432: \u0435\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 CLS \u0442\u043e\u043a\u0435\u043d\u0430, pooler output, mean pooling<\/p>\n<\/blockquote>\n<p>\u041c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u043b\u0443\u0447\u0430\u0435\u043d. \u041d\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0442\u043e\u043f \u043b\u0443\u0447\u0448\u0438\u0445 \u0441\u043a\u043e\u0440\u043e\u0432:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d9e\/c9f\/7b4\/d9ec9f7b47cc4c9850aadbf7386a3fc1.png\" width=\"1600\" height=\"512\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9e\/c9f\/7b4\/d9ec9f7b47cc4c9850aadbf7386a3fc1.png\"\/><\/figure>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043b\u0443\u0447\u0448\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u0445\u043e\u0436\u0438\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u043f\u043e\u043b\u043d\u0435 \u0437\u0430\u043a\u043e\u043d\u043e\u043c\u0435\u0440\u0435\u043d.<\/p>\n<p>\u0417.\u042b. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044f \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441 \u043b\u0443\u0447\u0448\u0438\u043c\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u043c\u0438 \u0433\u0448\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0421\u043a\u043e\u0440 \u0431\u044b\u043b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d \u043b\u0443\u0447\u0448\u0435\u043c\u0443 \u0441\u043a\u043e\u0440\u0443 \u043e\u043f\u0442\u0443\u043d\u044b.<\/p>\n<blockquote>\n<p>\u041f\u043e \u0444\u044d\u043d-\u0448\u0443\u044e \u0435\u0449\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a (\u0445\u043e\u043b\u0434\u0430\u0443\u0442) \u0438 \u043d\u0430 \u043d\u0435\u043c \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u043b\u0443\u0447\u0448\u0438\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u0414\u043b\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438.<\/p>\n<\/blockquote>\n<hr\/>\n<p><a href=\"https:\/\/t.me\/ds_private_sharing\" rel=\"noopener noreferrer nofollow\">\u041c\u043e\u0439 \u0442\u0435\u043b\u0435\u0433\u0440\u0430\u043c-\u043a\u0430\u043d\u0430\u043b<\/a><\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/811239\/\"> https:\/\/habr.com\/ru\/articles\/811239\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<blockquote>\n<p>\u041a\u0430\u043a \u0433\u043b\u0430\u0441\u0438\u0442 \u043d\u0430\u0440\u043e\u0434\u043d\u0430\u044f \u043c\u0443\u0434\u0440\u043e\u0441\u0442\u044c: \u201c\u041f\u043b\u043e\u0445 \u0442\u043e\u0442 \u0434\u0430\u0442\u0430\u0441\u0430\u0435\u043d\u0442\u0438\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0441\u0432\u0430\u043b\u0438\u0442\u044c \u0432\u0441\u0435 \u043d\u0430 Optuna\u2019\u0443.<\/p>\n<\/blockquote>\n<p>RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u0430\u0440\u043c\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u0438\u043a (\u0430-\u043b\u044f \u0413\u0443\u0433\u043b \u0438\u043b\u0438 \u042f\u043d\u0434\u0435\u043a\u0441), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u043f\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u043c \u0432\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u043e\u0432\u0430\u0432\u043e\u0433\u043e \u044d\u043d\u0442\u0435\u0440\u043f\u0440\u0430\u0439\u0437\u0430 \ud83d\ude42<\/p>\n<blockquote>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e-\u043d\u0430\u0443\u0447\u043d\u043e\u043c\u0443: Retrieval Augmented Generation (RAG) \u2014 \u044d\u0442\u043e \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (LLM) \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0435\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0412\u0441\u0435\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u043a\u0430\u0437 \u043e RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0445 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0440\u0430\u043c\u043a\u0438 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0442 \u0442\u0443\u0442 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438: <a href=\"https:\/\/habr.com\/ru\/articles\/779526\/\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/habr.com\/ru\/articles\/779526\/<\/u><\/a> \u0438 <a href=\"https:\/\/habr.com\/ru\/companies\/raft\/articles\/791034\/\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/habr.com\/ru\/companies\/raft\/articles\/791034\/<\/u><\/a> <\/p>\n<\/blockquote>\n<p>\u041f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0443 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u041f\u0440\u0438\u0447\u0435\u043c \u043d\u0430\u0431\u043e\u0440 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u044d\u0442\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430. \u0418 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0445 \u044d\u0442\u0438\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0418 \u0432\u0435\u0441\u044c \u044d\u0442\u043e\u0442 \u0437\u043e\u043e\u043f\u0430\u0440\u043a \u043d\u0430\u0434\u043e \u043a\u0430\u043a-\u0442\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430.<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e. [\u0421\u043f\u043e\u0439\u043b\u0435\u0440] \u0414\u043e\u043b\u0433\u043e, \u0443\u0442\u043e\u043c\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e [\/\u0421\u043f\u043e\u0439\u043b\u0435\u0440] \ud83d\ude42 \u0410 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u0430\u043b\u0438\u0442\u044c \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430 Optuna\u2019\u0443 (\u0430 \u0447\u0435 \u043e\u043d\u0430 \u0431\u0435\u0437\u0434\u0435\u043b\u044c\u043d\u0438\u0447\u0430\u0435\u0442 \ud83d\ude42 \u0427\u0435\u043c \u043c\u044b \u0438 \u0437\u0430\u0439\u043c\u0435\u043c\u0441\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043d\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0439 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438.<\/p>\n<h2>\u0417\u0430\u0434\u0430\u0447\u0430<\/h2>\n<p>\u041d\u043e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443, \u0442.\u043a. \u043e\u0442 \u044d\u0442\u043e\u0433\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043d\u0430\u0448\u0430 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u0438\u0441\u043a \u0432 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e\u0439 \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438: \u0422\u0417, \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438, \u0440\u0435\u0433\u043b\u0430\u043c\u0435\u043d\u0442\u044b \u0438 \u043f\u0440.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0440\u0435\u0445 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432: DOCX, PDF \u0438 TXT.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u043c\u043d\u043e\u0433\u0438\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u041d\u043e \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043b\u044e\u0431\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0432 \u043e\u0434\u043d\u043e\u0439 \u0435\u0433\u043e \u0447\u0430\u0441\u0442\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0431\u0437\u0430\u0446\u0435).<br \/>\u0422.\u0435. \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0430\u0439\u043b\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p>\u042f\u0437\u044b\u043a \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, &#8212; \u0440\u0443\u0441\u0441\u043a\u0438\u0439. \u0418\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f &#8212; \u0438\u043c\u0435\u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0443\u0440\u0435 (\u0442.\u0435. \u043d\u0438\u043a\u0430\u043a\u0438\u0445 OpenAI \u0438 \u043f\u0440\u043e\u0447\u0438\u0445 \u0442\u043e\u0432\u0430\u0440\u0438\u0449\u0435\u0439).<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0431\u043e\u0442\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 GPU A100 40\u041c\u0431.<\/p>\n<\/li>\n<\/ul>\n<h2>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/h2>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043d\u0430\u0448\u0435\u0439 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u0442\u0440\u0435\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0438 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. <\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432:<\/p>\n<p><strong>1. \u041f\u0430\u0440\u0441\u0438\u043d\u0433 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432<\/strong><\/p>\n<figure class=\"\"><\/figure>\n<p>\u042d\u0442\u0430\u043f\u044b:<\/p>\n<ul>\n<li>\n<p>\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0432 \u201c\u0441\u0438\u0441\u0442\u0435\u043c\u0443\u201d \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442(\u044b).<\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0447\u0430\u043d\u043a\u0438 (\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u0443\u0441\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u0430) \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0447\u0430\u043d\u043a \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c bi-encoder\u2019\u0430 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 (\u043e\u043d \u0436\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433).<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0441\u0430\u043c\u0438\u043c \u0447\u0430\u043d\u043a\u043e\u043c (\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043e\u043f\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439) \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p>\u041f\u043e \u0444\u044d\u043d-\u0448\u0443\u044e \u0442\u0443\u0442 \u0435\u0449\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430, \u043d\u043e \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043e\u043d \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d.<\/p>\n<\/blockquote>\n<p><strong>2. \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441<\/strong><\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u042d\u0442\u0430\u043f\u044b:<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c bi-encoder\u2019\u0430 (\u043f\u0440\u0438\u0447\u0435\u043c \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0447\u0430\u043d\u043a\u043e\u0432).<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u0438\u0449\u0435\u043c \u0432 \u0411\u0414 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430. \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u0442\u043e\u043f-N \u043f\u043e\u0445\u043e\u0436\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 (\u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u043d\u0438\u043c\u0438 \u0447\u0430\u043d\u043a\u0438).<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u043e\u043c\u0442 \u0434\u043b\u044f LLM. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043a\u043b\u0435\u0438\u0432\u0430\u0435\u043c \u0432\u043e\u0435\u0434\u0438\u043d\u043e: \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0442, \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u0447\u0430\u043d\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u043f\u0440\u043e\u043c\u0442 \u0432 LLM \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u0438 \u0434\u0432\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0430\u043d\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0432\u043c\u0435\u0441\u0442\u0435.<\/p>\n<p><strong>\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b<\/strong><\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u0442\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430:<\/p>\n<ol>\n<li>\n<p>Bi-encoder &#8212; \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440.<br \/>\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e? \u0414\u0432\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432 \u0432\u0435\u043a\u0442\u043e\u0440 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0438 \u043f\u043e\u0445\u043e\u0436\u0438. \u0422\u0430\u043a\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u043a\u0442\u043e\u0440\u043d\u0430\u044f \u0411\u0414. \u041d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432. \u0410 \u0435\u0449\u0435 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c (\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c) \u0431\u043b\u0438\u0437\u043a\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u043e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u043c\u0443 (\u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0434\u0440\u0443\u0433\u0438\u043c) \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e.<br \/>\u0412 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0430\u043d\u043a\u0438 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u0418 \u043f\u043e \u043a\u043e\u0441\u0438\u043d\u043e\u0441\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0447\u0430\u043d\u043a\u0438. \u0418 \u0443\u0436\u0435 \u044d\u0442\u0438 \u0447\u0430\u043d\u043a\u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c LLM.<\/p>\n<p>\u0417\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e? \u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435 \u0441\u043a\u043e\u0440\u043c\u0438\u0442\u044c \u0432\u0441\u0435 \u0447\u0430\u043d\u043a\u0438 \u0432 LLM? \u041f\u0440\u0438\u0447\u0438\u043d\u044b \u0434\u0432\u0435:<\/p>\n<ul>\n<li>\n<p>\u0423 LLM \u0435\u0441\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0432\u0441\u0435 \u0447\u0430\u043d\u043a\u0438 \u0432 \u043d\u0435\u0435 \u0442\u0443\u043f\u043e \u043d\u0435 \u0432\u043b\u0435\u0437\u0443\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b \u0441\u043a\u043e\u0440\u043c\u0438\u0442\u0435 LLM, \u0442\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u0430\u0432\u0430\u0442\u044c \u0432 \u043d\u0435\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043e\u0431\u0440\u0430\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0447\u0430\u043d\u043a\u043e\u0432. \u0427\u0442\u043e \u043c\u044b \u0438 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<br \/>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u0411\u0414 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/qdrant.tech\" rel=\"noopener noreferrer nofollow\">Qdrant<\/a>.<\/p>\n<\/li>\n<li>\n<p>LLM &#8212; \u0441\u0435\u0440\u0434\u0446\u0435 \u043d\u0430\u0448\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b &#8212; \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u201c\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0432\u0430\u043d\u0438\u0435\u043c\u201d \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u043d\u0435\u0433\u043e. \u0414\u043b\u044f \u0442\u0435\u0441\u0442\u0430 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0434\u0430\u0432\u043d\u043e \u0440\u0430\u0437\u0438\u043d\u0443\u0442\u0443\u044e Llama 3 (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0437\u0430\u0442\u044e\u043d\u0435\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e <a href=\"https:\/\/huggingface.co\/IlyaGusev\/saiga_llama3_8b\" rel=\"noopener noreferrer nofollow\">IlyaGusev\/saiga_llama3_8b<\/a>). \u041e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u043e\u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0438 \u0432\u043b\u0430\u0437\u0438\u0442 \u043d\u0430 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0443. \u0412 \u043e\u0431\u0449\u0435\u043c, \u0442\u043e \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \ud83d\ude42<\/p>\n<\/li>\n<\/ol>\n<blockquote>\n<p>\u041d\u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u0432\u0438\u0434\u0435\u0442\u044c (\u0437\u0430\u0442\u0435\u043d\u0435\u043d) \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 &#8212; Cross-encoder (\u0435\u0449\u0435 \u0435\u0433\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 re-ranker). \u0412 \u044d\u0442\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u043e\u043d \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u043d\u043e \u043e\u043d \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u0445. \u0415\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f &#8212; \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u043d\u043a\u043e\u0432. Cross-encoder \u0442\u0438\u043f\u0430 \u0443\u043c\u043d\u0435\u0435 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0434\u043e\u043b\u044c\u0448\u0435 bi-\u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430. \u0410 \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 &#8212; \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0442\u0430\u043a: \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0442\u0431\u0438\u0440\u0430\u044e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e\u043f-100 \u0447\u0430\u043d\u043a\u043e\u0432. \u0418\u0445 \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u044e\u0442 \u0441ross-encoder\u2019\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043d\u0438\u0445 3-5 \u0447\u0430\u043d\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432 LLM.<\/p>\n<p>\u0418\u043b\u0438 \u0435\u0449\u0435 \u0431\u043e\u043b\u0435\u0435 \u0445\u0438\u0442\u0440\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442: \u043f\u0440\u043e\u0441\u044f\u0442 LLM \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f 2 \u0440\u0430\u0437\u0430. \u041f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0438\u0437 \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0445\u0441\u044f 3 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438\u0449\u0443\u0442 \u0447\u0430\u043d\u043a\u0438 \u0432 \u0411\u0414 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e 30 \u0447\u0430\u043d\u043a\u043e\u0432 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441). \u0417\u0430\u0442\u0435\u043c cross-encoder \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u0442 \u0438\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0447\u0430\u043d\u043a\u043e\u0432 3-5 \u043b\u0443\u0447\u0448\u0438\u0445.<\/p>\n<p>\u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0443\u0442: <a href=\"https:\/\/www.sbert.net\/examples\/applications\/cross-encoder\/README.html\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/www.sbert.net\/examples\/applications\/cross-encoder\/README.html<\/u><\/a><\/p>\n<p>\u0417.\u042b. \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043b\u0438\u0447\u043d\u044b\u0439 cross-encoder: <a href=\"https:\/\/huggingface.co\/PitKoro\/cross-encoder-ru-msmarco-passage\" rel=\"noopener noreferrer nofollow\">PitKoro\/cross-encoder-ru-msmarco-passage<\/a><\/p>\n<\/blockquote>\n<h2>\u0422\u0435\u0441\u0442\u044b<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043a \u043d\u0438\u043c. \u0418 \u043b\u0443\u0447\u0448\u0435 \u0447\u0442\u043e\u0431\u044b \u0432 \u0438\u0445 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b (\u0438\u043b\u0438 \u0437\u0430\u043a\u0430\u0437\u0447\u0438\u043a\u0438), \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u0430\u0448\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e \u201c\u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e\u043c\u201d \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e. \u0412\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 20-30 \u043d\u0430 5-10 \u0444\u0430\u0439\u043b\u043e\u0432.<\/p>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0443 \u0432\u0430\u0441 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">#<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u043e\u043f\u0440\u043e\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u0439\u043b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2116 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"50\" width=\"50\">\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0413\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441 &#8212; \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 &#8212; \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0431\u044b \u0432\u0438\u0434\u0435\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 &#8212; \u0446\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a \u0442\u0435\u043a\u0441\u0442\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u0431\u0437\u0430\u0446), \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0424\u0430\u0439\u043b &#8212; \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u2116 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b &#8212; \u043d\u043e\u043c\u0435\u0440 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043e\u0442\u0432\u0435\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0441\u0442\u044b\u0435 \u0444\u0430\u043a\u0442\u044b \u0438\u0437 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u043d\u0430 \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0441 \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0427\u0438\u0441\u043b\u0430, \u0434\u0430\u0442\u044b, \u0438\u043c\u0435\u043d\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0418 \u043f\u0440.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u043e\u0440\u0438\u044f \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u043d\u0430\u043c \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0447\u0435\u043c-\u0442\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \ud83d\ude42\u00a0<\/p>\n<p><strong>Ru RAG Test Dataset<\/strong><\/p>\n<p>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u044f \u0441\u043e\u0431\u0440\u0430\u043b \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b: <a href=\"https:\/\/github.com\/slivka83\/ru_rag_test_dataset\" rel=\"noopener noreferrer nofollow\"><u>https:\/\/github.com\/slivka83\/ru_rag_test_dataset<\/u><\/a><\/p>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 <a href=\"https:\/\/github.com\/vladislavneon\/RuBQ\/tree\/master\/RuBQ_2.0\" rel=\"noopener noreferrer nofollow\">RuBQ<\/a>. \u0412 \u044d\u0442\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u043d\u0443\u0436\u043d\u044b\u0435 \u043d\u0430\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u044b (\u043a\u0440\u043e\u043c\u0435 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 &#8212; \u0432 \u0432\u0435\u0431\u0435 \u0438 txt \u0438\u0445 \u043d\u0435\u0442 :). \u0412\u0441\u0435\u0433\u043e 923 \u0432\u043e\u043f\u0440\u043e\u0441\u0430.<\/p>\n<figure class=\"full-width\"><\/figure>\n<blockquote>\n<p>\u0418\u0437 RuBQ \u044f \u043e\u0442\u043e\u0431\u0440\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043e\u0434\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438. \u041d\u043e \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445\/\u0430\u0431\u0437\u0430\u0446\u0430\u0445. \u0415\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u0430\u0447\u0430\u0442\u044c \u0438\u0445 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e &#8212; \u043a\u043e\u0434 \u044f \u043f\u0440\u0438\u043b\u043e\u0436\u0438\u043b.<\/p>\n<\/blockquote>\n<p>\u0417.\u042b. \u0415\u0441\u043b\u0438 \u0447\u0442\u043e, \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0439, \u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043b\u0443\u0436\u0438\u0442\u044c \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u041e\u0442\u0432\u0435\u0442\u044b \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 (\u0435\u0441\u043b\u0438 \u043d\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u043d\u044b\u0435 \ud83d\ude42<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u044f (\u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u0430\u044f) \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 RAG-\u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 LLM \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u0430 \u0435\u0435 \u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u0418 \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043e\u0442\u043a\u0443\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0437\u044f\u043b\u0430 \u043e\u0442\u0432\u0435\u0442 &#8212; \u0438\u0437 \u0447\u0430\u043d\u043a\u043e\u0432 \u0438\u043b\u0438 \u0438\u0437 \u0441\u0432\u043e\u0438\u0445 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u0430\u0445.<\/p>\n<\/li>\n<\/ul>\n<h2>\u041e\u0446\u0435\u043d\u043a\u0430<\/h2>\n<p>\u0423\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0443, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0442\u0440\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430:<\/p>\n<ol>\n<li>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b?<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442?<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 LLM.<\/p>\n<\/li>\n<\/ol>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 LLM \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e: BERTScore, BLEURT, METEOR \u0438 \u043f\u0440. \u0418 \u0432\u0441\u0435 \u043e\u043d\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u0443\u0434\u0440\u0435\u043d\u044b\u0435. \u041d\u043e \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b \u0432 \u043d\u0430\u0448\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 &#8212; \u043e\u043d\u0438 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u044b. \u0411\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0432\u043e \u0438\u043b\u0438 \u0434\u0432\u0430. \u0410 LLM \u0431\u044b\u0432\u0430\u044e\u0442 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u201c\u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0447\u0438\u0432\u044b\u201d. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0442\u0432\u0435\u0442 LLM \u043d\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e (\u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f) \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 LLM. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 Rouge-1, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0443\u043d\u0438\u0433\u0440\u0430\u043c\u043c\u044b.<\/p>\n<blockquote>\n<p>\u0415\u0441\u0442\u044c \u0434\u0430\u0436\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b LLM \u0442\u0430\u043a\u0436\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e LLM: \u043f\u043e\u0434\u0430\u044e\u0442 \u0432 LLM \u0432\u043e\u043f\u0440\u043e\u0441 \u0438 \u043e\u0442\u0432\u0435\u0442 \u0438 \u043f\u0440\u043e\u0441\u044f\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c (\u043e\u0442 1 \u0434\u043e 10) \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0442\u0432\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439.<\/p>\n<\/blockquote>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u043e \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044e. \u0422.\u0435. \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u043a\u0443\u0441\u043e\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u043e\u0442\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0447\u0430\u043d\u043a\u0430\u0445.<\/p>\n<p>\u0424\u0430\u0439\u043b \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0435\u0433\u043e \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f: \u0432\u0435\u0440\u043d\u0443\u043b\u0430 \u043b\u0438 \u043d\u0430\u043c \u0411\u0414 \u043d\u0443\u0436\u043d\u044b\u0439 \u0444\u0430\u0439\u043b (\u043a \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0447\u0430\u043d\u043a\u0443 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043e\u043d \u0432\u0437\u044f\u0442).<\/p>\n<h2>\u041a\u043e\u0434<\/h2>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u043d\u0430\u0448 \u043a\u043e\u0434.<\/p>\n<p>\u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0437\u0434\u0435\u0441\u044c: <a href=\"https:\/\/github.com\/slivka83\/rag_optuna_optimization\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/slivka83\/rag_optuna_optimization<\/a><\/p>\n<h3>\u0427\u0430\u043d\u043a\u0438<\/h3>\n<pre><code class=\"python\">from langchain_community.document_loaders import TextLoader, Docx2txtLoader, PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter  def file_to_chunks(file_name, sep, chunk_size, chunk_overlap):     file_ext = file_name.split('.')[-1]     file_path = f'{TEST_FOLDER_PATH}\/{file_name}'          # \u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0435 \u0444\u0430\u0439\u043b\u0430      if file_ext == 'txt':         loader = TextLoader(file_path, encoding='utf-8')     elif file_ext == 'docx':         loader = Docx2txtLoader(file_path)     elif file_ext == 'pdf':         loader = PyPDFLoader(file_path)     else:         return     file = loader.load()     content = file[0].page_content          # \u0420\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0447\u0430\u043d\u043a\u0438     text_splitter = RecursiveCharacterTextSplitter(         separators = sep,         chunk_size = chunk_size,         chunk_overlap = chunk_overlap,         length_function = len,         is_separator_regex = False,         add_start_index = False     )     chunks = text_splitter.split_text(content)          return chunks<\/code><\/pre>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f <em>file_to_chunks<\/em>, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0444\u0430\u0439\u043b\u0430, \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 <\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-375013","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/375013","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=375013"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/375013\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=375013"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=375013"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=375013"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}