{"id":486193,"date":"2026-07-04T18:53:13","date_gmt":"2026-07-04T18:53:13","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=486193"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=486193","title":{"rendered":"\u041a\u0430\u043a\u00a0\u044f \u043e\u0431\u0443\u0447\u0438\u043b \u0440\u0443\u0441\u0441\u043a\u0438\u0439 RAG\u2011\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0435\u0436\u0435\u0442 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u00a0\u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u00a0\u0442\u0435\u043a\u0441\u0442\u0443"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p><strong>TL;DR.<\/strong>\u00a0\u0418\u0437\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043e\u0431\u0443\u0447\u0438\u043b \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 RAG\u2011\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440\u00a0\u2014 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c context\u2011aware\u2011\u043d\u0430\u0440\u0435\u0437\u043a\u0443 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043b\u0443\u0447\u0448\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0447\u0430\u043d\u043a\u0435\u0440\u043e\u0432.<\/p>\n<p>\u042f \u0432\u0437\u044f\u043b \u0438\u0434\u0435\u044e \u0434\u0430\u0442\u0441\u043a\u043e\u0439\u00a0<code>context-aware-splitter<\/code>, \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u043b \u0435\u0451 \u043f\u043e\u0434\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043d\u0430\u00a0\u0431\u0430\u0437\u0435\u00a0<code>T-lite-it-2.1<\/code>\u00a0\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u043b \u0433\u043b\u0430\u0432\u043d\u043e\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0433\u0440\u0430\u043d\u0438\u0446, \u0430\u00a0\u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u0425\u043e\u0441\u0442 \u043f\u043e\u0442\u043e\u043c \u0440\u0435\u0436\u0435\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u043f\u043e\u00a0\u044d\u0442\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c.<\/p>\n<p>\u0423\u00a0index\u2011output \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0442\u0440\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043b\u044e\u0441\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Lossless\u2011\u043d\u0430\u0440\u0435\u0437\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0447\u0430\u043d\u043a\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u043c \u0431\u0430\u0439\u0442\u2011\u0432-\u0431\u0430\u0439\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u0435\u0448\u0451\u0432\u044b\u0439 \u0432\u044b\u0432\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 35\u201340\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 JSON \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0426\u0435\u043b\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0440\u0435\u0436\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0439 \u044e\u043d\u0438\u0442, \u0435\u0441\u043b\u0438 upstream\u2011\u043f\u0430\u0440\u0441\u0435\u0440 \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0435\u0451 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: bf16-LoRA \u0447\u0435\u0440\u0435\u0437 Unsloth \u043d\u0430\u00a0RTX 5090, Blackwell. \u041f\u043e\u00a0\u043c\u043e\u0438\u043c \u0437\u0430\u043f\u0438\u0441\u044f\u043c: \u043e\u043a\u043e\u043b\u043e 3.5\u00a0\u0447\u0430\u0441\u0430, \u043f\u0438\u043a 25.4\u00a0\u0413\u0411 VRAM, 2122\u00a0\u0448\u0430\u0433\u0430 \u0437\u0430 2\u00a0\u044d\u043f\u043e\u0445\u0438. \u0420\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0437\u0430\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u043e\u0442\u00a0self\u2011hosted DeepSeek\u2011V4-Flash.<\/p>\n<p>\u0414\u0435\u043f\u043b\u043e\u0439: GGUF Q5_K_M, \u043e\u043a\u043e\u043b\u043e 5.9\u00a0\u0413\u0411, AMD Strix Halo, llama.cpp Vulkan, \u0431\u0435\u0437\u00a0CUDA. \u041d\u0430\u00a0\u0436\u0438\u0432\u043e\u043c AMD\u2011\u0441\u0442\u0435\u043d\u0434\u0435, \u043d\u0430\u00a0\u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u0438\u0437 9\u00a0\u044e\u043d\u0438\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e 1.2\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0438 40\u00a0\u0442\u043e\u043a\/\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 947\u00a0\u0442\u043e\u043a\/\u0441 prompt eval.<\/p>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a.<\/strong>\u00a0boundary\u2011F1\u00a0@\u00b11\u00a0= 0.821\u00a0\u2014 \u044d\u0442\u043e teacher\u2011agreement \u0441\u00a0\u043c\u0435\u0442\u043a\u0430\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0430\u00a0\u043d\u0435\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e RAG. Downstream \u043f\u043e\u00a0hit\u2011rate \/ faithfulness \u044f \u043f\u043e\u043a\u0430 \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u043b.<\/p>\n<p>\u041f\u043e\u00a0\u0436\u0430\u043d\u0440\u0443 \u044d\u0442\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440. \u0413\u0434\u0435 \u043a\u043e\u0434, README, planning\u2011\u0444\u0430\u0439\u043b\u044b \u0438 \u0436\u0438\u0432\u044b\u0435 \u0437\u0430\u043c\u0435\u0440\u044b \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435.<\/p>\n<h3>\u0417\u0430\u0447\u0435\u043c \u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u044d\u0442\u043e \u0437\u0430\u0442\u0435\u044f\u043b<\/h3>\n<p>\u0423\u00a0\u043c\u0435\u043d\u044f self\u2011hosted AI\u2011\u0441\u0442\u0435\u043a: Dify, milvus\/qdrant, docling, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 LLM \u043d\u0430\u00a0AMD. RAG \u043d\u0430\u00a0\u043d\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. BGE\u2011M3\u00a0dense+sparse \u043f\u043b\u044e\u0441 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440 \u0443\u0436\u0435 \u0434\u0430\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.<\/p>\n<p>\u041d\u043e\u00a0\u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0439 \u0447\u0430\u043d\u043a\u0438\u043d\u0433 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432\u00a0\u2014 \u0442\u0435\u0445\u0434\u043e\u043a\u043e\u0432, \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u043f\u0440\u0430\u0439\u0441\u043e\u0432, \u0442\u0430\u0431\u043b\u0438\u0446\u00a0\u2014 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0433\u0440\u0443\u0431\u043e\u0432\u0430\u0442\u043e. \u042f \u0445\u043e\u0442\u0435\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0432\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u043f\u043e\u0434\u00a0\u0437\u0430\u0434\u0430\u0447\u0443, \u044f\u0437\u044b\u043a \u0438 \u0440\u0430\u043d\u0442\u0430\u0439\u043c.<\/p>\n<p>\u0411\u044b\u0441\u0442\u0440\u043e \u0432\u0441\u043f\u043b\u044b\u043b\u0438 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0447\u0430\u043d\u043a\u0435\u0440\u044b \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u044e\u0442\u0441\u044f.<\/p>\n<h4>\u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u0440\u043e\u0436\u0435 \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0447\u0435\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f<\/h4>\n<p>\u041c\u043d\u043e\u0433\u0438\u0435 \u0447\u0430\u043d\u043a\u0435\u0440\u044b \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u044b, \u0433\u0434\u0435 \u0440\u0443\u0441\u0441\u043a\u0438\u0439\u00a0\u2014 \u043f\u043e\u0431\u043e\u0447\u043d\u044b\u0439 \u044f\u0437\u044b\u043a. \u042f \u043d\u0435\u00a0\u0441\u0442\u0430\u043b \u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0440\u0438\u043b \u043d\u0430\u00a0\u0436\u0438\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430\u0445.<\/p>\n<p>\u0422\u0435\u0441\u0442: \u043e\u0434\u0438\u043d \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0430\u0431\u0437\u0430\u0446, 42\u00a0\u0441\u043b\u043e\u0432\u0430 \/ 354\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u0430,\u00a0<code>add_special_tokens=False<\/code>.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0442\u043e\u043a\/\u0441\u043b\u043e\u0432\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">vs T\u2011lite<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">T\u2011lite\u2011it-2.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">73<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.74<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5\u20137B<\/p>\n<\/td>\n<td>\n<p align=\"left\">114<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.71<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d71.56<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Llama-2-7b<\/p>\n<\/td>\n<td>\n<p align=\"left\">133<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.17<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u00d71.82<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u00a0\u043c\u043e\u0438\u0445 research\u2011\u0437\u0430\u043c\u0435\u0442\u043a\u0430\u0445 \u043f\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0437\u0435 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0434\u043b\u044f\u00a0Llama-2: \u043e\u043a\u043e\u043b\u043e \u00d71.5\u00a0\u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043d\u0438\u044f. \u0420\u0435\u0436\u0438\u043c\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0435: \u0442\u0430\u043c\u00a0\u2014 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043d\u0438\u0435 Llama-2\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043d\u0430\u00a0\u043a\u043e\u0440\u043f\u0443\u0441\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439, \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 Llama-2\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 T\u2011lite \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u043f\u043e\u0434\u0430\u044e 3.17\u00a0\u043a\u0430\u043a\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0433\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 sanity\u2011check, \u043d\u043e\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u0432\u044b\u0431\u043e\u0440\u0430 \u0431\u0430\u0437\u044b \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u044d\u0442\u043e\u0433\u043e: \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0437\u0430\u043c\u0435\u0440\u0435 T\u2011lite-2.1\u00a0\u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0435\u0435 Llama-2\u00a0\u0438 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e Qwen2.5.<\/p>\n<p>\u0414\u043b\u044f\u00a0RAG \u044d\u0442\u043e \u043d\u0435\u00a0\u043a\u043e\u0441\u043c\u0435\u0442\u0438\u043a\u0430. \u041f\u0440\u0438\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u0435 \u0432\u044b\u00a0\u043b\u0438\u0431\u043e \u0432\u043c\u0435\u0449\u0430\u0435\u0442\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430,\u00a0\u043b\u0438\u0431\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u0417\u0430\u043c\u0435\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u00ab\u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0438\u043d\u0433\u0430\u00bb\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0446\u0435\u043d\u0430 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u044b \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445.<\/p>\n<h4>\u0422\u0430\u0431\u043b\u0438\u0446\u044b \u043b\u043e\u043c\u0430\u044e\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440\u044b<\/h4>\n<p>\u0421\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u0440\u0435\u0436\u0435\u0442 \u043f\u0440\u043e\u0437\u0443 \u043f\u043e\u00a0cosine\u2011\u0441\u0434\u0432\u0438\u0433\u0443 \u0442\u0435\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u043c\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438. \u0413\u0434\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u0442\u0430\u043c \u0433\u0440\u0430\u043d\u0438\u0446\u0430.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0437\u044b \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u043e\u00a0\u0443\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043d\u0435\u0442 \u0441\u0434\u0432\u0438\u0433\u0430 \u0442\u0435\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438. \u0421\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b \u0432\u00a0\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u2011\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u041f\u043e\u0440\u043e\u0433 \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430, \u0440\u0435\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0438 \u0447\u0430\u0441\u0442\u043e \u043e\u0442\u0440\u044b\u0432\u0430\u0435\u0442 \u0448\u0430\u043f\u043a\u0443 \u043e\u0442\u00a0\u0442\u0435\u043b\u0430.<\/p>\n<p>\u0410\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0431\u0435\u0437\u00a0\u0445\u0435\u0434\u0435\u0440\u0430 \u0432\u00a0RAG \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u0430: \u00ab42\u00bb \u0431\u0435\u0437 \u00ab\u0432\u044b\u0440\u0443\u0447\u043a\u0430, Q3, \u0440\u0435\u0433\u0438\u043e\u043d \u0423\u0440\u0430\u043b\u00bb\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0448\u0443\u043c.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u043d\u0435\u00a0\u0432\u0437\u044f\u043b \u0433\u043e\u0442\u043e\u0432\u043e\u0435<\/h3>\n<p>\u041e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0441\u0442\u0430\u043b\u0430 \u0434\u0430\u0442\u0441\u043a\u0430\u044f\u00a0<a href=\"https:\/\/huggingface.co\/mhenrichsen\/context-aware-splitter-1b\" rel=\"noopener noreferrer nofollow\">mhenrichsen\/context\u2011aware\u2011splitter-1b<\/a>. \u041e\u043d\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 context\u2011aware\u2011\u0447\u0430\u043d\u043a\u0438\u043d\u0433, \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0445\u043e\u0442\u0435\u043b \u043f\u0440\u043e\u0441\u0442\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u043f\u043e\u0434\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439.<\/p>\n<p>\u041d\u0435\u00a0\u0432\u044b\u0448\u043b\u043e. \u0423\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0434\u0432\u0430 \u0434\u0438\u0441\u043a\u0432\u0430\u043b\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439\u00a0\u2014 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 Llama-2. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u00a0<code>-1b<\/code>\u00a0\u0441\u043e\u0431\u0440\u0430\u043d\u0430 \u043d\u0430\u00a0TinyLlama, \u0430\u00a0\u0442\u043e\u0442 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 Llama-2, \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u0430\u0442\u0440\u0438\u0431\u0443\u0446\u0438\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f. \u0414\u043b\u044f\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u044b \u043e\u043d \u0434\u043e\u0440\u043e\u0436\u0435 T\u2011lite \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435: 3.17\u00a0\u0442\u043e\u043a\/\u0441\u043b\u043e\u0432\u043e \u043f\u0440\u043e\u0442\u0438\u0432 1.74.<\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u0440\u0438\u0441\u043a \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u0435\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0430.<\/p>\n<p>\u0414\u043b\u044f\u00a0RAG \u044d\u0442\u043e \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442, \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u00ab\u043f\u043e\u0447\u0438\u043d\u0438\u0442\u044c\u00bb \u0435\u0433\u043e \u043f\u043e\u00a0\u0434\u043e\u0440\u043e\u0433\u0435: \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0451 \u043d\u0430\u00a0\u0435, \u043a\u0430\u0432\u044b\u0447\u043a\u0438\u2011\u0451\u043b\u043e\u0447\u043a\u0438 \u043d\u0430\u00a0\u043f\u0440\u044f\u043c\u044b\u0435, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u0435\u043b\u044b. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0447\u0430\u043d\u043a \u0443\u0436\u0435 \u043d\u0435\u00a0\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u043e\u0431\u0430\u0439\u0442\u043d\u043e \u0441\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u043c.<\/p>\n<p>\u0410\u00a0\u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u00a0RAG \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438. \u0412\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u043f\u043e\u0434\u0441\u0432\u0435\u0447\u0438\u0432\u0430\u0435\u0442\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442, \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u043e\u0444\u0444\u0441\u0435\u0442\u044b. \u0411\u0430\u0439\u0442\u2011\u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d \u043b\u043e\u043c\u0430\u0435\u0442 \u0432\u0441\u0451 \u044d\u0442\u043e \u0442\u0438\u0445\u043e.<\/p>\n<p>\u0418 \u0435\u0449\u0451: \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0434\u043e\u0440\u043e\u0433\u043e. \u041f\u043e\u00a0methodology \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 10\u00a0\u0440\u0430\u0437 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438 \u0434\u043e\u0440\u043e\u0436\u0435 \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c \u0432\u044b\u0432\u043e\u0434\u0430, \u0447\u0435\u043c \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432.<\/p>\n<p>\u041e\u0442\u00a0\u0434\u0430\u0442\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u044f \u0432\u0437\u044f\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0434\u0435\u044e context\u2011aware\u2011\u0433\u0440\u0430\u043d\u0438\u0446. \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u0442\u044c.<\/p>\n<h3>\u041a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0438\u0434\u0435\u044f: \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u044b, \u0430\u00a0\u043d\u0435\u00a0\u0442\u0435\u043a\u0441\u0442<\/h3>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443:<\/p>\n<blockquote>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0433\u0440\u0430\u043d\u0438\u0446, \u0430\u00a0\u0445\u043e\u0441\u0442 \u0440\u0435\u0436\u0435\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b.<\/p>\n<\/blockquote>\n<p>\u0421\u0445\u0435\u043c\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430:<\/p>\n<pre><code>\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442  -&gt; [\u0445\u043e\u0441\u0442]  \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b ([1]..[N])  -&gt; [\u043c\u043e\u0434\u0435\u043b\u044c] {\"splits\":[i,...],\"topic\":\"...\"}  -&gt; [\u0445\u043e\u0441\u0442]  \u043d\u0430\u0440\u0435\u0437\u043a\u0430 \u041e\u0420\u0418\u0413\u0418\u041d\u0410\u041b\u0410 \u043f\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c  -&gt; \u0447\u0430\u043d\u043a\u0438<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041d\u0430\u00a0\u0432\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0434\u0443\u0442 \u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b. \u041f\u0440\u043e\u0437\u0430 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437\u00a0<code>razdel<\/code>. \u0422\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u0431\u043b\u043e\u043a\u0438 \u043a\u043e\u0434\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u044b\u043c\u0438 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u044e\u043d\u0438\u0442\u0430\u043c\u0438. Markdown\u2011\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0442\u043e\u0436\u0435 \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.<\/p>\n<p>\u0421\u044b\u0440\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043a\u0430\u043a\u00a0\u043f\u043e\u0442\u043e\u043a \u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u0432\u0438\u0434\u0438\u0442. \u041e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u0438 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043d\u043e\u043c\u0435\u0440\u0430 \u044e\u043d\u0438\u0442\u043e\u0432, \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0447\u0430\u043d\u043a\u0430, \u043f\u043b\u044e\u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439\u00a0<code>topic<\/code>.<\/p>\n<pre><code class=\"json\">{\"splits\": [3, 7], \"topic\": \"\u043e \u0447\u0451\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0425\u043e\u0441\u0442 \u0431\u0435\u0440\u0451\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438 \u0440\u0435\u0436\u0435\u0442 \u0435\u0433\u043e \u043f\u043e\u00a0\u044d\u0442\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c. \u0412\u0441\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u0441\u00a0\u044e\u043d\u0438\u0442\u0430\u043c\u0438 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0445\u043e\u0441\u0442\u0430: \u043e\u043d \u043d\u0443\u043c\u0435\u0440\u0443\u0435\u0442 \u044e\u043d\u0438\u0442\u044b \u0434\u043e\u00a0\u0432\u044b\u0437\u043e\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u0440\u0435\u0436\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a \u0438 \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b.<\/p>\n<p>\u0412\u00a0<a href=\"http:\/\/demo.py\" rel=\"noopener noreferrer nofollow\"><code>demo.py<\/code><\/a>\u00a0\u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430\u00a0<code>0 &lt; int(x) &lt; len(units)<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 out\u2011of\u2011range \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0412\u00a0serving\/eval\u2011\u043f\u0443\u0442\u0438 JSON \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f non\u2011greedy\u2011\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u043e\u0439 \u0432\u0438\u0434\u0430\u00a0<code>\\{.*?\\}<\/code>. \u0412\u00a0demo \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0433\u0440\u0443\u0431\u044b\u0439 greedy\u2011\u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043d\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 serving\u2011\u043f\u0443\u0442\u044c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u043e<\/p>\n<\/th>\n<th>\n<p align=\"left\">Index\u2011output<\/p>\n<\/th>\n<th>\n<p align=\"left\">Text\u2011output<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0431\u0430\u0439\u0442\u2011\u0432-\u0431\u0430\u0439\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0442\u0435\u043a\u0441\u0442 \u0440\u0435\u0436\u0435\u0442 \u0445\u043e\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0438\u0441\u043a \u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0430 \u043f\u0440\u0438\u00a0\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 35\u201340\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 JSON<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0422\u0430\u0431\u043b\u0438\u0446\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u00a0\u0440\u0435\u0436\u0443\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u044e\u043d\u0438\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442\u00a0\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Lossless \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u00a0\u0442\u0440\u043e\u0433\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442. \u041e\u043d\u0430 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0447\u0438\u0441\u043b\u0430\u043c\u0438.<\/p>\n<p>\u0414\u0435\u0448\u0435\u0432\u0438\u0437\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0432\u043c\u0435\u0441\u0442\u043e N \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 JSON. \u041d\u0430\u00a0\u0436\u0438\u0432\u043e\u043c \u0437\u0430\u043c\u0435\u0440\u0435\u00a0\u0431\u044b\u043b\u043e 35\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u0430.<\/p>\n<p>\u0426\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u00ab\u0432\u044b\u0443\u0447\u0438\u0432\u0430\u043b\u0430\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438: \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u00a0\u2014 \u043e\u0434\u0438\u043d \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0439 \u044e\u043d\u0438\u0442, \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0439\u0442\u0438 \u0434\u043e\u00a0\u043d\u0435\u0451 \u0438\u043b\u0438\u00a0\u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0451, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0432\u043d\u0443\u0442\u0440\u0438.<\/p>\n<p>\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u00a0upstream\u2011\u043f\u0430\u0440\u0441\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043a\u0430\u043a\u00a0\u0431\u043b\u043e\u043a. \u0415\u0441\u043b\u0438 \u043f\u0430\u0440\u0441\u0435\u0440 \u0441\u0430\u043c \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u043b \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043d\u0430\u00a0\u043c\u0443\u0441\u043e\u0440, LLM\u2011\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u043d\u0435\u00a0\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438\u0437\u00a0\u0432\u043e\u0437\u0434\u0443\u0445\u0430.<\/p>\n<p>\u0422\u0430\u00a0\u0436\u0435 \u043b\u043e\u0433\u0438\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430\u00a0response\u2011only loss \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438: \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b\u00a0\u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 JSON\u2011\u043e\u0442\u0432\u0435\u0442, \u0430\u00a0\u043d\u0435\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430.<\/p>\n<h3>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u043d\u0435\u00a0\u0441\u0430\u043c\u0430\u044f \u043d\u043e\u0432\u0430\u044f, \u0430\u00a0\u0442\u0430, \u0447\u0442\u043e\u00a0\u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0444\u0438\u043b\u044c\u0442\u0440\u044b<\/h3>\n<p>\u0411\u0430\u0437\u0443 \u044f \u0432\u044b\u0431\u0438\u0440\u0430\u043b \u043a\u0430\u043a\u00a0\u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e\u00a0\u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">llama.cpp Vulkan \u043d\u0430\u00a0AMD, \u0431\u0435\u0437\u00a0CUDA<\/p>\n<\/td>\n<td>\n<p align=\"left\">SSM\/linear\u2011attention\u2011\u0433\u0438\u0431\u0440\u0438\u0434\u044b \u0431\u0435\u0437\u00a0Vulkan\u2011\u044f\u0434\u0435\u0440 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Granite-4)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u2011\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">Llama-2\u00a0\u0438 \u0447\u0430\u0441\u0442\u044c \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Apache-2.0\u00a0\/ commercial\u2011OK<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0NC\u2011 \u0438\u043b\u0438\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f\u043c\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 GGUF<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0438\u0441\u043a \u0441\u043b\u043e\u043c\u0430\u0442\u044c round\u2011trip \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0435\u0440\u0432\u044b\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c\u00a0\u0431\u044b\u043b \u0440\u0430\u043d\u0442\u0430\u0439\u043c. \u0426\u0435\u043b\u0435\u0432\u043e\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: AMD Strix Halo, gfx1151, llama.cpp Vulkan, \u0431\u0435\u0437\u00a0CUDA. \u041d\u043e\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0433\u0443\u0442\u00a0\u0431\u044b\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u043e\u00a0\u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u00a0\u043d\u0438\u0445 \u043d\u0435\u0442 Vulkan\u2011\u044f\u0434\u0435\u0440 \u0432\u00a0\u043d\u0443\u0436\u043d\u043e\u043c \u0441\u0442\u0435\u043a\u0435, \u043e\u043d\u0438 \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442.<\/p>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0436\u0451\u0441\u0442\u043a\u0438\u043c: \u043d\u043e\u0432\u0435\u0435 \u043d\u0435\u00a0\u0437\u043d\u0430\u0447\u0438\u0442 \u043b\u0443\u0447\u0448\u0435, \u0435\u0441\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043b\u043e\u043c\u0430\u0435\u0442 \u0440\u0430\u043d\u0442\u0430\u0439\u043c.<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 dense + Vulkan\u2011safe + \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 + Apache \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u0430\u043c\u044b\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c\u00a0<a href=\"https:\/\/huggingface.co\/t-tech\/T-lite-it-2.1\" rel=\"noopener noreferrer nofollow\">t\u2011tech\/T\u2011lite\u2011it-2.1<\/a>. \u0415\u0451 \u044f \u0438 \u0432\u0437\u044f\u043b.<\/p>\n<p>Fallback\u2011\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0441\u044f\u00a0<code>RefalMachine\/RuadaptQwen3-8B-Hybrid<\/code>: \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 fertility, Apache, \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c. \u041d\u043e\u00a0GGUF round\u2011trip \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. \u0423\u00a0T\u2011lite-2.1\u00a0\u0443\u0436\u0435\u00a0\u0431\u044b\u043b\u00a0<a href=\"https:\/\/huggingface.co\/t-tech\/T-lite-it-2.1-GGUF\" rel=\"noopener noreferrer nofollow\">\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 GGUF<\/a>, \u0430\u00a0\u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 llama.cpp \u0443\u00a0\u0432\u0435\u043d\u0434\u043e\u0440\u0430 \u0443\u0436\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b.<\/p>\n<h4>\u0413\u0434\u0435 \u043f\u043b\u0430\u043d \u0440\u0430\u0437\u043e\u0448\u0451\u043b\u0441\u044f \u0441\u00a0\u0438\u0442\u043e\u0433\u043e\u043c<\/h4>\n<p>\u0412\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u0431\u0438\u043b\u0434\u2011\u043f\u043b\u0430\u043d\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u00a0\u043b\u0438\u0434\u0435\u0440\u043e\u043c\u00a0\u0431\u044b\u043b\u00a0<code>RefalMachine\/RuadaptQwen3-8B-Hybrid<\/code>:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c \u0438\u0437\u00a0\u043f\u043b\u0430\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u043e\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041b\u0438\u0446\u0435\u043d\u0437\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u043b\u043e\u0432\u0430\u0440\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 fertility<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RuadaptQwen3-8B\u2011Hybrid<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0431\u0430\u0437\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Apache-2.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">146\u00a0260<\/p>\n<\/td>\n<td>\n<p align=\"left\">40\u00a0960<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1.6\u00a0tok\/word<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u00a0\u043f\u0440\u043e\u0437\u0435 \u043f\u043b\u0430\u043d\u0430 \u0442\u0430\u043a\u0436\u0435 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043b fallback\u00a0<code>RuadaptQwen2.5-7B-Lite-Beta<\/code>\u00a0\u0441\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u0451\u043c 145\u00a0152\u00a0\u0438 \u0431\u043e\u043b\u0435\u0435 \u0437\u0440\u0435\u043b\u044b\u043c llama.cpp\u2011\u043f\u0443\u0442\u0451\u043c. \u0410\u00a0\u043f\u0440\u043e\u00a0<code>t-tech\/T-lite<\/code>\u00a0\u0442\u0430\u043c\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u044f\u043c\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e: \u00ab\u043d\u0435 \u0431\u0440\u0430\u0442\u044c\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043d\u0430\u00a0\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u043b\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441\u043e \u0441\u0442\u043e\u043a\u043e\u0432\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u043e\u043c \u0438 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c fertility.<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u0430\u0440\u0435\u043b\u043e. \u0412\u00a0\u0440\u0435\u043b\u0438\u0437\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 T\u2011lite\u2011it-2.1\u00a0\u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u043f\u043e\u0434\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0443\u00a0\u2014 \u044f \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0440\u043e\u043c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0422\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 \/ \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0442\u0430\u0442\u0443\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">Fertility<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RuadaptQwen3-8B\u2011Hybrid<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u043b\u0430\u043d\u043e\u0432\u044b\u0439\u00a0\u043b\u0438\u0434\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1.6\u00a0tok\/word (\u0438\u0437 research)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5\u20137B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0436\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e Qwen<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.71\u00a0tok\/word<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5\u20137B<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u043b\u0430\u043d\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">~2.6\u00a0tok\/word<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">T\u2011lite\u2011it-2.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440, \u0436\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.74\u00a0tok\/word<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Llama-2-7B tokenizer<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0436\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u043d\u0430 42-\u0441\u043b\u043e\u0432\u043d\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.17\u00a0tok\/word<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043b\u0430\u043d \u0443\u0441\u0442\u0430\u0440\u0435\u043b \u043c\u0435\u0436\u0434\u0443 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430: \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u00abLlama-2\u00a0\u0441\u043b\u0435\u043f\u0430 \u043a\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0435\u00bb \u043d\u0435\u0432\u0435\u0440\u043d\u0430. \u0423\u00a0Llama-2\u00a0\u0435\u0441\u0442\u044c byte\u2011fallback. \u041e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0434\u043e\u0440\u043e\u0436\u0435. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435\u00a0\u2014 \u00d71.82\u00a0\u043a\u00a0T\u2011lite. \u041d\u0430\u00a0\u043a\u043e\u0440\u043f\u0443\u0441\u043d\u043e\u0439 \u043f\u0440\u043e\u0437\u0435 \u0438\u0437\u00a0research\u2011\u0437\u0430\u043c\u0435\u0442\u043e\u043a\u00a0\u2014 \u0431\u043b\u0438\u0436\u0435 \u043a \u00d71.5. \u0420\u0435\u0447\u044c \u043f\u0440\u043e\u00a0\u0446\u0435\u043d\u0443, \u0430\u00a0\u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u0441\u043b\u0435\u043f\u043e\u0442\u0443.<\/p>\n<h3>\u0414\u0430\u043d\u043d\u044b\u0435: \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043e\u0442\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438<\/h3>\n<p>\u0420\u0443\u0447\u043d\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0433\u0440\u0430\u043d\u0438\u0446 \u043d\u0430\u00a0\u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b\u0430. \u042f \u0437\u0430\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u043e\u0442\u00a0\u043c\u043e\u0434\u0435\u043b\u0438\u2011\u0443\u0447\u0438\u0442\u0435\u043b\u044f.<\/p>\n<p>\u0423\u0447\u0438\u0442\u0435\u043b\u044c\u00a0\u2014\u00a0<code>DeepSeek-V4-Flash<\/code>, self\u2011hosted \u043d\u0430\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0443\u0437\u0435\u043b Spark, \u0447\u0435\u0440\u0435\u0437 OpenAI\u2011\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442:<\/p>\n<pre><code class=\"python\"># data\/generate.pyDS_URL = \"http:\/\/192.168.1.45:8000\/v1\"MODEL  = \"deepseek-v4-flash-spark\"SCHEMA = {    \"type\": \"object\",    \"properties\": {        \"splits\": {\"type\": \"array\", \"items\": {\"type\": \"integer\"}},        \"topic\":  {\"type\": \"string\"},    },    \"required\": [\"splits\", \"topic\"],}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0423\u0447\u0438\u0442\u0435\u043b\u044c \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u00a0<code>guided_json=SCHEMA<\/code>. \u041f\u0440\u0438\u00a0grammar\u2011constrained decoding \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0439\u0442\u0438 \u0437\u0430\u00a0\u0441\u0445\u0435\u043c\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 JSON \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439, \u0430\u00a0\u043d\u0435\u00a0\u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430. Grammar\u2011\u043a\u043e\u043d\u0441\u0442\u0440\u0435\u0439\u043d\u0442 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043f\u0440\u0438\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u041d\u0430\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0433\u043e \u043d\u0435\u0442\u00a0\u2014 \u0442\u0430\u043c \u0445\u043e\u0441\u0442 \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442 JSON \u0438\u0437\u00a0\u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430.<\/p>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u0430\u044f:\u00a0<code>ThreadPoolExecutor<\/code>\u00a0\u043d\u0430 24\u00a0\u0432\u043e\u0440\u043a\u0435\u0440\u0430, durable incremental output \u0432\u00a0<code>_raw.jsonl<\/code>\u00a0\u0441\u00a0flush, overshoot \u0446\u0435\u043b\u0438 \u0432 1.4x \u0434\u043b\u044f\u00a0\u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0430\u0446\u0438\u0438 \u0440\u0435\u0434\u0436\u0435\u043a\u0442\u043e\u0432 \u0433\u0435\u0439\u0442\u0430\u043c\u0438, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0441\u0438\u0434\u044b 7\u00a0\u0438 13\u00a0\u0434\u043b\u044f\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<h4>\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430: README \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u0434\u043d\u043e, \u043a\u043e\u0434 \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0435<\/h4>\n<p>README \u0437\u0430\u044f\u0432\u043b\u044f\u0435\u0442\u00a0<code>temperature=0<\/code>. \u0412\u00a0\u043a\u043e\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u00a0<code>label()<\/code>\u00a0\u0438\u043c\u0435\u0435\u0442 \u0434\u0435\u0444\u043e\u043b\u0442\u00a0<code>temp=0.2<\/code>\u00a0\u0438 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u0437\u00a0\u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0448\u043b\u0430 \u043d\u0430 0.2, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430 0.<\/p>\n<p>\u042f \u043d\u0435\u00a0\u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b, \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u0432\u0440\u0435\u0434\u0438\u0442. \u0412\u00a0\u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u0430\u044f: \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u0433\u0435\u0439\u0442\u044b, \u0442\u043e\u0447\u043d\u044b\u0439 \u0434\u0435\u0434\u0443\u043f, \u0434\u043e 3\u00a0\u0440\u0435\u0442\u0440\u0430\u0435\u0432 \u043d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440. \u0413\u043e\u043b\u043e\u0441\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0441\u044d\u043c\u043f\u043b\u0430\u043c \u043d\u0435\u0442\u00a0\u2014 self\u2011consistency\u00a0\u0431\u044b\u043b\u0430 \u043f\u043b\u0430\u043d\u043e\u0432\u043e\u0439 \u0438\u0434\u0435\u0435\u0439, \u043d\u043e\u00a0\u0432\u00a0v1-\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043d\u0435\u00a0\u043f\u043e\u043f\u0430\u043b\u0430 (\u0440\u0430\u043d\u043d\u0435\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0435 \u0432\u00a0\u0434\u043e\u043a\u0430\u0445 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f \u044f \u043f\u043e\u0441\u043b\u0435 \u0441\u0432\u0435\u0440\u043a\u0438 \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u043b).<\/p>\n<p>\u041a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u043f\u043b\u043e\u0445\u0438\u0435 \u043c\u0435\u0442\u043a\u0438 \u0433\u0435\u0439\u0442\u044b \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u044e\u0442, \u043d\u043e\u00a0temp=0.2\u00a0\u044f \u043d\u0435\u00a0\u043c\u0430\u0441\u043a\u0438\u0440\u0443\u044e \u0438 \u043d\u0435\u00a0\u043e\u043f\u0440\u0430\u0432\u0434\u044b\u0432\u0430\u044e \u0437\u0430\u0434\u043d\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0430\u0442 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0\u2014 Alpaca JSONL:\u00a0<code>instruction<\/code>\u00a0\/\u00a0<code>input<\/code>\u00a0\/\u00a0<code>output<\/code>.\u00a0<code>input<\/code>\u00a0\u2014 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0440\u0430\u0437\u0431\u0438\u0442\u044b\u0439 \u043d\u0430\u00a0\u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b;\u00a0<code>output<\/code>\u00a0\u2014 JSON \u0441\u00a0\u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438.\u00a0<code>splits<\/code>\u00a0\u2014 1-\u0438\u043d\u0434\u0435\u043a\u0441\u043d\u044b\u0435 \u043d\u043e\u043c\u0435\u0440\u0430 \u044e\u043d\u0438\u0442\u043e\u0432, \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0430;\u00a0<code>topic<\/code>\u00a0\u2014 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u2011\u0441\u0430\u043c\u043c\u0430\u0440\u0438.<\/p>\n<p>\u042e\u043d\u0438\u0442\u044b \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0442\u043e\u0440: \u043f\u0440\u043e\u0437\u0430 \u2192 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437\u00a0<code>razdel.sentenize<\/code>; \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u0431\u043b\u043e\u043a\u0438 \u043a\u043e\u0434\u0430 \u2192 \u0435\u0434\u0438\u043d\u044b\u0435 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b; markdown\u2011\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 (<code>#<\/code>..<code>######<\/code>) \u2192 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b. \u0422\u0438\u043f\u044b:\u00a0<code>sent<\/code>,\u00a0<code>code<\/code>,\u00a0<code>table<\/code>,\u00a0<code>head<\/code>.<\/p>\n<h4>\u0424\u0438\u043b\u044c\u0442\u0440\u044b \u0438 \u0433\u0435\u0439\u0442\u044b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/h4>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430\u00a0<strong>\u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0444\u0438\u043b\u044c\u0442\u0440\u044b \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430<\/strong>\u00a0(\u0432\u00a0<code>iter_docs<\/code>, \u0434\u043e\u00a0\u0432\u044b\u0437\u043e\u0432\u0430 \u0443\u0447\u0438\u0442\u0435\u043b\u044f): \u0434\u043e\u043b\u044f \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u044b &gt; 0.6; \u0434\u043b\u0438\u043d\u0430 \u0441\u044b\u0440\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 800\u20137000\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432; \u0447\u0438\u0441\u043b\u043e \u044e\u043d\u0438\u0442\u043e\u0432 5\u2013120.<\/p>\n<p>\u041f\u043e\u0442\u043e\u043c\u00a0<strong>\u0433\u0435\u0439\u0442\u044b \u0432\u044b\u0445\u043e\u0434\u0430 \u0443\u0447\u0438\u0442\u0435\u043b\u044f<\/strong>\u00a0(\u0432\u00a0<code>gate()<\/code>): \u0447\u0442\u043e\u00a0\u043d\u0435\u00a0\u043f\u0440\u043e\u0448\u043b\u043e, \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<pre><code class=\"python\"># data\/generate.py \u2014 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b gate()if not (1 &lt;= len(sp) &lt;= 60):            # \u0447\u0438\u0441\u043b\u043e \u0433\u0440\u0430\u043d\u0438\u0446 1..60    return Noneif b != len(units) and ntab == 0 and wc &lt; 8:   # \u043d\u0435-\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u043e\u0437\u043e\u0432\u044b\u0439 \u0447\u0430\u043d\u043a &lt; 8 \u0441\u043b\u043e\u0432    return None<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0413\u0435\u0439\u0442 \u0432\u044b\u0445\u043e\u0434\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0440\u043e\u0433<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0430\u043b\u0438\u0434\u043d\u044b\u0439 JSON<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0438\u0441\u043b\u043e \u0433\u0440\u0430\u043d\u0438\u0446<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\u201360<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041d\u0435\u2011\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u043e\u0437\u043e\u0432\u044b\u0439 \u0447\u0430\u043d\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2265 8\u00a0\u0441\u043b\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u043b\u0438\u043d\u0430 topic<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2264 200\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u2265 5\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0431\u0443\u043a\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0430\u043b\u0438\u0434\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>1 &lt;= x &lt; nunits<\/code><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u0435\u0434\u0443\u043f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u043e\u0447\u043d\u044b\u0439 MD5\u00a0\u043f\u043e\u00a0\u043f\u0435\u0440\u0432\u044b\u043c 500\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0420\u0430\u043d\u044c\u0448\u0435 \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0441\u043a\u0430\u043a\u0438\u0432\u0430\u043b\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 near\u2011dup, \u043d\u043e\u00a0\u0432\u00a0\u043a\u043e\u0434\u043e\u0432\u043e\u043c \u043f\u0443\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438\u00a0\u2014 \u0442\u043e\u0447\u043d\u044b\u0439 MD5, \u0430\u00a0\u043d\u0435\u00a0fuzzy\u2011\u0434\u0435\u0434\u0443\u043f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043d\u0430\u0437\u044b\u0432\u0430\u044e \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e, \u0447\u0442\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u043a\u043e\u0434.<\/p>\n<p>Chunk\u2011sanity \u043f\u043e\u00a0\u0441\u043b\u043e\u0432\u0430\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u044e\u043d\u0438\u0442\u0430\u043c \u0442\u0438\u043f\u0430\u00a0<code>sent<\/code>. \u0427\u0430\u043d\u043a \u0441\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0438\u043b\u0438\u00a0\u043a\u043e\u0434\u043e\u043c \u043d\u0435\u00a0\u0440\u0435\u0434\u0436\u0435\u043a\u0442\u0438\u0442\u0441\u044f \u0438\u0437\u2011\u0437\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0441\u0442\u0438. \u0418\u043d\u0430\u0447\u0435 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0441\u0430\u043c \u0432\u044b\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043b\u00a0\u0431\u044b \u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0435 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b.<\/p>\n<h4>\u041a\u043e\u0440\u043f\u0443\u0441\u2011\u043c\u0438\u043a\u0441<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u043e\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041b\u0438\u0446\u0435\u043d\u0437\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0434\u043e\u043b\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0412\u0445\u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">deepvk\/cultura_ru_edu<\/p>\n<\/td>\n<td>\n<p align=\"left\">web\/edu \u043f\u0440\u043e\u0437\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Apache-2.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">~47%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.45<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">IlyaGusev\/habr<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u0435\u0445\u0442\u0435\u043a\u0441\u0442 + \u0431\u043b\u043e\u043a\u0438 \u043a\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">unspecified, training\u2011only<\/p>\n<\/td>\n<td>\n<p align=\"left\">~34%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.30<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\/\u043a\u043e\u0434\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">~19%<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>README \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0439 \u0441\u043e\u0441\u0442\u0430\u0432 \u043f\u043e\u0441\u043b\u0435 \u0433\u0435\u0439\u0442\u043e\u0432: 47\/34\/19%.\u00a0<code>train_v1.log<\/code>\u00a0\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442 \u0442\u043e\u0442\u00a0\u0436\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a: cultura 8775, habr 6221, synthetic 3469.<\/p>\n<p>\u0412\u00a0\u043a\u043e\u0434\u0435\u00a0<code>iter_docs<\/code>\u00a0\u0441\u0442\u043e\u044f\u0442 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: 0.45\/0.30\/0.25.<\/p>\n<p>\u041f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u044f \u0442\u0443\u0442 \u043d\u0435\u0442: \u044d\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0441\u0438\u043b\u0438\u00bb \u0438 \u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0448\u043b\u043e\u00bb. \u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u0440\u0435\u0434\u0436\u0435\u043a\u0442\u0438\u0442\u0441\u044f \u0447\u0430\u0449\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0451 \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u0434\u043e\u043b\u044f \u043d\u0438\u0436\u0435 \u0432\u0445\u043e\u0434\u043d\u043e\u0439 \u043a\u0432\u043e\u0442\u044b.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u043d\u0435\u0441\u0442\u044b\u043a\u043e\u0432\u043a\u0430. \u0412\u00a0docstring\u00a0<a href=\"http:\/\/generate.py\" rel=\"noopener noreferrer nofollow\"><code>generate.py<\/code><\/a>\u00a0\u043a\u043e\u0440\u043f\u0443\u0441 \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u0430\u043a\u00a0<code>cultura_ru_edu + habr_qna(CC0) + habr-tables + synthetic<\/code>. \u0420\u0435\u0430\u043b\u044c\u043d\u043e \u043a\u043e\u0434 \u0433\u0440\u0443\u0437\u0438\u0442\u00a0<code>deepvk\/cultura_ru_edu<\/code>\u00a0\u0438\u00a0<code>IlyaGusev\/habr<\/code>, \u043d\u0435\u00a0<code>habr_qna<\/code>.\u00a0<code>habr_qna<\/code>\/CC0\u00a0\u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0432\u00a0\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u0438 \u0438 research\u2011\u0444\u0430\u0439\u043b\u0435 \u043a\u0430\u043a\u00a0\u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u00a0\u0438\u0442\u043e\u0433 \u043d\u0435\u00a0\u043f\u043e\u043f\u0430\u043b.<\/p>\n<p>\u0412\u00a0<code>.planning<\/code>\u00a0\u043b\u0435\u0436\u0438\u0442 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u043c\u0438\u043a\u0441: fineweb-2, cultura, habr_qna, MOT, DocAtlas\u2011RU, habr\u2011tables, \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430, wikipedia, taiga. \u041e\u043d \u043d\u0435\u00a0\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0\u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u043c.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0438\u0441\u0442\u0438\u043d\u044b\u00a0\u2014 README,\u00a0<a href=\"http:\/\/generate.py\" rel=\"noopener noreferrer nofollow\"><code>generate.py<\/code><\/a>\u00a0\u0438\u00a0<code>train_v1.log<\/code>. Research\u00a0\u2014 \u044d\u0442\u043e \u043e\u0431\u0437\u043e\u0440 \u0438 \u043f\u043b\u0430\u043d, \u043d\u0435\u00a0\u0444\u0430\u043a\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<h4>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430<\/h4>\n<p>\u0421\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043d\u0443\u0436\u043d\u0430 \u0434\u043b\u044f\u00a0\u043e\u0434\u043d\u043e\u0439 \u0446\u0435\u043b\u0438: \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u043a\u043e\u0434 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<p>\u0412\u00a0\u043d\u0435\u0439 12\u00a0\u0434\u043e\u043c\u0435\u043d\u043e\u0432 \u0442\u0430\u0431\u043b\u0438\u0446: \u043f\u0440\u043e\u0434\u0430\u0436\u0438 \u043f\u043e\u00a0\u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043c, \u043f\u0440\u0430\u0439\u0441\u2011\u043b\u0438\u0441\u0442, \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430, \u0441\u043a\u043b\u0430\u0434\u0441\u043a\u0438\u0435 \u043e\u0441\u0442\u0430\u0442\u043a\u0438, \u043a\u0443\u0440\u0441\u044b \u0432\u0430\u043b\u044e\u0442 \u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b. \u041f\u043b\u044e\u0441 code\u2011\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b: \u043e\u043a\u043e\u043b\u043e 22% \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432, 6\u00a0\u0442\u0438\u043f\u043e\u0432 \u0431\u043b\u043e\u043a\u043e\u0432\u00a0\u2014 python, bash, sql, json, yaml, python\u2011class. Multi\u2011table \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u00a0\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e 0.45.<\/p>\n<p>\u0422\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u0432\u0438\u0434\u0438\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043e\u0440\u043f\u0443\u0441\u0430\u0445 \u043c\u0430\u043b\u043e \u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u043c \u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u044b \u043d\u0435\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e.<\/p>\n<h4>\u0420\u0430\u0437\u043c\u0435\u0440\u044b<\/h4>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0410\u0440\u0442\u0435\u0444\u0430\u043a\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 train<\/p>\n<\/td>\n<td>\n<p align=\"left\">~17k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Synthetic\u2011only top\u2011up<\/p>\n<\/td>\n<td>\n<p align=\"left\">~12k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (10.8k train + 1.2k holdout)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u044d\u043c\u043f\u043b \u0432\u00a0\u0440\u0435\u043f\u043e, train<\/p>\n<\/td>\n<td>\n<p align=\"left\">600<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u044d\u043c\u043f\u043b \u0432\u00a0\u0440\u0435\u043f\u043e, holdout<\/p>\n<\/td>\n<td>\n<p align=\"left\">120<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Holdout\u2011\u043a\u0430\u043f \u0432\u00a0\u043a\u043e\u0434\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>max(1, min(len\/10, 1500))<\/code><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Synthetic\u2011only top\u2011up \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f env\u2011\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<code>SYNTH_ONLY<\/code>. \u0422\u043e\u0433\u0434\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u0441\u00a0\u0432\u0435\u0441\u043e\u043c 1.0, \u0431\u0435\u0437\u00a0\u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u043a\u043e\u0440\u043f\u0443\u0441\u043e\u0432.<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0435 \u0441\u0435\u0442\u044b \u043b\u0435\u0436\u0430\u0442 \u043d\u0430\u00a0HuggingFace. \u0412\u00a0git \u043e\u043d\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0432\u0435\u043b\u0438\u043a\u0438.<\/p>\n<h4>\u041f\u0440\u043e\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0438<\/h4>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043b training\u2011only \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0441\u00a0\u043d\u0435\u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439?<\/p>\n<p>\u041c\u043e\u044f \u0440\u0430\u0431\u043e\u0447\u0430\u044f \u0442\u0440\u0430\u043a\u0442\u043e\u0432\u043a\u0430\u00a0\u2014 \u043d\u0435\u00a0\u044e\u0440\u0438\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u00a0\u2014 \u0442\u0430\u043a\u0430\u044f: \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0443\u0447\u0430\u0442 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u0433\u0440\u0430\u043d\u0438\u0446, \u0430\u00a0\u043d\u0435\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0437\u044b. Copyleft \u043d\u0430\u00a0\u043a\u043e\u0440\u043f\u0443\u0441\u0435 \u0446\u0435\u043f\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u00a0\u043f\u0440\u043e\u0437\u0435, \u0430\u00a0\u043d\u0435\u00a0\u043a\u00a0\u0432\u0435\u0441\u0430\u043c \u0438\u043b\u0438\u00a0JSON\u2011\u0432\u044b\u0432\u043e\u0434\u0443.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f\u00a0\u0440\u0435\u0434\u0438\u0441\u0442\u0440\u0438\u0431\u0443\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u044f \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u044e apache\/CC0\/CC\u2011BY, \u0430\u00a0\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0441\u00a0\u043d\u0435\u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 \u0434\u0435\u0440\u0436\u0443 training\u2011only\u00a0\u2014 \u0438\u0437\u2011\u0437\u0430 habr\u2011\u0447\u0430\u0441\u0442\u0438 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u043d\u0430\u00a0HF \u043f\u043e\u043c\u0435\u0447\u0435\u043d\u0430\u00a0<code>license: other<\/code>, \u043d\u0435\u00a0Apache (Apache\u00a0\u2014 \u044d\u0442\u043e \u043a\u043e\u0434 \u0438 \u0432\u0435\u0441\u0430). \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433\u00a0\u2014 \u0432\u0435\u0440\u0441\u0438\u044f \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u0431\u0435\u0437\u00a0habr.<\/p>\n<h3>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: bf16-LoRA \u043d\u0430\u00a0Blackwell, \u0431\u0435\u0437\u00a0QLoRA<\/h3>\n<p>\u0416\u0435\u043b\u0435\u0437\u043e \u0434\u043b\u044f\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u00a0\u2014 RTX 5090, NVIDIA Blackwell, compute capability sm_120, 32\u00a0\u0413\u0411, WSL2\u00a0\u043d\u0430\u00a0Ubuntu 24.04.<\/p>\n<p>\u041d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 Windows \u0434\u043b\u044f\u00a0Blackwell\u2011\u0441\u0442\u0435\u043a\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043d\u0435\u043d\u0430\u0434\u0451\u0436\u043d\u044b\u043c.<\/p>\n<p>\u041c\u0435\u0442\u043e\u0434\u00a0\u2014 bf16\u00a0LoRA, \u043d\u0435\u00a0QLoRA. \u041f\u0440\u0438\u0447\u0438\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f: 8B\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 32\u00a0\u0413\u0411 \u0432\u00a0bf16, \u0430\u00a0<code>bitsandbytes<\/code>-4bit \u043d\u0430\u00a0Blackwell \u0445\u0440\u0443\u043f\u043e\u043a \u0438 \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438.\u00a0<code>cu130<\/code>\u2011torch \u043a\u043e\u043d\u0444\u043b\u0438\u043a\u0442\u0443\u0435\u0442 \u0441\u00a0bitsandbytes \u043f\u043e\u00a0ABI. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0431\u0435\u0437\u00a0\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0442\u0430\u0449\u0438\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<pre><code class=\"python\"># train.pymodel = FastLanguageModel.get_peft_model(    model,    r=32, lora_alpha=32, lora_dropout=0.05,    target_modules=[\"q_proj\",\"k_proj\",\"v_proj\",\"o_proj\",                    \"gate_proj\",\"up_proj\",\"down_proj\"],    use_rslora=True,    use_gradient_checkpointing=\"unsloth\",    random_state=42,)# response-only loss: \u043c\u0430\u0441\u043a\u0438\u0440\u0443\u0435\u043c instruction+input, \u0432 \u043b\u043e\u0441\u0441\u0435 \u0442\u043e\u043b\u044c\u043a\u043e JSONtrainer = train_on_responses_only(    trainer,    instruction_part=\"### Instruction:\\n\",    response_part=\"### Response:\\n\",)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>Response\u2011only loss \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d. Output\u00a0\u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 boundary JSON. Input\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u0411\u0435\u0437\u00a0\u043c\u0430\u0441\u043a\u0438\u0440\u043e\u0432\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0435\u0441\u044c \u043b\u043e\u0441\u0441 \u0443\u0448\u0451\u043b\u00a0\u0431\u044b \u043d\u0430\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0445\u043e\u0434\u0430, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0447\u0438\u043b\u0430\u0441\u044c\u00a0\u0431\u044b \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0433\u0440\u0430\u043d\u0438\u0446\u044b.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 instruction+input \u043c\u0430\u0441\u043a\u0438\u0440\u0443\u044e\u0442\u0441\u044f, \u0430\u00a0\u043b\u043e\u0441\u0441 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u043e\u0442\u0432\u0435\u0442\u0435.<\/p>\n<pre><code class=\"python\">learning_rate=2e-4, lr_scheduler_type=\"cosine\", warmup_ratio=0.05,weight_decay=0.01, optim=\"adamw_8bit\", bf16=True,max_length=4096, packing=False,# per_device_train_batch_size=2, grad_accum=8 -&gt; \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 batch 16# num_train_epochs=2<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">LoRA r \/ alpha \/ dropout<\/p>\n<\/td>\n<td>\n<p align=\"left\">32\u00a0\/ 32\u00a0\/ 0.05<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">rsLoRA<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u043a\u043b, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f assert&#8217;\u043e\u043c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Optimizer<\/p>\n<\/td>\n<td>\n<p align=\"left\">adamw_8bit<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">LR \/ scheduler \/ warmup<\/p>\n<\/td>\n<td>\n<p align=\"left\">2e-4\u00a0\/ cosine \/ 5%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">weight_decay<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.01<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">micro\u2011batch \/ grad\u2011accum \/ \u044d\u0444\u0444. batch<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\u00a0\/ 8\u00a0\/ 16<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u043f\u043e\u0445\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">max_seq_len<\/p>\n<\/td>\n<td>\n<p align=\"left\">4096<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Gradient checkpointing<\/p>\n<\/td>\n<td>\n<p align=\"left\">unsloth<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Attention<\/p>\n<\/td>\n<td>\n<p align=\"left\">SDPA (\u0434\u0435\u0444\u043e\u043b\u0442; flash\u2011attn \u043d\u0435\u00a0\u0438\u043c\u0435\u0435\u0442 \u0441\u0431\u043e\u0440\u043a\u0438 \u043f\u043e\u0434\u00a0sm_120)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">LoRA random_state<\/p>\n<\/td>\n<td>\n<p align=\"left\">42<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">logging \/ save \/ eval steps<\/p>\n<\/td>\n<td>\n<p align=\"left\">10\u00a0\/ 200\u00a0\/ 100<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u00a0\u043c\u043e\u0438\u043c \u0437\u0430\u043f\u0438\u0441\u044f\u043c \u0438 README\/config:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0440\u0435\u043c\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">~3.5\u00a0\u0447<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0438\u043a VRAM<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.4\u00a0\u0413\u0411<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0428\u0430\u0433\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">2122<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u043f\u043e\u0445\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 stdout \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u00a0\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043d\u0435\u00a0\u0437\u0430\u0430\u0440\u0445\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 train loss \u044f \u043d\u0435\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e \u043a\u0430\u043a\u00a0\u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443. \u0412\u00a0config \u0435\u0441\u0442\u044c \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u0430\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u00a0<code>train loss &lt; 0.2<\/code>\u00a0\u043a\u0430\u043a\u00a0\u0437\u043e\u043d\u0430 \u0440\u0438\u0441\u043a\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u043b\u043e\u0433 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430.<\/p>\n<h4>Blackwell\u2011\u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430<\/h4>\n<p>\u0421\u00a0Blackwell \u00ab\u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438\u00bb \u0443\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c. \u041d\u0443\u0436\u043d\u044b \u0442\u043e\u0447\u043d\u044b\u0435 \u043f\u0438\u043d\u044b \u0438 sanity\u2011\u0447\u0435\u043a \u0434\u043e\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430.<\/p>\n<pre><code class=\"bash\"># torch \u0442\u043e\u043b\u044c\u043a\u043e cu129, \u043d\u0435 cu130pip install torch==2.11.0 --index-url https:\/\/download.pytorch.org\/whl\/cu129# sanity 1: \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e torch \u0441\u043e\u0431\u0440\u0430\u043d \u043f\u043e\u0434 sm_120python -c \"import torch; print('sm_120' in torch.cuda.get_arch_list())\"# sanity 2: torch.compile\/inductor \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0444\u0430\u0439\u043b\u043e\u0432ulimit -n 1048576<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u043b\u044e\u0441 \u043d\u0443\u0436\u043d\u044b\u00a0<code>triton &gt;= 3.3.1<\/code>, \u0441\u0432\u0435\u0436\u0438\u0435 unsloth\/unsloth_zoo, transformers\/trl\/peft\/accelerate latest stable, python 3.12, \u0434\u0440\u0430\u0439\u0432\u0435\u0440 NVIDIA R570+ \u0438 CUDA \u2265 12.8.\u00a0<code>torchaudio<\/code>\u00a0\u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0440\u043e\u0432\u043d\u044f\u0442\u044c \u043f\u043e\u0434\u00a0\u0432\u0435\u0440\u0441\u0438\u044e\u00a0<code>torch<\/code>.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f\u00a0\u0431\u044b\u0442\u043e\u0432\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: WSL\u2011\u043c\u0430\u0448\u0438\u043d\u0430 \u0441\u00a0RTX 5090\u00a0\u0437\u0430\u0441\u044b\u043f\u0430\u0435\u0442 \u0438 \u0440\u0432\u0451\u0442 SSH\u2011\u0441\u0435\u0441\u0441\u0438\u044e \u043f\u043e\u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430.<\/p>\n<h4>\u0427\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u00a0boundary\u2011F1, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u00a0eval_loss<\/h4>\n<p>\u0418\u0437\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f \u0432\u044b\u043d\u0435\u0441 \u0432\u043e\u0442 \u0447\u0442\u043e:\u00a0<code>eval_loss<\/code>\u00a0\u043f\u043b\u043e\u0445\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u043b \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442.<\/p>\n<p>\u041f\u043e\u00a0\u0441\u0432\u043e\u0434\u043d\u044b\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u043c\u00a0<code>eval\/<\/code><a href=\"http:\/\/results.md\" rel=\"noopener noreferrer nofollow\"><code>results.md<\/code><\/a>, README \u0438 model card, task\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043b\u0430 \u0440\u0430\u0441\u0442\u0438 \u0432\u043e\u00a0\u0432\u0442\u043e\u0440\u043e\u0439 \u044d\u043f\u043e\u0445\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">boundary\u2011F1@0<\/p>\n<\/th>\n<th>\n<p align=\"left\">boundary\u2011F1@\u00b11<\/p>\n<\/th>\n<th>\n<p align=\"left\">exact\u2011set<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044d\u043f\u043e\u0445\u0430 1, \u0448\u0430\u0433 1000<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.610<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.800<\/p>\n<\/td>\n<td>\n<p align=\"left\">23%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044d\u043f\u043e\u0445\u0430 2, \u0444\u0438\u043d\u0430\u043b<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.656<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.821<\/p>\n<\/td>\n<td>\n<p align=\"left\">29%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u044b\u0440\u043e\u0439 stdout \u044d\u0442\u043e\u0433\u043e eval\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u0430\u0440\u0445\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d: \u044f \u043f\u0435\u0440\u0435\u0433\u043d\u0430\u043b eval \u0438 \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043b \u043b\u043e\u0433\u0438 \u0440\u044f\u0434\u043e\u043c \u0441\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 (<a href=\"https:\/\/github.com\/botAGI\/AGmind-ML\/blob\/main\/agmind-rag-splitter-ru\/eval\/results.md\" rel=\"noopener noreferrer nofollow\">eval\/<\/a><a href=\"http:\/\/results.md\" rel=\"noopener noreferrer nofollow\">results.md<\/a>, commit\u00a0<code>c0f57f9<\/code>). \u0421\u043d\u0430\u043f\u0448\u043e\u0442 N=300\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0451\u043b\u0441\u044f \u0442\u043e\u0447\u043d\u043e (0.654\u00a0\/ 0.821\u00a0\/ 29.0), \u0430\u00a0\u043d\u0430\u00a0\u043f\u043e\u043b\u043d\u043e\u043c holdout-1500\u00a0\u0447\u0438\u0441\u043b\u0430 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f \u0438 \u0434\u0430\u0436\u0435 \u0447\u0443\u0442\u044c \u0432\u044b\u0448\u0435.<\/p>\n<p>\u0412\u044b\u0432\u043e\u0434 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f: \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c checkpoint \u043f\u043e\u00a0task\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0435, \u0447\u0435\u043c \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 loss.<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u00a0\u0442\u0440\u0435\u0442\u044c\u044f \u044d\u043f\u043e\u0445\u0430? \u0412\u00a0config \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430: 1\u20132\u00a0\u044d\u043f\u043e\u0445\u0438, \u0430 &gt;2\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442 \u0440\u0438\u0441\u043a overfit \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0440\u0435\u0436\u0438\u043c\u0430. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u044b\u0447\u0430\u0433\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445; \u0442\u0440\u0435\u0442\u044c\u044f \u044d\u043f\u043e\u0445\u0430 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0441\u0435\u0442\u0435 \u0434\u0430\u0441\u0442 \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<hr\/>\n<h3>\u0414\u0435\u043f\u043b\u043e\u0439 \u043d\u0430\u00a0AMD Vulkan: GGUF \u0431\u0435\u0437\u00a0CUDA<\/h3>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0448\u043b\u043e \u043d\u0430\u00a0NVIDIA. \u0426\u0435\u043b\u0435\u0432\u043e\u0439 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u00a0\u2014 AMD Strix Halo, gfx1151,\u00a0<a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/blob\/master\/docs\/build.md\" rel=\"noopener noreferrer nofollow\">llama.cpp Vulkan<\/a>, \u0431\u0435\u0437\u00a0CUDA. \u0418\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043e\u0442\u0441\u0435\u044f\u043b\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u00a0\u0435\u0434\u0443\u0442 \u043d\u0430\u00a0Vulkan.<\/p>\n<p>\u041f\u0443\u0442\u044c \u0441\u0431\u043e\u0440\u043a\u0438 GGUF:<\/p>\n<pre><code class=\"bash\"># 1) \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c pre-tokenizer T-litepython training\/patch_tokenizer_hash.py# 2) merged FP16 -&gt; GGUF f16python llama.cpp\/convert_hf_to_gguf.py out_merged \\    --outfile model-f16.gguf --outtype f16# 3) \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0432 Q5_K_M (~5.9 \u0413\u0411).\/llama.cpp\/build\/bin\/llama-quantize model-f16.gguf model-Q5_K_M.gguf Q5_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a \u043d\u0430\u00a0AMD:<\/p>\n<pre><code class=\"bash\">llama-server -m model-Q5_K_M.gguf -ngl 99 -c 8192 \\    --host 0.0.0.0 --port 8085<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<h4>\u0413\u0440\u0430\u0431\u043b\u044f \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 \u0432\u00a0GGUF<\/h4>\n<p>\u0425\u044d\u0448 BPE\u2011pre\u2011tokenizer&#8217;\u0430 T\u2011lite \u043d\u0435\u00a0\u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d \u0432\u00a0upstream llama.cpp. \u041f\u043e\u044d\u0442\u043e\u043c\u0443\u00a0<code>convert_hf_to_<\/code><a href=\"http:\/\/gguf.py\" rel=\"noopener noreferrer nofollow\"><code>gguf.py<\/code><\/a>\u00a0\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0<code>BPE pre-tokenizer was not recognized<\/code>.<\/p>\n<p>\u0424\u0438\u043a\u0441\u00a0\u2014 \u0438\u0434\u0435\u043c\u043f\u043e\u0442\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043a\u0440\u0438\u043f\u0442\u00a0<code>patch_tokenizer_<\/code><a href=\"http:\/\/hash.py\" rel=\"noopener noreferrer nofollow\"><code>hash.py<\/code><\/a>. \u041e\u043d \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u00a0<code>conversion\/<\/code><a href=\"http:\/\/base.py\" rel=\"noopener noreferrer nofollow\"><code>base.py<\/code><\/a>\u00a0\u0432\u0435\u0442\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043f\u043f\u0438\u0442 \u0445\u044d\u0448 T\u2011lite \u043d\u0430\u00a0<code>qwen2<\/code>.<\/p>\n<pre><code class=\"python\">H = \"e9b7dbd66e0308c6e89983d5b6e1ca047106d862879a0fd33a12c8491b91ec5c\"# \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0442\u043a\u0430:#   if chkhsh == H:#       res = \"qwen2\"  # T-lite-it-2.1 (Qwen3 + ext RU vocab)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041a\u0430\u0436\u0443\u0449\u0435\u0435\u0441\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u0440\u0435\u0447\u0438\u0435: \u0435\u0441\u043b\u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u043d\u0434\u043e\u0440\u0441\u043a\u0438\u0439 GGUF \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0round\u2011trip \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u043e\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u044f \u0443\u043f\u0430\u043b\u0430 \u043d\u0430\u00a0\u0445\u044d\u0448\u0435? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0432\u0435\u043d\u0434\u043e\u0440 \u0441\u043e\u0431\u0438\u0440\u0430\u043b GGUF \u043d\u0430\u00a0\u0441\u0431\u043e\u0440\u043a\u0435 llama.cpp, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044d\u0442\u043e\u0442 \u0445\u044d\u0448 \u0443\u0436\u0435 \u0437\u043d\u0430\u043b\u0430; \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0441\u0432\u0435\u0436\u0435\u043c\u00a0<code>convert_hf_to_gguf<\/code>\u00a0\u043e\u043d \u0435\u0449\u0451 \u043d\u0435\u00a0\u0431\u044b\u043b \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u00a0\u2014 \u043e\u0442\u0441\u044e\u0434\u0430 \u0440\u0430\u0437\u043e\u0432\u044b\u0439 \u043f\u0430\u0442\u0447. \u0421\u0430\u043c round\u2011trip \u043e\u0442\u00a0\u044d\u0442\u043e\u0433\u043e \u043d\u0435\u00a0\u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f, \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0445\u044d\u0448. \u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e GGUF \u043e\u0442\u00a0\u0432\u0435\u043d\u0434\u043e\u0440\u0430 \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u0438\u00a0\u0431\u044b\u043b\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c, \u0447\u0442\u043e\u00a0round\u2011trip \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 \u0432\u00a0\u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442.<\/p>\n<h4>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u00a0\u0436\u0438\u0432\u043e\u043c AMD\u2011\u0441\u0442\u0435\u043d\u0434\u0435<\/h4>\n<p>\u042d\u0442\u043e\u0433\u043e \u0437\u0430\u043c\u0435\u0440\u0430 \u0432\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u043e\u043a\u0430\u0445 \u043d\u0435\u00a0\u0431\u044b\u043b\u043e. \u042f \u0441\u043d\u044f\u043b \u0435\u0433\u043e \u043d\u0430\u00a0\u0440\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442\u043e\u043c AMD\u2011\u0441\u0442\u0435\u043d\u0434\u0435: Strix Halo, Vulkan, Q5_K_M,\u00a0<code>temperature=0<\/code>, \u043c\u0435\u0434\u0438\u0430\u043d\u0430 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u00a0\u2014 9\u00a0\u044e\u043d\u0438\u0442\u043e\u0432: \u043f\u0440\u043e\u0437\u0430 \u043f\u043b\u044e\u0441 markdown\u2011\u0442\u0430\u0431\u043b\u0438\u0446\u0430.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u043e\u043b\u043d\u0430\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u043d\u0430\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">~1.2\u00a0\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">40\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Prompt eval<\/p>\n<\/td>\n<td>\n<p align=\"left\">947\u00a0\u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0445\u043e\u0434 \u2192 \u0432\u044b\u0445\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">317\u00a0prompt\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2192 35\u00a0generated<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, \u043c\u0435\u0434\u0438\u0430\u043d\u0430 \u0442\u0440\u0451\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432, \u0430\u00a0\u043d\u0435\u00a0\u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a.<\/p>\n<p>\u0412\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<pre><code class=\"json\">{\"splits\": [5, 6], \"topic\": \"\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0435\u043b\u044f\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0438 NoSQL \u0421\u0423\u0411\u0414...\"}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>JSON \u0432\u0430\u043b\u0438\u0434\u043d\u044b\u0439, topic \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u0439, \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u00a0\u2014 \u044e\u043d\u0438\u0442 #6\u00a0\u2014 \u0443\u0435\u0445\u0430\u043b\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u043c \u0447\u0430\u043d\u043a\u043e\u043c \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<p>35\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u0430\u00a0\u2014 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043c\u044b\u0441\u043b index\u2011output: \u043d\u0430\u00a0\u044d\u0442\u043e\u043c 9-\u044e\u043d\u0438\u0442\u043e\u0432\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u0437\u0430\u043d\u044f\u043b \u043e\u043a\u043e\u043b\u043e 1.2\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<h4>\u0427\u0442\u043e\u00a0\u043d\u0435\u00a0\u0441\u0442\u043e\u0438\u0442 \u043f\u0443\u0442\u0430\u0442\u044c \u0441\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439<\/h4>\n<p>\u0412\u00a0\u043c\u043e\u0451\u043c \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u0441\u0442\u0435\u043d\u0434\u0435\u00a0\u0431\u044b\u043b\u0438 \u0435\u0449\u0451\u00a0\u0431\u044b\u0442\u043e\u0432\u044b\u0435 \u0433\u0440\u0430\u0431\u043b\u0438: \u043f\u0440\u0430\u0432\u0430 \u043d\u0430\u00a0HF\u2011\u043a\u044d\u0448, xet \u043f\u0440\u0438\u00a0upload, \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u043d\u044b\u0439 restart\u2011policy. \u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 operational notes, \u043d\u043e\u00a0\u043f\u043e\u043a\u0430 \u043e\u043d\u0438 \u043d\u0435\u00a0\u043e\u0444\u043e\u0440\u043c\u043b\u0435\u043d\u044b \u0432\u00a0\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043a\u0430\u043a\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0439 setup, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u043f\u043e\u0434\u0430\u044e \u0438\u0445 \u043a\u0430\u043a\u00a0\u0447\u0430\u0441\u0442\u044c \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0441\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p>\u041a\u0440\u0438\u0442\u0438\u0447\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0434\u0440\u0443\u0433\u0430\u044f: \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0432\u0451\u0440\u043d\u0443\u0442\u044b\u0439 GGUF \u043d\u0430\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u043c AMD\u2011\u0436\u0435\u043b\u0435\u0437\u0435, \u0430\u00a0\u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e HF\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 NVIDIA. \u0418\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 latency\u2011\u0446\u0438\u0444\u0440\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 HF\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0GGUF.<\/p>\n<hr\/>\n<h3>\u0427\u0442\u043e\u00a0\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c: \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0438<\/h3>\n<p>\u0412\u0441\u0435 \u0447\u0438\u0441\u043b\u0430 \u0432\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435\u00a0\u2014 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 snapshot \u043d\u0430\u00a0N=300\u00a0\u0438\u0437\u00a0holdout-1500, \u043f\u0440\u043e\u0442\u0438\u0432 \u043c\u0435\u0442\u043e\u043a DeepSeek\u2011V4-Flash, greedy\u2011\u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433. \u041f\u043e\u043b\u043d\u044b\u0439 holdout-1500\u00a0\u044f \u043f\u0435\u0440\u0435\u0433\u043d\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u00a0\u2014 \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u0447\u0443\u0442\u044c \u043d\u0438\u0436\u0435, \u0432\u00a0\u0431\u043b\u043e\u043a\u0435 \u00ab\u041f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430\u00bb. \u0414\u043b\u044f\u00a0\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0442\u0430\u043a\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0433\u043e\u0434\u0438\u0442\u0441\u044f, \u043d\u043e\u00a0\u043f\u043e\u043b\u044c\u0437\u0443 \u0434\u043b\u044f\u00a0retrieval \u043d\u0435\u00a0\u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u0435\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 downstream\u2011eval \u043f\u043e\u00a0hit\u2011rate \/ faithfulness.<\/p>\n<p><code>exact-set-match<\/code>\u00a0\u0442\u043e\u0436\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0442\u0438\u0432 \u043c\u0435\u0442\u043e\u043a \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u0420\u0430\u0437\u043c\u0435\u0440 holdout \u0432\u00a0\u043a\u043e\u0434\u0435\u00a0\u2014 \u043a\u0430\u043f:\u00a0<code>max(1, min(len\/10, 1500))<\/code>, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043e 10% \u0441\u0435\u0442\u0430, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0431\u043e\u043b\u0435\u0435 1500\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">HF bf16, RTX 5090<\/p>\n<\/th>\n<th>\n<p align=\"left\">GGUF Q5_K_M, AMD Vulkan<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0430\u043b\u0438\u0434\u043d\u044b\u0439 JSON<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<td>\n<p align=\"left\">100%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">boundary\u2011F1\u00a0@0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.656<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.639<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">boundary\u2011F1\u00a0@\u00b11<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.821<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.817<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">exact\u2011set\u2011match<\/p>\n<\/td>\n<td>\n<p align=\"left\">29%<\/p>\n<\/td>\n<td>\n<p align=\"left\">25%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0417\u0430\u043c\u0435\u0440 HF\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0448\u0451\u043b \u0432\u00a0bf16\u00a0(<code>eval_<\/code><a href=\"http:\/\/hf.py\" rel=\"noopener noreferrer nofollow\"><code>hf.py<\/code><\/a><code>: dtype=torch.bfloat16<\/code>);\u00a0<code>f16<\/code>\u00a0\u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043a\u00a0\u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u043f\u0440\u0438\u00a0\u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0430\u0446\u0438\u0438 \u0432\u00a0GGUF.<\/p>\n<p>\u041f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 (2026\u201306-26): \u044f \u043f\u0435\u0440\u0435\u0433\u043d\u0430\u043b eval \u0438 \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0442\u0438\u043b \u0441\u044b\u0440\u043e\u0439 stdout \u0440\u044f\u0434\u043e\u043c \u0441\u00a0<code>eval\/<\/code><a href=\"http:\/\/results.md\" rel=\"noopener noreferrer nofollow\"><code>results.md<\/code><\/a>\u00a0(commit\u00a0<code>c0f57f9<\/code>). \u0421\u043d\u0430\u043f\u0448\u043e\u0442 N=300\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e, \u0430\u00a0\u043d\u0430\u00a0\u043f\u043e\u043b\u043d\u043e\u043c holdout-1500\u00a0\u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0443\u0442\u044c \u0432\u044b\u0448\u0435 \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442: HF: 0.665\u00a0@0\u00a0\/ 0.825\u00a0@\u00b11; GGUF: 0.661\u00a0@0\u00a0\/ 0.826\u00a0@\u00b11. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u043c AMD \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0439 GGUF \u043d\u0435\u00a0\u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 HF\u00a0\u2014 \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0440\u0430\u0437\u0440\u044b\u0432 (0.817\u00a0vs 0.821) \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e\u00a0\u0431\u044b\u043b \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u043c \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e N (GGUF \u043d\u0430\u00a0N=300\u00a0\u044f \u0437\u0430\u043d\u043e\u0432\u043e \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043c\u0435\u0440\u044f\u043b).<\/p>\n<p>\u041a\u0430\u043a\u00a0\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443:<\/p>\n<p><strong>100% \u0432\u0430\u043b\u0438\u0434\u043d\u043e\u0433\u043e JSON<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u0430\u00a0\u043d\u0435\u00a0\u0433\u0440\u0430\u043c\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0438\u043d\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434. \u041d\u0430\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 grammar\u2011\u043a\u043e\u043d\u0441\u0442\u0440\u0435\u0439\u043d\u0442\u043e\u0432 \u043d\u0435\u0442, \u0445\u043e\u0441\u0442 \u043f\u0430\u0440\u0441\u0438\u0442 JSON \u0438\u0437\u00a0\u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p><strong>boundary\u2011F1\u00a0@\u00b11\u00a0= 0.821<\/strong>\u00a0\u2014 F1\u00a0\u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u043d\u0438\u0446 \u0441\u00a0\u0433\u0440\u0430\u043d\u0438\u0446\u0430\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u043f\u0440\u0438\u00a0\u0434\u043e\u043f\u0443\u0441\u043a\u0435 \u00b11\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435. \u0420\u0435\u0447\u044c \u043e\u00a0\u0433\u0430\u0440\u043c\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u043c precision\/recall \u043f\u043e\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u0433\u0440\u0430\u043d\u0438\u0446, \u0430\u00a0\u043d\u0435\u00a0\u043e\u00a0\u0434\u043e\u043b\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p><strong>\u0420\u0430\u0437\u0440\u044b\u0432 @0\u00a0\u2192 @\u00b11<\/strong>\u00a0(0.656\u00a0\u2192 0.821) \u044f \u0447\u0438\u0442\u0430\u044e \u0442\u0430\u043a: \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u043e\u0445\u043e\u0436\u0430 \u043d\u0430\u00a0\u0441\u0434\u0432\u0438\u0433 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043d\u0430\u00a0\u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u00a0\u0433\u0440\u0443\u0431\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e. \u042d\u0442\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f\u00a0\u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 error\u2011analysis \u043f\u043e\u00a0\u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 \u0441\u0434\u0432\u0438\u0433\u0430 \u044f \u043f\u043e\u043a\u0430 \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u043b.<\/p>\n<p>\u0414\u043b\u044f\u00a0RAG\u2011\u0447\u0430\u043d\u043a\u0438\u043d\u0433\u0430 \u00b11\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u043e \u043a\u043e\u0441\u043c\u0435\u0442\u0438\u043a\u0430, \u043d\u043e\u00a0\u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c downstream.<\/p>\n<p><strong>GGUF \u2248 \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong>\u00a0\u2014 0.817\u00a0vs 0.821\u00a0@\u00b11\u00a0\u043d\u0430\u00a0\u0441\u043d\u0430\u043f\u0448\u043e\u0442\u0435 N=300, \u0438 0.826\u00a0vs 0.825\u00a0\u043d\u0430\u00a0\u043f\u043e\u043b\u043d\u043e\u043c holdout-1500. Q5_K_M \u0438 Vulkan \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0440\u0430\u043d\u0438\u0446 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u00a0\u0441\u044a\u0435\u0434\u0430\u044e\u0442.<\/p>\n<p><strong>exact\u2011set\u2011match \u043d\u0438\u0437\u043a\u0438\u0439<\/strong>\u00a0\u2014 29%\/25%. \u041f\u043e\u00a0\u0441\u043c\u044b\u0441\u043b\u0443 \u044d\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0433\u0440\u0430\u043d\u0438\u0446 \u0441\u00a0\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044f: \u043e\u0434\u043d\u0430\u00a0\u043b\u0438\u0448\u043d\u044f\u044f \u0438\u043b\u0438\u00a0\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430\u00a0\u2014 \u0438 \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435\u00a0\u0437\u0430\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f. \u0421\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430\u00a0\u043d\u0435\u0451 \u0441\u0442\u043e\u0438\u0442 \u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u0439, \u0430\u00a0\u043d\u0435\u00a0\u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u043e\u0431\u0449\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u043d\u0430\u0440\u0435\u0437\u043a\u0438.<\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u0438\u0437\u00a0\u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u043f\u0435\u0440\u0435\u2011\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442. \u0418\u043d\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u0432\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u00a0\u043b\u0438\u0448\u043d\u044e\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443. \u041f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430\u00a0\u043d\u0430\u0441\u043b\u0435\u0434\u0438\u0435 \u0433\u0440\u0430\u043d\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041b\u0435\u0447\u0438\u0442\u0441\u044f \u0434\u0435\u0448\u0451\u0432\u044b\u043c \u043f\u043e\u0441\u0442\u2011\u043c\u0451\u0440\u0436\u0435\u043c \u0447\u0430\u043d\u043a\u043e\u0432 \u043d\u0430\u00a0\u0445\u043e\u0441\u0442\u0435 \u0438\u043b\u0438\u00a0\u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c \u0443\u0447\u0438\u0442\u0435\u043b\u044f.<\/p>\n<hr\/>\n<h3>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f: \u0433\u0434\u0435 \u044d\u0442\u043e\u0442 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u043d\u0435\u00a0\u043d\u0443\u0436\u0435\u043d \u0438\u043b\u0438\u00a0\u0432\u0440\u0435\u0434\u0435\u043d<\/h3>\n<p>\u0421\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d \u043d\u0430\u00a0\u043f\u0440\u043e\u0437\u0443 \u043f\u043b\u044e\u0441 \u043c\u0435\u043b\u043a\u0438\u0435 \u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u041e\u043d \u0434\u0435\u0440\u0436\u0438\u0442 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u043a\u043e\u0434 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u044e\u043d\u0438\u0442\u0430\u043c\u0438, \u0434\u0430\u0451\u0442 \u0441\u0430\u043c\u043e\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u043c\u044b\u0441\u043b\u043e\u0432\u044b\u0435 \u0447\u0430\u043d\u043a\u0438 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 lossless\u2011\u0440\u0435\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044e\u00a0\u2014 \u0435\u0441\u043b\u0438 \u043f\u0430\u0440\u0441\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438.<\/p>\n<p>\u0413\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u0436\u0451\u0441\u0442\u043a\u0430\u044f.<\/p>\n<p><strong>1. \u041c\u0435\u0442\u0440\u0438\u043a\u0438\u00a0\u2014 teacher\u2011agreement, \u043d\u0435\u00a0ground\u2011truth.<\/strong>\u00a00.821\u00a0\u2014 \u0441\u043e\u0433\u043b\u0430\u0441\u0438\u0435 \u0441\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u0430\u00a0\u043d\u0435\u00a0\u0434\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e RAG.<\/p>\n<p><strong>2. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0435\u0433\u043a\u0430 \u043f\u0435\u0440\u0435\u2011\u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u0442.<\/strong>\u00a0\u041f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430\u00a0\u043d\u0430\u0441\u043b\u0435\u0434\u0438\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043b\u0435\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u2011\u043c\u0451\u0440\u0436\u0435\u043c.<\/p>\n<p><strong>3. \u041e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b\u00a0\u2014 \u043d\u0435\u00a0\u0437\u0430\u0434\u0430\u0447\u0430 boundary\u2011\u043c\u043e\u0434\u0435\u043b\u0438.<\/strong>\u00a0\u0415\u0441\u043b\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0435\u0442 \u0431\u044e\u0434\u0436\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430, \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u043d\u0435\u00a0\u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442. \u041e\u043d \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0436\u0435 \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<h4>\u041e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b\u00a0\u2014 \u044d\u0442\u043e \u0434\u0440\u0443\u0433\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430<\/h4>\n<p>Boundary\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0449\u0435\u0442 \u043c\u0435\u0441\u0442\u0430, \u0433\u0434\u0435 \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u0435\u043c\u0430. \u0423\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0442\u0435\u043c\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0421\u0442\u0440\u043e\u043a\u0438 \u043f\u043e\u0445\u043e\u0436\u0438, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0431\u043b\u0438\u0437\u043a\u0438, \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u0434\u043b\u044f\u00a0\u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043d\u0435\u0442.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u0440\u0435\u0436\u0435\u0442 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0438 \u0442\u0435\u0440\u044f\u0435\u0442 \u0445\u0435\u0434\u0435\u0440. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u0430\u044f, \u0430\u00a0\u043d\u0435\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u043d\u0430\u044f.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446 \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0440\u0430\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u0449\u0438: \u0447\u0442\u043e\u00a0\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u0442\u044c \u0438 \u0447\u0442\u043e\u00a0\u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e.<\/p>\n<p>\u042d\u043c\u0431\u0435\u0434\u0434\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043f\u0440\u043e\u043a\u0441\u0438: \u0441\u0430\u043c\u043c\u0430\u0440\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0438 row\u2011\u0433\u0440\u0443\u043f\u043f\u044b \u0441\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u0451\u043d\u043d\u044b\u043c \u0445\u0435\u0434\u0435\u0440\u043e\u043c. \u0410\u00a0\u043d\u0430\u00a0hit \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u0441\u044e \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u043e\u00a0<code>table_id<\/code>\u00a0\u0447\u0435\u0440\u0435\u0437 parent\u2011document.<\/p>\n<p>\u041d\u0430\u0431\u043e\u0440 \u0440\u044b\u0447\u0430\u0433\u043e\u0432 \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u043e\u0439:<\/p>\n<ul>\n<li>\n<p>hybrid retrieval: dense+sparse;<\/p>\n<\/li>\n<li>\n<p>rerank\u00a0\u2014 \u043d\u0430\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445 \u0442\u043e\u043b\u044c\u043a\u043e measure\u2011don&#8217;t\u2011assume: \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u0441\u00a0\u043d\u0438\u043c \u0438 \u0431\u0435\u0437, \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043d\u0435\u00a0\u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u0447\u0430\u043d\u043a\u0430 \u0445\u0435\u0434\u0435\u0440\u043e\u043c \u0438 caption;<\/p>\n<\/li>\n<li>\n<p>row\u2011group chunking \u0441\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u0451\u043d\u043d\u044b\u043c \u0445\u0435\u0434\u0435\u0440\u043e\u043c;<\/p>\n<\/li>\n<li>\n<p>table\u2011level summary \u043a\u0430\u043a\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 retrieval\u2011\u043f\u0440\u043e\u043a\u0441\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043d\u0435\u0448\u043d\u0438\u0435 benchmark\u2011\u0447\u0438\u0441\u043b\u0430 \u043f\u043e\u00a0table\u2011RAG \u044f \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u043d\u0435\u00a0\u043f\u0440\u0438\u0432\u043e\u0436\u0443: \u0432\u00a0\u043c\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043a\u0430\u0445 \u0435\u0441\u0442\u044c \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u044b, \u043d\u043e\u00a0\u043f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a\u00a0\u043d\u0430\u00a0\u043d\u0438\u0445 \u043e\u043f\u0438\u0440\u0430\u0442\u044c\u0441\u044f, \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043f\u043e\u00a0\u043f\u0435\u0440\u0432\u043e\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0443 \u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438.<\/p>\n<p>\u0413\u0434\u0435 \u0437\u0434\u0435\u0441\u044c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f LLM\u2011\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440? \u041d\u0435\u00a0\u0432\u00a0\u043f\u0443\u0442\u0438 \u0447\u0430\u043d\u043a\u0438\u043d\u0433\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b.<\/p>\n<p>\u0421\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u043e\u043b\u0436\u0435\u043d \u0437\u043d\u0430\u0442\u044c \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0435\u0440. docling \u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u0443\u043c\u0435\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u00a0\u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u043e\u0439 \u0438 row\u2011\u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438, \u043d\u043e\u00a0propagation \u0445\u0435\u0434\u0435\u0440\u0430 \u043d\u0443\u0436\u043d\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u00a0\u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0438 \u0441\u0432\u043e\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0445. \u0412\u043e\u043a\u0440\u0443\u0433 \u044d\u0442\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0437\u0430\u0434\u0430\u0447 \u0435\u0441\u0442\u044c \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 edge\u2011cases, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u00ab\u043e\u043d\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442 header \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u00bb\u00a0\u0431\u044b\u043b\u0430\u00a0\u0431\u044b \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e\u0439.<\/p>\n<p>\u0414\u043b\u044f\u00a0\u043c\u043e\u0435\u0433\u043e Dify\u2011\u0441\u0442\u0435\u043a\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0442\u0430\u043a\u043e\u0435:<\/p>\n<ul>\n<li>\n<p>\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u2192 \u043c\u043e\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c parent\u2011document \u0432\u043e\u043a\u0440\u0443\u0433 \u0442\u0430\u0431\u043b\u0438\u0446\u044b;<\/p>\n<\/li>\n<li>\n<p>\u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u044e\u0442\u00a0\u043b\u0438\u043c\u0438\u0442\u044b \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 Dify\/\u044d\u043c\u0431\u0435\u0434\u0434\u0435\u0440\u0430 \u2192 \u0432\u044b\u043d\u043e\u0441\u0438\u0442\u044c \u0432\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 retrieval\u2011\u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0432\u043d\u0435\u0448\u043d\u0438\u0439 storage \u0438\u00a0<code>table_id<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p>Dify\u2011\u043b\u0438\u043c\u0438\u0442\u044b \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 full\u2011doc parent \u043b\u0443\u0447\u0448\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438\u00a0\u2014 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u043b\u0438\u0437\u0430\u043c\u0438 \u043e\u043d\u0438 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f. \u0412\u00a0\u043c\u043e\u0451\u043c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0435 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u0435\u0440\u0435\u0434 \u043f\u0440\u043e\u0434\u043e\u043c.<\/p>\n<hr\/>\n<h3>\u0427\u0442\u043e\u00a0\u0434\u0430\u043b\u044c\u0448\u0435: v2<\/h3>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0443\u0436\u0435\u043d downstream\u2011eval. Teacher\u2011agreement \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438, \u043d\u043e\u00a0\u043e\u043d \u043d\u0435\u00a0\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u00a0\u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u00a0\u043b\u0438 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 retrieval.<\/p>\n<p>\u041f\u043b\u0430\u043d v2:<\/p>\n<ul>\n<li>\n<p>\u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430 ~30k \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432: \u0434\u043e\u043b\u0438\u0442\u044c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443, \u043d\u043e\u00a0\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0440\u043e\u0437\u0443;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0442\u0430\u0431\u043b\u0438\u0446: table summary + parent\u2011document retrieval;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0434\u0435\u043b\u0430\u0442\u044c downstream RAG\u2011eval \u043f\u043e\u00a0hit\u2011rate \/ faithfulness;<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0431\u0435\u0437\u00a0habr, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0443\u00a0habr\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f unspecified\/mixed.<\/p>\n<\/li>\n<\/ul>\n<h4>\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442: \u0440\u0443\u0441\u0441\u043a\u0438\u0439 guardian \u0434\u043b\u044f\u00a0RAG<\/h4>\n<p>\u0421\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u0441\u0442\u043e\u0438\u0442 \u043d\u0430\u00a0\u0432\u0445\u043e\u0434\u0435 RAG\u2011\u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u00a0\u2014 \u0443\u0437\u043a\u0430\u044f \u0440\u0443\u0441\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u0435: guardian, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 groundedness \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u043e\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0438 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u0443.<\/p>\n<p>\u041f\u043e\u043a\u0430 \u044d\u0442\u043e research, \u043d\u0435\u00a0\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u0434. \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0443\u0442\u044c \u0442\u0430\u043a\u043e\u0439\u00a0\u0436\u0435, \u043a\u0430\u043a\u00a0\u0443\u00a0\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440\u0430: permissive general\u2011instruct \u0431\u0430\u0437\u0430, \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043e\u0442\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044f, LoRA, GGUF Q5\u00a0\u043d\u0430\u00a0Strix Halo Vulkan.<\/p>\n<p>PII \u0438 topical\u2011rails \u044f \u043d\u0435\u00a0\u0445\u043e\u0447\u0443 \u0434\u0435\u043b\u0430\u0442\u044c guardian\u2011LLM. \u0414\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 CPU\u2011\u0441\u0430\u0439\u0434\u043a\u0430\u0440\u044b: Presidio \/ GLiNER \u0434\u043b\u044f\u00a0PII, NLI\u2011 \u0438\u043b\u0438\u00a0classifier\u2011\u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0434\u043b\u044f\u00a0\u0442\u0435\u043c. \u041f\u0438\u0445\u0430\u0442\u044c \u0432\u0441\u0451 \u0432\u00a0\u043e\u0434\u043d\u0443 LLM \u0443\u0434\u043e\u0431\u043d\u043e \u043d\u0430\u00a0\u0441\u0445\u0435\u043c\u0435, \u043d\u043e\u00a0\u043f\u043b\u043e\u0445\u043e \u0432\u00a0\u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u0438.<\/p>\n<hr\/>\n<h3>\u0412\u044b\u0432\u043e\u0434\u044b<\/h3>\n<p>\u0421\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0438\u043d\u0433\u0430 \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c. \u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 \u0447\u0430\u0441\u0442\u043e \u0434\u043e\u0440\u043e\u0436\u0435 \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0437\u0430\u043c\u0435\u0440\u0435 Llama-2\u00a0\u0434\u0430\u043b 3.17\u00a0\u0442\u043e\u043a\/\u0441\u043b\u043e\u0432\u043e \u043f\u0440\u043e\u0442\u0438\u0432 1.74\u00a0\u0443\u00a0T\u2011lite\u2011it-2.1; \u043d\u0430\u00a0\u043a\u043e\u0440\u043f\u0443\u0441\u043d\u043e\u0439 \u043f\u0440\u043e\u0437\u0435 \u0440\u0430\u0437\u0440\u044b\u0432 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043c\u044f\u0433\u0447\u0435, \u043d\u043e\u00a0\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f.<\/p>\n<p>\u0422\u0430\u0431\u043b\u0438\u0446\u044b \u043b\u043e\u043c\u0430\u044e\u0442\u0441\u044f \u0438\u0437\u2011\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u00a0\u043c\u0435\u0436\u0434\u0443 \u0438\u0445 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438 \u043d\u0435\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0434\u0432\u0438\u0433\u0430\u00a0\u2014 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u0441\u0438\u0433\u043d\u0430\u043b\u0435 \u0431\u0435\u0441\u0441\u0438\u043b\u0435\u043d \u043b\u044e\u0431\u043e\u0439 sentence\u2011level \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440.<\/p>\n<p>\u0421\u0430\u043c\u0430\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u00a0\u2014 index\u2011output \u0432\u043c\u0435\u0441\u0442\u043e text\u2011output. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0447\u0430\u043d\u043a\u0438, \u0430\u00a0\u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0440\u0435\u0437\u043a\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f lossless, \u0432\u044b\u0432\u043e\u0434 \u0441\u0442\u043e\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 35\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442, latency \u043d\u0430\u00a0AMD\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1.2\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430\u00a0\u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435, \u0430\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043d\u0435\u00a0\u0440\u0432\u0443\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u043e\u0433\u043e \u044e\u043d\u0438\u0442\u0430.<\/p>\n<p>\u0412\u044b\u0431\u043e\u0440 \u0431\u0430\u0437\u044b \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u00a0\u0433\u043e\u043d\u043a\u043e\u0439 \u0437\u0430\u00a0\u0441\u0430\u043c\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0430\u00a0\u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439: \u0440\u0430\u043d\u0442\u0430\u0439\u043c,\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f, \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440, GGUF. \u041c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435, \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0432\u00a0\u0432\u0430\u043a\u0443\u0443\u043c\u0435, \u043d\u043e\u00a0\u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0432\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0435.<\/p>\n<p>\u0414\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043e\u0442\u00a0self\u2011hosted \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0441\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0443\u0447\u043d\u0443\u044e \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443, \u043d\u043e\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u044b: \u0433\u0435\u0439\u0442\u044b, \u0442\u043e\u0447\u043d\u044b\u0439 \u0434\u0435\u0434\u0443\u043f, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 README \u0438 \u043a\u043e\u0434\u043e\u043c, \u0447\u0435\u0441\u0442\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 temperature 0\u00a0vs 0.2\u00a0\u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 vs \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0445 \u0434\u043e\u043b\u0435\u0439.<\/p>\n<p>\u0427\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u043e\u00a0task\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0435, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u00a0eval_loss. Eval\u2011\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u044b, \u0441\u044b\u0440\u043e\u0439 stdout \u0437\u0430\u043a\u043e\u043c\u043c\u0438\u0447\u0435\u043d \u0440\u044f\u0434\u043e\u043c \u0441\u00a0<a href=\"http:\/\/results.md\" rel=\"noopener noreferrer nofollow\"><code>results.md<\/code><\/a>\u00a0\u2014 \u0447\u0438\u0441\u043b\u0430 \u0434\u0435\u0440\u0436\u0430\u0442\u0441\u044f (\u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c holdout \u0434\u0430\u0436\u0435 \u0447\u0443\u0442\u044c \u0432\u044b\u0448\u0435).<\/p>\n<p>Blackwell \u0438 GGUF\u00a0\u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430: torch cu129, \u043d\u0435\u00a0cu130; \u0445\u044d\u0448 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430 \u0432\u00a0llama.cpp; \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 NVIDIA, \u043d\u043e\u00a0\u0438 \u043d\u0430\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u0439 AMD.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u0432\u0430\u0436\u043d\u0435\u0435 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u0446\u0438\u0444\u0440\u044b: teacher\u2011agreement \u0435\u0449\u0451 \u043d\u0435\u00a0\u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u044c\u0437\u0443 \u0434\u043b\u044f\u00a0RAG. \u042f \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u00a0\u044d\u0442\u0438\u043c \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u043f\u0440\u044f\u043c\u043e \u0432\u00a0README.<\/p>\n<p>\u0412\u0435\u0441\u0430, \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0438 \u043a\u043e\u0434 \u043e\u0442\u043a\u0440\u044b\u0442\u044b. \u0417\u0430\u0431\u0438\u0440\u0430\u0439\u0442\u0435, \u043b\u043e\u043c\u0430\u0439\u0442\u0435, \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0446\u0438\u0444\u0440\u044b. \u0417\u0430\u00a0\u043f\u0435\u0440\u0432\u044b\u0435 \u043f\u043e\u043b\u0442\u043e\u0440\u044b \u043d\u0435\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0438 \u043d\u0430\u00a0HuggingFace\u00a0\u2014 95\u00a0\u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 60\u00a0\u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 (\u0441\u043d\u0438\u043c\u043e\u043a \u043d\u0430 4\u00a0\u0438\u044e\u043b\u044f 2026).<\/p>\n<hr\/>\n<h3>\u0421\u0441\u044b\u043b\u043a\u0438<\/h3>\n<ul>\n<li>\n<p>\u041a\u043e\u0434, training, data, methodology:\u00a0<a href=\"https:\/\/github.com\/botAGI\/AGmind-ML\" rel=\"noopener noreferrer nofollow\">AGmind\u2011ML \u043d\u0430\u00a0GitHub<\/a><\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c, safetensors + GGUF Q5_K_M:\u00a0<a href=\"https:\/\/huggingface.co\/AGmind\/agmind-rag-splitter-ru\" rel=\"noopener noreferrer nofollow\">agmind\u2011rag\u2011splitter\u2011ru \u043d\u0430\u00a0HuggingFace<\/a><\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442, \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0441\u0435\u0442 + synthetic\u2011only top\u2011up:\u00a0<a href=\"https:\/\/huggingface.co\/datasets\/AGmind\/agmind-rag-splitter-ru-data\" rel=\"noopener noreferrer nofollow\">agmind\u2011rag\u2011splitter\u2011ru\u2011data \u043d\u0430\u00a0HuggingFace<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1055628\/\">https:\/\/habr.com\/ru\/articles\/1055628\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>TL;DR.\u00a0\u0418\u0437\u00a0\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0430 \u043e\u0431\u0443\u0447\u0438\u043b \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 RAG\u2011\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440\u00a0\u2014 \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c context\u2011aware\u2011\u043d\u0430\u0440\u0435\u0437\u043a\u0443 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043b\u0443\u0447\u0448\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0447\u0430\u043d\u043a\u0435\u0440\u043e\u0432.\u042f \u0432\u0437\u044f\u043b \u0438\u0434\u0435\u044e \u0434\u0430\u0442\u0441\u043a\u043e\u0439\u00a0context-aware-splitter, \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u043b \u0435\u0451 \u043f\u043e\u0434\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u043d\u0430\u00a0\u0431\u0430\u0437\u0435\u00a0T-lite-it-2.1\u00a0\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u043b \u0433\u043b\u0430\u0432\u043d\u043e\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0433\u0440\u0430\u043d\u0438\u0446, \u0430\u00a0\u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u0425\u043e\u0441\u0442 \u043f\u043e\u0442\u043e\u043c \u0440\u0435\u0436\u0435\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u043f\u043e\u00a0\u044d\u0442\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c.\u0423\u00a0index\u2011output \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0442\u0440\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043b\u044e\u0441\u0430:\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u0427\u0442\u043e\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044fLossless\u2011\u043d\u0430\u0440\u0435\u0437\u043a\u0430\u0447\u0430\u043d\u043a\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u043c \u0431\u0430\u0439\u0442\u2011\u0432-\u0431\u0430\u0439\u0442\u0414\u0435\u0448\u0451\u0432\u044b\u0439 \u0432\u044b\u0432\u043e\u0434\u043e\u043a\u043e\u043b\u043e 35\u201340\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 JSON \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0426\u0435\u043b\u044b\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u044b\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0440\u0435\u0436\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u00a0\u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0439 \u044e\u043d\u0438\u0442, \u0435\u0441\u043b\u0438 upstream\u2011\u043f\u0430\u0440\u0441\u0435\u0440 \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0435\u0451 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: bf16-LoRA \u0447\u0435\u0440\u0435\u0437 Unsloth \u043d\u0430\u00a0RTX 5090, Blackwell. \u041f\u043e\u00a0\u043c\u043e\u0438\u043c \u0437\u0430\u043f\u0438\u0441\u044f\u043c: \u043e\u043a\u043e\u043b\u043e 3.5\u00a0\u0447\u0430\u0441\u0430, \u043f\u0438\u043a 25.4\u00a0\u0413\u0411 VRAM, 2122\u00a0\u0448\u0430\u0433\u0430 \u0437\u0430 2\u00a0\u044d\u043f\u043e\u0445\u0438. \u0420\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u0437\u0430\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u043e\u0442\u00a0self\u2011hosted DeepSeek\u2011V4-Flash.\u0414\u0435\u043f\u043b\u043e\u0439: GGUF Q5_K_M, \u043e\u043a\u043e\u043b\u043e 5.9\u00a0\u0413\u0411, AMD Strix Halo, llama.cpp Vulkan, \u0431\u0435\u0437\u00a0CUDA. \u041d\u0430\u00a0\u0436\u0438\u0432\u043e\u043c AMD\u2011\u0441\u0442\u0435\u043d\u0434\u0435, \u043d\u0430\u00a0\u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0435 \u0438\u0437 9\u00a0\u044e\u043d\u0438\u0442\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043e\u043a\u043e\u043b\u043e 1.2\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b \u043d\u0430\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043f\u0440\u0438 40\u00a0\u0442\u043e\u043a\/\u0441 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438 947\u00a0\u0442\u043e\u043a\/\u0441 prompt eval.\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a.\u00a0boundary\u2011F1\u00a0@\u00b11\u00a0= 0.821\u00a0\u2014 \u044d\u0442\u043e teacher\u2011agreement \u0441\u00a0\u043c\u0435\u0442\u043a\u0430\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0430\u00a0\u043d\u0435\u00a0\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e RAG. Downstream \u043f\u043e\u00a0hit\u2011rate \/ faithfulness \u044f \u043f\u043e\u043a\u0430 \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u043b.\u041f\u043e\u00a0\u0436\u0430\u043d\u0440\u0443 \u044d\u0442\u043e \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u0431\u043e\u0440. \u0413\u0434\u0435 \u043a\u043e\u0434, README, planning\u2011\u0444\u0430\u0439\u043b\u044b \u0438 \u0436\u0438\u0432\u044b\u0435 \u0437\u0430\u043c\u0435\u0440\u044b \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435.\u0417\u0430\u0447\u0435\u043c \u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u044d\u0442\u043e \u0437\u0430\u0442\u0435\u044f\u043b\u0423\u00a0\u043c\u0435\u043d\u044f self\u2011hosted AI\u2011\u0441\u0442\u0435\u043a: Dify, milvus\/qdrant, docling, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 LLM \u043d\u0430\u00a0AMD. RAG \u043d\u0430\u00a0\u043d\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e. BGE\u2011M3\u00a0dense+sparse \u043f\u043b\u044e\u0441 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0440\u0435\u0440\u0430\u043d\u043a\u0435\u0440 \u0443\u0436\u0435 \u0434\u0430\u0432\u0430\u043b\u0438 \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e.\u041d\u043e\u00a0\u0434\u0435\u0444\u043e\u043b\u0442\u043d\u044b\u0439 \u0447\u0430\u043d\u043a\u0438\u043d\u0433 \u0440\u0443\u0441\u0441\u043a\u0438\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432\u00a0\u2014 \u0442\u0435\u0445\u0434\u043e\u043a\u043e\u0432, \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u043f\u0440\u0430\u0439\u0441\u043e\u0432, \u0442\u0430\u0431\u043b\u0438\u0446\u00a0\u2014 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0433\u0440\u0443\u0431\u043e\u0432\u0430\u0442\u043e. \u042f \u0445\u043e\u0442\u0435\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043c\u043e\u0436\u043d\u043e\u00a0\u043b\u0438 \u0432\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0435\u0441\u043b\u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u043f\u043e\u0434\u00a0\u0437\u0430\u0434\u0430\u0447\u0443, \u044f\u0437\u044b\u043a \u0438 \u0440\u0430\u043d\u0442\u0430\u0439\u043c.\u0411\u044b\u0441\u0442\u0440\u043e \u0432\u0441\u043f\u043b\u044b\u043b\u0438 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u0447\u0430\u043d\u043a\u0435\u0440\u044b \u043d\u0430\u00a0\u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e \u0441\u043f\u043e\u0442\u044b\u043a\u0430\u044e\u0442\u0441\u044f.\u0420\u0443\u0441\u0441\u043a\u0438\u0439 \u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u0440\u043e\u0436\u0435 \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0447\u0435\u043c \u043a\u0430\u0436\u0435\u0442\u0441\u044f\u041c\u043d\u043e\u0433\u0438\u0435 \u0447\u0430\u043d\u043a\u0435\u0440\u044b \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u044b, \u0433\u0434\u0435 \u0440\u0443\u0441\u0441\u043a\u0438\u0439\u00a0\u2014 \u043f\u043e\u0431\u043e\u0447\u043d\u044b\u0439 \u044f\u0437\u044b\u043a. \u042f \u043d\u0435\u00a0\u0441\u0442\u0430\u043b \u0432\u0435\u0440\u0438\u0442\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0440\u0438\u043b \u043d\u0430\u00a0\u0436\u0438\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430\u0445.\u0422\u0435\u0441\u0442: \u043e\u0434\u0438\u043d \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0430\u0431\u0437\u0430\u0446, 42\u00a0\u0441\u043b\u043e\u0432\u0430 \/ 354\u00a0\u0441\u0438\u043c\u0432\u043e\u043b\u0430,\u00a0add_special_tokens=False.\u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0442\u043e\u043a\u0435\u043d\u043e\u0432\u0442\u043e\u043a\/\u0441\u043b\u043e\u0432\u043evs T\u2011liteT\u2011lite\u2011it-2.1731.74\u2014Qwen2.5\u20137B1142.71\u00d71.56Llama-2-7b1333.17\u00d71.82\u0412\u00a0\u043c\u043e\u0438\u0445 research\u2011\u0437\u0430\u043c\u0435\u0442\u043a\u0430\u0445 \u043f\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0437\u0435 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u0435\u0435 \u043c\u044f\u0433\u043a\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0434\u043b\u044f\u00a0Llama-2: \u043e\u043a\u043e\u043b\u043e \u00d71.5\u00a0\u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043d\u0438\u044f. \u0420\u0435\u0436\u0438\u043c\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044b\u0435: \u0442\u0430\u043c\u00a0\u2014 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u043d\u0438\u0435 Llama-2\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e \u043d\u0430\u00a0\u043a\u043e\u0440\u043f\u0443\u0441\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439, \u0437\u0434\u0435\u0441\u044c\u00a0\u2014 Llama-2\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 T\u2011lite \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043d\u0435\u00a0\u043f\u043e\u0434\u0430\u044e 3.17\u00a0\u043a\u0430\u043a\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0433\u043e \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 sanity\u2011check, \u043d\u043e\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043e\u043d \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442.\u0414\u043b\u044f\u00a0\u0432\u044b\u0431\u043e\u0440\u0430 \u0431\u0430\u0437\u044b \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u044d\u0442\u043e\u0433\u043e: \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0437\u0430\u043c\u0435\u0440\u0435 T\u2011lite-2.1\u00a0\u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0435\u0435 Llama-2\u00a0\u0438 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e Qwen2.5.\u0414\u043b\u044f\u00a0RAG \u044d\u0442\u043e \u043d\u0435\u00a0\u043a\u043e\u0441\u043c\u0435\u0442\u0438\u043a\u0430. \u041f\u0440\u0438\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u043c \u0431\u044e\u0434\u0436\u0435\u0442\u0435 \u0432\u044b\u00a0\u043b\u0438\u0431\u043e \u0432\u043c\u0435\u0449\u0430\u0435\u0442\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430,\u00a0\u043b\u0438\u0431\u043e \u043f\u043b\u0430\u0442\u0438\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442. \u0417\u0430\u043c\u0435\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u00ab\u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0438\u043d\u0433\u0430\u00bb\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0446\u0435\u043d\u0430 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u044b \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445.\u0422\u0430\u0431\u043b\u0438\u0446\u044b \u043b\u043e\u043c\u0430\u044e\u0442 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440\u044b\u0421\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u0440\u0435\u0436\u0435\u0442 \u043f\u0440\u043e\u0437\u0443 \u043f\u043e\u00a0cosine\u2011\u0441\u0434\u0432\u0438\u0433\u0443 \u0442\u0435\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u043c\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f\u043c\u0438. \u0413\u0434\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u0442\u0430\u043c \u0433\u0440\u0430\u043d\u0438\u0446\u0430.\u0414\u043b\u044f\u00a0\u043f\u0440\u043e\u0437\u044b \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u041d\u043e\u00a0\u0443\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043d\u0435\u0442 \u0441\u0434\u0432\u0438\u0433\u0430 \u0442\u0435\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438. \u0421\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b \u0432\u00a0\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u2011\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u041f\u043e\u0440\u043e\u0433 \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0430, \u0440\u0435\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u0438 \u0447\u0430\u0441\u0442\u043e \u043e\u0442\u0440\u044b\u0432\u0430\u0435\u0442 \u0448\u0430\u043f\u043a\u0443 \u043e\u0442\u00a0\u0442\u0435\u043b\u0430.\u0410\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0431\u0435\u0437\u00a0\u0445\u0435\u0434\u0435\u0440\u0430 \u0432\u00a0RAG \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u0430: \u00ab42\u00bb \u0431\u0435\u0437 \u00ab\u0432\u044b\u0440\u0443\u0447\u043a\u0430, Q3, \u0440\u0435\u0433\u0438\u043e\u043d \u0423\u0440\u0430\u043b\u00bb\u00a0\u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0448\u0443\u043c.\u041f\u043e\u0447\u0435\u043c\u0443 \u044f \u043d\u0435\u00a0\u0432\u0437\u044f\u043b \u0433\u043e\u0442\u043e\u0432\u043e\u0435\u041e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u0441\u0442\u0430\u043b\u0430 \u0434\u0430\u0442\u0441\u043a\u0430\u044f\u00a0mhenrichsen\/context\u2011aware\u2011splitter-1b. \u041e\u043d\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 context\u2011aware\u2011\u0447\u0430\u043d\u043a\u0438\u043d\u0433, \u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u044f \u0445\u043e\u0442\u0435\u043b \u043f\u0440\u043e\u0441\u0442\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u043f\u043e\u0434\u00a0\u0440\u0443\u0441\u0441\u043a\u0438\u0439.\u041d\u0435\u00a0\u0432\u044b\u0448\u043b\u043e. \u0423\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0434\u0432\u0430 \u0434\u0438\u0441\u043a\u0432\u0430\u043b\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430.\u041f\u0435\u0440\u0432\u044b\u0439\u00a0\u2014 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 Llama-2. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u00a0-1b\u00a0\u0441\u043e\u0431\u0440\u0430\u043d\u0430 \u043d\u0430\u00a0TinyLlama, \u0430\u00a0\u0442\u043e\u0442 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 Llama-2, \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u0430\u0442\u0440\u0438\u0431\u0443\u0446\u0438\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f. \u0414\u043b\u044f\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u044b \u043e\u043d \u0434\u043e\u0440\u043e\u0436\u0435 T\u2011lite \u043d\u0430\u00a0\u043c\u043e\u0451\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435: 3.17\u00a0\u0442\u043e\u043a\/\u0441\u043b\u043e\u0432\u043e \u043f\u0440\u043e\u0442\u0438\u0432 1.74.\u0412\u0442\u043e\u0440\u043e\u0439 \u0440\u0438\u0441\u043a \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u0435\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 \u043f\u043e\u043b\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0447\u0430\u043d\u043a\u0430.\u0414\u043b\u044f\u00a0RAG \u044d\u0442\u043e \u0441\u043a\u0440\u044b\u0442\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430. \u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442, \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u00ab\u043f\u043e\u0447\u0438\u043d\u0438\u0442\u044c\u00bb \u0435\u0433\u043e \u043f\u043e\u00a0\u0434\u043e\u0440\u043e\u0433\u0435: \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0451 \u043d\u0430\u00a0\u0435, \u043a\u0430\u0432\u044b\u0447\u043a\u0438\u2011\u0451\u043b\u043e\u0447\u043a\u0438 \u043d\u0430\u00a0\u043f\u0440\u044f\u043c\u044b\u0435, \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u0435\u043b\u044b. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0447\u0430\u043d\u043a \u0443\u0436\u0435 \u043d\u0435\u00a0\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u043e\u0431\u0430\u0439\u0442\u043d\u043e \u0441\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u043c.\u0410\u00a0\u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u00a0RAG \u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438. \u0412\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a, \u043f\u043e\u0434\u0441\u0432\u0435\u0447\u0438\u0432\u0430\u0435\u0442\u0435 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442, \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u043e\u0444\u0444\u0441\u0435\u0442\u044b. \u0411\u0430\u0439\u0442\u2011\u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d \u043b\u043e\u043c\u0430\u0435\u0442 \u0432\u0441\u0451 \u044d\u0442\u043e \u0442\u0438\u0445\u043e.\u0418 \u0435\u0449\u0451: \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0434\u043e\u0440\u043e\u0433\u043e. \u041f\u043e\u00a0methodology \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 10\u00a0\u0440\u0430\u0437 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0438 \u0434\u043e\u0440\u043e\u0436\u0435 \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c \u0432\u044b\u0432\u043e\u0434\u0430, \u0447\u0435\u043c \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0441\u043f\u0438\u0441\u043e\u043a \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432.\u041e\u0442\u00a0\u0434\u0430\u0442\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u044f \u0432\u0437\u044f\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0434\u0435\u044e context\u2011aware\u2011\u0433\u0440\u0430\u043d\u0438\u0446. \u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u0442\u044c.\u041a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0438\u0434\u0435\u044f: \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u044b, \u0430\u00a0\u043d\u0435\u00a0\u0442\u0435\u043a\u0441\u0442\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443:\u041c\u043e\u0434\u0435\u043b\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u0433\u0440\u0430\u043d\u0438\u0446, \u0430\u00a0\u0445\u043e\u0441\u0442 \u0440\u0435\u0436\u0435\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b.\u0421\u0445\u0435\u043c\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430:\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442  -&gt; [\u0445\u043e\u0441\u0442]  \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b ([1]..[N])  -&gt; [\u043c\u043e\u0434\u0435\u043b\u044c] {&#171;splits&#187;:[i,&#8230;],&#187;topic&#187;:&#187;&#8230;&#187;}  -&gt; [\u0445\u043e\u0441\u0442]  \u043d\u0430\u0440\u0435\u0437\u043a\u0430 \u041e\u0420\u0418\u0413\u0418\u041d\u0410\u041b\u0410 \u043f\u043e \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c  -&gt; \u0447\u0430\u043d\u043a\u0438\u041d\u0430\u00a0\u0432\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0434\u0443\u0442 \u043d\u0443\u043c\u0435\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u044e\u043d\u0438\u0442\u044b. \u041f\u0440\u043e\u0437\u0430 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437\u00a0razdel. \u0422\u0430\u0431\u043b\u0438\u0446\u044b \u0438 \u0431\u043b\u043e\u043a\u0438 \u043a\u043e\u0434\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u044b\u043c\u0438 \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u043c\u0438 \u044e\u043d\u0438\u0442\u0430\u043c\u0438. Markdown\u2011\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0442\u043e\u0436\u0435 \u0432\u044b\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e.\u0421\u044b\u0440\u043e\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u043a\u0430\u043a\u00a0\u043f\u043e\u0442\u043e\u043a \u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435\u00a0\u0432\u0438\u0434\u0438\u0442. \u041e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u0441\u043f\u0438\u0441\u043e\u043a \u0438 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043d\u043e\u043c\u0435\u0440\u0430 \u044e\u043d\u0438\u0442\u043e\u0432, \u043f\u043e\u0441\u043b\u0435 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0447\u0430\u043d\u043a\u0430, \u043f\u043b\u044e\u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439\u00a0topic.{&#171;splits&#187;: [3, 7], &#171;topic&#187;: &#171;\u043e \u0447\u0451\u043c \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442&#187;}\u0425\u043e\u0441\u0442 \u0431\u0435\u0440\u0451\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442 \u0438 \u0440\u0435\u0436\u0435\u0442 \u0435\u0433\u043e \u043f\u043e\u00a0\u044d\u0442\u0438\u043c \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u043c. \u0412\u0441\u044f \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u0441\u00a0\u044e\u043d\u0438\u0442\u0430\u043c\u0438 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0430\u00a0\u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u0445\u043e\u0441\u0442\u0430: \u043e\u043d \u043d\u0443\u043c\u0435\u0440\u0443\u0435\u0442 \u044e\u043d\u0438\u0442\u044b \u0434\u043e\u00a0\u0432\u044b\u0437\u043e\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u0432\u0435\u0442\u0430 \u0440\u0435\u0436\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a \u0438 \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441\u044b.\u0412\u00a0demo.py\u00a0\u0441\u0442\u043e\u0438\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430\u00a00 &lt; int(x) &lt; len(units), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 out\u2011of\u2011range \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u0412\u00a0serving\/eval\u2011\u043f\u0443\u0442\u0438 JSON \u0432\u044b\u0442\u0430\u0441\u043a\u0438\u0432\u0430\u0435\u0442\u0441\u044f non\u2011greedy\u2011\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043a\u043e\u0439 \u0432\u0438\u0434\u0430\u00a0\\{.*?\\}. \u0412\u00a0demo \u0435\u0441\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0433\u0440\u0443\u0431\u044b\u0439 greedy\u2011\u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043d\u043e\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 serving\u2011\u043f\u0443\u0442\u044c.\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u043eIndex\u2011outputText\u2011output\u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u043c\u0431\u0430\u0439\u0442\u2011\u0432-\u0431\u0430\u0439\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0442\u0435\u043a\u0441\u0442 \u0440\u0435\u0436\u0435\u0442 \u0445\u043e\u0441\u0442\u0440\u0438\u0441\u043a \u0440\u0430\u0441\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0430 \u043f\u0440\u0438\u00a0\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u0438\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0432\u044b\u0432\u043e\u0434\u0430\u043e\u043a\u043e\u043b\u043e 35\u201340\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 JSON\u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0422\u0430\u0431\u043b\u0438\u0446\u044b\u043d\u0435\u00a0\u0440\u0435\u0436\u0443\u0442\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u044e\u043d\u0438\u0442\u0430\u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442\u00a0\u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438Lossless \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u00a0\u0442\u0440\u043e\u0433\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442. \u041e\u043d\u0430 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0447\u0438\u0441\u043b\u0430\u043c\u0438.\u0414\u0435\u0448\u0435\u0432\u0438\u0437\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u00a0\u0432\u043c\u0435\u0441\u0442\u043e N \u0442\u044b\u0441\u044f\u0447 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 JSON. \u041d\u0430\u00a0\u0436\u0438\u0432\u043e\u043c \u0437\u0430\u043c\u0435\u0440\u0435\u00a0\u0431\u044b\u043b\u043e 35\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u0430.\u0426\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u00ab\u0432\u044b\u0443\u0447\u0438\u0432\u0430\u043b\u0430\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438: \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u00a0\u2014 \u043e\u0434\u0438\u043d \u0430\u0442\u043e\u043c\u0430\u0440\u043d\u044b\u0439 \u044e\u043d\u0438\u0442, \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0439\u0442\u0438 \u0434\u043e\u00a0\u043d\u0435\u0451 \u0438\u043b\u0438\u00a0\u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0451, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0432\u043d\u0443\u0442\u0440\u0438.\u0413\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u00a0upstream\u2011\u043f\u0430\u0440\u0441\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u043b \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043a\u0430\u043a\u00a0\u0431\u043b\u043e\u043a. \u0415\u0441\u043b\u0438 \u043f\u0430\u0440\u0441\u0435\u0440 \u0441\u0430\u043c \u0440\u0430\u0437\u0432\u0430\u043b\u0438\u043b \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043d\u0430\u00a0\u043c\u0443\u0441\u043e\u0440, LLM\u2011\u0441\u043f\u043b\u0438\u0442\u0442\u0435\u0440 \u043d\u0435\u00a0\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438\u0437\u00a0\u0432\u043e\u0437\u0434\u0443\u0445\u0430.\u0422\u0430\u00a0\u0436\u0435 \u043b\u043e\u0433\u0438\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u0437\u0430\u00a0response\u2011only loss \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438: \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b\u00a0\u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 JSON\u2011\u043e\u0442\u0432\u0435\u0442, \u0430\u00a0\u043d\u0435\u00a0\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0432\u0445\u043e\u0434\u0430.\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u043d\u0435\u00a0\u0441\u0430\u043c\u0430\u044f \u043d\u043e\u0432\u0430\u044f, \u0430\u00a0\u0442\u0430, \u0447\u0442\u043e\u00a0\u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0444\u0438\u043b\u044c\u0442\u0440\u044b\u0411\u0430\u0437\u0443 \u044f \u0432\u044b\u0431\u0438\u0440\u0430\u043b \u043a\u0430\u043a\u00a0\u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u0435 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439.\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u0427\u0442\u043e\u00a0\u043e\u0442\u0441\u0435\u043a\u0430\u0435\u0442llama.cpp Vulkan \u043d\u0430\u00a0AMD, \u0431\u0435\u0437\u00a0CUDASSM\/linear\u2011attention\u2011\u0433\u0438\u0431\u0440\u0438\u0434\u044b \u0431\u0435\u0437\u00a0Vulkan\u2011\u044f\u0434\u0435\u0440 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Granite-4)\u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u2011\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440Llama-2\u00a0\u0438 \u0447\u0430\u0441\u0442\u044c \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u043e\u0432Apache-2.0\u00a0\/ commercial\u2011OK\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0NC\u2011 \u0438\u043b\u0438\u00a0\u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438\u00a0\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f\u043c\u0438\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 GGUF\u0440\u0438\u0441\u043a \u0441\u043b\u043e\u043c\u0430\u0442\u044c round\u2011trip \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u0430\u041f\u0435\u0440\u0432\u044b\u043c \u0444\u0438\u043b\u044c\u0442\u0440\u043e\u043c\u00a0\u0431\u044b\u043b \u0440\u0430\u043d\u0442\u0430\u0439\u043c. \u0426\u0435\u043b\u0435\u0432\u043e\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: AMD Strix Halo, gfx1151, llama.cpp Vulkan, \u0431\u0435\u0437\u00a0CUDA. \u041d\u043e\u0432\u044b\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0433\u0443\u0442\u00a0\u0431\u044b\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u043d\u043e\u00a0\u0435\u0441\u043b\u0438 \u043f\u043e\u0434\u00a0\u043d\u0438\u0445 \u043d\u0435\u0442 Vulkan\u2011\u044f\u0434\u0435\u0440 \u0432\u00a0\u043d\u0443\u0436\u043d\u043e\u043c \u0441\u0442\u0435\u043a\u0435, \u043e\u043d\u0438 \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442.\u041f\u0440\u0430\u0432\u0438\u043b\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0436\u0451\u0441\u0442\u043a\u0438\u043c: \u043d\u043e\u0432\u0435\u0435 \u043d\u0435\u00a0\u0437\u043d\u0430\u0447\u0438\u0442 \u043b\u0443\u0447\u0448\u0435, \u0435\u0441\u043b\u0438 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043b\u043e\u043c\u0430\u0435\u0442 \u0440\u0430\u043d\u0442\u0430\u0439\u043c.\u0421\u0440\u0435\u0434\u0438 dense + Vulkan\u2011safe + \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0430 + Apache \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u0430\u043c\u044b\u043c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u043c \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c\u00a0t\u2011tech\/T\u2011lite\u2011it-2.1. \u0415\u0451 \u044f \u0438 \u0432\u0437\u044f\u043b.Fallback\u2011\u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0441\u044f\u00a0RefalMachine\/RuadaptQwen3-8B-Hybrid: \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 fertility, Apache, \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c. \u041d\u043e\u00a0GGUF round\u2011trip \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. \u0423\u00a0T\u2011lite-2.1\u00a0\u0443\u0436\u0435\u00a0\u0431\u044b\u043b\u00a0\u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 GGUF, \u0430\u00a0\u0437\u043d\u0430\u0447\u0438\u0442, \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 llama.cpp \u0443\u00a0\u0432\u0435\u043d\u0434\u043e\u0440\u0430 \u0443\u0436\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b.\u0413\u0434\u0435 \u043f\u043b\u0430\u043d \u0440\u0430\u0437\u043e\u0448\u0451\u043b\u0441\u044f \u0441\u00a0\u0438\u0442\u043e\u0433\u043e\u043c\u0412\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u0431\u0438\u043b\u0434\u2011\u043f\u043b\u0430\u043d\u0435 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u00a0\u043b\u0438\u0434\u0435\u0440\u043e\u043c\u00a0\u0431\u044b\u043b\u00a0RefalMachine\/RuadaptQwen3-8B-Hybrid:\u041c\u043e\u0434\u0435\u043b\u044c \u0438\u0437\u00a0\u043f\u043b\u0430\u043d\u0430\u0420\u043e\u043b\u044c\u041b\u0438\u0446\u0435\u043d\u0437\u0438\u044f\u0421\u043b\u043e\u0432\u0430\u0440\u044c\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u041a\u0438\u0440\u0438\u043b\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u0439 fertilityRuadaptQwen3-8B\u2011Hybrid\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0431\u0430\u0437\u0430Apache-2.0146\u00a026040\u00a0960~1.6\u00a0tok\/word\u0412\u00a0\u043f\u0440\u043e\u0437\u0435 \u043f\u043b\u0430\u043d\u0430 \u0442\u0430\u043a\u0436\u0435 \u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043b fallback\u00a0RuadaptQwen2.5-7B-Lite-Beta\u00a0\u0441\u043e \u0441\u043b\u043e\u0432\u0430\u0440\u0451\u043c 145\u00a0152\u00a0\u0438 \u0431\u043e\u043b\u0435\u0435 \u0437\u0440\u0435\u043b\u044b\u043c llama.cpp\u2011\u043f\u0443\u0442\u0451\u043c. \u0410\u00a0\u043f\u0440\u043e\u00a0t-tech\/T-lite\u00a0\u0442\u0430\u043c\u00a0\u0431\u044b\u043b\u043e \u043f\u0440\u044f\u043c\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e: \u00ab\u043d\u0435 \u0431\u0440\u0430\u0442\u044c\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043d\u0430\u00a0\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043e\u043d \u0441\u0447\u0438\u0442\u0430\u043b\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0441\u043e \u0441\u0442\u043e\u043a\u043e\u0432\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440\u043e\u043c \u0438 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c fertility.\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u0430\u0440\u0435\u043b\u043e. \u0412\u00a0\u0440\u0435\u043b\u0438\u0437\u043d\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 T\u2011lite\u2011it-2.1\u00a0\u0441\u043b\u043e\u0432\u0430\u0440\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u043f\u043e\u0434\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0443\u00a0\u2014 \u044f \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b \u044d\u0442\u043e \u0437\u0430\u043c\u0435\u0440\u043e\u043c.\u0422\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 \/ \u043c\u043e\u0434\u0435\u043b\u044c\u0421\u0442\u0430\u0442\u0443\u0441FertilityRuadaptQwen3-8B\u2011Hybrid\u043f\u043b\u0430\u043d\u043e\u0432\u044b\u0439\u00a0\u043b\u0438\u0434\u0435\u0440~1.6\u00a0tok\/word (\u0438\u0437 research)Qwen2.5\u20137B\u0436\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u0432\u0430\u043d\u0438\u043b\u044c\u043d\u043e\u0433\u043e Qwen2.71\u00a0tok\/wordQwen2.5\u20137B\u043f\u043b\u0430\u043d\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430~2.6\u00a0tok\/wordT\u2011lite\u2011it-2.1\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440, \u0436\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u04401.74\u00a0tok\/wordLlama-2-7B tokenizer\u0436\u0438\u0432\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 \u043d\u0430 42-\u0441\u043b\u043e\u0432\u043d\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u04353.17\u00a0tok\/word\u041f\u043b\u0430\u043d \u0443\u0441\u0442\u0430\u0440\u0435\u043b \u043c\u0435\u0436\u0434\u0443 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e \u0442\u043e\u043a\u0435\u043d\u0430\u0439\u0437\u0435\u0440 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438.\u0415\u0449\u0451 \u043e\u0434\u043d\u0430 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430: \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u00abLlama-2\u00a0\u0441\u043b\u0435\u043f\u0430 \u043a\u00a0\u043a\u0438\u0440\u0438\u043b\u043b\u0438\u0446\u0435\u00bb \u043d\u0435\u0432\u0435\u0440\u043d\u0430. \u0423\u00a0Llama-2\u00a0\u0435\u0441\u0442\u044c byte\u2011fallback. \u041e\u043d\u0430 \u0432\u0438\u0434\u0438\u0442 \u0440\u0443\u0441\u0441\u043a\u0438\u0439, \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442 \u0435\u0433\u043e \u0434\u043e\u0440\u043e\u0436\u0435. \u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435\u00a0\u2014 \u00d71.82\u00a0\u043a\u00a0T\u2011lite. \u041d\u0430\u00a0\u043a\u043e\u0440\u043f\u0443\u0441\u043d\u043e\u0439 \u043f\u0440\u043e\u0437\u0435 \u0438\u0437\u00a0research\u2011\u0437\u0430\u043c\u0435\u0442\u043e\u043a\u00a0\u2014 \u0431\u043b\u0438\u0436\u0435 \u043a \u00d71.5. \u0420\u0435\u0447\u044c \u043f\u0440\u043e\u00a0\u0446\u0435\u043d\u0443, \u0430\u00a0\u043d\u0435\u00a0\u043f\u0440\u043e\u00a0\u0441\u043b\u0435\u043f\u043e\u0442\u0443.\u0414\u0430\u043d\u043d\u044b\u0435: \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u044f \u043e\u0442\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0443\u0447\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0438\u0420\u0443\u0447\u043d\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0430 \u0433\u0440\u0430\u043d\u0438\u0446 \u043d\u0430\u00a0\u0434\u0435\u0441\u044f\u0442\u043a\u0430\u0445 \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u043d\u0435\u00a0\u043f\u043e\u0434\u0445\u043e\u0434\u0438\u043b\u0430. \u042f \u0437\u0430\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u043e\u0432\u0430\u043b \u0440\u0430\u0437\u043c\u0435\u0442\u043a\u0443 \u043e\u0442\u00a0\u043c\u043e\u0434\u0435\u043b\u0438\u2011\u0443\u0447\u0438\u0442\u0435\u043b\u044f.\u0423\u0447\u0438\u0442\u0435\u043b\u044c\u00a0\u2014\u00a0DeepSeek-V4-Flash, self\u2011hosted \u043d\u0430\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0435, \u0443\u0437\u0435\u043b Spark, \u0447\u0435\u0440\u0435\u0437 OpenAI\u2011\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442:# data\/generate.pyDS_URL = &#171;http:\/\/192.168.1.45:8000\/v1&#8243;MODEL  = &#171;deepseek-v4-flash-spark&#187;SCHEMA = {    &#171;type&#187;: &#171;object&#187;,    &#171;properties&#187;: {        &#171;splits&#187;: {&#171;type&#187;: &#171;array&#187;, &#171;items&#187;: {&#171;type&#187;: &#171;integer&#187;}},        &#171;topic&#187;:  {&#171;type&#187;: &#171;string&#187;},    },    &#171;required&#187;: [&#171;splits&#187;, &#171;topic&#187;],}\u0423\u0447\u0438\u0442\u0435\u043b\u044c \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u00a0guided_json=SCHEMA. \u041f\u0440\u0438\u00a0grammar\u2011constrained decoding \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0439\u0442\u0438 \u0437\u0430\u00a0\u0441\u0445\u0435\u043c\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 JSON \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0435\u0439, \u0430\u00a0\u043d\u0435\u00a0\u0434\u0438\u0441\u0446\u0438\u043f\u043b\u0438\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\u0417\u0434\u0435\u0441\u044c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u0432\u0430 \u044d\u0442\u0430\u043f\u0430. Grammar\u2011\u043a\u043e\u043d\u0441\u0442\u0440\u0435\u0439\u043d\u0442 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u00a0\u0443\u0447\u0438\u0442\u0435\u043b\u044f&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-486193","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/486193","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=486193"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/486193\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=486193"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=486193"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=486193"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}