{"id":465130,"date":"2025-06-30T09:04:53","date_gmt":"2025-06-30T09:04:53","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=465130"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=465130","title":{"rendered":"<span>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e DeepSeek R1 671B \u043d\u0430 \u0438\u0433\u0440\u043e\u0432\u043e\u043c \u041f\u041a \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u043c\u0435\u043d\u044f\u0435\u043c\u0430\u044f \u043b\u0438 \u043e\u043d\u0430 \u043d\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 (160\u043a)<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/37b\/790\/19b\/37b79019ba325f57f446bac66156b1e5.png\" width=\"1139\" height=\"650\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/37b\/790\/19b\/37b79019ba325f57f446bac66156b1e5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/37b\/790\/19b\/37b79019ba325f57f446bac66156b1e5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0435\u043b\u0438\u0437 DeepSeek R2 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u043e\u0436\u0435\u043d \u0438 \u043f\u043e\u043a\u0430 R1 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c \u041f\u041a. \u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f DeepSeek R1 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 700\u0433\u0431, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 fp8, \u043d\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 f16, \u0435\u0451 \u0432\u0435\u0441 \u0431\u044b\u043b \u0431\u044b 1400\u0433\u0431, \u0430 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u044e \u0432 10 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435. \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 1.66-\u0431\u0438\u0442\u043d\u044b\u0439 IQ1_S_R4 \u043a\u0432\u0430\u043d\u0442 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 130\u0433\u0431 \u043d\u0430 \u0438\u0433\u0440\u043e\u0432\u043e\u043c \u041f\u041a, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441 4090 \u0438 4060ti. \u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0442\u0443\u0434\u0430 \u043e\u0447\u0435\u043d\u044c-\u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0442\u0430\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0438\u043b\u0438 \u043d\u0435\u0442.<\/p>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c<\/h2>\n<p>\u041f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0435\u0441\u0442\u044c \u0434\u0432\u0438\u0436\u043e\u043a llama.cpp \u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u044d\u0442\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430 gguf, \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f, \u0438 \u0435\u0441\u0442\u044c \u043e\u0431\u043e\u043b\u043e\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 llama.cpp &#8212; \u044d\u0442\u043e \u0438 ollama, \u0438 LM Studio \u0438 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043b\u044e\u0431\u0443\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c <a href=\"https:\/\/lmstudio.ai\/\" rel=\"noopener noreferrer nofollow\">LM Studio<\/a>, <a href=\"https:\/\/jan.ai\/\" rel=\"noopener noreferrer nofollow\">Jan<\/a> \u0438\u043b\u0438, \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u0435\u043d \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0431\u043a\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b, <a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\" rel=\"noopener noreferrer nofollow\">text-generation-webui<\/a>, \u043f\u043e\u0442\u043e\u043c \u043b\u044e\u0431\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0441\u043a\u0430\u0447\u0430\u0442\u044c gguf \u0444\u0430\u0439\u043b \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0441\u0451 \u0432 \u043f\u0430\u0440\u0443 \u043a\u043b\u0438\u043a\u043e\u0432. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0438 \u0437\u0430\u0439\u043c\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f. \u0412\u0441\u0451 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043d\u0430 nvidia, \u0438 \u043d\u0430 amd, \u0438 \u043d\u0430 intel, \u0442\u0430\u043c \u0433\u0434\u0435 \u043d\u0435\u0442 CUDA, \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 Vulkan. <\/p>\n<p>\u041d\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043a\u043e\u0435-\u0447\u0442\u043e \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0443\u044e DeepSeek R1-0528 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 671B \u043d\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c \u0438\u0433\u0440\u043e\u0432\u043e\u043c \u041f\u041a. \u042d\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a \u043d\u0435 \u0431\/\u0443 \u0441\u0435\u0440\u0432\u0435\u0440\u0435, \u043d\u0435 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435, \u043d\u0435 \u043d\u0430 \u043a\u0443\u0447\u0435 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u041f\u041a.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u043d\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0440\u043e\u0434\u0435 Q4_K_M \u0438\u043b\u0438 IQ1_S, \u0438 \u043d\u0435 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 UD-&#8230;-XL, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u044b. \u041d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 sota \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 iq4_ks \u0438 R4, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 ik_llama.<\/p>\n<p><a href=\"https:\/\/github.com\/ikawrakow\/ik_llama.cpp\" rel=\"noopener noreferrer nofollow\">ik_llama.cpp<\/a> &#8212; \u044d\u0442\u043e \u0444\u043e\u0440\u043a \u043e\u0442 llama.cpp, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 CPU \u0438 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 MoE \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a \u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u0435\u043c \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u043d\u043e\u0432\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432. \u0418\u043c\u0435\u043d\u043d\u043e \u0447\u0435\u0440\u0435\u0437 iq4_ks \u0438 R4 \u0441\u0442\u0430\u043b\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043a\u0432\u0430\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0435\u0449\u0451 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u041f\u041a.<\/p>\n<h3>\u041d\u0430 \u0447\u0451\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c<\/h3>\n<p>\u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c 128\u0433\u0431, \u0441\u0435\u0439\u0447\u0430\u0441 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442 \u0438\u0437 4\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 48\u0433\u0431 DDR5 \u0434\u043b\u044f \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0445 \u041f\u041a \u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 50\u043a, DDR4 4&#215;32\u0433\u0431 \u0432 2 \u0440\u0430\u0437\u0430 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0438 \u0432 \u043f\u0440\u043e\u0434\u0430\u0436\u0435 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u043c\u043e\u0434\u0443\u043b\u0438 2&#215;64\u0433\u0431. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e 128\/192\u0433\u0431 ram \u044d\u0442\u043e \u0443\u0436\u0435 \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e.<\/p>\n<p>\u0421\u0430\u043c\u0438 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u041f\u041a \u043d\u0435 \u0442\u0430\u043a \u0432\u0430\u0436\u043d\u044b, \u0435\u0441\u043b\u0438 \u0442\u0430\u043c \u0435\u0441\u0442\u044c 6-8 \u044f\u0434\u0435\u0440, \u0432\u0430\u0436\u043d\u0435\u0435 \u043e\u0431\u044a\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 1 GPU, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f. \u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e 4 \u043c\u043e\u0434\u0443\u043b\u044f \u043f\u043e 48\u0433\u0431, \u043e\u043d\u0438 \u043f\u043b\u043e\u0445\u043e \u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u0433\u043e\u043d \u0438 \u043d\u0435 \u0441\u0442\u0430\u0440\u0442\u0443\u044e\u0442 \u043d\u0430 XMP, \u043d\u043e \u0445\u0432\u0430\u0442\u0438\u0442 \u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 4800.<\/p>\n<p>\u0425\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u0441\u043f\u044b\u0442\u0443\u0435\u043c\u043e\u0433\u043e \u041f\u041a: <\/p>\n<ul>\n<li>\n<p>CPU: i7-14700<\/p>\n<\/li>\n<li>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0430: GIGABYTE Z790 D AX<\/p>\n<\/li>\n<li>\n<p>\u041e\u0417\u0423: 4x 48gb Kingbank DDR5 4800 MT\/s<\/p>\n<\/li>\n<li>\n<p>GPU: 4060 Ti 16gb, 4090 24gb<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e 4090 \u0438 4060 ti (\u0445\u043e\u0442\u044f \u0441\u0435\u0439\u0447\u0430\u0441 \u0443\u0436\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0435\u0435 5060 Ti 16\u0433\u0431, \u0443 \u043d\u0435\u0451 \u0432 1.5 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0430\u043c\u044f\u0442\u044c \u0447\u0435\u043c \u0443 4060ti, \u0430 \u0441\u0442\u043e\u0438\u0442 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435), \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 GPU \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c. <\/p>\n<h2>\u0427\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c? \u041a\u0430\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442?<\/h2>\n<h4>DeepSeek-R1-0528-IQ1_S_R4 \u0438 DeepSeek-V3-0324-IQ1_S_R4<\/h4>\n<p>\u041d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 <a href=\"https:\/\/huggingface.co\/ubergarm\/DeepSeek-R1-0528-GGUF\/\" rel=\"noopener noreferrer nofollow\">ubergarm\/DeepSeek-R1-0528-GGUF<\/a> &#8212; \u043f\u043e\u043a\u0430 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u0434\u043b\u044f ik_llama. \u0421\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 130\u0433\u0431 &#8212; \u044d\u0442\u043e IQ1_S_R4. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u0438\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u043e\u0442 R1, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c V3-0324, \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442: <a href=\"https:\/\/huggingface.co\/ubergarm\/DeepSeek-V3-0324-GGUF\/tree\/main\/DeepSeek-V3-0324-IQ1_S_R4\" rel=\"noopener noreferrer nofollow\">DeepSeek-V3-0324-IQ1_S_R4<\/a><\/p>\n<p>\u041a\u0432\u0430\u043d\u0442 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0447\u0435\u0440\u0435\u0437 PPL \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043e\u043d \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u043e\u0442\u0441\u0442\u0430\u0435\u0442 \u043e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ac2\/b64\/ed0\/ac2b64ed0aaf4bf31a2fb9027d8003c5.png\" alt=\"\u0427\u0435\u043c \u043d\u0438\u0436\u0435 PPL, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435\" title=\"\u0427\u0435\u043c \u043d\u0438\u0436\u0435 PPL, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435\" width=\"780\" height=\"256\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ac2\/b64\/ed0\/ac2b64ed0aaf4bf31a2fb9027d8003c5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ac2\/b64\/ed0\/ac2b64ed0aaf4bf31a2fb9027d8003c5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0427\u0435\u043c \u043d\u0438\u0436\u0435 PPL, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u043e \u043d\u0430\u0434\u0435\u0436\u0434\u0430 \u0435\u0441\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a PPL \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c, \u043e\u043d \u043d\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0432\u0430\u043d\u0442\u0430, \u0438 \u0437\u0430\u043c\u0435\u0440\u044b KLD \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442 \u043a\u0430\u043a \u043a\u0432\u0430\u043d\u0442 \u0434\u0430\u043b\u0435\u043a \u043e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430.<\/p>\n<p>\u0412\u043e\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 3 \u043c\u0430\u043b\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432: \u043e\u0442 Bartowski, Unsloth \u0438 Ubergarm, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0412\u0441\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435. \u041a\u0432\u0430\u043d\u0442 R4 \u0438\u043c\u0435\u044f \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0447\u0442\u043e \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a43\/e07\/23e\/a43e0723ec398948f69e9fb762c3c068.png\" alt=\"KLD \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 Q8_0, \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435\" title=\"KLD \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 Q8_0, \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435\" width=\"1782\" height=\"1160\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a43\/e07\/23e\/a43e0723ec398948f69e9fb762c3c068.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a43\/e07\/23e\/a43e0723ec398948f69e9fb762c3c068.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>KLD \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 Q8_0, \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 PPL \u0438 KLD<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 Accuracy is Not All You Need (<a href=\"https:\/\/arxiv.org\/abs\/2407.09141\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/abs\/2407.09141<\/a>) \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e KLD \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 KLD, \u0447\u0435\u043c PPL, \u0442\u0430\u043a \u043a\u0430\u043a PPL \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437-\u0437\u0430 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>PPL (Perplexity) &#8212; \u044d\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u0430, \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c. PPL \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u0442 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0448\u0438\u0431\u043a\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0437\u0430\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0445, \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 &#8212; \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 PPL \u0431\u043b\u0438\u0437\u043e\u043a \u043a \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0443, \u0445\u043e\u0442\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0441\u043a\u0430\u0436\u0435\u043d. \u0415\u0449\u0451 PPL \u0441\u043b\u0430\u0431\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u0440\u0435\u0434\u043a\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0432\u0430\u0436\u043d\u044b\u0445 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<p>KLD (KL Divergence) \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u043f\u043e\u0442\u043e\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0422\u0443\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u043e\u043c, \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u0445 \u0440\u0435\u0434\u043a\u0438\u0445 \u0438 \u0447\u0430\u0441\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0438\u0442\u043e\u0433. \u042d\u0442\u043e \u043a\u0443\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438, \u0438 \u0435\u0441\u043b\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0434 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e KLD, \u0442\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0432\u0430\u043d\u0442\u044b.<\/p>\n<\/div>\n<\/details>\n<h2>\u0417\u0430\u043c\u0435\u0440\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438<\/h2>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>2 \u043c\u043e\u0434\u0443\u043b\u044f \u043f\u0430\u043c\u044f\u0442\u0438, \u0434\u0430\u0436\u0435 \u043c\u043e\u0434\u0443\u043b\u0438 48\u0433\u0431, \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u0438 \u0434\u0435\u0440\u0436\u0430\u0442\u044c XMP 6400, \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u0447\u0442\u0438 100\u0433\u0431\/\u0441. <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5ae\/612\/881\/5ae612881bf3c9c8321524e7b4ba5ce6.png\" width=\"539\" height=\"518\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5ae\/612\/881\/5ae612881bf3c9c8321524e7b4ba5ce6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5ae\/612\/881\/5ae612881bf3c9c8321524e7b4ba5ce6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438, \u0442\u043e \u0437\u0430\u043c\u0435\u0440\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 4\u0445 \u043c\u043e\u0434\u0443\u043b\u044f\u0445. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f \u043d\u0430 4x DDR5-4800 \u0440\u0430\u0432\u043d\u0430 70 \u0413\u0431\/\u0441, \u044d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e, \u044d\u0442\u043e \u0431\u043b\u0438\u0436\u0435 \u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 DDR4, \u0447\u0435\u043c \u043a DDR5-6400, \u043d\u043e \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0445\u0432\u0430\u0442\u0438\u0442\u044c.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fa\/63b\/483\/4fa63b48328fe5520c8d3e3bfcd2d762.png\" width=\"539\" height=\"518\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4fa\/63b\/483\/4fa63b48328fe5520c8d3e3bfcd2d762.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fa\/63b\/483\/4fa63b48328fe5520c8d3e3bfcd2d762.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c Gemma3, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 CPU, \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u0435 Q4_K_M. \u0417\u0430\u043f\u0443\u0441\u043a \u043e\u0431\u044b\u0447\u043d\u043e\u0439 llama.cpp \u043d\u0430 Windows 10, \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u043d\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043c\u0430\u043b\u044b\u043c\u0438 \u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u044f\u0434\u0440\u0430\u043c\u0438:<\/p>\n<p><code>.\\llama-bench -m \"gemma-3-12b-it-Q4_K_M.gguf\" -t 4 -t 6 -t 8 -t 20 -t 28<\/code><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/50e\/ba9\/d1a\/50eba9d1a83031a1cf402184bafb1cf1.png\" alt=\"Gemma3 12B Q4_K_M\" title=\"Gemma3 12B Q4_K_M\" width=\"947\" height=\"545\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/50e\/ba9\/d1a\/50eba9d1a83031a1cf402184bafb1cf1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/50e\/ba9\/d1a\/50eba9d1a83031a1cf402184bafb1cf1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Gemma3 12B Q4_K_M<\/figcaption><\/div>\n<\/figure>\n<p><code>.\\llama-bench -m \"gemma-3-27b-it-Q4_K_M.gguf\" -t 4 -t 6 -t 8 -t 20 -t 28<\/code><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bb5\/2da\/fc0\/bb52dafc048b82e76591d95064ed899c.png\" alt=\"Gemma3 27B Q4_K_M\" title=\"Gemma3 27B Q4_K_M\" width=\"942\" height=\"573\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/bb5\/2da\/fc0\/bb52dafc048b82e76591d95064ed899c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bb5\/2da\/fc0\/bb52dafc048b82e76591d95064ed899c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Gemma3 27B Q4_K_M<\/figcaption><\/div>\n<\/figure>\n<p>pp &#8212; \u044d\u0442\u043e promp processing, \u043e\u043d \u0436\u0435 prefill. \u0412 pp \u0432\u0445\u043e\u0434\u0438\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0438 \u0432\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430. \u0414\u043e \u0442\u0435\u0445 \u043f\u043e\u0440 \u043f\u043e\u043a\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435 \u0437\u0430\u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d, \u0432\u0441\u0451 \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430. <\/p>\n<p>tg &#8212; \u044d\u0442\u043e token generation, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0441\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u044e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u043e\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c, \u043d\u043e \u043d\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 pp \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a \u0436\u0435 \u0432\u0430\u0436\u0435\u043d.<\/p>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c R1 671B \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 GPU \u0438 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0447\u0435\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041f\u0430\u043c\u044f\u0442\u044c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u0430\u044f, \u0434\u0430\u0436\u0435 Gemma3 12B \u0432\u0435\u0441\u043e\u043c 7\u0433\u0431 \u0435\u043b\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 5 t\/s. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442 \u0432\u0435\u0441\u043e\u043c 130\u0433\u0431 \u0438\u043c\u0435\u044f \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e 1 GPU \u0438 \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p>Gemma3 \u044d\u0442\u043e dense-\u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043f\u043b\u043e\u0448\u043d\u0430\u044f, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438. DeepSeek V3\/R1 &#8212; \u044d\u0442\u043e MoE \u043c\u043e\u0434\u0435\u043b\u044c, \u0433\u0434\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>MoE \u044d\u0442\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Mixture of Experts, \u0432 \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (B) \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (AxB) \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c Qwen3-235B-A22B \u0438\u043c\u0435\u0435\u0442 \u0432\u0441\u0435\u0433\u043e 235B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438  \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0438\u0437 \u043d\u0438\u0445 \u0442\u043e\u043b\u044c\u043a\u043e 22B \u0431\u0443\u0434\u0443\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438.<\/p>\n<p>\u0423 R1 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 671B, \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 37B. \u0412\u0441\u0435\u0433\u043e 61 \u0441\u043b\u043e\u0439, 3 \u0441\u043b\u043e\u044f \u043e\u0431\u0449\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043e\u043d\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0440\u043e\u0443\u0442\u0435\u0440\u043e\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0440\u0430\u0437\u043d\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c 37B \u0432 vram.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043f\u0430\u043c\u044f\u0442\u044c, \u0442\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u0430 dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 37B, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 2 t\/s. \u042d\u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0431\u044b\u043b\u0430 \u0431\u044b \u043f\u0430\u043c\u044f\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0442\u043e \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0431\u044b\u043b\u0430 \u0431\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435. 2 t\/s \u043c\u0430\u043b\u043e, \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043e\u0442 GPU, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c 10 \u0441\u043b\u043e\u0435\u0432 \u0432 vram, \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u044b\u0435 3 \u0441\u043b\u043e\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u043f\u0430\u0434\u0430\u0442\u044c \u043b\u0438\u0448\u044c \u0438\u043d\u043e\u0433\u0434\u0430.<\/p>\n<p>\u0412\u044b\u0433\u0440\u0443\u0437\u0438\u0432 \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0435\u0441\u0442\u044c, \u043d\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4b0\/7e3\/f18\/4b07e3f182c2fade910d5eb1ea8f547e.png\" alt=\"\" title=\"\" width=\"645\" height=\"100\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4b0\/7e3\/f18\/4b07e3f182c2fade910d5eb1ea8f547e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4b0\/7e3\/f18\/4b07e3f182c2fade910d5eb1ea8f547e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435: <em>override-tensor<\/em>.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435, \u043d\u0443\u0436\u043d\u043e \u0447\u0442\u043e\u0431\u044b GPU \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0442\u0443\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 GPU \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0433\u043a\u0438\u0435 \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0432\u0430\u0436\u043d\u044b. \u0410 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0435 ffn \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 CPU. <\/p>\n<p>\u0412 llm \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0441\u043b\u043e\u0435\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 2\u0445 \u0432\u0438\u0434\u043e\u0432 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432: \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attn, attention) \u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 (ffn, feed forward network). \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0430 huggingface \u0435\u0441\u043b\u0438 \u043d\u0430\u0436\u0430\u0442\u044c \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442. <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/400\/ce3\/24f\/400ce324f0f32ea1672463ad415d2430.png\" alt=\"18-\u0439 \u0441\u043b\u043e\u0439 deepseek r1, \u0441\u0430\u043c\u044b\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u044d\u0442\u043e ffn, \u0430 \u0432\u0430\u0436\u043d\u044b\u0435 attn \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0433\u0447\u0435\" title=\"18-\u0439 \u0441\u043b\u043e\u0439 deepseek r1, \u0441\u0430\u043c\u044b\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u044d\u0442\u043e ffn, \u0430 \u0432\u0430\u0436\u043d\u044b\u0435 attn \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0433\u0447\u0435\" width=\"692\" height=\"475\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/400\/ce3\/24f\/400ce324f0f32ea1672463ad415d2430.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/400\/ce3\/24f\/400ce324f0f32ea1672463ad415d2430.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>18-\u0439 \u0441\u043b\u043e\u0439 deepseek r1, \u0441\u0430\u043c\u044b\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u044d\u0442\u043e ffn, \u0430 \u0432\u0430\u0436\u043d\u044b\u0435 attn \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0433\u0447\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u044f\u0442 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e, \u0438 \u0432 \u0442\u0430\u043a\u043e\u043c \u043d\u0438\u0437\u043a\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u0435 \u043e\u043d\u0438 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0434\u0430\u0436\u0435 \u0432 10\u0433\u0431 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0430 ffn \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043e\u0431\u044a\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h2>&#8212;override-tensor \u0438\u043b\u0438 -ot<\/h2>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043d\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0441\u043b\u043e\u0439 \u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0432 llama.cpp \u0438 ik_llama \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>-ot<\/code> \u0438\u043b\u0438 <code>--override-tensors<\/code> , \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0433\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043a\u0430\u043a\u0438\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u044f\u0442\u0441\u044f \u043d\u0430 CPU (\u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0442\u043e\u0440\u0443\u044e GPU) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f regexp \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441.<\/p>\n<p>\u041d\u0443\u0436\u043d\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0441\u0435 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043d\u0430 GPU, \u0430 \u0442\u044f\u0436\u0435\u043b\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 MoE-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043d\u0430 CPU. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>-ngl 999<\/code> , \u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043a\u0430\u043a\u0438\u0435 \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c.<\/p>\n<p>MoE-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u044d\u0442\u043e \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432 \u0438\u043c\u0435\u043d\u0438 exps, \u0442\u043e \u0435\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0431\u0435\u0440\u0435\u0442 \u0432\u0441\u0435\u0445 exps:<\/p>\n<p><code>-ot exps=CPU<\/code><\/p>\n<p><code>-ot \".ffn_.*_exps.=CPU\"<\/code> <\/p>\n<p><code>-ot \"([0-9]+).ffn_.*_exps.=CPU\"<\/code> <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/962\/efe\/edd\/962efeedd5c67dee42c5c6a2e46f6695.png\" alt=\"\u0422\u043e\u0447\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 regexp\" title=\"\u0422\u043e\u0447\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 regexp\" width=\"702\" height=\"478\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/962\/efe\/edd\/962efeedd5c67dee42c5c6a2e46f6695.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/962\/efe\/edd\/962efeedd5c67dee42c5c6a2e46f6695.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u043e\u0447\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 regexp<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f, \u0438 gpu \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0437\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435. \u0418 \u044d\u0442\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f MoE \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0418, \u043e\u0431\u044b\u0447\u043d\u043e, \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f VRAM, \u0438\u043b\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0438\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435. <\/p>\n<p> <code>-ot \"blk\\.([4-9])\\.ffn.*=CUDA0\" -ot \"blk\\.(1[0-5])\\.ffn.*=CUDA1\" -ot exps=CPU<\/code>  <\/p>\n<p>\u0422\u0430\u043a \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043c 4-9 \u0441\u043b\u043e\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043d\u0430 1 GPU \u0438 10-15 \u0441\u043b\u043e\u0438 \u043d\u0430 2 GPU. \u0414\u043b\u044f rocm \u0438\u043b\u0438 vulkan \u0431\u0443\u0434\u0443\u0442 \u0441\u0432\u043e\u0438 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u044b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432, \u0432\u0440\u043e\u0434\u0435 Vulkan0 \u0432\u043c\u0435\u0441\u0442\u043e CUDA0.<\/p>\n<p>\u0412 \u043a\u0432\u0430\u043d\u0442\u0435 IQ1_S_R4 \u0434\u043b\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 ffn up|gate|down \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0442\u0435\u043d\u0437\u043e\u0440\u044b R4, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 CPU, \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 IQK \u043a\u0432\u0430\u043d\u0442 \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u044b\u0435 \u0434\u043b\u044f GPU. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e ik_llama \u043d\u0430\u0434\u043e \u0441\u043a\u043e\u043c\u043f\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0444\u043b\u0430\u0433\u043e\u043c <code><em>-DGGML_CUDA_IQK_FORCE_BF16=1<\/em><\/code><\/p>\n<h2>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c DeepSeek R1 671B IQ1_S_R4<\/h2>\n<p>\u0423 <a href=\"https:\/\/github.com\/ikawrakow\/ik_llama.cpp\" rel=\"noopener noreferrer nofollow\">ik_llama<\/a> \u043d\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u043e\u0432, \u043a\u0430\u043a \u0443 <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/releases\" rel=\"noopener noreferrer nofollow\">llama.cpp<\/a>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0435\u0451 \u0438\u0437 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u043e\u0432, \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u043f\u043e \u0442\u043e\u0439 \u0436\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0438 \u043a\u0430\u043a \u0438 llama.cpp, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043e\u0434\u043d\u0430 GPU. \u0412\u043c\u0435\u0441\u0442\u043e <code>-j28<\/code> \u0443\u043a\u0430\u0436\u0438\u0442\u0435 \u0432\u0430\u0448\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044f\u0434\u0435\u0440 \u0438\u043b\u0438 \u043f\u043e\u0442\u043e\u043a\u043e\u0432:<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/ikawrakow\/ik_llama.cpp cd ik_llama cmake -B .\/build -DGGML_CUDA=ON -DGGML_BLAS=OFF cmake --build build --config Release -j28 cd build\/bin<\/code><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e GPU:<\/p>\n<pre><code class=\"bash\">git clone https:\/\/github.com\/ikawrakow\/ik_llama.cpp cd ik_llama cmake -B .\/build -DGGML_CUDA=ON -DGGML_BLAS=OFF -DGGML_SCHED_MAX_COPIES=1 -DGGML_CUDA_IQK_FORCE_BF16=1 cmake --build build --config Release -j28 cd build\/bin<\/code><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u0442\u044c <code>-DGGML_SCHED_MAX_COPIES=1<\/code>, \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0440\u0430\u0441\u0445\u043e\u0434 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c <code>-ot<\/code>. <code>-DGGML_CUDA_IQK_FORCE_BF16=1<\/code>\u00a0\u043d\u0443\u0436\u0435\u043d \u0434\u043b\u044f \u0432\u044b\u0433\u0440\u0443\u0437\u043a\u0438 \u043d\u0430 GPU ffn \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u0430\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435, \u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c llama-server:<\/p>\n<p><code>.\/llama-server -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -ctk q8_0 -amb 512 -fmoe -ot exps=CPU -ngl 99 -b 4096 -ub 4096 -t 20 -c 8192 <\/code><\/p>\n<p>\u041f\u043e \u0430\u0434\u0440\u0435\u0441\u0443 <a href=\"http:\/\/127.0.0.1:8080\/\" rel=\"noopener noreferrer nofollow\">http:\/\/127.0.0.1:8080\/<\/a> \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u0435\u043d \u0432\u043f\u043e\u043b\u043d\u0435 \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0432\u0435\u0431-\u043a\u043b\u0438\u0435\u043d\u0442:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8a0\/d22\/34d\/8a0d2234d5015348adf430e72241917f.png\" alt=\"2184 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f, \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0433\u043e \u0438\u0441\u043a\u0430\u043b\u0430 \u043f\u043e\u0434\u0432\u043e\u0445, \u043e\u0442\u0432\u0435\u0442 87 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c 7 t\/s\" title=\"2184 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f, \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0433\u043e \u0438\u0441\u043a\u0430\u043b\u0430 \u043f\u043e\u0434\u0432\u043e\u0445, \u043e\u0442\u0432\u0435\u0442 87 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c 7 t\/s\" width=\"1068\" height=\"511\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/8a0\/d22\/34d\/8a0d2234d5015348adf430e72241917f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8a0\/d22\/34d\/8a0d2234d5015348adf430e72241917f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>2184 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f, \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0433\u043e \u0438\u0441\u043a\u0430\u043b\u0430 \u043f\u043e\u0434\u0432\u043e\u0445, \u043e\u0442\u0432\u0435\u0442 87 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c 7 t\/s<\/figcaption><\/div>\n<\/figure>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 7 t\/s, \u044d\u0442\u043e \u0432 2 \u0440\u0430\u0437\u0430 \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u043d\u0435\u0441\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 GPU, \u0445\u043e\u0442\u044f \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u043c\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e, \u0447\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043f\u043e\u0434\u0445\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 <code>-ot<\/code> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430:<\/p>\n<p><code>-m<\/code> &#8212; \u043f\u0443\u0442\u044c \u0434\u043e \u0444\u0430\u0439\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0443 huggingface \u0435\u0441\u0442\u044c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 50\u0433\u0431, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u0430\u0439\u043b\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044b\u0445 \u043f\u043e \u0448\u0430\u0431\u043b\u043e\u043d\u0443 00001-0000x.gguf. \u0414\u043b\u044f \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u043d\u0443\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e 1 \u0444\u0430\u0439\u043b.<\/p>\n<p><code>-fa<\/code> &#8212; flash attention, \u0441\u043f\u043e\u0441\u043e\u0431 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0442\u0440\u0430\u0442\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u0435\u043d \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 attention.<\/p>\n<p><code>-amb 512<\/code> &#8212; \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/github.com\/ikawrakow\/ik_llama.cpp\/pull\/237\" rel=\"noopener noreferrer nofollow\">\u0431\u0443\u0444\u0435\u0440 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f K*Q<\/a>, \u0440\u0430\u0437\u043c\u0435\u0440 \u0432 mb, \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p><code>-fmoe<\/code> &#8212; <a href=\"https:\/\/github.com\/ikawrakow\/ik_llama.cpp\/pull\/229\" rel=\"noopener noreferrer nofollow\">fused moe<\/a>, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 up, gate \u0438 act \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f.<\/p>\n<p><code>-mla 3<\/code> &#8212; \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c mla<\/p>\n<p><code>-ctk q8_0<\/code> &#8212; \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e k-\u043a\u044d\u0448\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u043d \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 v-\u043a\u044d\u0448\u0430.<\/p>\n<p><code>-ngl 99<\/code> &#8212; \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 GPU.<\/p>\n<p><code>-ot exps=CPU<\/code> &#8212; \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432\u0441\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0433\u0434\u0435 \u0432 \u0438\u043c\u0435\u043d\u0438 exps \u043d\u0430 CPU.<\/p>\n<p><code>-b 4096 -ub 4096<\/code> &#8212; \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u0431\u0430\u0442\u0447\u0435\u0439, \u043c\u043e\u0436\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 pp.<\/p>\n<p><code>-t 20<\/code> &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u044f\u0434\u0440\u0430, \u0447\u0442\u043e \u0435\u0441\u0442\u044c, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 8.<\/p>\n<p><code>-c 8192<\/code> &#8212; \u0437\u0430\u0434\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 8\u043a, \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 4\u043a.<\/p>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<\/p>\n<p><code>-rtr<\/code> &#8212; \u0435\u0441\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a CPU only, \u0442\u043e \u043f\u0440\u0438 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043a\u043e\u043d\u0432\u0435\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430 \u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 CPU, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442 mmap<\/p>\n<p><code>-ser 6,1<\/code> &#8212; \u0443\u043c\u043d\u043e\u0435 <a href=\"https:\/\/github.com\/ikawrakow\/ik_llama.cpp\/pull\/239\" rel=\"noopener noreferrer nofollow\">\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432<\/a>, \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443 \u0437\u0430 \u0441\u0447\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<p><code>-ts 24,16<\/code> &#8212; \u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u0434\u0432\u0435 gpu, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e \u043d\u0438\u043c \u0441\u043b\u043e\u0438 \u0432 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u0438, \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u043b\u044f dense-\u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f -ot, \u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.<\/p>\n<h2>\u0411\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 DeepSeek R1<\/h2>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043d\u044f\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0430\u043a \u0438 \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0423 ik_llama \u0435\u0441\u0442\u044c \u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0437\u0430\u043c\u0435\u0440\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. <\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u043c 3 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430, \u0432\u043d\u0430\u0447\u0430\u043b\u0435 \u043d\u0430 \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 4\u043a, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b -b \u0438 -ub \u043f\u043e-\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e:<\/p>\n<ul>\n<li>\n<p>CPU only (\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 72 \u0433\u0431\/\u0441)<\/p>\n<\/li>\n<li>\n<p>\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 4060 ti 16\u0433\u0431 (\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 288 \u0433\u0431\/\u0441)<\/p>\n<\/li>\n<li>\n<p>\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 4090 24\u0433\u0431 (\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 1008 \u0433\u0431\/\u0441)<\/p>\n<\/li>\n<\/ul>\n<p>N_KV &#8212; \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>T_PP &#8212; \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 PP.<\/p>\n<p>S_PP &#8212; \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 pp.<\/p>\n<p>S_TG &#8212; \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 tg.<\/p>\n<p>CPU only, \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u043c \u0432\u0441\u0435 CUDA \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430 \u0447\u0435\u0440\u0435\u0437 <code>CUDA_VISIBLE_DEVICES=\"\"<\/code>:<\/p>\n<p><code>CUDA_VISIBLE_DEVICES=\"\" .\/llama-sweep-bench -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ctk q8_0 -t 28 -c 4096<\/code><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/98e\/7fa\/0f1\/98e7fa0f16d46bbff8f5c35df40c34c2.png\" alt=\"\" title=\"\" width=\"934\" height=\"498\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/98e\/7fa\/0f1\/98e7fa0f16d46bbff8f5c35df40c34c2.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/98e\/7fa\/0f1\/98e7fa0f16d46bbff8f5c35df40c34c2.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>4060 ti:<\/p>\n<p><code>CUDA_VISIBLE_DEVICES=\"1\" .\/llama-sweep-bench -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ot exps=CPU -ngl 99 -ctk q8_0 -t 28 -c 4096<\/code> <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5e9\/c5b\/92b\/5e9c5b92ba6f2597a01a97766de228ed.png\" width=\"930\" height=\"447\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5e9\/c5b\/92b\/5e9c5b92ba6f2597a01a97766de228ed.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5e9\/c5b\/92b\/5e9c5b92ba6f2597a01a97766de228ed.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>4090:<\/p>\n<p><code>CUDA_VISIBLE_DEVICES=\"0\" .\/llama-sweep-bench -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ot exps=CPU -ngl 99 -ctk q8_0 -t 28 -c 4096<\/code><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/270\/e54\/5e0\/270e545e068f018fbf81d72b1dca4ea7.png\" width=\"941\" height=\"450\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/270\/e54\/5e0\/270e545e068f018fbf81d72b1dca4ea7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/270\/e54\/5e0\/270e545e068f018fbf81d72b1dca4ea7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 4060 ti \u0438 4090 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438. \u0412\u0441\u0451 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043d\u0430 GPU \u0443\u0445\u043e\u0434\u0438\u0442 \u0432\u0441\u0435\u0433\u043e ~10 \u0433\u0431 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u0438 \u043f\u0440\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u043c \u0431\u0430\u0442\u0447\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u043d\u0435 \u0442\u0430\u043a \u0437\u0430\u043c\u0435\u0442\u043d\u0430.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0437\u0430\u043c\u0435\u0440\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 32\u043a, \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043c \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0435\u0439, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <code>-b 4096 -ub 4096<\/code>. \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0435\u0439, \u043c\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c PP, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 100\u043a \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0447\u0430\u0441 \u043d\u0430 25 t\/s.<\/p>\n<p>4060 ti:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/488\/f02\/787\/488f02787c0235bf8bb1d24d4a0dc810.png\" width=\"932\" height=\"451\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/488\/f02\/787\/488f02787c0235bf8bb1d24d4a0dc810.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/488\/f02\/787\/488f02787c0235bf8bb1d24d4a0dc810.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>4090: <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ea8\/4ed\/39f\/ea84ed39faacf9cf33c20e575a09d127.png\" width=\"934\" height=\"443\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ea8\/4ed\/39f\/ea84ed39faacf9cf33c20e575a09d127.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ea8\/4ed\/39f\/ea84ed39faacf9cf33c20e575a09d127.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0422\u0443\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0430 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0443 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0440\u0442\u0430\u043c\u0438 \u0443\u0436\u0435 \u0432\u0438\u0434\u043d\u0430 \u043b\u0443\u0447\u0448\u0435, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 1 \u0422\u0431\/\u0441 \u043f\u0440\u043e\u0442\u0438\u0432 288 \u0413\u0431\/\u0441 &#8212; \u0432\u0441\u0451-\u0442\u0430\u043a\u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f. \u041d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 1 \u0422\u0431\/\u0441 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043c\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0443\u0436\u0435 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044f\u0434\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u0430\u0436\u043d\u044b\u043c.<\/p>\n<p>\u041d\u0430 4090 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c tg \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043f\u0430\u043b\u0430, \u044d\u0442\u043e \u043d\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e, \u0437\u0430\u0442\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c pp \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u043f\u043e\u0447\u0442\u0438 \u0432 10 \u0440\u0430\u0437 \u0434\u043e 200-300 t\/s. \u0421 \u0442\u0430\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b. \u041d\u0430 4060 ti pp \u0432\u044b\u0440\u043e\u0441 \u0432\u0441\u0435\u0433\u043e \u0432 1.5-2 \u0440\u0430\u0437\u0430, \u044d\u0442\u043e \u0442\u043e\u0436\u0435 \u043d\u0435 \u043f\u043b\u043e\u0445\u043e, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0437\u0430\u0439\u043c\u0435\u0442 15 \u043c\u0438\u043d\u0443\u0442, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u043d\u0430 \u0437\u0430\u043a\u044d\u0448\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e. <\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <code>-ser 6,1<\/code> \u043c\u043e\u0436\u043d\u043e \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 tg \u043e\u0442 <code>-ub 4096 -b 4096<\/code>, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f 300 t\/s \u043d\u0430 pp, \u0438 \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044f 8 t\/s \u043d\u0430 tg:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2c0\/327\/d63\/2c0327d6306ad6e00e3501b6adea0baa.png\" width=\"932\" height=\"198\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2c0\/327\/d63\/2c0327d6306ad6e00e3501b6adea0baa.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2c0\/327\/d63\/2c0327d6306ad6e00e3501b6adea0baa.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>\u041a\u0430\u043a \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432 \u043e\u0434\u043d\u0443 GPU?<\/h2>\n<p>\u041a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 GPU \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432 \u0442\u043e\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0435\u043c vram, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f.<\/p>\n<p>\u0423 DeepSeek R1 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 160\u043a, \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e, \u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043d\u0430 \u044d\u0442\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u0442\u043d\u0438 \u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044e <a href=\"https:\/\/arxiv.org\/abs\/2505.02390\" rel=\"noopener noreferrer nofollow\">Quantitative Analysis of Performance Drop in DeepSeek Model Quantization<\/a>, \u0434\u043b\u044f \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0443\u0436\u043d\u043e 400\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 llama.cpp.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5de\/c67\/19b\/5dec6719bbf3e6f84797bda523430bd8.png\" width=\"904\" height=\"387\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5de\/c67\/19b\/5dec6719bbf3e6f84797bda523430bd8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5de\/c67\/19b\/5dec6719bbf3e6f84797bda523430bd8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0442\u043e\u043c\u0443 \u0436\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044e, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0432\u0430\u043d\u0442\u0430 <a href=\"https:\/\/huggingface.co\/unsloth\/DeepSeek-R1-0528-GGUF\" rel=\"noopener noreferrer nofollow\">UD-Q2_K_XL<\/a> (\u044d\u0442\u043e \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442 Unsloth, \u0433\u043b\u0430\u0432\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u044d\u0442\u043e\u0433\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u0430\u0436\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u043e\u0447\u0435\u043d\u044c \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435, \u0430 \u043c\u0435\u043d\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u0443\u044e\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0437\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u0449\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u044b\u0441\u043e\u043a\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435) \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u043e\u043c FP8 \u043f\u0430\u0434\u0430\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432 \u0432 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e79\/021\/938\/e7902193855bc67679ba2b46faf91439.png\" width=\"804\" height=\"805\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e79\/021\/938\/e7902193855bc67679ba2b46faf91439.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e79\/021\/938\/e7902193855bc67679ba2b46faf91439.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0422\u043e\u043b\u044c\u043a\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f UD-Q2_K_XL \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0443\u0436\u0435 233\u0433\u0431, \u0430 \u043d\u0435 212\u0433\u0431, \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0451 \u0441 ssd, \u044d\u0442\u043e \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u0441\u043d\u0438\u0437\u0438\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c PP, \u043d\u043e \u0434\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0432\u0441\u0451 \u0435\u0449\u0435 \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 32\u043a \u0436\u0434\u0430\u0442\u044c \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043c\u0438\u043d\u0443\u0442 40:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7b2\/91b\/0f3\/7b291b0f377f40e1fdf0172eaf59e75d.png\" alt=\"DeepSeek-R1-0528-UD-Q2_K_XL \u0437\u0430\u043f\u0443\u0441\u043a \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0441 ssd, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 2.3 t\/s\" title=\"DeepSeek-R1-0528-UD-Q2_K_XL \u0437\u0430\u043f\u0443\u0441\u043a \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0441 ssd, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 2.3 t\/s\" width=\"907\" height=\"724\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/7b2\/91b\/0f3\/7b291b0f377f40e1fdf0172eaf59e75d.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7b2\/91b\/0f3\/7b291b0f377f40e1fdf0172eaf59e75d.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>DeepSeek-R1-0528-UD-Q2_K_XL \u0437\u0430\u043f\u0443\u0441\u043a \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0441 ssd, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 2.3 t\/s<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0432\u0430\u043d\u0442\u044b \u043e\u0442 ubergram \u043f\u043e \u0441\u0443\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0436\u0435 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 IQK \u0438 R4 \u043a\u0432\u0430\u043d\u0442\u043e\u0432. <\/p>\n<p>\u041d\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043c\u044b \u0443\u0436\u0435 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438 32\u043a \u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u043e\u0441\u044c 400\u0433\u0431 \u043f\u0430\u043c\u044f\u0442\u0438, \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442?<\/p>\n<h2>MLA \u0438 \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/h2>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0432\u0435\u0441\u0438\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0432\u044f\u0437\u0430\u043d, \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u0432\u0440\u043e\u0434\u0435 \u0446\u0435\u043f\u0435\u0439 \u041c\u0430\u0440\u043a\u043e\u0432\u0430, \u0433\u0434\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435 \u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u0438, \u0438\u0433\u0440\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0446\u0435\u043f\u044c 1 \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043e \u0432\u0441\u0435\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c, \u0447\u0442\u043e \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439. <\/p>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0412\u043d\u0438\u043c\u0430\u043d\u0438\u044f &#8212; \u044d\u0442\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c <code>O(n\u00b2)<\/code>  \u0438 \u043f\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0433\u0434\u0435 n-\u0434\u043b\u0438\u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0445\u043e\u0434 \u043f\u0430\u043c\u044f\u0442\u0438 \u0442\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e \u0440\u0430\u0441\u0442\u0435\u0442. \u0427\u0442\u043e\u0431\u044b \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u044d\u0442\u0438\u043c, \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445 \u044d\u0442\u043e Flash Attention &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0440\u044e\u043a\u0438 \u0441 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f \u043a \u043f\u0430\u043c\u044f\u0442\u0438 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u0435\u043d \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 attention.<\/p>\n<p>\u0418\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 &#8212; Sliding Window Attention (SWA), \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043a\u0435\u043d\u0443 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u044e\u0442 \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0432\u0438\u0434\u0438\u0442 \u0432\u043e\u043a\u0440\u0443\u0433 \u0441\u0435\u0431\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u043a\u0440\u0443\u0433 \u0441\u0435\u0431\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043e\u043a\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043e\u0431\u044b\u0447\u043d\u043e 4096 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0437\u0430 \u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u043b\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043d\u043e \u0432\u0437\u0430\u043c\u0435\u043d \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0432\u043d\u0435 \u043e\u043a\u043d\u0430, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0442\u0435\u0445\u043d\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>\u0412 DeepSeek \u043f\u043e\u0448\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c \u043f\u0443\u0442\u0435\u043c, \u043e\u043d\u0438 \u043f\u043e\u043f\u044b\u0442\u0430\u043b\u0438\u0441\u044c \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u0430\u043c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a attention. \u041e\u0431\u044b\u0447\u043d\u043e \u0434\u043b\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Grouped Query Attention (GQA) \u0438\u043b\u0438 Multi-Query Attention (MQA), \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f\u043c\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0431\u0435\u0437 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b. \u0412\u043c\u0435\u0441\u0442\u043e \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 DeepSeek \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 MLA (Multi-Head Latent Attention), \u0433\u0434\u0435 \u0440\u043e\u043b\u044c \u0434\u043b\u044f \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438\u0433\u0440\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043a\u0435\u043d, \u0430 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440. <\/p>\n<p>MLA &#8212; \u044d\u0442\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0438\u043b\u0438 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u044d\u0442\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0443\u0447\u0430\u0442\u0441\u044f \u0443\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0438 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u044b \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0413\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432 MLA \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, \u0430 \u0441 \u044d\u0442\u0438\u043c\u0438 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u043c\u0438. \u0417\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f &#171;\u0443\u0436\u0430\u0442\u044c&#187; KV-\u043a\u044d\u0448 \u0432 25 \u0440\u0430\u0437 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/461\/59b\/548\/46159b548ef07b417b78f0ad44b9c600.png\" alt=\"MLA \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0432 DeepSeek V2: https:\/\/arxiv.org\/abs\/2405.04434\" title=\"MLA \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0432 DeepSeek V2: https:\/\/arxiv.org\/abs\/2405.04434\" width=\"863\" height=\"381\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/461\/59b\/548\/46159b548ef07b417b78f0ad44b9c600.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/461\/59b\/548\/46159b548ef07b417b78f0ad44b9c600.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>MLA \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u0432 DeepSeek V2: <a href=\"https:\/\/arxiv.org\/abs\/2405.04434\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/abs\/2405.04434<\/a><\/figcaption><\/div>\n<\/figure>\n<p>\u0418 \u043f\u0440\u0438\u0447\u0438\u043d\u0430, \u043f\u043e\u0447\u0435\u043c\u0443 \u0432 \u0442\u043e\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0438\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c 400\u0433\u0431 \u0434\u043b\u044f 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0432 llama.cpp \u043d\u0435 \u0431\u044b\u043b\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 MLA.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 MLA, \u0443 DeepSeek \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u044f &#8212; MTP.<\/p>\n<p>MTP &#8212; \u044d\u0442\u043e \u0438\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0435\u0440\u0435\u043b\u043e\u0436\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u043f\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u0438\u043b\u0438 \u0444\u0440\u0430\u0437\u044b \u0443\u0436\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e. \u0415\u0441\u043b\u0438 \u0437\u0430\u0439\u0442\u0438 \u043d\u0430 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 deepseek-ai, \u0442\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 685B, \u0430 \u043d\u0435 671B. \u041a\u0430\u043a \u0440\u0430\u0437 14B \u044d\u0442\u043e <a href=\"https:\/\/arxiv.org\/pdf\/2412.19437\" rel=\"noopener noreferrer nofollow\">\u043c\u043e\u0434\u0443\u043b\u044c MTP<\/a>. <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fde\/a2d\/b7a\/fdea2db7a50d436bbf2ef77e5af5eb75.png\" alt=\"Model size: 685B\" title=\"Model size: 685B\" width=\"1317\" height=\"503\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/fde\/a2d\/b7a\/fdea2db7a50d436bbf2ef77e5af5eb75.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fde\/a2d\/b7a\/fdea2db7a50d436bbf2ef77e5af5eb75.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Model size: 685B<\/figcaption><\/div>\n<\/figure>\n<p>MTP, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0442\u043e\u0436\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u043e \u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u0430\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0442 MTP 85-90%, \u0447\u0442\u043e \u0434\u0430\u0435\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 1.8 \u0440\u0430\u0437\u0430.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bed\/402\/eb8\/bed402eb8dd4d567fd34377f9db28b88.png\" width=\"750\" height=\"253\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/bed\/402\/eb8\/bed402eb8dd4d567fd34377f9db28b88.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bed\/402\/eb8\/bed402eb8dd4d567fd34377f9db28b88.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412 llama.cpp \u0441\u0435\u0439\u0447\u0430\u0441 \u0435\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f <a href=\"https:\/\/github.com\/ggerganov\/llama.cpp\/pull\/10455\" rel=\"noopener noreferrer nofollow\">\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/a>, \u043d\u043e \u043e\u043d\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u0430 \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443, \u0442\u0430\u043c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Gemma3 27B \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0442\u043e-\u0442\u043e \u0438\u0437 \u0441\u0432\u043e\u0438\u0445 \u043c\u043b\u0430\u0434\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0432\u0440\u043e\u0434\u0435 Gemma3 1B.<\/p>\n<h2>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f MLA<\/h2>\n<p>\u0412 ik_llama, \u0447\u0442\u043e\u0431\u044b \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 mla \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>-fa -mla 3<\/code> . <\/p>\n<p>\u0412 llama.cpp \u0432\u0441\u0435 \u0432\u0438\u0434\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (mla, swa) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 <code>-fa<\/code> \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0435\u0441\u043b\u0438 \u0438\u0445 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0443\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u0432 \u044f\u0434\u0440\u043e.<\/p>\n<p>\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0441 -ot \u0434\u043b\u044f \u043a\u0432\u0430\u043d\u0442\u0430 IQ1_S_R4 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u044b 10.5\u0433\u0431, \u043f\u043e\u0434 \u043d\u0443\u0436\u043d\u044b \u041e\u0421, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0431\u0440\u0430\u0443\u0437\u0435\u0440, \u043d\u0430 4090 \u0443\u0445\u043e\u0434\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 1.7\u0433\u0431. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 5\u0433\u0431 \u0438 11\u0433\u0431 \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0430 4060ti \u0438 4090 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041f\u0435\u0440\u0435\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 <code>-c<\/code> \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u044d\u0442\u043e\u0442 \u043e\u0431\u044a\u0435\u043c. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u0434 \u043d\u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0435\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 -b 2048 -ub 512:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b55\/bc9\/c75\/b55bc9c750990ad4ea0064428d09f53a.png\" alt=\"\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043d\u0430 GPU, b\/ub \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 -b 2048 -ub 512\" title=\"\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043d\u0430 GPU, b\/ub \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 -b 2048 -ub 512\" width=\"934\" height=\"151\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b55\/bc9\/c75\/b55bc9c750990ad4ea0064428d09f53a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b55\/bc9\/c75\/b55bc9c750990ad4ea0064428d09f53a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043d\u0430 GPU, b\/ub \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 -b 2048 -ub 512<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0435\u0439 -b 4096 -ub 4096:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/091\/0bc\/03c\/0910bc03ccb65ec1f3dbcae07bf5c761.png\" alt=\"\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043d\u0430 GPU, \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, -b 4096 -ub 4096\" title=\"\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043d\u0430 GPU, \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, -b 4096 -ub 4096\" width=\"940\" height=\"152\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/091\/0bc\/03c\/0910bc03ccb65ec1f3dbcae07bf5c761.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/091\/0bc\/03c\/0910bc03ccb65ec1f3dbcae07bf5c761.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u044b \u043d\u0430 GPU, \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, -b 4096 -ub 4096<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0432\u044b\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043d\u0430 GPU \u0441\u043e\u0432\u0441\u0435\u043c, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0432\u0441\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c<code>-ngl 0<\/code>. \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 160\u043a \u0431\u0435\u0437 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 14\u0433\u0431 \u043f\u0440\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0431\u0430\u0442\u0447\u0435\u0439 \u0438 18\u0433\u0431 \u043f\u0440\u0438 4096.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0442\u043e\u0442 \u0436\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 160\u043a, \u0432\u0441\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430 CPU:<\/p>\n<p><code>CUDA_VISIBLE_DEVICES=\"0\" .\/llama-sweep-bench -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ot exps=CPU -ngl 0 -ctk q8_0 -t 28 -c 163840 -ngl 31 -b 4096 -ub 4096<\/code><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/426\/e5b\/144\/426e5b1443fa9a83a5fcdb7883504b66.png\" alt=\"\" title=\"\" width=\"943\" height=\"150\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/426\/e5b\/144\/426e5b1443fa9a83a5fcdb7883504b66.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/426\/e5b\/144\/426e5b1443fa9a83a5fcdb7883504b66.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c tg \u0443\u043f\u0430\u043b\u0430 \u0434\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 2.85 t\/s \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 &#171;CPU only&#187;. \u041d\u043e \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u043d\u0430 \u0431\u044b\u0441\u0442\u0440\u043e \u0443\u043f\u0430\u0434\u0435\u0442 \u0434\u043e 1, \u0430 \u043f\u043e\u0434 \u043a\u043e\u043d\u0435\u0446 \u0438 \u0434\u043e 0.5 t\/s. \u0410 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c PP \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u043a\u0430\u043a \u0438 \u0431\u044b\u043b\u0430 \u043d\u0430 GPU, \u043e\u043a\u043e\u043b\u043e 200-300 t\/s, \u043d\u043e \u043f\u043e\u0434 \u043a\u043e\u043d\u0435\u0446 160\u043a \u043e\u043d\u0430 \u0443\u043f\u0430\u0434\u0451\u0442 \u0434\u043e 75 t\/s.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c &#171;\u0441\u043b\u043e\u0436\u0435\u043d\u0438\u0435&#187; \u0434\u0432\u0443\u0445 GPU. \u041e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043e\u0442 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u0443\u043c\u043c\u0435 \u0438\u0445 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u0432 126\u043a. \u041d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0432 \u0434\u0432\u0435 GPU \u043c\u043e\u0436\u043d\u043e \u0443\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432\u0441\u0435\u0433\u043e 110\u043a \u0441 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435\u043c q8_0, \u0447\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u0430\u0441\u0447\u0435\u0442\u0430\u043c\u0438. \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u043e\u043b\u044c\u0437\u0430 \u043e\u0442 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u044b, \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044f 6\u0433\u0431 \u043d\u0430 gpu1 \u0438 3\u0433\u0431 \u043d\u0430 gpu2, \u0442\u0435\u043c \u0441\u0430\u043c\u044b\u043c \u043e\u0441\u0432\u043e\u0431\u043e\u0436\u0434\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0430 \u0441\u0430\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445 GPU \u043f\u043e\u0447\u0442\u0438 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u0438\u0442\u044c 40\u043a + 86\u043a. \u041b\u043e\u0433\u0438\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0432\u0443\u0445 GPU \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043d\u0435 \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u0430.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0440 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0434\u0432\u0443\u0445 GPU \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 110\u043a:<\/p>\n<p><code>.\/llama-sweep-bench -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ot exps=CPU -ngl 99 -ts 20,10 -b 4096 -ub 4096 -ctk q8_0 -t 28 -c 112640<\/code> <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/803\/d8d\/dfb\/803d8ddfb7bcf5bc71659b95da363fa9.png\" alt=\"4090 + 4060ti, 110k \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\" title=\"4090 + 4060ti, 110k \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\" width=\"666\" height=\"242\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/803\/d8d\/dfb\/803d8ddfb7bcf5bc71659b95da363fa9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/803\/d8d\/dfb\/803d8ddfb7bcf5bc71659b95da363fa9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>4090 + 4060ti, 110k \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u0438 pp \u043f\u0440\u043e\u0441\u0435\u043b\u0438 \u0438\u0437-\u0437\u0430 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0439 4060, \u043d\u043e \u0432\u0441\u0451 \u0435\u0449\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u044b \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0436\u0434\u0430\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u043b\u0433\u043e.<\/p>\n<h2>\u0417\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043c \u0442\u0435\u0441\u0442\u044b<\/h2>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043a\u043e\u0433\u0434\u0430 \u0442\u0435\u043e\u0440\u0438\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u043a\u0430\u043a \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c\u0441\u044f \u0438 \u043a\u0430\u043a \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043a\u0430\u043a \u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u041a\u043e\u0434\u043e\u0432\u043e\u0439 \u0431\u0430\u0437\u044b \u043d\u0430 100\u043a \u0443 \u043c\u0435\u043d\u044f \u043d\u0435\u0442, \u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0447\u0443\u0436\u043e\u0439 &#8212; \u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u0438\u043d \u0438\u0437 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 &#8212; \u044d\u0442\u043e \u0432\u0437\u044f\u0442\u044c \u0437\u043d\u0430\u043a\u043e\u043c\u0443\u044e \u043a\u043d\u0438\u0433\u0443 \u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043d\u0435\u0439, \u0441\u043c\u043e\u0436\u0435\u0442 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0432\u0441\u044e \u043a\u043d\u0438\u0433\u0443, \u0432\u044b\u0434\u0430\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0444\u0430\u043a\u0442\u044b \u0438\u0437 \u043d\u0430\u0447\u0430\u043b\u0430, \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b \u0438 \u043a\u043e\u043d\u0446\u0430, \u0438 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u043e \u043e\u0442\u0432\u0435\u0442\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438\u043b\u0438 \u043e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0441\u043b\u043e\u0432\u0430 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u0427\u0430\u0441\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (7b, 12b, 14b) \u0443\u0436\u0435 \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0432 32\u043a \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0434\u0430\u044e\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d.<\/p>\n<p>\u041d\u0443\u0436\u043d\u0430 \u043a\u043d\u0438\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u043e\u0447\u043d\u043e \u043d\u0435\u0442 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u041b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u041e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0439. \u0422\u0435\u043a\u0441\u0442 \u043a\u043d\u0438\u0433\u0438 \u043d\u0443\u0436\u043d\u043e \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442, \u0442\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u0437\u0430\u0434\u0430\u0432\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u043e \u043d\u0435\u043c\u0443. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 RAG, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u043a\u0443\u0441\u043e\u0447\u043a\u0438, \u0441\u043e\u0437\u0434\u0430\u0451\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u0443\u044e \u0411\u0414 \u0438 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043a\u0443\u0441\u043e\u0447\u043a\u0438, \u0438 \u043f\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0441\u043b\u043e\u0432\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u0435\u0442 \u044d\u0442\u0438 \u043a\u0443\u0441\u043e\u0447\u043a\u0438 \u0438 \u043f\u043e\u0434\u043c\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u0438\u0445 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0442\u0430\u043a\u0438\u0435 \u043a\u0443\u0441\u043e\u0447\u043a\u0438 \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0434\u0440\u0443\u0433 \u0441 \u0434\u0440\u0443\u0433\u043e\u043c \u0435\u0434\u0438\u043d\u044b\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438, \u043d\u043e \u043d\u0435 \u0434\u043b\u044f \u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u043a\u043d\u0438\u0433\u0438. \u0418 \u044d\u0442\u043e \u043d\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0447\u0438\u0441\u0442\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442. <\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u043f\u0443\u0441\u0442\u044b\u043c \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u043c \u0432 \u0441\u0432\u043e\u0435\u043c &#171;\u0431\u0430\u0437\u043e\u0432\u043e\u043c&#187; \u0432\u0438\u0434\u0435. \u041e\u043d\u0430 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u043e \u041b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0435 \u041e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u043d\u043e \u0447\u0442\u043e-\u0442\u043e \u0437\u043d\u0430\u0435\u0442 \u043f\u0440\u043e \u0446\u0438\u043a\u043b \u0414\u043e\u0437\u043e\u0440\u044b, \u0447\u0442\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e88\/845\/ad9\/e88845ad9fb379e34bcca7c41548d68f.png\" alt=\"\u041f\u0443\u0441\u0442\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442\" title=\"\u041f\u0443\u0441\u0442\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442\" width=\"1071\" height=\"600\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e88\/845\/ad9\/e88845ad9fb379e34bcca7c41548d68f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e88\/845\/ad9\/e88845ad9fb379e34bcca7c41548d68f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0443\u0441\u0442\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043f\u043e\u0434\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043a\u043d\u0438\u0433\u0430, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0443\u0442\u0438\u043b\u0438\u0442\u043e\u0439 llama-tokenize, \u0438 \u043d\u0443\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u0432\u0441\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u044b.<\/p>\n<p>linux:<\/p>\n<p><code>.\/llama-tokenize -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -f book.txt | wc -l<\/code><\/p>\n<p>windows powershell:<\/p>\n<p><code>.\\llama-tokenize.exe -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -f book.txt | Measure-Object -Line | Select-Object -ExpandProperty Lines<\/code><\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u043d\u0438\u0433\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f 215\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043d\u0435 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u043d\u0438 \u0432 110\u043a, \u043d\u0438 \u0434\u0430\u0436\u0435 \u0432 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 160\u043a. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <code>-c<\/code>  \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f context shift, \u043e\u043d \u043e\u0431\u0440\u0435\u0437\u0430\u0435\u0442 \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u044d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u0440\u0435\u0436\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043a\u043d\u0438\u0433\u0438.<\/p>\n<p>\u0412 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0441\u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d \u0442\u0435\u043a\u0441\u0442 \u0432\u0441\u0435\u0439 \u043a\u043d\u0438\u0433\u0438, context shift \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043c \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u044e\u0436\u0435\u0442:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1dc\/a56\/00f\/1dca5600f818608b78d8224c7deb1ce3.png\" width=\"1073\" height=\"930\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/1dc\/a56\/00f\/1dca5600f818608b78d8224c7deb1ce3.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1dc\/a56\/00f\/1dca5600f818608b78d8224c7deb1ce3.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u0443\u0434\u0438\u0432\u043b\u044f\u0435\u0442, \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0442\u043e-\u0442\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. <\/p>\n<p>\u0412\u0442\u043e\u0440\u043e\u0435 &#8212; \u0442\u043e, \u043e\u043d\u0430 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u0441\u0432\u044f\u0437\u043d\u043e\u0435, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0432 \u0446\u0435\u043b\u043e\u043c \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432\u0435\u0440\u043d\u043e, \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0433\u0435\u0440\u043e\u044f \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u0430 \u0432\u0435\u0440\u043d\u043e, \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441 \u041d\u0435\u0443\u0434\u0430\u0447\u043d\u0438\u043a\u043e\u043c \u043e\u043f\u0438\u0441\u0430\u043d \u0432\u0435\u0440\u043d\u043e. \u041d\u043e \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u043a\u043d\u0438\u0433\u0438 \u043d\u0435 \u0443\u0447\u0442\u0435\u043d\u044b, \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430 context shift.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a context shift \u0434\u0430\u0451\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442, \u043c\u043e\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0441\u0438\u0432 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0432\u0435\u0449\u044c \u0438\u0437 \u043a\u043d\u0438\u0433\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u043f\u0438\u0433\u0440\u0430\u0444 \u0438\u0437 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430. \u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0434\u0443\u043c\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u043d\u0438\u0447\u0435\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0441 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u043e\u043c:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cce\/df4\/cb7\/ccedf4cb7e786eb4a1506dc5656601be.png\" alt=\"context shift \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\" title=\"context shift \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\" width=\"1018\" height=\"502\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cce\/df4\/cb7\/ccedf4cb7e786eb4a1506dc5656601be.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cce\/df4\/cb7\/ccedf4cb7e786eb4a1506dc5656601be.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>context shift \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/figcaption><\/div>\n<\/figure>\n<p>\u0423\u0440\u0435\u0436\u0435\u043c \u043a\u043d\u0438\u0433\u0443 \u0434\u043e 100\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0435\u043f\u0435\u0440\u044c \u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442. \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u0442\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441, \u0438 \u0434\u0430, \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/939\/ece\/919\/939ece919421b269acfc548d0dfb01f9.png\" alt=\"110\u043a, \u0431\u0435\u0437 context shift, \u0446\u0438\u0442\u0430\u0442\u0430 \u0432\u0435\u0440\u043d\u0430\" title=\"110\u043a, \u0431\u0435\u0437 context shift, \u0446\u0438\u0442\u0430\u0442\u0430 \u0432\u0435\u0440\u043d\u0430\" width=\"1064\" height=\"619\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/939\/ece\/919\/939ece919421b269acfc548d0dfb01f9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/939\/ece\/919\/939ece919421b269acfc548d0dfb01f9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>110\u043a, \u0431\u0435\u0437 context shift, \u0446\u0438\u0442\u0430\u0442\u0430 \u0432\u0435\u0440\u043d\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c MLA \u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0438 \u043a\u043e\u043d\u0446\u043e\u043c, \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0446\u0438\u0442\u0430\u0442\u0443 \u0438\u0437 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0439\u0442\u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u044d\u0442\u0430 \u0446\u0438\u0442\u0430\u0442\u0430, \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438 \u043f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0438\u0430\u043b\u043e\u0433 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<blockquote>\n<p>\u0412 \u043a\u0430\u043a\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043a\u043d\u0438\u0433\u0438 \u043a\u0442\u043e-\u0442\u043e \u0441\u043a\u0430\u0437\u0430\u043b &#171;\u0417\u0432\u0451\u0437\u0434\u044b \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u044f\u0440\u043a\u0438\u0435.&#187;? \u041f\u0440\u043e\u0446\u0438\u0442\u0438\u0440\u0443\u0439 \u0432\u0435\u0441\u044c \u0434\u0438\u0430\u043b\u043e\u0433<\/p>\n<\/blockquote>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ddf\/cb4\/d49\/ddfcb4d49e5ed7739e5f21853eaddcb2.png\" alt=\"100\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b \u043a\u043d\u0438\u0433\u0438, \u0434\u0438\u0430\u043b\u043e\u0433 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u0439\" title=\"100\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b \u043a\u043d\u0438\u0433\u0438, \u0434\u0438\u0430\u043b\u043e\u0433 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u0439\" width=\"931\" height=\"511\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ddf\/cb4\/d49\/ddfcb4d49e5ed7739e5f21853eaddcb2.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ddf\/cb4\/d49\/ddfcb4d49e5ed7739e5f21853eaddcb2.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>100\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0437 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b \u043a\u043d\u0438\u0433\u0438, \u0434\u0438\u0430\u043b\u043e\u0433 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u0439<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435, \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435. \u041e\u0448\u0438\u0431\u043a\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u0433\u043b\u0430\u0432\u0430 010, \u0430 \u043d\u0435 011. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u043c\u0435\u0440\u0430\u0446\u0438\u044f \u0433\u043b\u0430\u0432 \u0432 \u043a\u043d\u0438\u0433\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0430 \u0432 \u0434\u0432\u043e\u0438\u0447\u043d\u043e\u043c \u0432\u0438\u0434\u0435. <\/p>\n<h2>160\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 4090<\/h2>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u044f DeepSeek R1, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 160\u043a. \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 PP \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u043d\u0430 GPU, \u0430 \u043d\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043e\u0442\u0432\u0435\u0442\u0430 TG \u043d\u0430 CPU, \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043f\u0430\u043c\u044f\u0442\u0438, \u0434\u043e\u0433\u0440\u0443\u0437\u0438\u043c GPU \u0446\u0435\u043b\u044b\u043c\u0438 \u0441\u043b\u043e\u044f\u043c\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0431\u044b\u043b\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u044b\u0435, \u0442\u043e \u0442\u0443\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u043e\u0439. \u042d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043b\u0438 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u043c \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0432 \u0442\u0430\u043a\u043e\u043c \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438.<\/p>\n<p><code>.\/llama-server -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ot exps=CPU -ngl 18 -ts 24,0 -ctk q8_0 -ctv q8_0 -b 4096 -ub 4096 -t 28 -c 163840<\/code><\/p>\n<p>\u0423\u0434\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c 18 \u0441\u043b\u043e\u0435\u0432, \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u043b <code>-ctv q8_0<\/code>, \u043f\u043e \u0438\u0434\u0435\u0435 \u044d\u0442\u043e \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435, \u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u0431 \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0442\u044c\u0441\u044f. <\/p>\n<p>\u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0434\u043e 128\u043a \u0438 \u0442\u0443\u0442 \u043c\u044b \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u0441 \u043f\u0435\u0440\u0432\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439:<\/p>\n<p>&#171;`cpy.cu:573: GGML_ASSERT(ggml_nbytes(src0) &lt;= INT_MAX) failed&#171;`<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1e3\/18a\/f12\/1e318af1282163f372005e30f02d1129.png\" alt=\"\u041b\u043e\u0433\u0438 \u043f\u0440\u043e\u0433\u0440\u0443\u0437\u043a\u0438 160\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\" title=\"\u041b\u043e\u0433\u0438 \u043f\u0440\u043e\u0433\u0440\u0443\u0437\u043a\u0438 160\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\" width=\"1235\" height=\"668\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/1e3\/18a\/f12\/1e318af1282163f372005e30f02d1129.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1e3\/18a\/f12\/1e318af1282163f372005e30f02d1129.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u043e\u0433\u0438 \u043f\u0440\u043e\u0433\u0440\u0443\u0437\u043a\u0438 160\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u0437-\u0437\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0431\u0430\u0442\u0447\u0430 4096 \u043c\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u043b\u0438 \u0438 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u043b\u0438 \u043b\u0438\u043c\u0438\u0442 INT_MAX. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0438\u043b\u0438 \u043d\u0435\u0442, \u043f\u043e\u043a\u0430 \u043d\u0435 \u044f\u0441\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u0441\u043d\u0438\u0437\u0438\u0442\u044c -b -ub, \u0447\u0442\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c PP, \u043d\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0423\u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u0430\u0442\u0447\u0430, \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u044c, \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043b\u043e\u0435\u0432 \u043d\u0430 GPU, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043e\u0442\u0432\u0435\u0442\u0430:<\/p>\n<p><code>.\/llama-server -m \"DeepSeek-R1-0528-IQ1_S_R4-00001-of-00003.gguf\" -mla 3 -fa -amb 512 -fmoe -ot exps=CPU -ngl 30 -ts 24,0 -ctk q8_0 -ctv q8_0 -b 2048 -ub 2048 -t 28 -c 163840<\/code><\/p>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c PP \u043f\u043e\u0434 \u043a\u043e\u043d\u0435\u0446 \u0443\u043f\u0430\u043b\u0430 \u0434\u043e 75 t\/s, \u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0432\u0441\u0435\u0433\u043e 0.5 t\/s:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f04\/3f9\/613\/f043f9613dcd813280abd4659e775567.png\" width=\"512\" height=\"150\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f04\/3f9\/613\/f043f9613dcd813280abd4659e775567.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f04\/3f9\/613\/f043f9613dcd813280abd4659e775567.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0417\u0430\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043d\u0430 160\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0441\u0451 \u0435\u0449\u0435 \u043d\u0435 \u0443\u0442\u0440\u0430\u0442\u0438\u043b\u0430 \u0441\u0432\u044f\u0437\u044c \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0438 \u0441\u0430\u043c \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u044d\u0442\u0438\u0445 160\u043a, \u0442\u0430\u043a \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u044f\u0437\u043a\u0430 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0432 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f 55\u043a.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f11\/a69\/866\/f11a69866359b2e515288c5ea9fa82ae.png\" width=\"956\" height=\"545\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f11\/a69\/866\/f11a69866359b2e515288c5ea9fa82ae.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f11\/a69\/866\/f11a69866359b2e515288c5ea9fa82ae.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0427\u0442\u043e\u0431\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 GPU \u043d\u0435 \u0445\u0432\u0430\u0442\u0438\u043b\u043e \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e 4-5\u0433\u0431, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u0443 \u0440\u0430\u0431\u043e\u0442\u0443 \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0434\u043b\u044f 5090, \u0430 \u0434\u043b\u044f 4090 \u043f\u0440\u0435\u0434\u0435\u043b\u043e\u043c \u0431\u0443\u0434\u0435\u0442 80\u043a.<\/p>\n<h2>\u0411\u043e\u043d\u0443\u0441. \u041e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0430 LLama 4 \u0438 Gemma3<\/h2>\n<p>DeepSeek \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0435\u0441\u0442\u044c MLA. \u0414\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f SWA &#8212; \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u043e\u043a\u043d\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<p>\u041d\u0435\u0434\u0430\u0432\u043d\u043e \u0432 llama.cpp \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/13194\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 SWA<\/a>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0440\u0435\u0431\u0443\u044f \u043c\u0430\u043b\u043e \u043f\u0430\u043c\u044f\u0442\u0438. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043d\u0438\u0436\u0435 \u0447\u0435\u043c \u0443 MLA, \u0442\u0430\u043a \u043a\u0430\u043a \u0443\u0445\u043e\u0434\u044f \u0437\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043e\u043a\u043d\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0447\u0438\u0441\u0442\u043a\u0430 SWA-\u043a\u044d\u0448\u0430 \u0438, \u043f\u043e\u0441\u043b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u0438 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043e\u043a\u043d\u0430, \u0437\u0430\u0431\u044b\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e. \u042d\u0442\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u043f\u043e\u043a\u0430 \u043d\u0435\u0442 \u0432 ik_llama, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043d\u0430\u0434\u043e \u043d\u0430 llama.cpp.<\/p>\n<p>SWA \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u0434\u043b\u044f Llama 4 \u0438 \u0434\u043b\u044f Gemma3, \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 <code>-fa<\/code>, \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c <code>--swa-full<\/code>, \u0432 \u044d\u0442\u043e\u043c \u0440\u0435\u0436\u0438\u043c\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u044d\u0448\u0430 SWA \u0440\u0430\u0432\u0435\u043d \u043f\u043e\u043b\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443, \u043e\u0447\u0438\u0449\u0435\u043d\u0438\u044f SWA \u043a\u044d\u0448\u0430 \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u043d\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 SWA context shift \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0423 Llama 4 Scout (108B-A17B) \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 10\u043c, \u0423 Llama 4 Maverick (401B-A17B) &#8212; 1\u043c. \u042d\u0442\u043e\u0433\u043e \u0445\u0432\u0430\u0442\u0438\u0442, \u0447\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043a\u043d\u0438\u0433\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0423 Gemma3 27B \u0442\u043e\u043b\u044c\u043a\u043e 128\u043a, \u043d\u043e \u043e\u043d\u0430 \u0441\u043b\u0430\u0432\u0438\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0435\u043c \u0435\u0451 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043e\u0447\u0435\u043d\u044c \u0442\u044f\u0436\u0435\u043b\u044b\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 SWA \u0434\u043e\u043b\u0436\u0435\u043d \u0441 \u044d\u0442\u0438\u043c \u043f\u043e\u043c\u043e\u0447\u044c.<\/p>\n<p>Gemma3 \u044d\u0442\u043e Dense \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 Llama 4 \u044d\u0442\u043e MoE, \u0443 Scout 16 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 \u0443 Maverick 128. \u0423 Llama 4 \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0449\u0438\u0445 \u0441\u043b\u043e\u0435\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u044b\u0434\u0430\u044e\u0442 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <code>-ot<\/code>, \u0430 Gemma3 \u0432 \u0446\u0435\u043b\u043e\u043c \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u0430\u044f.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u044b Llama 4 \u0438 Gemma3 \u043d\u0430\u0439\u0434\u0443\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443 \u043a\u043d\u0438\u0433\u0438:<\/p>\n<p><code>.\/llama-tokenize -m \"Llama-4-Maverick-17B-128E-Instruct-UD-Q3_<br \/>K_XL-00001-of-00004.gguf\" -f \"<u>labir_otra.txt\"<\/u> | wc -l<\/code><br \/><code>&gt; 182120<\/code><\/p>\n<p><code>.\\llama-tokenize.exe -m \"gemma-3-27b-it-Q4_K_M.gguf\" -f \"labir_otra.txt\" | Measure-Object -Line | Select-Object -ExpandProperty Lines<\/code><br \/><code>&gt; 190549<\/code><\/p>\n<p>177\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443 Llama4 \u0438 186\u043a \u0443 Gemma3. \u0412\u0438\u0434\u0438\u043c\u043e \u0443 \u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c, \u043d\u043e \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u043e\u043a\u0430 \u043d\u0435 \u044f\u0441\u043d\u043e. <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0447\u0435\u0440\u0435\u0437 llama.cpp, \u043b\u043e\u0433\u0438\u043a\u0430 \u0442\u0430\u043a\u0430\u044f \u0436\u0435 \u043a\u0430\u043a \u0438 \u0440\u0430\u043d\u044c\u0448\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0431\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 llama.cpp. \u041c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0441 <code>-fa<\/code>, \u0435\u0441\u043b\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u044d\u0448\u0435\u0439 \u043d\u0435 \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0438 <code>-ctv q8_0<\/code>:<\/p>\n<h4>Llama 4 Maverick<\/h4>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c 350\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u0437 ub\/b \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 210\u043a \u0434\u043b\u044f <code>-ub 3072 -b 3072<\/code><\/p>\n<p>\u041a\u0432\u0430\u043d\u0442 UD-Q3_K_XL.<\/p>\n<p><code>.\/llama-server -m \"Llama-4-Maverick-17B-128E-Instruct-UD-Q3_K_XL-00001-of-00004.gguf\" -fa -ctk q8_0 -ctv q8_0 -c 215040 -ot exps=CPU -ngl 99 -ts 24,0 -t 28<\/code><\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u043b\u0430 \u0432\u043c\u0435\u0441\u0442\u0435 \u0447\u0430\u0441\u0442\u0438, \u043d\u043e \u0432 3 \u0447\u0430\u0441\u0442\u0438 8 \u0433\u043b\u0430\u0432, \u0430 \u043d\u0435 4. \u0412\u0438\u0434\u0438\u043c\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0431\u0438\u0432\u0430\u0435\u0442 \u043d\u0443\u043c\u0435\u0440\u0430\u0446\u0438\u044f \u0432 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u044f\u0432\u043d\u043e \u0435\u0439 \u044d\u0442\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c. <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ee5\/244\/f88\/ee5244f88aa2731992a971c84f56f810.png\" alt=\"\" title=\"\" width=\"952\" height=\"718\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ee5\/244\/f88\/ee5244f88aa2731992a971c84f56f810.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ee5\/244\/f88\/ee5244f88aa2731992a971c84f56f810.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0446\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u044b. \u0426\u0438\u0442\u0430\u0442\u0430 \u0442\u043e\u0447\u043d\u0430\u044f, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0435. \u0413\u043b\u0430\u0432\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0430 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0447\u0430\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0443\u043c\u0430\u043b\u0430 \u043f\u043e \u0442\u043e\u043c\u0443, \u0433\u0434\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0433\u0435\u0440\u043e\u0438, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 &#171;\u0427\u0410\u0421\u0422\u042c \u0412\u0422\u041e\u0420\u0410\u042f. \u041b\u0410\u0411\u0418\u0420\u0418\u041d\u0422&#187;:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d3\/f40\/61c\/9d3f4061ca797cb9a7c5eb5b79542d36.png\" alt=\"Llama 4 Maverick, \u043a\u043d\u0438\u0433\u0430 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435\" title=\"Llama 4 Maverick, \u043a\u043d\u0438\u0433\u0430 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435\" width=\"928\" height=\"666\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9d3\/f40\/61c\/9d3f4061ca797cb9a7c5eb5b79542d36.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d3\/f40\/61c\/9d3f4061ca797cb9a7c5eb5b79542d36.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Llama 4 Maverick, \u043a\u043d\u0438\u0433\u0430 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u043f\u0443\u0442\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043e\u043d\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u0438\u0432\u043d\u043e\u0439 \u043b\u0430\u0440\u0451\u043a \u044d\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0431\u0430\u0440 \u0438 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c \u043f\u0440\u043e &#171;\u0416\u0434\u0438\u0442\u0435 \u043e\u0442\u0441\u0442\u043e\u044f \u043f\u0435\u043d\u044b&#187;.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b14\/5ac\/07d\/b145ac07d81439bbef2818d9ebd04170.png\" alt=\"llama 4 maverick, \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435\" title=\"llama 4 maverick, \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435\" width=\"985\" height=\"909\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b14\/5ac\/07d\/b145ac07d81439bbef2818d9ebd04170.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b14\/5ac\/07d\/b145ac07d81439bbef2818d9ebd04170.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>llama 4 maverick, \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435<\/figcaption><\/div>\n<\/figure>\n<p> \u0421 \u044d\u0442\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e. \u0422\u043e \u0435\u0441\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 SWA \u043e\u043a\u043d\u0430 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 32\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u043d\u0451\u043c \u0436\u0435 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<blockquote>\n<p>\u0412 \u043a\u0430\u043a\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0431\u044b\u043b\u0430 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430 Roll Over Beethoven? \u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0434\u0430\u043b\u044c\u0448\u0435?<\/p>\n<\/blockquote>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78d\/8b0\/286\/78d8b0286ebb21cc5a7b6baf2926d74c.png\" alt=\"Llama 4 Maverick, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\" title=\"Llama 4 Maverick, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f\" width=\"929\" height=\"369\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/78d\/8b0\/286\/78d8b0286ebb21cc5a7b6baf2926d74c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78d\/8b0\/286\/78d8b0286ebb21cc5a7b6baf2926d74c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Llama 4 Maverick, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0432\u0441\u0451 \u044d\u0442\u043e \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043e\u0434\u043d\u043e\u0439 \u0433\u043b\u0430\u0432\u044b.<\/p>\n<p>\u041d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0435\u0441\u0442 4060 ti, \u0432 \u043d\u0435\u0451 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 70\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441 ub\/b 4096. \u041e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 pp \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f, \u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043f\u043e\u043b\u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u0430\u044f. <\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2e9\/ad1\/877\/2e9ad187775e5730da04c60190d3f448.png\" alt=\"4060 ti \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 70\u043a, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c pp \u043d\u0438\u0437\u043a\u0430\u044f, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c tg \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f\" title=\"4060 ti \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 70\u043a, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c pp \u043d\u0438\u0437\u043a\u0430\u044f, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c tg \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f\" width=\"1082\" height=\"211\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2e9\/ad1\/877\/2e9ad187775e5730da04c60190d3f448.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2e9\/ad1\/877\/2e9ad187775e5730da04c60190d3f448.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>4060 ti \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 70\u043a, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c pp \u043d\u0438\u0437\u043a\u0430\u044f, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c tg \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u0442\u0432\u0435\u0442 \u0441\u043d\u043e\u0432\u0430 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0430\u0431\u0437\u0430\u0442\u0446\u0430.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fe\/5a4\/910\/4fe5a491096df8cd4699d67b05a8b473.png\" alt=\"4060 ti \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 70\u043a, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0448\u043b\u0430 \u043c\u0435\u0441\u0442\u043e\" title=\"4060 ti \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 70\u043a, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0448\u043b\u0430 \u043c\u0435\u0441\u0442\u043e\" width=\"911\" height=\"261\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4fe\/5a4\/910\/4fe5a491096df8cd4699d67b05a8b473.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4fe\/5a4\/910\/4fe5a491096df8cd4699d67b05a8b473.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>4060 ti \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 70\u043a, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0448\u043b\u0430 \u043c\u0435\u0441\u0442\u043e<\/figcaption><\/div>\n<\/figure>\n<h4>Llama 4 Scout<\/h4>\n<p>Maverick \u0432 \u0446\u0435\u043b\u043e\u043c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u0442\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 SWA. \u041d\u043e \u0432\u043e\u0442 \u0443 Scout \u0441 \u044d\u0442\u0438\u043c \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0445\u0443\u0436\u0435, \u043e\u0442\u0432\u0435\u0442\u044b \u0445\u0430\u043e\u0442\u0438\u0447\u043d\u044b\u0435 \u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435, \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0435 \u043a\u0443\u0434\u0430 \u043d\u0430\u0434\u043e. \u0412\u0438\u0434\u0438\u043c\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u0443 Maverick 128 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0430 \u0443 Scout \u0442\u043e\u043b\u044c\u043a\u043e 16. <\/p>\n<p>\u041a\u0432\u0430\u043d\u0442 UD-Q4_K_XL. <\/p>\n<p>\u0422\u043e\u0442 \u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 32\u043a. \u041e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u043b\u043e\u0433\u0438\u043a\u0435, Scout \u043f\u0438\u0448\u0435\u0442, \u0447\u0442\u043e \u0433\u0435\u0440\u043e\u0439 \u0443\u0436\u0435 \u0432 \u0440\u0435\u0441\u0442\u043e\u0440\u0430\u043d\u0435 \u0438 \u0442\u0430\u043c \u0438 \u0432\u0437\u044f\u043b \u0434\u0438\u0441\u043a, \u0447\u0442\u043e \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0438 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a\u0441\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0435\u0445\u0430\u0442\u044c \u0432 \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 \u0440\u0435\u0441\u0442\u043e\u0440\u0430\u043d, \u0433\u0434\u0435 \u043e\u043d \u0443\u0436\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0432\u0435\u0440\u0441\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0430\u0431\u0435\u0435 Maverick \u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0443\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0434\u0430\u0436\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0435.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2c2\/6f4\/b2f\/2c26f4b2f83a2b97acae6e7738139707.png\" width=\"884\" height=\"363\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2c2\/6f4\/b2f\/2c26f4b2f83a2b97acae6e7738139707.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2c2\/6f4\/b2f\/2c26f4b2f83a2b97acae6e7738139707.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>Gemma3<\/h4>\n<p>\u0423 Gemma3 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0431\u0435\u0437 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043b\u0438\u043d\u043d\u0435\u0435 32\u043a, \u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u0446\u0438\u043a\u043b\u0435\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d, \u044d\u0442\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u0435\u0437 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f kv-\u043a\u044d\u0448\u0430. \u0412 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043e\u0442\u0432\u0435\u0442\u044b \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u043d\u0435\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435, 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 2.5\u0433\u0431 \u0431\u0435\u0437 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 <code>-ctk q8_0 -ctv q8_0<\/code>, \u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0439 128\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~7\u0433\u0431, \u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f, \u0432\u0441\u0435\u0433\u043e 27B, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0442\u0430\u043a\u043e\u043c \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u0435\u0431\u044f \u043f\u043b\u043e\u0445\u043e.<\/p>\n<p>\u041a\u0432\u0430\u043d\u0442 Q8_0, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0443\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0434\u0430\u0436\u0435 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0438\u0437 \u043e\u0431\u0440\u044b\u0432\u043a\u043e\u0432 \u0444\u0440\u0430\u0437 \u043a\u043d\u0438\u0433\u0438, \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u0433\u0435\u0440\u043e\u0439 \u0432\u0435\u0440\u043d\u0443\u043b\u0441\u044f \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 SWA, \u043d\u043e \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 <code>--swa-full<\/code> \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4e2\/ac1\/0a3\/4e2ac10a3313f4cf0a4a682b2cc3af90.png\" alt=\"Gemma3 27b, 32\u043a, \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439\" title=\"Gemma3 27b, 32\u043a, \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439\" width=\"943\" height=\"478\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4e2\/ac1\/0a3\/4e2ac10a3313f4cf0a4a682b2cc3af90.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4e2\/ac1\/0a3\/4e2ac10a3313f4cf0a4a682b2cc3af90.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Gemma3 27b, 32\u043a, \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439<\/figcaption><\/div>\n<\/figure>\n<h2>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u0438\u0442\u044c\u0441\u044f \u0441 \u043a\u043e\u043d\u0441\u043e\u043b\u044c\u044e<\/h2>\n<h4>oobabooga \/ text-generation-webui<\/h4>\n<p>\u041f\u043e\u043a\u0430 <a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\" rel=\"noopener noreferrer nofollow\">text-generation-webui<\/a> \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u043b\u0438\u0435\u043d\u0442, \u0433\u0434\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 \u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f <code>-ot<\/code>. \u0422\u0443\u0442 \u043d\u0435\u0442 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 ik_llama, \u043d\u043e \u0434\u043b\u044f UD-\u043a\u0432\u0430\u043d\u0442\u043e\u0432 DeepSeek \u0438\u043b\u0438 Llama 4 \u043f\u043e\u0434\u043e\u0439\u0434\u0435\u0442. \u041f\u0440\u0430\u0432\u0434\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0442\u0443\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d 128\u043a.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a96\/c2a\/1c3\/a96c2a1c3bdeb8cb87bb0754ba952f60.png\" width=\"1513\" height=\"961\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a96\/c2a\/1c3\/a96c2a1c3bdeb8cb87bb0754ba952f60.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a96\/c2a\/1c3\/a96c2a1c3bdeb8cb87bb0754ba952f60.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>OpenAI API, Jan \u0438 Cherry Studio<\/h2>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0435 llama-server \u0443 ik_llama \u0438\u043b\u0438 llama.cpp \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0431-\u043a\u043b\u0438\u0435\u043d\u0442, \u043d\u043e \u0438 openai compatiable api, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043b\u044e\u0431\u044b\u043c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043c\u0435\u0435\u0442 \u043f\u043e\u0434\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u043a openai. \u0414\u0432\u0430 \u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u0441 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u043c \u043a\u043e\u0434\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0430\u043a \u0443\u043c\u0435\u044e\u0442: <a href=\"https:\/\/jan.ai\/\" rel=\"noopener noreferrer nofollow\">Jan<\/a> \u0438 <a href=\"https:\/\/github.com\/CherryHQ\/cherry-studio\" rel=\"noopener noreferrer nofollow\">Cherry Studio<\/a>.<\/p>\n<p>\u041a url \u0432\u0435\u0431-\u043a\u043b\u0438\u0435\u043d\u0442\u0430 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \/v1 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u0434\u0440\u0435\u0441 api, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u043b\u044e\u0431\u043e\u043c \u0441\u043e\u0444\u0442\u0435, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0442\u0430\u043a\u043e\u043c \u043a\u0430\u043a Cline \u0438\u043b\u0438 Continue \u0434\u043b\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/941\/4dc\/f66\/9414dcf66af59bff7b7f5b8071921e9b.png\" width=\"1017\" height=\"539\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/941\/4dc\/f66\/9414dcf66af59bff7b7f5b8071921e9b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/941\/4dc\/f66\/9414dcf66af59bff7b7f5b8071921e9b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h2>\u0412\u044b\u0432\u043e\u0434<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/589\/306\/148\/589306148d255c0eead9849fbc0230ff.png\" alt=\"\" title=\"\" width=\"929\" height=\"473\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/589\/306\/148\/589306148d255c0eead9849fbc0230ff.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/589\/306\/148\/589306148d255c0eead9849fbc0230ff.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<ul>\n<li>\n<p>\u0414\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f MoE \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (LLama 4, DeepSeek, Qwen3) \u043d\u0443\u0436\u0435\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 -ot \u0438 \u043e\u0434\u043d\u0430 GPU, \u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0449\u0443\u0442\u0438\u043c\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0427\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u044a\u0451\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c MLA \u0434\u043b\u044f DeepSeek \u0438 SWA \u0434\u043b\u044f Llama 4 \/ Gemma3<\/p>\n<\/li>\n<li>\n<p>4060 ti \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0432\u043c\u0435\u0449\u0430\u0442\u044c 32\u043a \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0432 DeepSeek \u0438 70\u043a \u0432 Llama 4 Maverick, \u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043b\u0433\u043e\u0432\u0430\u0442\u043e, \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<li>\n<p>4090 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c 80\u043a \u0438 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 200-300 t\/s, \u0432 Maverick \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c 210\u043a<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u0436\u0435 \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u043b\u044f R1 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 160\u043a \u043c\u0438\u043d\u0438-\u043a\u0432\u0430\u043d\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0441 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c \u043a\u0432\u0430\u043d\u0442\u043e\u043c \u043f\u0440\u043e\u0448\u0435\u043b \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c \u0437\u0430\u0434\u0443\u043c\u044b\u0432\u0430\u043b\u0441\u044f, \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0431\u044b\u043b\u0438, \u0447\u0442\u043e \u0433\u0434\u0435-\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 8\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c 32\u043a, \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u0435\u0442 \u0441\u0432\u044f\u0437\u043d\u043e \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u0438 \u0431\u0443\u0434\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432. \u041d\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0436\u0438\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043a\u0432\u0430\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430, \u0445\u043e\u0442\u044f \u043e\u043d \u0438 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043c\u043d\u043e\u0433\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/921540\/\"> https:\/\/habr.com\/ru\/articles\/921540\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><\/figure>\n<p>\u0420\u0435\u043b\u0438\u0437 DeepSeek R2 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u043e\u0436\u0435\u043d \u0438 \u043f\u043e\u043a\u0430 R1 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u043b \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c \u041f\u041a. \u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f DeepSeek R1 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 700\u0433\u0431, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 fp8, \u043d\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 f16, \u0435\u0451 \u0432\u0435\u0441 \u0431\u044b\u043b \u0431\u044b 1400\u0433\u0431, \u0430 \u043c\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0432\u0435\u0440\u0441\u0438\u044e \u0432 10 \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435. \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 1.66-\u0431\u0438\u0442\u043d\u044b\u0439 IQ1_S_R4 \u043a\u0432\u0430\u043d\u0442 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 130\u0433\u0431 \u043d\u0430 \u0438\u0433\u0440\u043e\u0432\u043e\u043c \u041f\u041a, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441 4090 \u0438 4060ti. \u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043c \u0442\u0443\u0434\u0430 \u043e\u0447\u0435\u043d\u044c-\u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0442\u0430\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442 \u0432\u0441\u0451 \u0435\u0449\u0451 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0443\u043c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0438\u043b\u0438 \u043d\u0435\u0442.<\/p>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c<\/h2>\n<p>\u041f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u043c\u0430\u0441\u0441\u043e\u0432\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0435\u0441\u0442\u044c \u0434\u0432\u0438\u0436\u043e\u043a llama.cpp \u0438 \u0444\u043e\u0440\u043c\u0430\u0442 \u044d\u0442\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430 gguf, \u0441 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f, \u0438 \u0435\u0441\u0442\u044c \u043e\u0431\u043e\u043b\u043e\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u0442\u043e\u0442 \u0441\u0430\u043c\u044b\u0439 llama.cpp &#8212; \u044d\u0442\u043e \u0438 ollama, \u0438 LM Studio \u0438 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u043b\u044e\u0431\u0443\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u043a\u0430\u0447\u0430\u0442\u044c <a href=\"https:\/\/lmstudio.ai\/\" rel=\"noopener noreferrer nofollow\">LM Studio<\/a>, <a href=\"https:\/\/jan.ai\/\" rel=\"noopener noreferrer nofollow\">Jan<\/a> \u0438\u043b\u0438, \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u0435\u043d \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0431\u043a\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b, <a href=\"https:\/\/github.com\/oobabooga\/text-generation-webui\" rel=\"noopener noreferrer nofollow\">text-generation-webui<\/a>, \u043f\u043e\u0442\u043e\u043c \u043b\u044e\u0431\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0441\u043a\u0430\u0447\u0430\u0442\u044c gguf \u0444\u0430\u0439\u043b \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0432\u0441\u0451 \u0432 \u043f\u0430\u0440\u0443 \u043a\u043b\u0438\u043a\u043e\u0432. \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e \u0438 \u0437\u0430\u0439\u043c\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0438\u043d\u0443\u0442 \u043d\u0430 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f. \u0412\u0441\u0451 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043d\u0430 nvidia, \u0438 \u043d\u0430 amd, \u0438 \u043d\u0430 intel, \u0442\u0430\u043c \u0433\u0434\u0435 \u043d\u0435\u0442 CUDA, \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 Vulkan. <\/p>\n<p>\u041d\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043a\u043e\u0435-\u0447\u0442\u043e \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0431\u043e\u043b\u044c\u0448\u0443\u044e DeepSeek R1-0528 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 671B \u043d\u0430 \u0434\u043e\u043c\u0430\u0448\u043d\u0435\u043c \u0438\u0433\u0440\u043e\u0432\u043e\u043c \u041f\u041a. \u042d\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a \u043d\u0435 \u0431\/\u0443 \u0441\u0435\u0440\u0432\u0435\u0440\u0435, \u043d\u0435 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e\u043c \u0436\u0435\u043b\u0435\u0437\u0435, \u043d\u0435 \u043d\u0430 \u043a\u0443\u0447\u0435 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u041f\u041a.<\/p>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c \u043d\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0440\u043e\u0434\u0435 Q4_K_M \u0438\u043b\u0438 IQ1_S, \u0438 \u043d\u0435 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 UD-&#8230;-XL, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u044b. \u041d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 sota \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 iq4_ks \u0438 R4, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 ik_llama.<\/p>\n<p><a href=\"https:\/\/github.com\/ikawrakow\/ik_llama.cpp\" rel=\"noopener noreferrer nofollow\">ik_llama.cpp<\/a> &#8212; \u044d\u0442\u043e \u0444\u043e\u0440\u043a \u043e\u0442 llama.cpp, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 CPU \u0438 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u0443\u044e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 MoE \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a \u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u0437\u0434\u0430\u0442\u0435\u043b\u0435\u043c \u043f\u0435\u0440\u0435\u0434\u043e\u0432\u044b\u0445 \u043d\u043e\u0432\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432. \u0418\u043c\u0435\u043d\u043d\u043e \u0447\u0435\u0440\u0435\u0437 iq4_ks \u0438 R4 \u0441\u0442\u0430\u043b\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0430 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043a\u0432\u0430\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0435\u0449\u0451 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0439 \u041f\u041a.<\/p>\n<h3>\u041d\u0430 \u0447\u0451\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c<\/h3>\n<p>\u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438, \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c 128\u0433\u0431, \u0441\u0435\u0439\u0447\u0430\u0441 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442 \u0438\u0437 4\u0445 \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 48\u0433\u0431 DDR5 \u0434\u043b\u044f \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0445 \u041f\u041a \u0441\u0442\u043e\u0438\u0442 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 50\u043a, DDR4 4&#215;32\u0433\u0431 \u0432 2 \u0440\u0430\u0437\u0430 \u0434\u0435\u0448\u0435\u0432\u043b\u0435, \u0438 \u0432 \u043f\u0440\u043e\u0434\u0430\u0436\u0435 \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0435\u0434\u043e\u0440\u043e\u0433\u0438\u0435 \u043c\u043e\u0434\u0443\u043b\u0438 2&#215;64\u0433\u0431. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e 128\/192\u0433\u0431 ram \u044d\u0442\u043e \u0443\u0436\u0435 \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u0436\u0435\u043b\u0435\u0437\u043e.<\/p>\n<p>\u0421\u0430\u043c\u0438 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u041f\u041a \u043d\u0435 \u0442\u0430\u043a \u0432\u0430\u0436\u043d\u044b, \u0435\u0441\u043b\u0438 \u0442\u0430\u043c \u0435\u0441\u0442\u044c 6-8 \u044f\u0434\u0435\u0440, \u0432\u0430\u0436\u043d\u0435\u0435 \u043e\u0431\u044a\u0435\u043c \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 1 GPU, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u043c \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f. \u041a\u043e\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e 4 \u043c\u043e\u0434\u0443\u043b\u044f \u043f\u043e 48\u0433\u0431, \u043e\u043d\u0438 \u043f\u043b\u043e\u0445\u043e \u0434\u0435\u0440\u0436\u0430\u0442 \u0440\u0430\u0437\u0433\u043e\u043d \u0438 \u043d\u0435 \u0441\u0442\u0430\u0440\u0442\u0443\u044e\u0442 \u043d\u0430 XMP, \u043d\u043e \u0445\u0432\u0430\u0442\u0438\u0442 \u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 4800.<\/p>\n<p>\u0425\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u0438\u0441\u043f\u044b\u0442\u0443\u0435\u043c\u043e\u0433\u043e \u041f\u041a: <\/p>\n<ul>\n<li>\n<p>CPU: i7-14700<\/p>\n<\/li>\n<li>\n<p>\u041c\u0430\u0442\u0435\u0440\u0438\u043d\u043a\u0430: GIGABYTE Z790 D AX<\/p>\n<\/li>\n<li>\n<p>\u041e\u0417\u0423: 4x 48gb Kingbank DDR5 4800 MT\/s<\/p>\n<\/li>\n<li>\n<p>GPU: 4060 Ti 16gb, 4090 24gb<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e 4090 \u0438 4060 ti (\u0445\u043e\u0442\u044f \u0441\u0435\u0439\u0447\u0430\u0441 \u0443\u0436\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0435\u0435 5060 Ti 16\u0433\u0431, \u0443 \u043d\u0435\u0451 \u0432 1.5 \u0440\u0430\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0430\u043c\u044f\u0442\u044c \u0447\u0435\u043c \u0443 4060ti, \u0430 \u0441\u0442\u043e\u0438\u0442 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435), \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 GPU \u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c. <\/p>\n<h2>\u0427\u0442\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c? \u041a\u0430\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442?<\/h2>\n<h4>DeepSeek-R1-0528-IQ1_S_R4 \u0438 DeepSeek-V3-0324-IQ1_S_R4<\/h4>\n<p>\u041d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 <a href=\"https:\/\/huggingface.co\/ubergarm\/DeepSeek-R1-0528-GGUF\/\" rel=\"noopener noreferrer nofollow\">ubergarm\/DeepSeek-R1-0528-GGUF<\/a> &#8212; \u043f\u043e\u043a\u0430 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u0442\u043e \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u0434\u043b\u044f ik_llama. \u0421\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 130\u0433\u0431 &#8212; \u044d\u0442\u043e IQ1_S_R4. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0436\u0434\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u0438\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u043e\u0442 R1, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c V3-0324, \u0434\u043b\u044f \u043d\u0435\u0433\u043e \u0442\u043e\u0436\u0435 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043a\u0432\u0430\u043d\u0442: <a href=\"https:\/\/huggingface.co\/ubergarm\/DeepSeek-V3-0324-GGUF\/tree\/main\/DeepSeek-V3-0324-IQ1_S_R4\" rel=\"noopener noreferrer nofollow\">DeepSeek-V3-0324-IQ1_S_R4<\/a><\/p>\n<p>\u041a\u0432\u0430\u043d\u0442 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430, \u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0447\u0435\u0440\u0435\u0437 PPL \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u043e\u043d \u043e\u0449\u0443\u0442\u0438\u043c\u043e \u043e\u0442\u0441\u0442\u0430\u0435\u0442 \u043e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0427\u0435\u043c \u043d\u0438\u0436\u0435 PPL, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u043e \u043d\u0430\u0434\u0435\u0436\u0434\u0430 \u0435\u0441\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a PPL \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c, \u043e\u043d \u043d\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u0432\u0430\u043d\u0442\u0430, \u0438 \u0437\u0430\u043c\u0435\u0440\u044b KLD \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u044e\u0442 \u043a\u0430\u043a \u043a\u0432\u0430\u043d\u0442 \u0434\u0430\u043b\u0435\u043a \u043e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430.<\/p>\n<p>\u0412\u043e\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 3 \u043c\u0430\u043b\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432: \u043e\u0442 Bartowski, Unsloth \u0438 Ubergarm, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0435\u0439 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0412\u0441\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435. \u041a\u0432\u0430\u043d\u0442 R4 \u0438\u043c\u0435\u044f \u0441\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0447\u0442\u043e \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>KLD \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 Q8_0, \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 PPL \u0438 KLD<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412 \u0440\u0430\u0431\u043e\u0442\u0435 Accuracy is Not All You Need (<a href=\"https:\/\/arxiv.org\/abs\/2407.09141\" rel=\"noopener noreferrer nofollow\">https:\/\/arxiv.org\/abs\/2407.09141<\/a>) \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e KLD \u043b\u0443\u0447\u0448\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u043e\u0448\u0438\u0431\u043a\u0430\u043c\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 KLD, \u0447\u0435\u043c PPL, \u0442\u0430\u043a \u043a\u0430\u043a PPL \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437-\u0437\u0430 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>PPL (Perplexity) &#8212; \u044d\u0442\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u043d\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0438 \u0442\u043e\u043a\u0435\u043d\u0430, \u0447\u0435\u043c \u043d\u0438\u0436\u0435, \u0442\u0435\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c. PPL \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0435\u0442 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0448\u0438\u0431\u043a\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0437\u0430\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u0445, \u043c\u043e\u0433\u0443\u0442 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 &#8212; \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 PPL \u0431\u043b\u0438\u0437\u043e\u043a \u043a \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0443, \u0445\u043e\u0442\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0441\u043a\u0430\u0436\u0435\u043d. \u0415\u0449\u0451 PPL \u0441\u043b\u0430\u0431\u043e \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u0435\u0442 \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u0440\u0435\u0434\u043a\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0432\u0430\u0436\u043d\u044b\u0445 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<p>KLD (KL Divergence) \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430, \u043f\u043e\u0442\u043e\u043c \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u0442 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0422\u0443\u0442 \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u043e\u043c, \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u0445 \u0440\u0435\u0434\u043a\u0438\u0445 \u0438 \u0447\u0430\u0441\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0438\u0442\u043e\u0433. \u042d\u0442\u043e \u043a\u0443\u0434\u0430 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u0438 \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0438, \u0438 \u0435\u0441\u043b\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u0434 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e KLD, \u0442\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u044d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043a\u0432\u0430\u043d\u0442\u044b.<\/p>\n<\/div>\n<\/details>\n<h2>\u0417\u0430\u043c\u0435\u0440\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438<\/h2>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u043f\u0440\u044f\u043c\u043e \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>2 \u043c\u043e\u0434\u0443\u043b\u044f \u043f\u0430\u043c\u044f\u0442\u0438, \u0434\u0430\u0436\u0435 \u043c\u043e\u0434\u0443\u043b\u0438 48\u0433\u0431, \u043e\u0431\u044b\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u0438 \u0434\u0435\u0440\u0436\u0430\u0442\u044c XMP 6400, \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u0447\u0442\u0438 100\u0433\u0431\/\u0441. <\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438, \u0442\u043e \u0437\u0430\u043c\u0435\u0440\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0430 4\u0445 \u043c\u043e\u0434\u0443\u043b\u044f\u0445. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0447\u0442\u0435\u043d\u0438\u044f \u043d\u0430 4x DDR5-4800 \u0440\u0430\u0432\u043d\u0430 70 \u0413\u0431\/\u0441, \u044d\u0442\u043e \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e, \u044d\u0442\u043e \u0431\u043b\u0438\u0436\u0435 \u043a \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 DDR4, \u0447\u0435\u043c \u043a DDR5-6400, \u043d\u043e \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0445\u0432\u0430\u0442\u0438\u0442\u044c.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c Gemma3, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 CPU, \u0432 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u0435 Q4_K_M. \u0417\u0430\u043f\u0443\u0441\u043a \u043e\u0431\u044b\u0447\u043d\u043e\u0439 llama.cpp \u043d\u0430 Windows 10, \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a \u043d\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u043c\u0430\u043b\u044b\u043c\u0438 \u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u044f\u0434\u0440\u0430\u043c\u0438:<\/p>\n<p><code>.\\llama-bench -m \"gemma-3-12b-it-Q4_K_M.gguf\" -t 4 -t 6 -t 8 -t 20 -t 28<\/code><\/p>\n<figure class=\"full-width\">\n<div><figcaption>Gemma3 12B Q4_K_M<\/figcaption><\/div>\n<\/figure>\n<p><code>.\\llama-bench -m \"gemma-3-27b-it-Q4_K_M.gguf\" -t 4 -t 6 -t 8 -t 20 -t 28<\/code><\/p>\n<figure class=\"full-width\">\n<div><figcaption>Gemma3 27B Q4_K_M<\/figcaption><\/div>\n<\/figure>\n<p>pp &#8212; \u044d\u0442\u043e promp processing, \u043e\u043d \u0436\u0435 prefill. \u0412 pp \u0432\u0445\u043e\u0434\u0438\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442 \u0438 \u0432\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0434\u0438\u0430\u043b\u043e\u0433\u0430. \u0414\u043e \u0442\u0435\u0445 \u043f\u043e\u0440 \u043f\u043e\u043a\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435 \u0437\u0430\u043a\u044d\u0448\u0438\u0440\u043e\u0432\u0430\u043d, \u0432\u0441\u0451 \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430. <\/p>\n<p>tg &#8212; \u044d\u0442\u043e token generation, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0441\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u044e\u0442 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u044d\u0442\u043e\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c, \u043d\u043e \u043d\u0430 \u043e\u0433\u0440\u043e\u043c\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 pp \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a \u0436\u0435 \u0432\u0430\u0436\u0435\u043d.<\/p>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c R1 671B \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 GPU \u0438 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0447\u0435\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041f\u0430\u043c\u044f\u0442\u044c \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u0430\u044f, \u0434\u0430\u0436\u0435 Gemma3 12B \u0432\u0435\u0441\u043e\u043c 7\u0433\u0431 \u0435\u043b\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u043a\u043e\u043c\u0444\u043e\u0440\u0442\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 5 t\/s. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043a\u0432\u0430\u043d\u0442 \u0432\u0435\u0441\u043e\u043c 130\u0433\u0431 \u0438\u043c\u0435\u044f \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u043e 1 GPU \u0438 \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e.<\/p>\n<p>Gemma3 \u044d\u0442\u043e dense-\u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043f\u043b\u043e\u0448\u043d\u0430\u044f, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u043e\u0439\u0442\u0438 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438. DeepSeek V3\/R1 &#8212; \u044d\u0442\u043e MoE \u043c\u043e\u0434\u0435\u043b\u044c, \u0433\u0434\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<p>MoE \u044d\u0442\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b Mixture of Experts, \u0432 \u0442\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (B) \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0435\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (AxB) \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c Qwen3-235B-A22B \u0438\u043c\u0435\u0435\u0442 \u0432\u0441\u0435\u0433\u043e 235B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438  \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0438\u0437 \u043d\u0438\u0445 \u0442\u043e\u043b\u044c\u043a\u043e 22B \u0431\u0443\u0434\u0443\u0442 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438.<\/p>\n<p>\u0423 R1 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 671B, \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 37B. \u0412\u0441\u0435\u0433\u043e 61 \u0441\u043b\u043e\u0439, 3 \u0441\u043b\u043e\u044f \u043e\u0431\u0449\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043e\u043d\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0440\u043e\u0443\u0442\u0435\u0440\u043e\u043c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0440\u0430\u0437\u043d\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c 37B \u0432 vram.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 \u043f\u0430\u043c\u044f\u0442\u044c, \u0442\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u0430 dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 37B, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 2 t\/s. \u042d\u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0431\u044b\u043b\u0430 \u0431\u044b \u043f\u0430\u043c\u044f\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0442\u043e \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0431\u044b\u043b\u0430 \u0431\u044b \u0431\u044b\u0441\u0442\u0440\u0435\u0435. 2 t\/s \u043c\u0430\u043b\u043e, \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043e\u0442 GPU, \u043d\u043e \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c 10 \u0441\u043b\u043e\u0435\u0432 \u0432 vram, \u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u044b\u0435 3 \u0441\u043b\u043e\u044f \u043f\u043e\u043b\u0435\u0437\u043d\u044b, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u043f\u0430\u0434\u0430\u0442\u044c \u043b\u0438\u0448\u044c \u0438\u043d\u043e\u0433\u0434\u0430.<\/p>\n<p>\u0412\u044b\u0433\u0440\u0443\u0437\u0438\u0432 \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0435\u0441\u0442\u044c, \u043d\u043e \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435: <em>override-tensor<\/em>.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435, \u043d\u0443\u0436\u043d\u043e \u0447\u0442\u043e\u0431\u044b GPU \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0442\u0443\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 GPU \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0433\u043a\u0438\u0435 \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0443 \u0432\u0430\u0436\u043d\u044b. \u0410 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0435 ffn \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0430 CPU. <\/p>\n<p>\u0412 llm \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0441\u043b\u043e\u0435\u0432, \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 2\u0445 \u0432\u0438\u0434\u043e\u0432 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432: \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f (attn, attention) \u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 (ffn, feed forward network). \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0430 huggingface \u0435\u0441\u043b\u0438 \u043d\u0430\u0436\u0430\u0442\u044c \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u0432\u0430\u043d\u0442. <\/p>\n<figure class=\"full-width\">\n<div><figcaption>18-\u0439 \u0441\u043b\u043e\u0439 deepseek r1, \u0441\u0430\u043c\u044b\u0435 \u0442\u044f\u0436\u0435\u043b\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u044d\u0442\u043e ffn, \u0430 \u0432\u0430\u0436\u043d\u044b\u0435 attn \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043b\u0435\u0433\u0447\u0435<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u0435\u0441\u044f\u0442 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e, \u0438 \u0432 \u0442\u0430\u043a\u043e\u043c \u043d\u0438\u0437\u043a\u043e\u043c \u043a\u0432\u0430\u043d\u0442\u0435 \u043e\u043d\u0438 \u0432\u043b\u0435\u0437\u0430\u044e\u0442 \u0434\u0430\u0436\u0435 \u0432 10\u0433\u0431 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0430 ffn \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043e\u0431\u044a\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h2>&#8212;override-tensor \u0438\u043b\u0438 -ot<\/h2>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043d\u0435\u0441\u0442\u0438 \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u0441\u043b\u043e\u0439 \u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0432 llama.cpp \u0438 ik_llama \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>-ot<\/code> \u0438\u043b\u0438 <code>--override-tensors<\/code> , \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0433\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043a\u0430\u043a\u0438\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u044f\u0442\u0441\u044f \u043d\u0430 CPU (\u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0442\u043e\u0440\u0443\u044e GPU) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f regexp \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441.<\/p>\n<p>\u041d\u0443\u0436\u043d\u043e \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0441\u0435 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043d\u0430 GPU, \u0430 \u0442\u044f\u0436\u0435\u043b\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 MoE-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u043d\u0430 CPU. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0443 \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>-ngl 999<\/code> , \u0430 \u043f\u043e\u0442\u043e\u043c \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043a\u0430\u043a\u0438\u0435 \u043d\u0430\u0434\u043e \u043f\u0435\u0440\u0435\u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432 \u043e\u0431\u044b\u0447\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c.<\/p>\n<p>MoE-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u044d\u0442\u043e \u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432 \u0438\u043c\u0435\u043d\u0438 exps, \u0442\u043e \u0435\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438\u0437 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0431\u0435\u0440\u0435\u0442 \u0432\u0441\u0435\u0445 exps:<\/p>\n<p><code>-ot exps=CPU<\/code><\/p>\n<p><code>-ot \".ffn_.*_exps.=CPU\"<\/code> <\/p>\n<p><code>-ot \"([0-9]+).ffn_.*_exps.=CPU\"<\/code> <\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0422\u043e\u0447\u043d\u044b\u0435 \u0438\u043c\u0435\u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 regexp<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f, \u0438 gpu \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0437\u0430 \u0441\u0447\u0435\u0442 \u044d\u0442\u043e\u0433\u043e \u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435. \u0418 \u044d\u0442\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f MoE \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0418, \u043e\u0431\u044b\u0447\u043d\u043e, \u0435\u0441\u043b\u0438 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u0430\u044f VRAM, \u0438\u043b\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u0438\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432\u044b\u0433\u0440\u0443\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043d\u0430 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435. <\/p>\n<p> <code>-ot \"blk\\.([4-9])\\.ffn.*=CUDA0\" -ot \"blk\\.(1[0-5])\\.ffn.*=CUDA1\" -ot exps=CPU<\/code>  <\/p>\n<p>\u0422\u0430\u043a \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043c 4-9 \u0441\u043b\u043e\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043d\u0430 1 GPU \u0438 10-15 \u0441\u043b\u043e\u0438 \u043d\u0430 2 GPU. \u0414\u043b\u044f rocm \u0438\u043b\u0438 vulkan \u0431\u0443\u0434\u0443\u0442 \u0441\u0432\u043e\u0438 \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u044b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432, \u0432\u0440\u043e\u0434\u0435 Vulkan0 \u0432\u043c\u0435\u0441\u0442\u043e CUDA0.<\/p>\n<p>\u0412 \u043a\u0432\u0430\u043d\u0442\u0435 IQ1_S_R4 \u0434\u043b\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 ffn up|gate|down \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0442\u0435\u043d\u0437\u043e\u0440\u044b R4, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0434\u043b\u044f<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-465130","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/465130","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=465130"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/465130\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=465130"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=465130"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=465130"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}