{"id":480043,"date":"2026-05-18T02:28:45","date_gmt":"2026-05-18T02:28:45","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=480043"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=480043","title":{"rendered":"Qwen3.6 27B MTP \u0432\u0435\u0441\u0438\u0442 \u043d\u0430 +0.3 \u0413\u0431 \u0431\u043e\u043b\u044c\u0448\u0435, \u0430 \u0434\u0430\u0451\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0432 ~2 \u0440\u0430\u0437\u0430. \u0421 60 t\/s \u0434\u043e 130 t\/s \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u044c. \u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 MTP"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/81c\/9e2\/6ff\/81c9e26fff1c465e6d46dc789566f1e7.png\" width=\"1558\" height=\"931\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/81c\/9e2\/6ff\/81c9e26fff1c465e6d46dc789566f1e7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/81c\/9e2\/6ff\/81c9e26fff1c465e6d46dc789566f1e7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0412 llama.cpp \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 MTP Qwen3.6. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 Multi-Token Prediction \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 1 \u043f\u0440\u043e\u0445\u043e\u0434, \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0432 1.5-2 \u0440\u0430\u0437\u0430. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f lossless. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e MTP, \u0435\u0441\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b \u0432 \u043b\u0438\u0446\u0435 EAGLE-3 \u0438 DFlash.<\/p>\n<p><strong>TL;DR:<\/strong> \u0421\u043a\u0430\u0447\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u044b \u0441 \u0438\u043c\u0435\u043d\u0435\u043c MTP:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.6-27B-MTP-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3.6-27B-MTP-GGUF<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.6-35B-A3B-MTP-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3.6-35B-A3B-MTP-GGUF<\/a><\/p>\n<\/li>\n<\/ul>\n<p>\u0418 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c:<br \/><code>.\\llama-server -m \"Qwen3.6-27B-UD-Q4_K_XL.gguf\" --spec-type draft-mtp --spec-draft-n-max 4<\/code><\/p>\n<h2>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 MTP<\/h2>\n<p>Multi-Token Prediction (MTP) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u044d\u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u044d\u0442\u0438 \u0441\u043b\u043e\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u043e\u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u043e\u043d \u0436\u0435 LLM, \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 \u0438\u043c\u0435\u0435\u0442 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u043b\u043e\u0439 \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442 \u0432 \u043b\u043e\u0433\u0438\u0442\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u042d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e 1 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u043d\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u0441\u0442\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0448\u0430\u0433\u0430\u0445.<\/p>\n<p>\u0421\u043b\u043e\u0438 MTP \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u043b\u043e\u0432 MTP, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0447\u0430\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c t+1, t+2, t+k \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u043e\u043b\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. <\/p>\n<p>\u0412 llama.cpp \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 MTP \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0434\u043b\u044f Qwen3.6: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/22673\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/22673<\/a><\/p>\n<p>\u0414\u043b\u044f Gemma4 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435.<\/p>\n<h2>EAGLE-3<\/h2>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442 MTP \u0433\u043e\u043b\u043e\u0432, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0445\u043e\u0436\u0438\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f. \u0421\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0443\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0431\u043b\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c k \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e MTP.<\/p>\n<p>\u0412 \u043c\u0435\u0442\u043e\u0434\u0435 EAGLE-3 \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f 1 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u043a\u043e\u043d\u0446\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 MTP, \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u043e 1 \u0433\u043e\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f k \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0443\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u044b eagle3 \u043c\u043e\u0434\u0443\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0422\u0430\u043a\u0436\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0432\u0430\u0436\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f eagle3.<\/p>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 llama.cpp \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/18039\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/18039<\/a><\/p>\n<h2>DFlash<\/h2>\n<p>\u0420\u0430\u0437\u0432\u0438\u0432\u0430\u044f \u0438\u0434\u0435\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043e\u0431\u043e\u0439\u0442\u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0434\u0451\u0442 \u043e\u0434\u0438\u043d \u0437\u0430 \u0434\u0440\u0443\u0433\u0438\u043c, \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0441\u043f\u043e\u0441\u043e\u0431 \u0431\u043b\u043e\u0447\u043d\u043e\u0439 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0438. <\/p>\n<p>\u0412 DFlash \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0437\u0430 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u0431\u043b\u043e\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u0442 8 \u0434\u043e 16 \u0437\u0430 \u0440\u0430\u0437. \u041a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 EAGLE-3, DFlash \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u0435\u0440, \u0431\u043b\u043e\u043a \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0439. \u041c\u0435\u0442\u043e\u0434 \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432 Stable Diffusion \u0438\u043b\u0438 \u043d\u0430 LLM Gemini Diffusion.<\/p>\n<p>\u042d\u0442\u043e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u0430\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u0434\u043e 8 \u0440\u0430\u0437.<\/p>\n<p>\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 llama.cpp \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430: <a href=\"https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/22105\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/22105<\/a><\/p>\n<h2>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c tg t\/s<\/h2>\n<p>\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f LLM \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u043e\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"max (t\/s) = Memory Bandwitch \/ Active Params\" alt=\"max (t\/s) = Memory Bandwitch \/ Active Params\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/523\/52397de1cb8499dfc20482db866a831d.svg\" width=\"376\" height=\"16\" data-width=\"47.574\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/523\/52397de1cb8499dfc20482db866a831d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/523\/52397de1cb8499dfc20482db866a831d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 Dense \u0440\u0430\u0437\u043c\u0435\u0440 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438. \u0430 \u0432 MoE \u0438\u043b\u0438 Gemma4 E4B, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c t\/s \u0432\u043b\u0438\u044f\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430.<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 4060 ti 16 \u0413\u0431, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c VRAM 288 \u0413\u0431 \u0438\u043b\u0438 268 GiB\/s \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435. \u0412\u043e\u0437\u044c\u043c\u0451\u043c \u043c\u043e\u0434\u0435\u043b\u044c Qwen3.6-27B, \u043e\u043d\u0430 \u0432\u0435\u0441\u0438\u0442 54 GiB, \u0432 \u043a\u0432\u0430\u043d\u0442\u0435 UD-Q3 13.5 GiB \u0438 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 GPU \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c 19.8 t\/s. \u0420\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0438\u0436\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f. \u0420\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 17.11 t\/s.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b4d\/bc2\/606\/b4dbc2606dd77806ff8e784771faf77e.png\" alt=\"Qwen3.6-27B-UD-Q3_K_XL \u043d\u0430 4060 ti 16\u0413\u0431, 17 t\/s \u043f\u0440\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0435 19.8 t\/s\" title=\"Qwen3.6-27B-UD-Q3_K_XL \u043d\u0430 4060 ti 16\u0413\u0431, 17 t\/s \u043f\u0440\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0435 19.8 t\/s\" width=\"1107\" height=\"171\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b4d\/bc2\/606\/b4dbc2606dd77806ff8e784771faf77e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b4d\/bc2\/606\/b4dbc2606dd77806ff8e784771faf77e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Qwen3.6-27B-UD-Q3_K_XL \u043d\u0430 4060 ti 16\u0413\u0431, 17 t\/s \u043f\u0440\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0435 19.8 t\/s<\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430 GPU \u0432\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0438 \u0443 \u0432\u0430\u0441 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b, \u0447\u0442\u043e\u0431\u044b \u0437\u0430 1 \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 LLM \u0434\u043b\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. <\/p>\n<h2>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h2>\n<p>\u0412\u0441\u0435 3 \u043c\u0435\u0442\u043e\u0434\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0432\u0435\u0434\u044c \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u0435\u0441\u0442\u044c, \u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u0434\u0430\u0447\u0430 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u043d\u0435\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c k \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0431\u0449\u0438\u0439 KV-\u043a\u044d\u0448, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442 k \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044f \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0438\u0445 \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u0431\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 8 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 7 \u0440\u0430\u0437, 20 t\/s \u043f\u0440\u043e\u0442\u0438\u0432 144 t\/s, \u0432 llama.cpp \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <code>--parallel N<\/code>. \u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0437\u0430\u043f\u0430\u0441\u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 GPU, \u043e\u0434\u043d\u0430 GPU \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b3\/e85\/35f\/3b3e8535f754d09376590a2fdcd85ba8.gif\" alt=\"\u041e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 20 t\/s, 8 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 - 18 t\/s \u043a\u0430\u0436\u0434\u044b\u0439 (\u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 144 t\/s)\" title=\"\u041e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 20 t\/s, 8 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 - 18 t\/s \u043a\u0430\u0436\u0434\u044b\u0439 (\u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 144 t\/s)\" width=\"520\" height=\"293\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b3\/e85\/35f\/3b3e8535f754d09376590a2fdcd85ba8.gif 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b3\/e85\/35f\/3b3e8535f754d09376590a2fdcd85ba8.gif 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 20 t\/s, 8 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 &#8212; 18 t\/s \u043a\u0430\u0436\u0434\u044b\u0439 (\u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 144 t\/s)<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0438\u0445 \u0438\u043b\u0438 \u043d\u0435\u0442. \u041a\u0430\u043a \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435, \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430.<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b A, B, C, D, E. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442:<\/p>\n<ul>\n<li>\n<p>base + A + ?<\/p>\n<\/li>\n<li>\n<p>base + A + B + ?<\/p>\n<\/li>\n<li>\n<p>base + A + B + &#8230; + E + ?<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 1 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f. \u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435 \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0438\u0437 4 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0432\u0441\u044f \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0430, \u0442\u043e \u0437\u0430 1 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043c\u044b \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u044d\u0442\u0438 4 \u0442\u043e\u043a\u0435\u043d\u0430 + 1 \u043d\u043e\u0432\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0442\u043e\u0436\u0435 \u0431\u044b\u043b \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f 1 \u043d\u043e\u0432\u044b\u0439 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d. \u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0443\u0442\u044b \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430, \u0442\u043e \u044d\u0442\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 +1 \u0442\u043e\u043a\u0435\u043d \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043d\u0435 \u0434\u0430\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0443\u0442\u044b \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430. \u041d\u043e \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0437\u0430\u043f\u0430\u0441\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0445\u0432\u0430\u0442\u0430\u0435\u0442.<\/p>\n<h2>lossless \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u044b \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/h2>\n<p>MTP, EAGLE-3, DFlash \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u043f\u0430\u043b\u0443. \u041d\u043e \u043a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0442\u0430\u043a \u043b\u0438 \u044d\u0442\u043e? \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0431\u044b\u0442\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u0442 \u0441\u0447\u0435\u0442, \u0438 \u044f \u0441\u0430\u043c \u043d\u0435 \u0431\u044b\u043b \u0443\u0432\u0435\u0440\u0435\u043d \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u0432 \u044d\u0442\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0442\u0435\u0441\u0442\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 llama.cpp \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u041d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0444\u0430\u0439\u043b sampling.cpp, \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0444\u0430\u0437\u0430 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438:<\/p>\n<pre><code>std::vector&lt;llama_token&gt; common_sampler_sample_and_accept_n(struct common_sampler * gsmpl, struct llama_context * ctx, const std::vector&lt;int&gt; &amp; idxs, const llama_tokens &amp; draft, bool grammar_first) {    GGML_ASSERT(idxs.size() == draft.size() + 1 &amp;&amp; \"idxs.size() must be draft.size() + 1\");    std::vector&lt;llama_token&gt; result;    result.reserve(idxs.size());    size_t i = 0;    for (; i &lt; draft.size(); i++) {        const llama_token id = common_sampler_sample(gsmpl, ctx, idxs[i], grammar_first);        common_sampler_accept(gsmpl, id, true);        result.push_back(id);        if (draft[i] != id) {            break;        }    }    if (i == draft.size()) {        const llama_token id = common_sampler_sample(gsmpl, ctx, idxs[i], grammar_first);        common_sampler_accept(gsmpl, id, true);        result.push_back(id);    }    return result;}<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<ol>\n<li>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 draft[i] \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0421\u044d\u043c\u043f\u043b\u0435\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 draft[i], \u0442\u043e \u0446\u0438\u043a\u043b \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0442\u043e\u043a\u0435\u043d \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ol>\n<pre><code>if (draft[i] != id) {  break;} <\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0435 \u0446\u0438\u043a\u043b\u0430 \u043f\u0440\u0438 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u044f\u0432\u043d\u043e\u0435, \u043d\u0438\u043a\u0430\u043a \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0442\u0443\u0442 \u043d\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043e. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0437\u043d\u0430\u0447\u0438\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 lossless \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430.<\/p>\n<h2>\u041a\u0430\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c llama.cpp \u0438 \u0432\u044b\u0436\u0430\u0442\u044c \u0438\u0437 \u043d\u0435\u0451 \u0431\u043e\u043b\u044c\u0448\u0435<\/h2>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u0432\u0435\u0436\u0443\u044e llama.cpp \u0438 \u043a\u0430\u043a \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438, \u0432 \u0446\u0435\u043b\u043e\u043c \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430, \u043d\u043e \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c\u0441\u044f:<\/p>\n<p><a href=\"https:\/\/habr.com\/ru\/articles\/1025132\/\" rel=\"noopener noreferrer nofollow\">\u0412\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 LLM. Ollama \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 llama.cpp \u0432 3 \u0440\u0430\u0437\u0430. UD_Q4_K_XL \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c Q4_K_M, \u0430 \u0432\u0435\u0441 \u0442\u043e\u0442 \u0436\u0435 \u0438 \u0442.\u0434<\/a><\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/adb\/616\/263\/adb6162630b47804f4f25c87e719af65.png\" width=\"780\" height=\"485\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/adb\/616\/263\/adb6162630b47804f4f25c87e719af65.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/adb\/616\/263\/adb6162630b47804f4f25c87e719af65.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044e \u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e \u0432\u0430\u043c \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u044b UD, \u043d\u043e \u0438 \u043a\u0432\u0430\u043d\u0442\u044b \u043e\u0442 Bartowski, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435: <a href=\"https:\/\/huggingface.co\/bartowski\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/bartowski<\/a><\/p>\n<p>\u0418 \u0442\u0430\u043a\u0436\u0435 ollama \u043d\u0430 \u0434\u043d\u044f\u0445 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043e\u0442 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 GGLM \u043e\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 llama.cpp, \u0438 <a href=\"https:\/\/www.reddit.com\/r\/LocalLLaMA\/comments\/1td00ko\/ollama_prerelease_switches_from_building_on_ggml\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0435\u0448\u043b\u0430 \u043d\u0430 llama.cpp \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e<\/a>. <\/p>\n<h2>\u0413\u0434\u0435 \u0432\u0437\u044f\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u044b \u0434\u043b\u044f MTP, Eagle3, DFlash<\/h2>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0438\u0437 GGUF \u0432\u044b\u0440\u0435\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u043b\u043e\u0438 MTP, \u0435\u0441\u043b\u0438 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u0431\u044b\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438 \u043b\u0438\u0448\u043d\u0435\u0435 \u043c\u0435\u0441\u0442\u043e. Qwen3.6 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0441\u0442\u0430\u0440\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0441\u043b\u043e\u0435\u0432 MTP, \u0445\u043e\u0442\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0445 \u0438\u043c\u0435\u043b\u0430.<\/p>\n<p>\u0421 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u0432 llama.cpp \u044d\u0442\u0438 \u0441\u043b\u043e\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c, \u043d\u043e \u0432 \u0432\u0438\u0434\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432. \u0412\u0441\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 <a href=\"https:\/\/huggingface.co\/\" rel=\"noopener noreferrer nofollow\">https:\/\/huggingface.co\/<\/a><\/p>\n<p>\u041d\u0443\u0436\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u0432 \u043f\u043e\u0438\u0441\u043a \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043a \u043d\u0435\u043c\u0443 MTP:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4ad\/2b1\/188\/4ad2b1188db5868daff5fa4f98ff8a6e.png\" alt=\"qwen3.6 mtp\" title=\"qwen3.6 mtp\" width=\"405\" height=\"351\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4ad\/2b1\/188\/4ad2b1188db5868daff5fa4f98ff8a6e.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4ad\/2b1\/188\/4ad2b1188db5868daff5fa4f98ff8a6e.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>qwen3.6 mtp<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u043b\u044f Eagle3 \u0438 DFlash:<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/02b\/da0\/47f\/02bda047faf507e7de6dd70e88472936.png\" alt=\"qwen3.6 eagle3 \u0438 dflash\" title=\"qwen3.6 eagle3 \u0438 dflash\" width=\"834\" height=\"236\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/02b\/da0\/47f\/02bda047faf507e7de6dd70e88472936.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/02b\/da0\/47f\/02bda047faf507e7de6dd70e88472936.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>qwen3.6 eagle3 \u0438 dflash<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f Qwen3.6 MTP \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0432\u0430\u043d\u0442\u044b \u043e\u0442 Unsloth:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.6-27B-MTP-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3.6-27B-MTP-GGUF<\/a>  <\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/huggingface.co\/unsloth\/Qwen3.6-35B-A3B-MTP-GGUF\" rel=\"noopener noreferrer nofollow\">Qwen3.6-35B-A3B-MTP-GGUF<\/a> <\/p>\n<\/li>\n<\/ul>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c MTP<\/h2>\n<p>\u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 llama.cpp \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u0440\u0435\u0436\u0438\u043c fit, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0451 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043d\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c GPU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f ncmoe. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c fa, \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c ncmoe \u0438\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c cmoe, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043b\u044f ngl \u0438 t \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.<\/p>\n<p>\u042d\u0442\u043e \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u0430 VRAM \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447, \u0442\u043e\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0432\u0448\u0438\u0441\u044c \u043d\u0430 cmoe, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e VRAM \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u043f\u043e\u0442\u0435\u0440\u044f\u0432 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0418\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c <code>-fitt N<\/code>  &#8212; \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 VRAM \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u041c\u0411 \u043f\u0440\u0438 \u0430\u0432\u0442\u043e\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435.<\/p>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 cmoe \u0438 ncmoe \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435: <a href=\"https:\/\/habr.com\/ru\/articles\/961478\/\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c GPT-OSS-120B \u043d\u0430 6 \u0413\u0431 GPU \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0434\u043e 30 t\/s. \u0412\u0430\u043c \u043d\u0443\u0436\u043d\u0430 RAM, \u0430 \u043d\u0435 VRAM. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 -cmoe \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f<\/a><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0441\u043a\u0430\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e \u0441\u043b\u043e\u044f\u043c\u0438 MTP, \u0442\u043e \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043e\u043d\u0430 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0447\u0442\u043e\u0431\u044b \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c MTP \u043d\u0443\u0436\u043d\u043e \u044f\u0432\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c <code>--spec-type draft-mtp<\/code> \u0438 \u0447\u0435\u0440\u0435\u0437 <code>--spec-draft-n-max 4<\/code> \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c. \u0420\u0430\u0437\u043c\u0435\u0440 <code>draft-n-max<\/code> \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0433\u043e\u043b\u043e\u0432 MTP \u0443 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0433\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f 4 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 \u0430\u0432\u0442\u043e\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u044b\u043c\u0438 4 \u0413\u0431 VRAM:<\/p>\n<p><code>.\\llama-server -m \"Qwen3.6-27B-MTP-UD-Q4_K_XL.gguf\" --spec-type draft-mtp --spec-draft-n-max 4 -fitt 4096<\/code><\/p>\n<h2>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438<\/h2>\n<p>\u0423 Qwen3.6 \u0435\u0441\u0442\u044c 4 \u0433\u043e\u043b\u043e\u0432\u044b MTP, \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u043f\u043e \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0443\u043c\u043a\u0435 \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0442 2 \u0434\u043e 4. \u0412 llama.cpp \u043d\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u043e\u043f\u0446\u0438\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u044f\u0432\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u043c Qwen3.6 27B UD-Q4_K_XL \u0438 Qwen3.6-35B-A3B-UD-Q4_K_XL. \u0417\u0430\u043c\u0435\u0440\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u044b \u043d\u0430 5090, \u0446\u0438\u0444\u0440\u044b \u0438 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u043c \u043e\u0431\u043e\u0440\u0443\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0433\u0443\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<p>\u0412\u043e \u0432\u0441\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 <a href=\"https:\/\/www.reddit.com\/r\/LocalLLaMA\/comments\/1tf3p6c\/local_qwen_36_vs_frontier_models_on_a_coding\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u043e\u043c\u043f\u0442 \u0441 \u0440\u0435\u0434\u0434\u0438\u0442\u0430<\/a>: <\/p>\n<blockquote>\n<p>Write a single HTML file with a full-page canvas and no libraries. Simulate a realistic side-view of a moving car as the main subject. Keep the car visible in the foreground while the background landscape scrolls continuously to create the feeling that the car is driving forward. Use layered scenery for depth: nearby ground, roadside elements, trees, poles, and distant hills or mountains should move at different speeds for a natural parallax effect. Animate the wheels spinning realistically and add subtle body motion so the car feels connected to the road. Let the environment pass smoothly behind it, with repeating but varied scenery that makes the movement feel believable. Use cinematic lighting and a cohesive sky, such as sunset, dusk, or daylight, to enhance atmosphere. The overall motion should feel calm, immersive, and realistic, with a seamless looping animation.<\/p>\n<\/blockquote>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a1b\/b4a\/067\/a1bb4a0671360be264b7854cb072831c.jpg\" alt=\"\" title=\"\" width=\"1593\" height=\"844\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a1b\/b4a\/067\/a1bb4a0671360be264b7854cb072831c.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a1b\/b4a\/067\/a1bb4a0671360be264b7854cb072831c.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0434\u043b\u044f \u043a\u043e\u0434\u0430 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 draft-n-max \u043e\u0442 1 \u0434\u043e 7: <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a18\/271\/166\/a182711660ca8aa71c09463d89bf0bcb.png\" alt=\"MTP --spec-draft-n-max 4 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 2 \u0440\u0430\u0437\u0430\" title=\"MTP --spec-draft-n-max 4 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 2 \u0440\u0430\u0437\u0430\" width=\"1216\" height=\"322\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a18\/271\/166\/a182711660ca8aa71c09463d89bf0bcb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a18\/271\/166\/a182711660ca8aa71c09463d89bf0bcb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>MTP &#8212;spec-draft-n-max 4 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432 2 \u0440\u0430\u0437\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0421\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u043f\u043e \u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0438 \u043d\u0435\u0442 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f MTP. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u043e\u043c \u0438 \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0430\u0433\u0435\u043d\u0442\u0435, \u0433\u0434\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0433\u043d\u0430\u0442\u044c \u0441\u0442\u0430\u0440\u044b\u0439 c++ opengl \u043f\u0440\u043e\u0435\u043a\u0442 \u0432 html.  <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d16\/e82\/222\/d16e822226780f8b6e6db30b9b8123c5.png\" alt=\"3 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 Qwen3.6-27B-UD-Q4_K_XL \u0441 MTP \u0438 \u0431\u0435\u0437\" title=\"3 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 Qwen3.6-27B-UD-Q4_K_XL \u0441 MTP \u0438 \u0431\u0435\u0437\" width=\"1050\" height=\"731\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d16\/e82\/222\/d16e822226780f8b6e6db30b9b8123c5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d16\/e82\/222\/d16e822226780f8b6e6db30b9b8123c5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>3 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 Qwen3.6-27B-UD-Q4_K_XL \u0441 MTP \u0438 \u0431\u0435\u0437<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f MoE, \u0433\u0434\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u0430\u043b\u043e, \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u043d\u0438\u0436\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 3B \u0432 \u0446\u0435\u043b\u043e\u043c \u0438\u043c\u0435\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438 \u0431\u0435\u0437 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u043e\u0432. \u0414\u043b\u044f Qwen3.6-35B-A3B-UD-Q4_K_XL \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043a\u043e\u0434\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0433\u043e 33%:<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f3d\/2df\/b69\/f3d2dfb698e245f4def9d1dbc6c0fc41.png\" alt=\"\u0423\u0440\u043e\u0432\u043d\u0438 MTP \u043e\u0442 1 \u0434\u043e 7 \u0434\u043b\u044f Qwen3.6-35B-A3B-UD-Q4_K_XL\" title=\"\u0423\u0440\u043e\u0432\u043d\u0438 MTP \u043e\u0442 1 \u0434\u043e 7 \u0434\u043b\u044f Qwen3.6-35B-A3B-UD-Q4_K_XL\" width=\"1240\" height=\"329\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f3d\/2df\/b69\/f3d2dfb698e245f4def9d1dbc6c0fc41.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f3d\/2df\/b69\/f3d2dfb698e245f4def9d1dbc6c0fc41.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0423\u0440\u043e\u0432\u043d\u0438 MTP \u043e\u0442 1 \u0434\u043e 7 \u0434\u043b\u044f Qwen3.6-35B-A3B-UD-Q4_K_XL<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 7-12%. \u0410 \u0432\u043e\u0442 \u0434\u043b\u044f \u0441\u043e\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u043d\u0430 10-17%. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f MoE GPU \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u0435\u0441\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3d4\/a4b\/e70\/3d4a4be70636ee55402565c7a6ec24ff.png\" alt=\"3 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 Qwen3.6-35B-A3B-UD-Q4_K_XL \u0441 MTP \u0438 \u0431\u0435\u0437\" title=\"3 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 Qwen3.6-35B-A3B-UD-Q4_K_XL \u0441 MTP \u0438 \u0431\u0435\u0437\" width=\"1219\" height=\"492\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3d4\/a4b\/e70\/3d4a4be70636ee55402565c7a6ec24ff.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3d4\/a4b\/e70\/3d4a4be70636ee55402565c7a6ec24ff.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>3 \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u043d\u0430 Qwen3.6-35B-A3B-UD-Q4_K_XL \u0441 MTP \u0438 \u0431\u0435\u0437<\/figcaption><\/div>\n<\/figure>\n<h2>\u0412\u044b\u0432\u043e\u0434\u044b<\/h2>\n<p>MTP \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c \u0447\u0435\u0440\u043d\u043e\u0432\u0430\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u043b\u043e\u0441\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u043d\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438 \u0441\u0430\u043c\u043e MTP \u0432\u0435\u0441\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0447\u0435\u0440\u043d\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. <\/p>\n<p>\u0423\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f Dense, \u0433\u0434\u0435 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435, \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435, \u0434\u0430\u0436\u0435 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u0430, \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 2\u0445 \u0440\u0430\u0437, \u0434\u043b\u044f \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 33%, \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 83%. <\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f MoE \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043c\u0430\u043b\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 MTP \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435 \u0441\u0442\u043e\u043b\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, 33% \u0434\u043b\u044f \u043a\u043e\u0434\u0430, \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 12% \u0438 \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u043e\u0435 &#8212; \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u0438\u0439 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043d\u0430 10%.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 MTP \u0435\u0441\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b: EAGLE-3 \u0438 DFlash.<\/p>\n<p>\u0418\u0437\u0443\u0447\u0435\u043d\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0430 llama.cpp \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u043e, \u0447\u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0435 \u0441\u0442\u0440\u0430\u0434\u0430\u0435\u0442 \u0438 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f lossless \u043f\u0440\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0438 MTP.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1036120\/\">https:\/\/habr.com\/ru\/articles\/1036120\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 llama.cpp \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 MTP Qwen3.6. \u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 Multi-Token Prediction \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 1 \u043f\u0440\u043e\u0445\u043e\u0434, \u0447\u0442\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0432 1.5-2 \u0440\u0430\u0437\u0430. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f lossless. \u0414\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u0433\u043e MTP, \u0435\u0441\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b \u0432 \u043b\u0438\u0446\u0435 EAGLE-3 \u0438 DFlash.TL;DR: \u0421\u043a\u0430\u0447\u0430\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u044b \u0441 \u0438\u043c\u0435\u043d\u0435\u043c MTP:Qwen3.6-27B-MTP-GGUFQwen3.6-35B-A3B-MTP-GGUF\u0418 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c:.\\llama-server -m &#171;Qwen3.6-27B-UD-Q4_K_XL.gguf&#187; &#8212;spec-type draft-mtp &#8212;spec-draft-n-max 4\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 MTPMulti-Token Prediction (MTP) \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u044d\u0442\u043e\u0439 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u044d\u0442\u0438 \u0441\u043b\u043e\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0438 \u043e\u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u043e\u043d \u0436\u0435 LLM, \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 \u0438\u043c\u0435\u0435\u0442 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u043b\u043e\u0439 \u0441\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0442 \u0432 \u043b\u043e\u0433\u0438\u0442\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u042d\u0442\u043e \u0442\u043e\u043b\u044c\u043a\u043e 1 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u043d\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435\u0441\u0442\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0448\u0430\u0433\u0430\u0445.\u0421\u043b\u043e\u0438 MTP \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u043b\u043e\u0432 MTP, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0447\u0430\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c t+1, t+2, t+k \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u043e\u043b\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412 llama.cpp \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0443 MTP \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0434\u043b\u044f Qwen3.6: https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/22673\u0414\u043b\u044f Gemma4 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0435.EAGLE-3\u0415\u0441\u043b\u0438 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442 MTP \u0433\u043e\u043b\u043e\u0432, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0445\u043e\u0436\u0438\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f. \u0421\u043a\u0440\u044b\u0442\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0443\u0436\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445, \u0438 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0432\u043d\u0435\u0448\u043d\u0438\u0439 \u0431\u043b\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0443\u0447\u0438\u0442\u0441\u044f \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u0442\u044c \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c k \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e MTP.\u0412 \u043c\u0435\u0442\u043e\u0434\u0435 EAGLE-3 \u0441\u043e\u0437\u0434\u0430\u0435\u0442\u0441\u044f \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f 1 \u043b\u0435\u0433\u043a\u043e\u0432\u0435\u0441\u043d\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0432\u043a\u043e\u043d\u0446\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0438 \u043e\u0442 MTP, \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u043e 1 \u0433\u043e\u043b\u043e\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f k \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u0414\u043b\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0443\u0436\u0435 \u0441\u043e\u0437\u0434\u0430\u043d\u044b eagle3 \u043c\u043e\u0434\u0443\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0422\u0430\u043a\u0436\u0435 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0432\u0430\u0436\u043d\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f eagle3.\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 llama.cpp \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430: https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/18039DFlash\u0420\u0430\u0437\u0432\u0438\u0432\u0430\u044f \u0438\u0434\u0435\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u043f\u044b\u0442\u0430\u044f\u0441\u044c \u043e\u0431\u043e\u0439\u0442\u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0438\u0434\u0451\u0442 \u043e\u0434\u0438\u043d \u0437\u0430 \u0434\u0440\u0443\u0433\u0438\u043c, \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u0441\u043f\u043e\u0441\u043e\u0431 \u0431\u043b\u043e\u0447\u043d\u043e\u0439 \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0438. \u0412 DFlash \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0437\u0430 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u0431\u043b\u043e\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043e\u0442 8 \u0434\u043e 16 \u0437\u0430 \u0440\u0430\u0437. \u041a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 EAGLE-3, DFlash \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u0435\u0440, \u0431\u043b\u043e\u043a \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u0439. \u041c\u0435\u0442\u043e\u0434 \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u0441\u043f\u043e\u0441\u043e\u0431 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0432 Stable Diffusion \u0438\u043b\u0438 \u043d\u0430 LLM Gemini Diffusion.\u042d\u0442\u043e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u0430\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u0434\u043e 8 \u0440\u0430\u0437.\u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432 llama.cpp \u0432 \u0441\u0442\u0430\u0442\u0443\u0441\u0435 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430: https:\/\/github.com\/ggml-org\/llama.cpp\/pull\/22105\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c tg t\/s\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f LLM \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u043e\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435:\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0410\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 Dense \u0440\u0430\u0437\u043c\u0435\u0440 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d \u0440\u0430\u0437\u043c\u0435\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438. \u0430 \u0432 MoE \u0438\u043b\u0438 Gemma4 E4B, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c t\/s \u0432\u043b\u0438\u044f\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430.\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 4060 ti 16 \u0413\u0431, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c VRAM 288 \u0413\u0431 \u0438\u043b\u0438 268 GiB\/s \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0441\u0447\u0451\u0442\u044b \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435. \u0412\u043e\u0437\u044c\u043c\u0451\u043c \u043c\u043e\u0434\u0435\u043b\u044c Qwen3.6-27B, \u043e\u043d\u0430 \u0432\u0435\u0441\u0438\u0442 54 GiB, \u0432 \u043a\u0432\u0430\u043d\u0442\u0435 UD-Q3 13.5 GiB \u0438 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0432 GPU \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c 19.8 t\/s. \u0420\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0438\u0436\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043f\u0440\u043e\u0447\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f. \u0420\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 17.11 t\/s.Qwen3.6-27B-UD-Q3_K_XL \u043d\u0430 4060 ti 16\u0413\u0431, 17 t\/s \u043f\u0440\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0435 19.8 t\/s\u041d\u0430 GPU \u0432\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432, \u0438 \u0443 \u0432\u0430\u0441 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0440\u0435\u0441\u0443\u0440\u0441\u044b, \u0447\u0442\u043e\u0431\u044b \u0437\u0430 1 \u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 LLM \u0434\u043b\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. \u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u0412\u0441\u0435 3 \u043c\u0435\u0442\u043e\u0434\u0430 \u0438\u0437\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437 \u0441\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0432\u0435\u0434\u044c \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u0435\u0441\u0442\u044c, \u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0431\u044b\u0441\u0442\u0440\u043e \u0432\u044b\u0434\u0430\u0447\u0430 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u043d\u0435\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c k \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0431\u0449\u0438\u0439 KV-\u043a\u044d\u0448, \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442 k \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044f \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0438\u0445 \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0430 \u0431\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c.\u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 8 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 7 \u0440\u0430\u0437, 20 t\/s \u043f\u0440\u043e\u0442\u0438\u0432 144 t\/s, \u0432 llama.cpp \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 &#8212;parallel N. \u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0437\u0430\u043f\u0430\u0441\u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 GPU, \u043e\u0434\u043d\u0430 GPU \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430.\u041e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 20 t\/s, 8 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 &#8212; 18 t\/s \u043a\u0430\u0436\u0434\u044b\u0439 (\u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e 144 t\/s)\u0422\u0443\u0442 \u0432\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438 \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0438\u0445 \u0438\u043b\u0438 \u043d\u0435\u0442. \u041a\u0430\u043a \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435, \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043e\u0437\u0434\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430.\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b A, B, C, D, E. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0437\u0434\u0430\u0435\u0442 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442:base + A + ?base + A + B + ?base + A + B + &#8230; + E + ?\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 1 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d. \u0415\u0441\u043b\u0438 \u044d\u0442\u043e\u0442 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f, \u0435\u0441\u043b\u0438 \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f. \u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435 \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d.\u0415\u0441\u043b\u0438 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0438\u0437 4 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0432\u0441\u044f \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0430, \u0442\u043e \u0437\u0430 1 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u043c\u044b \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u044d\u0442\u0438 4 \u0442\u043e\u043a\u0435\u043d\u0430 + 1 \u043d\u043e\u0432\u044b\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0438 \u0442\u043e\u0436\u0435 \u0431\u044b\u043b \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435 \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f 1 \u043d\u043e\u0432\u044b\u0439 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d. \u0418 \u043f\u043e\u044d\u0442\u043e\u043c\u0443, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0443\u0442\u044b \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430, \u0442\u043e \u044d\u0442\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 +1 \u0442\u043e\u043a\u0435\u043d \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043d\u0435 \u0434\u0430\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0434\u0430\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0430\u0434\u043a\u0443 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0443\u0442\u044b \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430. \u041d\u043e \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0437\u0430\u043f\u0430\u0441\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0445\u0432\u0430\u0442\u0430\u0435\u0442.lossless \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u044b \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430MTP, EAGLE-3, DFlash \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0435 \u043e\u0440\u0438\u0433\u0438\u043d\u043f\u0430\u043b\u0443. \u041d\u043e \u043a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0442\u0430\u043a \u043b\u0438 \u044d\u0442\u043e? \u0412 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435 \u0431\u044b\u0442\u0443\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u044d\u0442\u043e\u0442 \u0441\u0447\u0435\u0442, \u0438 \u044f \u0441\u0430\u043c \u043d\u0435 \u0431\u044b\u043b \u0443\u0432\u0435\u0440\u0435\u043d \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u0432 \u044d\u0442\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0442\u0435\u0441\u0442\u044b \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0438\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 llama.cpp \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u043e\u0432.\u041d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0444\u0430\u0439\u043b sampling.cpp, \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0444\u0430\u0437\u0430 \u0432\u0435\u0440\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438:std::vector&lt;llama_token&gt; common_sampler_sample_and_accept_n(struct common_sampler * gsmpl, struct llama_context * ctx, const std::vector&lt;int&gt; &amp; idxs, const llama_tokens &amp; draft, bool grammar_first) {    GGML_ASSERT(idxs.size() == draft.size() + 1 &amp;&amp; &#171;idxs.size() must be draft.size() + 1&#187;);    std::vector&lt;llama_token&gt; result;    result.reserve(idxs.size());    size_t i = 0;    for (; i &lt; draft.size(); i++) {        const llama_token id = common_sampler_sample(gsmpl, ctx, idxs[i], grammar_first);        common_sampler_accept(gsmpl, id, true);        result.push_back(id);        if (draft[i] != id) {            break;        }    }    if (i == draft.size()) {        const llama_token id = common_sampler_sample(gsmpl, ctx, idxs[i], grammar_first);        common_sampler_accept(gsmpl, id, true);        result.push_back(id);    }    return result;}\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 draft[i] \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.\u0421\u044d\u043c\u043f\u043b\u0435\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430.\u0415\u0441\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 draft[i], \u0442\u043e \u0446\u0438\u043a\u043b \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f.\u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u0442\u043e \u0442\u043e\u043a\u0435\u043d \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c.if (draft[i] != id) {  break;} \u041f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u0435 \u0446\u0438\u043a\u043b\u0430 \u043f\u0440\u0438 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u044f\u0432\u043d\u043e\u0435, \u043d\u0438\u043a\u0430\u043a \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0442\u0443\u0442 \u043d\u0435 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043e. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430, \u0437\u043d\u0430\u0447\u0438\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 lossless \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0447\u0435\u0440\u043d\u043e\u0432\u0438\u043a\u0430.\u041a\u0430\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c llama.cpp \u0438 \u0432\u044b\u0436\u0430\u0442\u044c \u0438\u0437 \u043d\u0435\u0451 \u0431\u043e\u043b\u044c\u0448\u0435\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u0432\u0435\u0436\u0443\u044e llama.cpp \u0438 \u043a\u0430\u043a \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438, \u0432 \u0446\u0435\u043b\u043e\u043c \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430, \u043d\u043e \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c\u0441\u044f:\u0412\u044b\u0436\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 LLM. Ollama \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 llama.cpp \u0432 3 \u0440\u0430\u0437\u0430. UD_Q4_K_XL \u043b\u0443\u0447\u0448\u0435 \u0447\u0435\u043c Q4_K_M, \u0430 \u0432\u0435\u0441 \u0442\u043e\u0442 \u0436\u0435 \u0438 \u0442.\u0434\u0414\u043e\u0431\u0430\u0432\u043b\u044e \u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e \u0432\u0430\u043c \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0432\u0430\u043d\u0442\u044b UD, \u043d\u043e \u0438 \u043a\u0432\u0430\u043d\u0442\u044b \u043e\u0442 Bartowski, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435: https:\/\/huggingface.co\/bartowski\u0418 \u0442\u0430\u043a\u0436\u0435 ollama \u043d\u0430 \u0434\u043d\u044f\u0445 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043e\u0442 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 GGLM \u043e\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 llama.cpp, \u0438 \u043f\u0435\u0440\u0435\u0448\u043b\u0430 \u043d\u0430 llama.cpp \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e. \u0413\u0434\u0435 \u0432\u0437\u044f\u0442\u044c \u043a\u0432\u0430\u043d\u0442\u044b \u0434\u043b\u044f MTP, Eagle3, DFlash\u041e\u0431\u044b\u0447\u043d\u043e \u0438\u0437 GGUF \u0432\u044b\u0440\u0435\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u043b\u043e\u0438 MTP, \u0435\u0441\u043b\u0438 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u0431\u044b\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438 \u043b\u0438\u0448\u043d\u0435\u0435 \u043c\u0435\u0441\u0442\u043e. Qwen3.6 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e, \u0441\u0442\u0430\u0440\u044b\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0441\u043b\u043e\u0435\u0432 MTP, \u0445\u043e\u0442\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0445 \u0438\u043c\u0435\u043b\u0430.\u0421 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u0432 llama.cpp \u044d\u0442\u0438 \u0441\u043b\u043e\u0438 \u043d\u0430\u0447\u0430\u043b\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c, \u043d\u043e \u0432 \u0432\u0438\u0434\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u0432\u0430\u043d\u0442\u043e\u0432. \u0412\u0441\u0435 \u043a\u0432\u0430\u043d\u0442\u044b \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 https:\/\/huggingface.co\/\u041d\u0443\u0436\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u0432 \u043f\u043e\u0438\u0441\u043a \u0438\u043c\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043a \u043d\u0435\u043c\u0443 MTP:qwen3.6 mtp\u0422\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u043b\u044f Eagle3 \u0438 DFlash:qwen3.6 eagle3 \u0438 dflash\u0414\u043b\u044f Qwen3.6 MTP \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0432\u0430\u043d\u0442\u044b \u043e\u0442 Unsloth:Qwen3.6-27B-MTP-GGUF  Qwen3.6-35B-A3B-MTP-GGUF \u041a\u0430\u043a \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c MTP\u041d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 llama.cpp \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u0440\u0435\u0436\u0438\u043c fit, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0451 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043d\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c GPU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f ncmoe. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c fa, \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c ncmoe \u0438\u043b\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c cmoe, \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043b\u044f ngl \u0438 t \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.\u042d\u0442\u043e \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u0430 VRAM \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447, \u0442\u043e\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0432\u0448\u0438\u0441\u044c \u043d\u0430 cmoe, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0441\u0432\u043e\u0431\u043e\u0434\u0438\u0442\u044c \u043c\u043d\u043e\u0433\u043e VRAM \u043d\u0435 \u043e\u0441\u043e\u0431\u043e \u043f\u043e\u0442\u0435\u0440\u044f\u0432 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0418\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u0442\u044c -fitt N  &#8212; \u0443\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 VRAM \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u041c\u0411 \u043f\u0440\u0438 \u0430\u0432\u0442\u043e\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0435.\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 cmoe \u0438 ncmoe \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435: \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c GPT-OSS-120B \u043d\u0430 6 \u0413\u0431 GPU \u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u043c \u0434\u043e 30 t\/s. \u0412\u0430\u043c \u043d\u0443\u0436\u043d\u0430 RAM, \u0430 \u043d\u0435 VRAM. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 -cmoe \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f\u0415\u0441\u043b\u0438 \u0432\u044b&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-480043","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/480043","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=480043"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/480043\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=480043"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=480043"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=480043"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}