{"id":487821,"date":"2026-07-19T23:10:39","date_gmt":"2026-07-19T23:10:39","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=487821"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=487821","title":{"rendered":"\u041a\u0430\u043a \u043c\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 Ornith\u201135B \u043d\u0430 \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0441 8 \u0413\u0411 VRAM \u0438 \u0440\u0430\u0437\u043e\u0433\u043d\u0430\u043b\u0438 \u0435\u0451 \u0434\u043e 99 \u0442\u043e\u043a\/\u0441 \u043d\u0430 AMD Strix Halo"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c, Ornith\u20111.0\u201135B \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435 Qwen3.5\u2011397B\u2011A17B \u0432 \u0442\u0435\u0445 \u0442\u0435\u0441\u0442\u0430\u0445, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434, \u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435 \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438. \u041d\u0430 Terminal\u2011Bench 2.1 \u0441 Terminus\u20112 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 64,2% \u043f\u0440\u043e\u0442\u0438\u0432 53,5%.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">Benchmark<\/p>\n<\/th>\n<th>\n<p align=\"left\">Ornith\u20111.0\u201135B<\/p>\n<\/th>\n<th>\n<p align=\"left\">Qwen3.5\u2011397B<\/p>\n<\/th>\n<th>\n<p align=\"left\">Ornith \u2212 Qwen<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Terminal\u2011Bench 2.1, Terminus\u20112<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>64,2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">53,5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+10,7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Terminal\u2011Bench 2.1, Claude Code<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>62,8<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">48,6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+14,2<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Verified<\/p>\n<\/td>\n<td>\n<p align=\"left\">75,6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>76,4<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120,8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Pro<\/p>\n<\/td>\n<td>\n<p align=\"left\">50,4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>51,6<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121,2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Multilingual<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>69,3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>69,3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0,0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">NL2Repo<\/p>\n<\/td>\n<td>\n<p align=\"left\">34,6<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>36,8<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122,2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">ClawEval Avg<\/p>\n<\/td>\n<td>\n<p align=\"left\">69,8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>70,7<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120,9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE Atlas \u2014 QnA<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>37,1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">20,4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+16,7<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE Atlas \u2014 RF<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>29,7<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">18,4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+11,3<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE Atlas \u2014 TW<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>27,8<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">18,5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+9,3<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Ornith \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 Qwen \u0432\u043e \u0432\u0441\u0435\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445: \u043d\u0430 SWE\u2011bench Verified, SWE\u2011bench Pro, NL2Repo \u0438 ClawEval Qwen \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u043f\u0435\u0440\u0435\u0434\u0438. \u041d\u043e \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e coding\u2011\u0430\u0433\u0435\u043d\u0442\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e. Ornith \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0434 agentic coding \u2014 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u043e\u043c, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u043c\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u043c\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u0448\u0438\u0431\u043e\u043a.<\/p>\n<p>\u041c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u0440\u0435\u0437\u0435 \u0438\u0437 43 \u0437\u0430\u0434\u0430\u0447. \u0412 \u043d\u0435\u0433\u043e \u0432\u043e\u0448\u043b\u0438 tool calling, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430, \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432, \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043b\u0430\u0441\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 Ornith<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SimpleQA<\/p>\n<\/td>\n<td>\n<p align=\"left\">4\/5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BFCL Orion Safe<\/p>\n<\/td>\n<td>\n<p align=\"left\">9\/9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BFCL Memory<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">HumanEval+<\/p>\n<\/td>\n<td>\n<p align=\"left\">17\/17<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PersistBench<\/p>\n<\/td>\n<td>\n<p align=\"left\">3\/3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">NIAH<\/p>\n<\/td>\n<td>\n<p align=\"left\">4\/4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Python<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\/2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Multilingual<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TheAgentCompany<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,8333\/1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0418\u0442\u043e\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>40,8333\/43<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u043d\u0433\u0430. <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u044b\u0441\u043b\u044c: Ornith \u044f\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043d\u0430 Ubuntu\u2011\u043c\u0430\u0448\u0438\u043d\u0435 \u0441 Ryzen AI MAX+ 395, Radeon 8060S \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043e 256 \u0413\u0411\/\u0441. <\/p>\n<p>\u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 19\u201321 \u0413\u0411, \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 \u043e\u0431\u0449\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043d\u043e \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u0442\u043e\u043b\u044c\u043a\u043e 68\u201374 \u0442\u043e\u043a\/\u0441.<\/p>\n<p>\u0414\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b:<\/p>\n<ul>\n<li>\n<p>\u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c K\u2011quant matvec \u0438 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0440\u043e\u043a, \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u043e\u0434\u043d\u0438\u043c Vulkan dispatch;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c <code>MUL_MAT_ID<\/code> dispatch \u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 workgroup;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c graphics queue \u0432\u043c\u0435\u0441\u0442\u043e compute queue;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c <code>batch<\/code> \u0438 <code>ubatch<\/code>;<\/p>\n<\/li>\n<li>\n<p>\u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c KV\u2011cache \u0441 Q8 \u0434\u043e Q4;<\/p>\n<\/li>\n<li>\n<p>\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c MTP \u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0433\u043b\u0443\u0431\u0438\u043d\u0443 draft;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u044b\u0435 \u0442\u044f\u0436\u0451\u043b\u044b\u0435 expert\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u044b;<\/p>\n<\/li>\n<li>\n<p>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c exact n\u2011gram reuse \u043d\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0435\u043c\u0441\u044f agent\/code\u2011\u0442\u0440\u0430\u0444\u0438\u043a\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0434\u0438\u043d Vulkan\u2011\u043f\u0430\u0442\u0447 \u0434\u0430\u043b \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430. \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 MTP, n\u2011gram reuse, \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a runtime: 79,661 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c 43\u2011task \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0438 99,088 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u043e\u043c code\u2011\u043f\u043e\u0442\u043e\u043a\u0435 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u0431\u0430\u043b\u043b\u0430.<\/p>\n<h3>\u0416\u0435\u043b\u0435\u0437\u043e \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/h3>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">Ubuntu\u2011\u0441\u0435\u0440\u0432\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">Windows\u2011\u043d\u043e\u0443\u0442\u0431\u0443\u043a<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">CPU\/APU<\/p>\n<\/td>\n<td>\n<p align=\"left\">AMD Ryzen AI MAX+ 395<\/p>\n<\/td>\n<td>\n<p align=\"left\">Intel Core i7\u201113650HX<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">GPU<\/p>\n<\/td>\n<td>\n<p align=\"left\">Radeon 8060S, Vulkan <code>gfx1151<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">RTX 4060 Laptop, 8 GiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RAM<\/p>\n<\/td>\n<td>\n<p align=\"left\">128 GiB DDR5 UMA<\/p>\n<\/td>\n<td>\n<p align=\"left\">63,74 GiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Runtime<\/p>\n<\/td>\n<td>\n<p align=\"left\">llama.cpp b9994, Vulkan<\/p>\n<\/td>\n<td>\n<p align=\"left\">llama.cpp b10066 CUDA; LM Studio 2.14.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">131 072, \u043e\u0434\u0438\u043d slot<\/p>\n<\/td>\n<td>\n<p align=\"left\">16 384, \u043e\u0434\u0438\u043d slot<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0439 agent endpoint<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 LM Studio<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 \u043e\u0431\u0449\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 CPU \u0438 Radeon. \u042d\u0442\u043e \u0438\u0437\u0431\u0430\u0432\u043b\u044f\u043b\u043e \u043e\u0442 PCIe paging, \u043d\u043e \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u043b\u043e DDR5 \u0432 HBM. Ornith \u2014 MoE\u2011\u043c\u043e\u0434\u0435\u043b\u044c: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0432\u0435\u0441\u0430 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u0438 batch 1 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u043e, \u0430 \u0447\u0442\u0435\u043d\u0438\u0439 \u043c\u043d\u043e\u0433\u043e. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 GPU \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443, \u043f\u043e\u043a\u0430 decode \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c \u0432\u0435\u0441\u043e\u0432, \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432.<\/p>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u0431\u0449\u0435\u043c \u0437\u0430\u043c\u0435\u0440\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 <code>Ornith-1.0-35B-Q4_K_M<\/code> \u0432\u044b\u0434\u0430\u0432\u0430\u043b \u043e\u043a\u043e\u043b\u043e 68,7 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c decode. \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f llama.cpp \u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043b 74,066 \u0442\u043e\u043a\/\u0441. \u041d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043b\u044c\u0437\u044f: \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b\u0438\u0441\u044c. \u0412\u0441\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a \u043f\u0430\u0440\u043d\u044b\u043c A\/B\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c.<\/p>\n<p>\u0426\u0435\u043b\u044c\u044e \u0431\u044b\u043b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u0439 batch\u20111 decode \u043f\u0440\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 131 072 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u043d\u044b\u0435 A\/B\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u044b.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 prompt, \u043f\u0440\u043e\u0433\u0440\u0435\u0432, \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0438 \u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 <code>timings.predicted_per_second<\/code>. \u041d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0441\u044f weighted decode:<\/p>\n<pre><code>weighted_decode = \u0441\u0443\u043c\u043c\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \/ \u0441\u0443\u043c\u043c\u0430 decode-\u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0435\u0441. \u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 \u0432\u0441\u0451 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u0441\u0440\u0435\u0437\u0435 Orion \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 task ID \u0438 offset. \u0421\u043e\u0441\u0442\u0430\u0432 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<p>\u0412\u0441\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f Vulkan \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043c\u0435\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b\u0438 <code>test-backend-ops<\/code>: 3160 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u043b\u044f \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 row merge \u0438 \u0435\u0449\u0451 790 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e <code>MUL_MAT_ID<\/code>\u2011\u043f\u0430\u0442\u0447\u0430.<\/p>\n<h3>\u041f\u043e\u043f\u044b\u0442\u043a\u0438 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c Ornith \u043d\u0430 Ubuntu<\/h3>\n<p>\u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0441 matvec: MoE \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0447\u0438\u0442\u0430\u0435\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 expert weights, \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 K\u2011quant \u044f\u0434\u0440\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435. \u0412 \u0444\u043e\u0440\u043a \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 runtime\u2011\u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c <code>GGML_VK_DMMV_RM_KQ<\/code>, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c row merging <code>1\/2\/4\/8<\/code> \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0441\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p>\u0412 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0431\u0435\u0437 MTP <code>rows=1<\/code> \u043f\u043e\u043a\u0430\u0437\u0430\u043b 75,886 \u043f\u0440\u043e\u0442\u0438\u0432 75,400 \u0442\u043e\u043a\/\u0441 \u0447\u0438\u0441\u0442\u043e\u0433\u043e b9994 \u2014 \u0432\u0441\u0435\u0433\u043e +0,64%. \u041f\u043e\u0441\u043b\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f MTP \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f, \u0438 \u043b\u0443\u0447\u0448\u0438\u043c \u0441\u043d\u043e\u0432\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 <code>rows=2<\/code>:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\"><code>rm_kq<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">Mean, \u0442\u043e\u043a\/\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">Min<\/p>\n<\/th>\n<th>\n<p align=\"left\">Max<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,029<\/p>\n<\/td>\n<td>\n<p align=\"left\">86,583<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,832<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>87,552<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">87,162<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,779<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">86,717<\/p>\n<\/td>\n<td>\n<p align=\"left\">86,285<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,167<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\">86,120<\/p>\n<\/td>\n<td>\n<p align=\"left\">85,270<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,502<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0423\u043a\u0440\u0443\u043f\u043d\u0435\u043d\u0438\u0435 tile \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e dispatch, \u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 live state \u0438 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u044b. \u041d\u0430 RDNA \u044d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 waves, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0442\u0440\u043e\u043a \u0437\u0430 \u0440\u0430\u0437\u00bb \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/p>\n<p>\u0414\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0442\u043e\u0436\u0435 \u043d\u0435 \u0434\u0430\u043b\u0438 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u0441\u043a\u0430\u0447\u043a\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0427\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043b<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>MUL_MAT_ID<\/code> token\u2011batch Z\u2011dispatch fusion<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,214 \u043f\u0440\u043e\u0442\u0438\u0432 87,591 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">RDNA3 workgroup 256<\/p>\n<\/td>\n<td>\n<p align=\"left\">74,556 \u0442\u043e\u043a\/\u0441, \u0432\u044b\u0448\u0435 power<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">rows=4, \u0431\u0435\u0437 MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">74,418 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">rows=8, \u0431\u0435\u0437 MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">73,099 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q4_K\/Q6_K activation hoist<\/p>\n<\/td>\n<td>\n<p align=\"left\">75,535 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0441\u043b\u0430\u0431\u0435\u0435 rows=1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0434\u0438\u043d Vulkan\u2011\u043f\u0430\u0442\u0447 \u043d\u0435 \u043c\u043e\u0433 \u0434\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u044b\u0435 96 \u0442\u043e\u043a\/\u0441, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u043b \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0418\u0437\u043c\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0432 \u0444\u043e\u0440\u043a\u0435, \u043d\u043e \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u043e\u043b\u0438 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430 \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0440\u044b\u0432 \u043d\u0435 \u0438\u043c\u0435\u043b\u043e \u0441\u043c\u044b\u0441\u043b\u0430.<\/p>\n<p>\u0417\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 ubatch. \u041f\u0440\u0438 <code>ubatch=1024<\/code> graphics queue \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 compute queue:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0422\u0435\u0441\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">Compute queue<\/p>\n<\/th>\n<th>\n<p align=\"left\">Graphics queue<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PP 8K<\/p>\n<\/td>\n<td>\n<p align=\"left\">1053,044 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1080,212 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">+2,58%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Decode 512<\/p>\n<\/td>\n<td>\n<p align=\"left\">73,079 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>75,886 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">+3,84%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 ubatch \u043d\u0435 \u043f\u043e\u0431\u0435\u0434\u0438\u043b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">Ubatch <\/p>\n<\/td>\n<td>\n<p align=\"left\"> PP 8K  <\/p>\n<\/td>\n<td>\n<p align=\"left\"> \u0421\u0440\u0435\u0434\u043d\u044f\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c  <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">256<\/p>\n<\/td>\n<td>\n<p align=\"left\"> 833,183 \u0442\u043e\u043a\/\u0441  <\/p>\n<\/td>\n<td>\n<p align=\"left\"> 138,0 \u0412\u0442  <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">512<\/p>\n<\/td>\n<td>\n<p align=\"left\"> 1011,601 \u0442\u043e\u043a\/\u0441  <\/p>\n<\/td>\n<td>\n<p align=\"left\"> 131,7 \u0412\u0442  <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1024<\/p>\n<\/td>\n<td>\n<p align=\"left\"> 1080,212 \u0442\u043e\u043a\/\u0441  <\/p>\n<\/td>\n<td>\n<p align=\"left\"> 120,4 \u0412\u0442  <\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2048<\/p>\n<\/td>\n<td>\n<p align=\"left\"> 1010,463 \u0442\u043e\u043a\/\u0441  <\/p>\n<\/td>\n<td>\n<p align=\"left\"> 106,4 \u0412\u0442  <\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c:<\/p>\n<pre><code class=\"bash\">GGML_VK_ALLOW_GRAPHICS_QUEUE=1GGML_VK_DISABLE_COOPMAT=1GGML_VK_MAX_NODES_PER_SUBMIT=50<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<pre><code>--ctx-size 131072--parallel 1--batch-size 2048--ubatch-size 1024--flash-attn on--cache-type-k q8_0--cache-type-v q8_0--n-gpu-layers all--device Vulkan0--no-mmap<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0438 Q4 KV\u2011cache: \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0430\u0439\u0442 \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u043c\u043e\u0447\u044c \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. \u041d\u0430 62 630 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0438 512 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0445\u0443\u0436\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">KV\u2011cache<\/p>\n<\/th>\n<th>\n<p align=\"left\">Prefill<\/p>\n<\/th>\n<th>\n<p align=\"left\">Decode<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Q8_0\/Q8_0<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>524,16 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>70,29 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Q4_0\/Q4_0<\/p>\n<\/td>\n<td>\n<p align=\"left\">484,73 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">67,67 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Q4 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b 7,5% \u043f\u043e prefill \u0438 3,7% \u043f\u043e decode. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e Vulkan backend \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u043b\u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 scale\/metadata, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 production \u043e\u0441\u0442\u0430\u043b\u0441\u044f Q8. \u041d\u0430 CUDA, HIP \u0438\u043b\u0438 Metal \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c.<\/p>\n<h3>\u0427\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u043e\u043f\u044b\u0442\u043e\u0432 \u0441 \u044f\u0434\u0440\u0430\u043c\u0438 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u044a\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u044b, \u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0435\u0433\u043e.<\/p>\n<p>\u041f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u0441\u0442\u0430\u043b\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f MTP\u2011\u0433\u043e\u043b\u043e\u0432\u043a\u0430. Ornith \u0438 Qwen3.6\u201135B\u2011A3B MTP\u2011only \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 <code>qwen35moe<\/code>. \u0421\u043a\u0440\u0438\u043f\u0442 <a href=\"http:\/\/graft-ornith-mtp.py\" rel=\"noopener noreferrer nofollow\"><code>graft-ornith-mtp.py<\/code><\/a> \u0431\u0435\u0440\u0451\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 prediction\u2011\u0441\u043b\u043e\u0439 \u0438\u0437 MTP\u2011GGUF, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u043c\u0435\u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 <code>nextn_predict_layers=1<\/code>. \u042d\u0442\u043e \u043d\u0435 fine\u2011tuning \u0438 \u043d\u0435 \u043d\u043e\u0432\u0430\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u043a target \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0434\u043b\u044f speculative decoding.<\/p>\n<p>\u0413\u043b\u0443\u0431\u043e\u043a\u0438\u0439 draft \u0437\u0434\u0435\u0441\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u0432\u044b\u0433\u043e\u0434\u0435\u043d. \u0414\u043b\u044f MoE \u043b\u0438\u0448\u043d\u0438\u0435 draft\u2011\u0442\u043e\u043a\u0435\u043d\u044b \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 target \u043f\u043e\u0442\u043e\u043c \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u041b\u0443\u0447\u0448\u0435\u0439 \u0441\u0442\u0430\u043b\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 2. \u041f\u043e\u0440\u043e\u0433 <code>p_min<\/code> \u0442\u043e\u0436\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0441\u044f \u0437\u0430\u043c\u0435\u0440\u0430\u043c\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\"><code>p_min<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">Mean decode, \u0442\u043e\u043a\/\u0441<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0,00<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,326<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0,05<\/p>\n<\/td>\n<td>\n<p align=\"left\">88,145<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0,10<\/p>\n<\/td>\n<td>\n<p align=\"left\">87,561<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>0,20<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>89,235<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0,30<\/p>\n<\/td>\n<td>\n<p align=\"left\">86,986<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0,40<\/p>\n<\/td>\n<td>\n<p align=\"left\">85,196<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0,50<\/p>\n<\/td>\n<td>\n<p align=\"left\">86,566<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b speculation:<\/p>\n<pre><code>--spec-type ngram-mod,draft-mtp--spec-draft-n-max 2--spec-draft-n-min 1--spec-draft-p-min 0.20--spec-ngram-mod-n-min 48--spec-ngram-mod-n-max 64--spec-ngram-mod-n-match 24<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u2014 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f. \u0414\u0432\u0430\u0434\u0446\u0430\u0442\u044c <code>ffn_down_exps<\/code>\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u0432 Q4_0, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043f\u043e \u043f\u043b\u0430\u043d\u0443 Q4_K_M. Target \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0441\u044f \u0441 20 681,07 \u0434\u043e 19 377,09 MiB, \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u2014 \u0441 4,89 \u0434\u043e 4,58 BPW.<\/p>\n<pre><code class=\"bash\">llama-quantize \\  --tensor-type-file scripts\/ornith-down-experts-q4_0.txt \\  ornith-1.0-35b-MTP-graft-Q4_K_M.gguf \\  ornith-1.0-35b-MTP-graft-down-Q4_0.gguf \\  Q4_K_M<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b:<\/p>\n<pre><code>ornith-1.0-35b-MTP-graft-down-Q4_0.gguf20 329 342 112 bytes (18,933 GiB)SHA-256: 365a7c02dfd320b9696f189d6dc12bd2b0eabb9f8e58ba9fc8cab3af93c0234b<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0422\u0440\u0435\u0442\u044c\u044f \u0447\u0430\u0441\u0442\u044c \u2014 exact n\u2011gram reuse. \u0410\u0433\u0435\u043d\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 system prompt, tool schemas, \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u0434\u0430 \u0438 \u0432\u044b\u0432\u043e\u0434 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432. <code>ngram-mod<\/code> \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0432\u0448\u0443\u044e\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0430 target \u0435\u0451 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442. \u0412 \u043e\u0434\u043d\u043e\u043c SWE\u2011turn aggregate acceptance \u0434\u043e\u0441\u0442\u0438\u0433 93,5%, \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u043b\u0441\u044f 61 n\u2011gram \u0442\u043e\u043a\u0435\u043d, \u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e 155\u2013176 \u0442\u043e\u043a\/\u0441. \u041d\u0430 \u043d\u043e\u0432\u043e\u043c \u043d\u0435\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u043c 11K\u2011\u043e\u0442\u0432\u0435\u0442\u0435 \u0431\u044b\u043b\u043e \u043e\u043a\u043e\u043b\u043e 65 \u0442\u043e\u043a\/\u0441. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 177,48 \u0442\u043e\u043a\/\u0441 \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0438\u043a, \u043d\u043e \u043d\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>Speculative decoding \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f target\u2011verified: \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u044b\u0439 draft \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0435\u0442\u0441\u044f. \u0421\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0430\u043c target \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0451 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<h3>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430 Ubuntu<\/h3>\n<p>\u041f\u043e \u0448\u0430\u0433\u0430\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u0442\u0430\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">Mean<\/p>\n<\/th>\n<th>\n<p align=\"left\">Min<\/p>\n<\/th>\n<th>\n<p align=\"left\">Max<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a baseline<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0418\u0441\u0445\u043e\u0434\u043d\u0430\u044f Q4_K_M, speculation off<\/p>\n<\/td>\n<td>\n<p align=\"left\">74,066<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">baseline<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Integrated MTP, depth 2<\/p>\n<\/td>\n<td>\n<p align=\"left\">89,235<\/p>\n<\/td>\n<td>\n<p align=\"left\">89,125<\/p>\n<\/td>\n<td>\n<p align=\"left\">89,344<\/p>\n<\/td>\n<td>\n<p align=\"left\">+20,5%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid experts + MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">90,252<\/p>\n<\/td>\n<td>\n<p align=\"left\">89,612<\/p>\n<\/td>\n<td>\n<p align=\"left\">91,936<\/p>\n<\/td>\n<td>\n<p align=\"left\">+21,8%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid + MTP + n\u2011gram, repeated code<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>99,088<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">90,367<\/p>\n<\/td>\n<td>\n<p align=\"left\">116,945<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+33,8%<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>99 \u0442\u043e\u043a\/\u0441 \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u044f\u0442\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u043e\u0433\u043e code\u2011\u043f\u043e\u0442\u043e\u043a\u0430, \u0430 \u043d\u0435 \u043d\u043e\u0432\u0430\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430. \u0414\u043b\u044f production \u0432\u0430\u0436\u043d\u0435\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d 43 \u0437\u0430\u0434\u0430\u0447:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0410\u0440\u0445\u0438\u0432\u043d\u044b\u0439 Q4_K_M<\/p>\n<\/th>\n<th>\n<p align=\"left\">Hybrid MTP<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Requests<\/p>\n<\/td>\n<td>\n<p align=\"left\">232<\/p>\n<\/td>\n<td>\n<p align=\"left\">223<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0430\u0433\u0435\u043d\u0442\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b\u0438\u0441\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Prompt tokens<\/p>\n<\/td>\n<td>\n<p align=\"left\">699 947<\/p>\n<\/td>\n<td>\n<p align=\"left\">668 344<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22124,5%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Generated tokens<\/p>\n<\/td>\n<td>\n<p align=\"left\">68 447<\/p>\n<\/td>\n<td>\n<p align=\"left\">73 700<\/p>\n<\/td>\n<td>\n<p align=\"left\">+7,7%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Weighted decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">61,446 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>79,661 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+29,6%<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Mean request decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">65,681 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>83,944 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+27,8%<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">P50 request decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">68,45 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>84,84 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>+23,9%<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">P10 request decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">56,58 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">56,51 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120,1%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Maximum request decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">75,03 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>177,48 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Wall time<\/p>\n<\/td>\n<td>\n<p align=\"left\">72 \u043c\u0438\u043d 42 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>36 \u043c\u0438\u043d 11 \u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u221250,2%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Score<\/p>\n<\/td>\n<td>\n<p align=\"left\">40,8333\/43<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>40,8333\/43<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Wall time \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432\u0434\u0432\u043e\u0435, \u043d\u043e \u043f\u0440\u0438\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0432\u0441\u0435 50,2% \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443 decode \u043d\u0435\u043b\u044c\u0437\u044f. \u0410\u0433\u0435\u043d\u0442 \u043f\u0440\u043e\u0448\u0451\u043b \u0440\u0430\u0437\u043d\u044b\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438: \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0431\u044b\u043b\u043e 232 \u043f\u0440\u043e\u0442\u0438\u0432 223, \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c \u0447\u0438\u0441\u043b\u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u0430\u044f \u0446\u0438\u0444\u0440\u0430 \u0437\u0434\u0435\u0441\u044c \u2014 +29,6% weighted decode.<\/p>\n<p>\u041f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u043e\u0441\u044c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043b\u0430\u0441\u0441<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0410\u0440\u0445\u0438\u0432\u043d\u044b\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">Hybrid MTP<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SimpleQA<\/p>\n<\/td>\n<td>\n<p align=\"left\">4\/5<\/p>\n<\/td>\n<td>\n<p align=\"left\">4\/5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BFCL Orion Safe<\/p>\n<\/td>\n<td>\n<p align=\"left\">9\/9<\/p>\n<\/td>\n<td>\n<p align=\"left\">9\/9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">BFCL Memory<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">HumanEval+<\/p>\n<\/td>\n<td>\n<p align=\"left\">17\/17<\/p>\n<\/td>\n<td>\n<p align=\"left\">17\/17<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">PersistBench<\/p>\n<\/td>\n<td>\n<p align=\"left\">3\/3<\/p>\n<\/td>\n<td>\n<p align=\"left\">3\/3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">NIAH<\/p>\n<\/td>\n<td>\n<p align=\"left\">4\/4<\/p>\n<\/td>\n<td>\n<p align=\"left\">4\/4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Python<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\/2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2\/2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SWE\u2011bench Multilingual<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/1 (<code>AGENT_DEAD<\/code>)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0\/1 (<code>INCORRECT<\/code>)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TheAgentCompany<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,8333\/1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,8333\/1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 SWE Multilingual hybrid \u0445\u043e\u0442\u044f \u0431\u044b \u0434\u043e\u0448\u0451\u043b \u0434\u043e grader \u0432\u043c\u0435\u0441\u0442\u043e <code>AGENT_DEAD<\/code>, \u043d\u043e \u0431\u0430\u043b\u043b \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u043d\u0443\u043b\u0435\u0432\u044b\u043c. \u041e\u0431\u0449\u0438\u0439 \u0438\u0442\u043e\u0433 \u043e\u0431\u0435\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u0439 \u2014 40,8333\/43.<\/p>\n<h3>\u041f\u043e\u0441\u043b\u0435 Ubuntu \u2014 \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u043d\u0430 Windows<\/h3>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043d\u0430 Ubuntu, \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0442\u0443 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435. \u0417\u0434\u0435\u0441\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u044b\u043b\u0430 \u0443\u0436\u0435 \u043d\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c\u0441\u044f \u043a \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0441\u0442\u0438\u0442\u044c 35B \u043f\u0440\u0438 8 \u0413\u0411 VRAM \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0433\u043e\u0434\u043d\u0443\u044e \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u0438 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043f\u0430\u0442\u0447\u0435\u043d\u043d\u044b\u0439 Vulkan\u2011\u0432\u0430\u0440\u0438\u0430\u043d\u0442 llama.cpp \u043f\u043e\u0434 Windows. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0430\u0441\u044c, \u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0434\u0430\u043b\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442, \u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c Ubuntu\u2011\u044d\u0444\u0444\u0435\u043a\u0442 \u0431\u044b\u043b\u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e: \u0437\u0434\u0435\u0441\u044c \u0432\u0441\u0451 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u043e \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0435 35B \u043c\u0435\u0436\u0434\u0443 8 \u0413\u0411 VRAM \u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u044c\u044e. \u0414\u043b\u044f \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e A\/B \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 CUDA\u2011\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440 b10066 \u2014 \u0442\u0430\u043a baseline \u0438 hybrid \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u043c runtime.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u044b\u0439 split \u043d\u0430 15 GPU layers \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0442\u0435\u0440\u043f\u0438\u043c\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c prompt. \u041d\u0430 \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u043e\u043c 1K \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0434\u043e 1,2 \u0442\u043e\u043a\/\u0441: MoE\u2011\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0440\u0430\u0437\u0440\u0435\u0437\u0430\u043d\u044b \u043c\u0435\u0436\u0434\u0443 CPU \u0438 GPU, \u0438 \u043e\u0431\u043c\u0435\u043d \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0441\u044a\u0435\u0434\u0430\u043b \u0432\u0435\u0441\u044c throughput.<\/p>\n<p>\u0420\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0434\u0440\u0443\u0433\u0430\u044f \u0441\u0445\u0435\u043c\u0430:<\/p>\n<pre><code>--ctx-size 16384--parallel 1--n-gpu-layers all--cpu-moe--no-mmap--batch-size 2048--ubatch-size 512--flash-attn on--cache-type-k q8_0--cache-type-v q8_0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>Attention \u0438 \u043f\u043b\u043e\u0442\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0430 RTX 4060, \u043a\u0440\u0443\u043f\u043d\u044b\u0435 MoE\u2011\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b \u2014 \u0432 host RAM. \u041c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0432 VRAM, \u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0433\u043e\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u0443\u044e \u0433\u0440\u0430\u043d\u0438\u0446\u0443 \u0441\u043b\u043e\u0451\u0432.<\/p>\n<p>\u041d\u0430 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c CUDA\u2011\u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0435 llama.cpp b10066 (<code>86a9c79f8<\/code>) \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f; \u0432\u0435\u0437\u0434\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u043f\u043e 128 \u0442\u043e\u043a\u0435\u043d\u043e\u0432:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Decode 1K<\/p>\n<\/th>\n<th>\n<p align=\"left\">Decode 8K<\/p>\n<\/th>\n<th>\n<p align=\"left\">Repeated code<\/p>\n<\/th>\n<th>\n<p align=\"left\">PP 8K<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Baseline Ornith Q4_K_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">5,57 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">23,90 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">21,95 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">341,48 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid, speculation off<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>29,70 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>29,59 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>26,75 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>365,26 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid, MTP + n\u2011gram<\/p>\n<\/td>\n<td>\n<p align=\"left\">28,74 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>66,88 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>67,23 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">354,19 \u0442\u043e\u043a\/\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 baseline 1K \u2014 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u0432\u044b\u0431\u0440\u043e\u0441 \u0438\u0437\u2011\u0437\u0430 expert cache\/thrashing, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0435\u0449\u0430\u0442\u044c \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0432 5,3 \u0440\u0430\u0437\u0430 \u043f\u043e \u043d\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f. \u041d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 8K hybrid \u0431\u0435\u0437 speculation \u0431\u044b\u0441\u0442\u0440\u0435\u0435 baseline \u043d\u0430 23,8%, \u0430 \u043d\u0430 repeated code \u2014 \u043d\u0430 21,8%. MTP \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u043c \u043f\u043e\u0442\u043e\u043a\u0435, \u043d\u043e \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043d\u0435\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u043e\u043c 1K \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0430 3,2% \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 no\u2011spec.<\/p>\n<p>\u041f\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c \u0441\u0445\u0435\u043c\u0430 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u0443\u043b\u043e\u0436\u0438\u043b\u0430\u0441\u044c \u0432 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 8 \u0413\u0411 VRAM. <code>Host RAM<\/code> \u043d\u0438\u0436\u0435 \u2014 \u043f\u0430\u043c\u044f\u0442\u044c \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e RSS \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">GPU util<\/p>\n<\/th>\n<th>\n<p align=\"left\">VRAM<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Host RAM peak<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Baseline Q4_K_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">71 \u00b0C<\/p>\n<\/td>\n<td>\n<p align=\"left\">98%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2342 MiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">49,34 \u0412\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">44,48 GiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid, speculation off<\/p>\n<\/td>\n<td>\n<p align=\"left\">69 \u00b0C<\/p>\n<\/td>\n<td>\n<p align=\"left\">98%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2234 MiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">45,80 \u0412\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">42,64 GiB<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Hybrid, MTP + n\u2011gram<\/p>\n<\/td>\n<td>\n<p align=\"left\">69 \u00b0C<\/p>\n<\/td>\n<td>\n<p align=\"left\">98%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2672 MiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">46,47 \u0412\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">42,77 GiB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Hybrid\u2011\u0444\u0430\u0439\u043b \u043d\u0430 798,6 MiB \u043c\u0435\u043d\u044c\u0448\u0435 baseline. MTP \u0434\u043e\u0431\u0430\u0432\u0438\u043b \u043e\u043a\u043e\u043b\u043e 438 MiB VRAM \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e no\u2011spec, \u043d\u043e \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0441\u0445\u043e\u0434 \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 raw\u2011\u0442\u0435\u0441\u0442\u043e\u0432 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u0447\u0435\u0442\u044b\u0440\u0435 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 workspace \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 prompt, verifier, <code>approval=auto<\/code>, \u043b\u0438\u043c\u0438\u0442\u043e\u043c 24 \u0448\u0430\u0433\u0430 \u0438 timeout 900 \u0441\u0435\u043a\u0443\u043d\u0434:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">Baseline<\/p>\n<\/th>\n<th>\n<p align=\"left\">Hybrid<\/p>\n<\/th>\n<th>\n<p align=\"left\">Baseline time<\/p>\n<\/th>\n<th>\n<p align=\"left\">Hybrid time<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u042d\u043a\u043e\u043d\u043e\u043c\u0438\u044f<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Java service coverage<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%, 8\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%, 8\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">323,9 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">322,4 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Kafka Node order pipeline<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%, 6\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%, 6\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">282,6 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">185,7 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">34,3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Rabbit retry \/ DLQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%, 6\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%, 6\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">466,0 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">324,7 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">30,3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Kafka Java outbox<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%, 8\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%, 8\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">382,4 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">313,4 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">18,1%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0418\u0442\u043e\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>77,5%, 28\/36<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>77,5%, 28\/36<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1454,9 \u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>1146,2 \u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>21,2%<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 <code>cli_exit_zero<\/code> \u0438 <code>final_contract<\/code>: \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0438 deterministic tests \u0431\u044b\u043b\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u044b, \u043d\u043e \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0438\u043b \u0446\u0438\u043a\u043b \u0431\u0435\u0437 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u0430 Orion. \u042d\u0442\u043e \u043e\u0431\u0449\u0438\u0439 \u0441\u0431\u043e\u0439 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430, \u0430 \u043d\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u0441\u043e\u0432.<\/p>\n<h3>LM Studio \u043d\u0435 \u043f\u0440\u0438\u043d\u044f\u043b\u0430 \u043f\u043e\u043b\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0443\u0434\u0430\u0447\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 llama.cpp \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u043b\u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 GGUF \u0432 LM Studio. \u041f\u043e\u043b\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043d\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u0430\u0441\u044c: runtime LM Studio 2.14.0 \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0430\u043b MTP metadata \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 prediction\u2011\u0441\u043b\u043e\u0439.<\/p>\n<p>\u041f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u0442\u044c metadata \u0431\u044b\u043b\u043e \u043d\u0435\u043b\u044c\u0437\u044f. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0431\u044b \u0444\u0430\u0439\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f LM Studio \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0443\u0431\u0440\u0430\u0442\u044c MTP\u2011\u0433\u043e\u043b\u043e\u0432\u0443 \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 40\u2011\u0441\u043b\u043e\u0439\u043d\u044b\u0439 target:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0410\u0440\u0442\u0435\u0444\u0430\u043a\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0411\u043b\u043e\u043a\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0422\u0435\u043d\u0437\u043e\u0440\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0430\u0437\u043c\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">Integrated MTP<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Full MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">40 target + MTP layer<\/p>\n<\/td>\n<td>\n<p align=\"left\">base + MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\">20 329 342 112 bytes<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">LM Studio compatible<\/p>\n<\/td>\n<td>\n<p align=\"left\">40<\/p>\n<\/td>\n<td>\n<p align=\"left\">733<\/p>\n<\/td>\n<td>\n<p align=\"left\">19 782 637 440 bytes<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d\u0435\u0442<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u043d\u0435 \u0434\u0440\u0443\u0433\u0430\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u043d\u0435 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u043d\u0430\u044f \u043a\u043e\u043f\u0438\u044f \u0432\u0435\u0441\u043e\u0432. \u0418\u0437 \u043d\u0435\u0451 \u0443\u0434\u0430\u043b\u0435\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0442\u0435\u043a\u0443\u0449\u0438\u0439 runtime LM Studio \u043d\u0435 \u0443\u043c\u0435\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u0426\u0435\u043d\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u0438 \u2014 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 speculative boost.<\/p>\n<p>\u041d\u0430\u0442\u0438\u0432\u043d\u044b\u0439 <code>\/api\/v0\/completions<\/code> \u0432 LM Studio \u043f\u043e\u043a\u0430\u0437\u0430\u043b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">Prompt<\/p>\n<\/th>\n<th>\n<p align=\"left\">Decode mean<\/p>\n<\/th>\n<th>\n<p align=\"left\">Cold TTFT<\/p>\n<\/th>\n<th>\n<p align=\"left\">Warm\u2011cache TTFT<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1056 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>33,48 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">4,296 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,139 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8448 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>34,77 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">23,160 \u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,166 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Repeated 8K code<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>33,25 \u0442\u043e\u043a\/\u0441<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">0,151\u20130,170 \u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">GPU util<\/p>\n<\/th>\n<th>\n<p align=\"left\">VRAM<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">Host RAM used<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">66 \u00b0C<\/p>\n<\/td>\n<td>\n<p align=\"left\">91%<\/p>\n<\/td>\n<td>\n<p align=\"left\">2329 MiB<\/p>\n<\/td>\n<td>\n<p align=\"left\">45,1 \u0412\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">44,10 GiB<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>LM Studio \u0431\u044b\u043b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 b10066 no\u2011spec \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u043d\u0430\u0431\u043e\u0440\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u043f\u043e raw decode: +12,7% \u043d\u0430 1K, +17,5% \u043d\u0430 8K \u0438 +24,3% \u043d\u0430 repeated code. \u041d\u043e \u0432 Orion \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0434\u0440\u0443\u0433\u043e\u0439:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/th>\n<th>\n<p align=\"left\">Score<\/p>\n<\/th>\n<th>\n<p align=\"left\">Checks<\/p>\n<\/th>\n<th>\n<p align=\"left\">Wall time<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Java service coverage<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%<\/p>\n<\/td>\n<td>\n<p align=\"left\">8\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">900,0 \u0441, outer timeout<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Kafka Node order pipeline<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%<\/p>\n<\/td>\n<td>\n<p align=\"left\">6\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">383,2 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Rabbit retry \/ DLQ<\/p>\n<\/td>\n<td>\n<p align=\"left\">75%<\/p>\n<\/td>\n<td>\n<p align=\"left\">6\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\">363,4 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Kafka Java outbox<\/p>\n<\/td>\n<td>\n<p align=\"left\">80%<\/p>\n<\/td>\n<td>\n<p align=\"left\">8\/10<\/p>\n<\/td>\n<td>\n<p align=\"left\">530,9 \u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0418\u0442\u043e\u0433\u043e<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>77,5%<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>28\/36<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>2177,6 \u0441 (36:17,6)<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043d\u043e\u0432\u0430 \u0441\u043e\u0432\u043f\u0430\u043b\u043e, \u043d\u043e end\u2011to\u2011end \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0440\u043e\u0441\u043b\u043e. Orion \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u043b verification\u2011guard \u0448\u0430\u0433\u0438, \u0430 Java\u2011\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0439 \u0434\u043e\u0448\u0451\u043b \u0434\u043e \u0432\u043d\u0435\u0448\u043d\u0435\u0433\u043e timeout \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432. \u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u0438\u0447\u0438\u043d \u043d\u0435 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 runtime \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e tok\/s.<\/p>\n<h3>\u0412\u0441\u0435 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u043e\u0444\u0438\u043b\u0438 \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \/ \u043f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041b\u0443\u0447\u0448\u0438\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0439 \u043f\u043e\u0442\u043e\u043a<\/p>\n<\/th>\n<th>\n<p align=\"left\">Quality<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Ubuntu, baseline Q4_K_M<\/p>\n<\/td>\n<td>\n<p align=\"left\">61,446 weighted tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">74,066 \u0432 microbench<\/p>\n<\/td>\n<td>\n<p align=\"left\">40,8333\/43<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Ubuntu, Hybrid MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>79,661 weighted tok\/s<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>99,088 mean<\/strong>, 177,48 peak<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>40,8333\/43<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Windows CUDA, baseline<\/p>\n<\/td>\n<td>\n<p align=\"left\">23,90 tok\/s \u043d\u0430 8K<\/p>\n<\/td>\n<td>\n<p align=\"left\">21,95 repeated<\/p>\n<\/td>\n<td>\n<p align=\"left\">77,5%, 28\/36<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Windows CUDA, Hybrid no\u2011spec<\/p>\n<\/td>\n<td>\n<p align=\"left\">29,59 tok\/s \u043d\u0430 8K<\/p>\n<\/td>\n<td>\n<p align=\"left\">26,75 repeated<\/p>\n<\/td>\n<td>\n<p align=\"left\">77,5%, 28\/36<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Windows CUDA, Hybrid MTP\/ngram<\/p>\n<\/td>\n<td>\n<p align=\"left\">28,74\u201366,88 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 acceptance<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>67,23 repeated<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">77,5%, 28\/36<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Windows LM Studio, no\u2011MTP<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>34,77 tok\/s \u043d\u0430 8K<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">33,25 repeated<\/p>\n<\/td>\n<td>\n<p align=\"left\">77,5%, 28\/36<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u0413\u0434\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f<\/h3>\n<p>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u043e\u0434\u0438\u043d Strix Halo \u0438 \u043e\u0434\u0438\u043d \u043d\u043e\u0443\u0442\u0431\u0443\u043a; \u043d\u0430 Ubuntu \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f llama.cpp b9994, \u043d\u0430 Windows \u2014 b10066 \u0438 LM Studio 2.14.0. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 quality\u2011\u0441\u0440\u0435\u0437 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 43 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e\u0443\u0442\u0431\u0443\u0447\u043d\u044b\u0439 \u2014 \u0447\u0435\u0442\u044b\u0440\u0435 coding\u2011\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f. \u041f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u044b\u0439 code\u2011\u0442\u0435\u0441\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0441\u044f \u043f\u044f\u0442\u044c \u0440\u0430\u0437.<\/p>\n<p>99 \u0442\u043e\u043a\/\u0441 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430, \u043d\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0430 \u043b\u044e\u0431\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435. \u041f\u0440\u0438 prompt 62,6K \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 70,29 \u0442\u043e\u043a\/\u0441, \u0430 \u043d\u0430 128K \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0435\u0449\u0451 \u043d\u0438\u0436\u0435. \u0412\u0440\u0435\u043c\u044f \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0448\u0430\u0433\u043e\u0432, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432, verifier \u0438 timeout.<\/p>\n<p>Target\u2011verified speculation \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0430\u043c target \u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u0438\u043b\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 quality A\/B. \u041f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0433\u043e \u044d\u043d\u0435\u0440\u0433\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e A\/B \u0434\u043b\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e Ubuntu\u2011\u043f\u0440\u043e\u0444\u0438\u043b\u044f \u043d\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u044d\u043d\u0435\u0440\u0433\u043e\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u0437\u0430\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f.<\/p>\n<h3>\u041a\u043e\u0434, \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043b\u043e\u0433\u0438<\/h3>\n<p>\u041d\u043e\u0432\u044b\u0435 \u0437\u0430\u043c\u0435\u0440\u044b \u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430, c\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u043d\u0443\u044e MTP\u2011\u0432\u0435\u0440\u0441\u0438\u044e \u0438 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 GGUF \u0434\u043b\u044f LM Studio  \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e\u0442\u0441\u044f \u0432 Telegram\u2011\u043a\u0430\u043d\u0430\u043b\u0435 <a href=\"https:\/\/t.me\/vibeorion\" rel=\"noopener noreferrer nofollow\"><strong>Vibe Orion<\/strong><\/a>.<\/p>\n<h3>\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0432 \u0438\u0442\u043e\u0433\u0435<\/h3>\n<p>\u0412 \u043d\u0430\u0447\u0430\u043b\u0435 \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u043b\u0438, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0434\u0451\u0442 \u0438\u0437 Vulkan. \u041e\u043d\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u043d\u044b\u043c. \u0414\u043b\u044f batch\u20111 MoE \u0432\u0430\u0436\u043d\u0435\u0435 \u0431\u044b\u043b\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c target \u0437\u0430\u043d\u043e\u0432\u043e \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u043e, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0438\u043b\u0438 \u0442\u043e\u0447\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u0437 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u041d\u0430 Ubuntu \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f MTP, n\u2011gram reuse, \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a runtime \u0434\u0430\u043b\u0430 +29,6% weighted decode \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0431\u0430\u043b\u043b\u0430 43\u2011task \u0441\u0440\u0435\u0437\u0430. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0442\u0443 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043d\u0430 Windows\u2011\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435 \u0441 8 \u0413\u0411 VRAM: <code>--cpu-moe<\/code> \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b \u0432\u0440\u0435\u043c\u044f \u0447\u0435\u0442\u044b\u0440\u0451\u0445 coding\u2011\u0437\u0430\u0434\u0430\u0447 \u043d\u0430 21,2% \u043f\u0440\u0438 \u0442\u043e\u043c \u0436\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435. \u0414\u043b\u044f LM Studio \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0443\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0443\u044e MTP\u2011\u0433\u043e\u043b\u043e\u0432\u0443 \u0438 \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u044b\u0439 GGUF.<\/p>\n<p>\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435  \u0438\u0437 \u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0440\u043e\u0441\u0442, \u043d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u0445 \u043e\u043d \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0438 \u043a\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0434\u0435\u043d\u044c.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1060632\/\">https:\/\/habr.com\/ru\/articles\/1060632\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c, Ornith\u20111.0\u201135B \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430 \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435 Qwen3.5\u2011397B\u2011A17B \u0432 \u0442\u0435\u0445 \u0442\u0435\u0441\u0442\u0430\u0445, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434, \u0430 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u0435 \u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438. \u041d\u0430 Terminal\u2011Bench 2.1 \u0441 Terminus\u20112 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 64,2% \u043f\u0440\u043e\u0442\u0438\u0432 53,5%.BenchmarkOrnith\u20111.0\u201135BQwen3.5\u2011397BOrnith \u2212 QwenTerminal\u2011Bench 2.1, Terminus\u2011264,253,5+10,7Terminal\u2011Bench 2.1, Claude Code62,848,6+14,2SWE\u2011bench Verified75,676,4\u22120,8SWE\u2011bench Pro50,451,6\u22121,2SWE\u2011bench Multilingual69,369,30,0NL2Repo34,636,8\u22122,2ClawEval Avg69,870,7\u22120,9SWE Atlas \u2014 QnA37,120,4+16,7SWE Atlas \u2014 RF29,718,4+11,3SWE Atlas \u2014 TW27,818,5+9,3Ornith \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 Qwen \u0432\u043e \u0432\u0441\u0435\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445: \u043d\u0430 SWE\u2011bench Verified, SWE\u2011bench Pro, NL2Repo \u0438 ClawEval Qwen \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432\u043f\u0435\u0440\u0435\u0434\u0438. \u041d\u043e \u0434\u043b\u044f \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e coding\u2011\u0430\u0433\u0435\u043d\u0442\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e. Ornith \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u0434 agentic coding \u2014 \u0440\u0430\u0431\u043e\u0442\u0443 \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u043e\u043c, \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438, \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u043c\u0438 \u043f\u043e\u043f\u044b\u0442\u043a\u0430\u043c\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u0448\u0438\u0431\u043e\u043a.\u041c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u0440\u0435\u0437\u0435 \u0438\u0437 43 \u0437\u0430\u0434\u0430\u0447. \u0412 \u043d\u0435\u0433\u043e \u0432\u043e\u0448\u043b\u0438 tool calling, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043a\u043e\u0434\u0430, \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432, \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c:\u041a\u043b\u0430\u0441\u0441\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 OrnithSimpleQA4\/5BFCL Orion Safe9\/9BFCL Memory1\/1HumanEval+17\/17PersistBench3\/3NIAH4\/4SWE\u2011bench Python2\/2SWE\u2011bench Multilingual0\/1TheAgentCompany0,8333\/1\u0418\u0442\u043e\u0433\u043e40,8333\/43\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u043d\u0433\u0430. \u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u044b\u0441\u043b\u044c: Ornith \u044f\u0432\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043d\u0430 Ubuntu\u2011\u043c\u0430\u0448\u0438\u043d\u0435 \u0441 Ryzen AI MAX+ 395, Radeon 8060S \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043e 256 \u0413\u0411\/\u0441. \u041c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0430 \u043e\u043a\u043e\u043b\u043e 19\u201321 \u0413\u0411, \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 \u043e\u0431\u0449\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043d\u043e \u0432\u044b\u0434\u0430\u0432\u0430\u043b\u0430 \u0442\u043e\u043b\u044c\u043a\u043e 68\u201374 \u0442\u043e\u043a\/\u0441.\u0414\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b:\u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c K\u2011quant matvec \u0438 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0440\u043e\u043a, \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u043e\u0434\u043d\u0438\u043c Vulkan dispatch;\u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c MUL_MAT_ID dispatch \u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440 workgroup;\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c graphics queue \u0432\u043c\u0435\u0441\u0442\u043e compute queue;\u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c batch \u0438 ubatch;\u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c KV\u2011cache \u0441 Q8 \u0434\u043e Q4;\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c MTP \u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0433\u043b\u0443\u0431\u0438\u043d\u0443 draft;\u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u044b\u0435 \u0442\u044f\u0436\u0451\u043b\u044b\u0435 expert\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u044b;\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c exact n\u2011gram reuse \u043d\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0435\u043c\u0441\u044f agent\/code\u2011\u0442\u0440\u0430\u0444\u0438\u043a\u0435.\u041e\u0434\u0438\u043d Vulkan\u2011\u043f\u0430\u0442\u0447 \u0434\u0430\u043b \u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430. \u0420\u0430\u0431\u043e\u0447\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 MTP, n\u2011gram reuse, \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043a runtime: 79,661 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c 43\u2011task \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0438 99,088 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u043e\u043c code\u2011\u043f\u043e\u0442\u043e\u043a\u0435 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u0431\u0430\u043b\u043b\u0430.\u0416\u0435\u043b\u0435\u0437\u043e \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u0414\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u043e\u0432\u0430\u043b\u0438 \u0434\u0432\u0435 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u044b:\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442Ubuntu\u2011\u0441\u0435\u0440\u0432\u0435\u0440Windows\u2011\u043d\u043e\u0443\u0442\u0431\u0443\u043aCPU\/APUAMD Ryzen AI MAX+ 395Intel Core i7\u201113650HXGPURadeon 8060S, Vulkan gfx1151RTX 4060 Laptop, 8 GiBRAM128 GiB DDR5 UMA63,74 GiBRuntimellama.cpp b9994, Vulkanllama.cpp b10066 CUDA; LM Studio 2.14.0\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442131 072, \u043e\u0434\u0438\u043d slot16 384, \u043e\u0434\u0438\u043d slot\u0414\u043b\u044f \u0447\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430\u0441\u044c\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0439 agent endpoint\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0438 LM Studio\u041d\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u043f\u043e\u043c\u0435\u0449\u0430\u043b\u0430\u0441\u044c \u0432 \u043e\u0431\u0449\u0435\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 CPU \u0438 Radeon. \u042d\u0442\u043e \u0438\u0437\u0431\u0430\u0432\u043b\u044f\u043b\u043e \u043e\u0442 PCIe paging, \u043d\u043e \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u043b\u043e DDR5 \u0432 HBM. Ornith \u2014 MoE\u2011\u043c\u043e\u0434\u0435\u043b\u044c: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u0438\u0445 \u0432\u0435\u0441\u0430 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437 \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u0438 batch 1 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043b\u043e, \u0430 \u0447\u0442\u0435\u043d\u0438\u0439 \u043c\u043d\u043e\u0433\u043e. \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 GPU \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0443, \u043f\u043e\u043a\u0430 decode \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d \u0442\u0440\u0430\u0444\u0438\u043a\u043e\u043c \u0432\u0435\u0441\u043e\u0432, \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0438 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432.\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u043e\u0431\u0449\u0435\u043c \u0437\u0430\u043c\u0435\u0440\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 Ornith-1.0-35B-Q4_K_M \u0432\u044b\u0434\u0430\u0432\u0430\u043b \u043e\u043a\u043e\u043b\u043e 68,7 \u0442\u043e\u043a\/\u0441 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c decode. \u041f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f llama.cpp \u0438 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043b 74,066 \u0442\u043e\u043a\/\u0441. \u041d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043b\u044c\u0437\u044f: \u0431\u0438\u043d\u0430\u0440\u043d\u0438\u043a\u0438 \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b\u0438\u0441\u044c. \u0412\u0441\u0435 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a \u043f\u0430\u0440\u043d\u044b\u043c A\/B\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c.\u0426\u0435\u043b\u044c\u044e \u0431\u044b\u043b \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u044b\u0439 batch\u20111 decode \u043f\u0440\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 131 072 \u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445. \u0414\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u043d\u044b\u0435 A\/B\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u044b.\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u0446\u0438\u0444\u0440\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u0435, \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 prompt, \u043f\u0440\u043e\u0433\u0440\u0435\u0432, \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0438 \u0438 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 timings.predicted_per_second. \u041d\u0430 \u043f\u043e\u043b\u043d\u043e\u043c \u0430\u0433\u0435\u043d\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0433\u043e\u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0441\u044f weighted decode:weighted_decode = \u0441\u0443\u043c\u043c\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \/ \u0441\u0443\u043c\u043c\u0430 decode-\u0432\u0440\u0435\u043c\u0435\u043d\u0438\u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u0435\u0441. \u0417\u0434\u0435\u0441\u044c \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430 \u0432\u0441\u0451 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438.\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b\u043e\u0441\u044c \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u0441\u0440\u0435\u0437\u0435 Orion \u0441 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 task ID \u0438 offset. \u0421\u043e\u0441\u0442\u0430\u0432 \u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438.\u0412\u0441\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f Vulkan \u043f\u0435\u0440\u0435\u0434 \u0437\u0430\u043c\u0435\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b\u0438 test-backend-ops: 3160 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0434\u043b\u044f \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 row merge \u0438 \u0435\u0449\u0451 790 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e MUL_MAT_ID\u2011\u043f\u0430\u0442\u0447\u0430.\u041f\u043e\u043f\u044b\u0442\u043a\u0438 \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c Ornith \u043d\u0430 Ubuntu\u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u0441 matvec: MoE \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0447\u0438\u0442\u0430\u0435\u0442 \u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u043d\u044b\u0435 expert weights, \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 K\u2011quant \u044f\u0434\u0440\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435. \u0412 \u0444\u043e\u0440\u043a \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 runtime\u2011\u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c GGML_VK_DMMV_RM_KQ, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c row merging 1\/2\/4\/8 \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0441\u0431\u043e\u0440\u043a\u0438.\u0412 \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0431\u0435\u0437 MTP rows=1 \u043f\u043e\u043a\u0430\u0437\u0430\u043b 75,886 \u043f\u0440\u043e\u0442\u0438\u0432 75,400 \u0442\u043e\u043a\/\u0441 \u0447\u0438\u0441\u0442\u043e\u0433\u043e b9994 \u2014 \u0432\u0441\u0435\u0433\u043e +0,64%. \u041f\u043e\u0441\u043b\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f MTP \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f, \u0438 \u043b\u0443\u0447\u0448\u0438\u043c \u0441\u043d\u043e\u0432\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 rows=2:rm_kqMean, \u0442\u043e\u043a\/\u0441MinMax187,02986,58387,832287,55287,16287,779486,71786,28587,167886,12085,27087,502\u0423\u043a\u0440\u0443\u043f\u043d\u0435\u043d\u0438\u0435 tile \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e dispatch, \u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 live state \u0438 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0435\u0433\u0438\u0441\u0442\u0440\u044b. \u041d\u0430 RDNA \u044d\u0442\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 waves, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u00ab\u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0442\u0440\u043e\u043a \u0437\u0430 \u0440\u0430\u0437\u00bb \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435.\u0414\u0440\u0443\u0433\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0442\u043e\u0436\u0435 \u043d\u0435 \u0434\u0430\u043b\u0438 \u043d\u0443\u0436\u043d\u043e\u0433\u043e \u0441\u043a\u0430\u0447\u043a\u0430:\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0427\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043bMUL_MAT_ID token\u2011batch Z\u2011dispatch fusion87,214 \u043f\u0440\u043e\u0442\u0438\u0432 87,591 \u0442\u043e\u043a\/\u0441\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043bRDNA3 workgroup 25674,556 \u0442\u043e\u043a\/\u0441, \u0432\u044b\u0448\u0435 power\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043brows=4, \u0431\u0435\u0437 MTP74,418 \u0442\u043e\u043a\/\u0441\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043brows=8, \u0431\u0435\u0437 MTP73,099 \u0442\u043e\u043a\/\u0441\u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043bQ4_K\/Q6_K activation hoist75,535 \u0442\u043e\u043a\/\u0441\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0441\u043b\u0430\u0431\u0435\u0435 rows=1\u041e\u0434\u0438\u043d Vulkan\u2011\u043f\u0430\u0442\u0447 \u043d\u0435 \u043c\u043e\u0433 \u0434\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u044b\u0435 96 \u0442\u043e\u043a\/\u0441, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u043b \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u2014 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0418\u0437\u043c\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0432 \u0444\u043e\u0440\u043a\u0435, \u043d\u043e \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u043e\u043b\u0438 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430 \u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u043e\u0440\u044b\u0432 \u043d\u0435 \u0438\u043c\u0435\u043b\u043e \u0441\u043c\u044b\u0441\u043b\u0430.\u0417\u0430\u0442\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 ubatch. \u041f\u0440\u0438 ubatch=1024 graphics queue \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 compute queue:\u0422\u0435\u0441\u0442Compute queueGraphics queue\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435PP 8K1053,044 \u0442\u043e\u043a\/\u04411080,212 \u0442\u043e\u043a\/\u0441+2,58%Decode 51273,079 \u0442\u043e\u043a\/\u044175,886 \u0442\u043e\u043a\/\u0441+3,84%\u0421\u0430\u043c\u044b\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 ubatch \u043d\u0435 \u043f\u043e\u0431\u0435\u0434\u0438\u043b:Ubatch  PP 8K   \u0421\u0440\u0435\u0434\u043d\u044f\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c  256 833,183 \u0442\u043e\u043a\/\u0441   138,0 \u0412\u0442  512 1011,601 \u0442\u043e\u043a\/\u0441   131,7 \u0412\u0442  1024 1080,212 \u0442\u043e\u043a\/\u0441   120,4 \u0412\u0442  2048 1010,463 \u0442\u043e\u043a\/\u0441   106,4 \u0412\u0442  \u0412 \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c:GGML_VK_ALLOW_GRAPHICS_QUEUE=1GGML_VK_DISABLE_COOPMAT=1GGML_VK_MAX_NODES_PER_SUBMIT=50&#8212;ctx-size 131072&#8212;parallel 1&#8212;batch-size 2048&#8212;ubatch-size 1024&#8212;flash-attn on&#8212;cache-type-k q8_0&#8212;cache-type-v q8_0&#8212;n-gpu-layers all&#8212;device Vulkan0&#8212;no-mmap\u041b\u043e\u0433\u0438\u0447\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0438 Q4 KV\u2011cache: \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0430\u0439\u0442 \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u043c\u043e\u0447\u044c \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435. \u041d\u0430 62 630 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0438 512 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u0430\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0445\u0443\u0436\u0435:KV\u2011cachePrefillDecodeQ8_0\/Q8_0524,16 \u0442\u043e\u043a\/\u044170,29 \u0442\u043e\u043a\/\u0441Q4_0\/Q4_0484,73 \u0442\u043e\u043a\/\u044167,67 \u0442\u043e\u043a\/\u0441Q4 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b 7,5% \u043f\u043e prefill \u0438 3,7% \u043f\u043e decode. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e Vulkan backend \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043f\u0430\u043c\u044f\u0442\u0438 \u043d\u0435 \u043f\u043e\u043a\u0440\u044b\u043b\u0430 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u0435\u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 scale\/metadata, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 production \u043e\u0441\u0442\u0430\u043b\u0441\u044f Q8. \u041d\u0430 CUDA, HIP \u0438\u043b\u0438 Metal \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c.\u0427\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e\u041f\u043e\u0441\u043b\u0435 \u043e\u043f\u044b\u0442\u043e\u0432 \u0441 \u044f\u0434\u0440\u0430\u043c\u0438 \u0441\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u044a\u0451\u043c \u0440\u0430\u0431\u043e\u0442\u044b, \u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0435\u0433\u043e.\u041f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u0441\u0442\u0430\u043b\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f MTP\u2011\u0433\u043e\u043b\u043e\u0432\u043a\u0430. Ornith \u0438 Qwen3.6\u201135B\u2011A3B MTP\u2011only \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 qwen35moe. \u0421\u043a\u0440\u0438\u043f\u0442 graft-ornith-mtp.py \u0431\u0435\u0440\u0451\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 prediction\u2011\u0441\u043b\u043e\u0439 \u0438\u0437 MTP\u2011GGUF, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u043c\u0435\u043d\u0430 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, \u043a\u043e\u043f\u0438\u0440\u0443\u0435\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 nextn_predict_layers=1. \u042d\u0442\u043e \u043d\u0435 fine\u2011tuning \u0438 \u043d\u0435 \u043d\u043e\u0432\u0430\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: \u043a target \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0433\u043e\u043b\u043e\u0432\u0430 \u0434\u043b\u044f speculative decoding.\u0413\u043b\u0443\u0431\u043e\u043a\u0438\u0439 draft \u0437\u0434\u0435\u0441\u044c \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435\u0432\u044b\u0433\u043e\u0434\u0435\u043d. \u0414\u043b\u044f MoE \u043b\u0438\u0448\u043d\u0438\u0435 draft\u2011\u0442\u043e\u043a\u0435\u043d\u044b \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 target \u043f\u043e\u0442\u043e\u043c \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u041b\u0443\u0447\u0448\u0435\u0439 \u0441\u0442\u0430\u043b\u0430 \u0433\u043b\u0443\u0431\u0438\u043d\u0430 2. \u041f\u043e\u0440\u043e\u0433 p_min \u0442\u043e\u0436\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u043b\u0441\u044f \u0437\u0430\u043c\u0435\u0440\u0430\u043c\u0438:p_minMean decode, \u0442\u043e\u043a\/\u04410,0087,3260,0588,1450,1087,5610,2089,2350,3086,9860,4085,1960,5086,566\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b speculation:&#8212;spec-type ngram-mod,draft-mtp&#8212;spec-draft-n-max 2&#8212;spec-draft-n-min 1&#8212;spec-draft-p-min 0.20&#8212;spec-ngram-mod-n-min 48&#8212;spec-ngram-mod-n-max 64&#8212;spec-ngram-mod-n-match 24\u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u2014 \u0441\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f. \u0414\u0432\u0430\u0434\u0446\u0430\u0442\u044c ffn_down_exps\u2011\u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u043f\u0435\u0440\u0435\u0432\u0435\u043b\u0438 \u0432 Q4_0, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043f\u043e \u043f\u043b\u0430\u043d\u0443 Q4_K_M. Target \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0441\u044f \u0441 20 681,07 \u0434\u043e 19 377,09 MiB, \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u2014 \u0441 4,89 \u0434\u043e 4,58 BPW.llama-quantize \\  &#8212;tensor-type-file scripts\/ornith-down-experts-q4_0.txt \\  ornith-1.0-35b-MTP-graft-Q4_K_M.gguf \\  ornith-1.0-35b-MTP-graft-down-Q4_0.gguf \\  Q4_K_M\u0424\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0430\u0439\u043b:ornith-1.0-35b-MTP-graft-down-Q4_0.gguf20 329 342 112 bytes (18,933 GiB)SHA-256: 365a7c02dfd320b9696f189d6dc12bd2b0eabb9f8e58ba9fc8cab3af93c0234b\u0422\u0440\u0435\u0442\u044c\u044f \u0447\u0430\u0441\u0442\u044c \u2014 exact n\u2011gram reuse. \u0410\u0433\u0435\u043d\u0442 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 system prompt, tool schemas, \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u0434\u0430 \u0438 \u0432\u044b\u0432\u043e\u0434 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432. ngram-mod \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0443\u0436\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0432\u0448\u0443\u044e\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0430 target \u0435\u0451 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442. \u0412 \u043e\u0434\u043d\u043e\u043c SWE\u2011turn aggregate acceptance \u0434\u043e\u0441\u0442\u0438\u0433 93,5%, \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u043b\u0441\u044f 61 n\u2011gram \u0442\u043e\u043a\u0435\u043d, \u0430 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e 155\u2013176 \u0442\u043e\u043a\/\u0441. \u041d\u0430 \u043d\u043e\u0432\u043e\u043c \u043d\u0435\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u043c 11K\u2011\u043e\u0442\u0432\u0435\u0442\u0435 \u0431\u044b\u043b\u043e \u043e\u043a\u043e\u043b\u043e 65 \u0442\u043e\u043a\/\u0441. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 177,48 \u0442\u043e\u043a\/\u0441 \u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0438\u043a, \u043d\u043e \u043d\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438.Speculative decoding \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f target\u2011verified: \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u044b\u0439 draft \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u0435\u0442\u0441\u044f. \u0421\u0435\u043b\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f, \u043d\u0430\u043f\u0440\u043e\u0442\u0438\u0432, \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0430\u043c target \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0451 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430.\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0430 Ubuntu\u041f\u043e \u0448\u0430\u0433\u0430\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u0442\u0430\u043a:\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044fMeanMinMax\u041a baseline\u0418\u0441\u0445\u043e\u0434\u043d\u0430\u044f Q4_K_M, speculation off74,066\u2014\u2014baselineIntegrated MTP, depth 289,23589,12589,344+20,5%Hybrid experts + MTP90,25289,61291,936+21,8%Hybrid + MTP + n\u2011gram, repeated code99,08890,367116,945+33,8%99 \u0442\u043e\u043a\/\u0441 \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u044f\u0442\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u043c\u043e\u0433\u043e code\u2011\u043f\u043e\u0442\u043e\u043a\u0430, \u0430 \u043d\u0435 \u043d\u043e\u0432\u0430\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430. \u0414\u043b\u044f production \u0432\u0430\u0436\u043d\u0435\u0435 \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u043f\u0440\u043e\u0433\u043e\u043d 43 \u0437\u0430\u0434\u0430\u0447:\u041c\u0435\u0442\u0440\u0438\u043a\u0430\u0410\u0440\u0445\u0438\u0432\u043d\u044b\u0439 Q4_K_MHybrid MTP\u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435Requests232223\u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0430\u0433\u0435\u043d\u0442\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u043b\u0438\u0441\u044cPrompt tokens699 947668 344\u22124,5%Generated tokens68 44773 700+7,7%Weighted decode61,446 \u0442\u043e\u043a\/\u044179,661 \u0442\u043e\u043a\/\u0441+29,6%Mean request decode65,681 \u0442\u043e\u043a\/\u044183,944 \u0442\u043e\u043a\/\u0441+27,8%P50 request &#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-487821","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/487821","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=487821"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/487821\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=487821"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=487821"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=487821"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}