{"id":489584,"date":"2026-08-03T14:32:45","date_gmt":"2026-08-03T14:32:45","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=489584"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=489584","title":{"rendered":"DeepSeek 0731\u00a0\u043d\u0430\u00a0DGX Spark: \u0440\u0430\u0437\u0433\u043e\u043d\u044f\u044e \u0434\u043e 68\u00a0tok\/s \u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u044e\u0441\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0443\u00a0\u0430\u0432\u0442\u043e\u0440\u0430 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438 57"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h3>TL;DR<\/h3>\n<ul>\n<li>\n<p><strong>\u0416\u0435\u043b\u0435\u0437\u043e:<\/strong>\u00a02\u00d7 NVIDIA DGX Spark (GB10, SM121), 128\u00a0GB unified \u043d\u043e\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e \u0438 \u043e\u043a\u043e\u043b\u043e 122\u00a0GiB \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043d\u0430\u00a0\u043d\u043e\u0434\u0443, QSFP 200G \/ RoCEv2, TP=2, \u0434\u0440\u0430\u0439\u0432\u0435\u0440 580.159.03.<\/p>\n<\/li>\n<li>\n<p><strong>\u041e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u043b\u0430 \u0441\u043c\u0435\u043d\u0430 runtime\u2011\u043e\u0431\u0440\u0430\u0437\u0430.<\/strong>\u00a0\u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u0441\u043e \u0441\u0431\u043e\u0440\u043a\u0438 \u043d\u0430\u00a0\u0431\u0430\u0437\u0435 vLLM 0.21.1\u00a0\u043d\u0430\u00a0\u043e\u0431\u0440\u0430\u0437 \u0441 0.25.2\u00a0\u0434\u0430\u043b \u043e\u043a\u043e\u043b\u043e +22% \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0435. \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u043e\u043c\u043c\u0438\u0442 \u0438\u043b\u0438\u00a0\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u044f \u043d\u0435\u00a0\u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b: \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0441\u044f \u0432\u0435\u0441\u044c \u043f\u0430\u043a\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f:<\/strong>\u00a0\u043d\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u0441\u043d\u0438\u0437\u0438\u043b \u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 verification\u2011\u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 17%, \u043d\u043e\u00a0\u043f\u043e\u0434\u043d\u044f\u043b \u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441 3.27\u00a0\u0434\u043e 4.80.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0435:<\/strong>\u00a0<code>--moe-backend flashinfer_b12x<\/code>\u00a0\u043d\u0435\u00a0\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0436\u0438\u043c\u043e\u043c\u00a0<code>auto<\/code>. \u042f\u0432\u043d\u043e\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u043b\u043e +13.3% \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043f\u044f\u0442\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043d\u0430\u00a0card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u0435 (59.7\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 67.6) \u0438 +16.6% \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>B12X \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u043d\u0430\u0447\u0435:<\/strong>\u00a0\u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 SSE\u2011derived \u0447\u0430\u0441\u0442\u043e\u0442\u0443 verification\u2011\u0448\u0430\u0433\u043e\u0432 \u043d\u0430 16\u201318%, \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043d\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 2.5% \u0432\u00a0\u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445. \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 decode\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 13.3\u201314.6% \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0438 15.6\u201316.6% \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0430\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0442\u043e\u0433:<\/strong>\u00a067.6\u00a0tok\/s \u043d\u0430\u00a0\u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435, 260\u00a0tok\/s \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u043d\u0430 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u044b \u0432\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435\u00a0<a href=\"https:\/\/huggingface.co\/drowzeys\/DeepSeek-V4-Flash-DSpark-Abliterated-Uncensored\" rel=\"noopener noreferrer nofollow\"><code>drowzeys\/DeepSeek-V4-Flash-DSpark-Abliterated-Uncensored<\/code><\/a>\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u043e:<\/p>\n<pre><code>| C1 pure decode | ~57 tok\/s (code, 128-tok) |<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0420\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e \u0442\u0443\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u0441\u0432\u043e\u0435\u0439 \u043f\u0430\u0440\u0435 DGX Spark, \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u00a0<strong>42.5\u00a0tok\/s<\/strong>. \u041c\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 25% \u043d\u0438\u0436\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e.<\/p>\n<p>\u041a\u00a0\u043a\u043e\u043d\u0446\u0443 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u044f \u0432\u044b\u0448\u0435\u043b \u0432\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e\u00a0\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0435 \u0438 \u0441\u00a0\u044f\u0432\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c MoE\u2011\u0431\u044d\u043a\u0435\u043d\u0434\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u00a0<strong>67.6\u00a0tok\/s<\/strong>\u00a0\u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u0435. \u041d\u0438\u0436\u0435 \u0440\u0430\u0437\u0431\u043e\u0440: \u043a\u0430\u043a\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043d\u0435\u00a0\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438\u0441\u044c, \u0447\u0442\u043e\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0432\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438.<\/p>\n<p>\u0412\u00a0\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b \u0440\u0435\u0446\u0435\u043f\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0445\u0430\u0440\u043d\u0435\u0441\u0441\u044b, \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 \u0441\u00a0digest \u043e\u0431\u0440\u0430\u0437\u0430 \u0438 \u0440\u0435\u0432\u0438\u0437\u0438\u044f\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u0441\u044b\u0440\u044b\u0435 \u043b\u043e\u0433\u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e B12X\u2011\u0442\u0435\u0441\u0442\u0430 \u0438 c=1-\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f:\u00a0<a href=\"https:\/\/github.com\/botAGI\/dspark-0731-gb10\/tree\/d94de1c\" rel=\"noopener noreferrer nofollow\"><strong>dspark-0731-gb10<\/strong><\/a>\u00a0<\/p>\n<h3>1. \u0421\u0442\u0435\u043d\u0434 \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/h3>\n<p>\u0414\u0432\u0430 DGX Spark, \u0441\u043e\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u043e\u00a0QSFP 200G, NCCL \u043f\u043e\u0432\u0435\u0440\u0445 RoCEv2, \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u043d\u0430\u00a0\u0434\u0432\u0435 \u043d\u043e\u0434\u044b. \u041f\u043e\u043b\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 156\u00a0GiB \u043d\u0430\u00a0\u0434\u0438\u0441\u043a\u0435 \u0438 \u0437\u0430\u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430\u00a0\u043e\u0431\u0435\u0438\u0445 \u043d\u043e\u0434\u0430\u0445. \u0412\u00a0\u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u00a0TP=2, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 tensor\u2011parallel shard.<\/p>\n<p>\u0421\u0447\u0438\u0442\u0430\u044e\u00a0<code>usage.completion_tokens<\/code>\u00a0\u0438\u0437\u00a0\u043e\u0442\u0432\u0435\u0442\u0430 API, \u0430\u00a0\u043d\u0435\u00a0\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0441\u0442\u0440\u0438\u043c\u0430.<\/p>\n<p>\u041f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u00a0\u0441\u0442\u0440\u0438\u043c. \u0412\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u043f\u043e\u0434\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c vLLM \u043e\u0442\u0434\u0430\u0432\u0430\u043b \u043e\u0434\u0438\u043d SSE\u2011\u0447\u0430\u043d\u043a \u043d\u0430\u00a0verification step, \u0438 \u0432\u00a0\u043d\u0451\u043c \u043f\u0440\u0438\u0435\u0437\u0436\u0430\u044e\u0442 \u0432\u0441\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0437\u0430\u00a0\u044d\u0442\u043e\u0442 \u0448\u0430\u0433 \u0442\u043e\u043a\u0435\u043d\u044b. \u042f \u0441\u0432\u0435\u0440\u0438\u043b \u044d\u0442\u043e \u0441\u043e \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u043e\u043c \u0434\u0432\u0438\u0436\u043a\u0430 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435: \u043f\u043e\u0441\u043b\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e content\u2011\u0447\u0430\u043d\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f 65\u00a0\u0441\u043e\u0432\u043f\u0430\u043b\u0438 \u0441\u00a0<code>num_drafts_total<\/code>\u00a0= 65, \u043f\u0440\u0438 66\u00a0\u0447\u0430\u043d\u043a\u0430\u0445 \u0432\u0441\u0435\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u00a0<code>content_chunks \u2212 1<\/code>\u00a0\u043a\u0430\u043a\u00a0proxy \u0447\u0438\u0441\u043b\u0430 verification\u2011\u0448\u0430\u0433\u043e\u0432. \u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e \u0442\u0430\u043a\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 SSE\u2011derived: \u044d\u0442\u043e proxy, \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435, \u0430\u00a0\u043d\u0435\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442 vLLM. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u044f \u0441\u0447\u0438\u0442\u0430\u043b \u0448\u0430\u0433\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u043e\u00a0\u0447\u0430\u043d\u043a\u0430\u043c. \u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u043e\u043c vLLM \u044d\u0442\u043e \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u043d\u0430\u00a0\u0441\u0432\u043e\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u0435.<\/p>\n<p>\u041a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0441\u00a0\u0442\u043e\u0439, \u0447\u0442\u043e\u00a0\u0446\u0438\u0442\u0438\u0440\u0443\u044e\u0442 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438:<\/p>\n<pre><code>decode tok\/s = (completion_tokens \u2212 first_chunk_tokens) \/ (t_last_content \u2212 t_first_content)steps\/s      = (content_chunks \u2212 1)                     \/ (t_last_content \u2212 t_first_content)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p><code>first_chunk_tokens<\/code>\u00a0\u044f \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e, \u0430\u00a0\u0441\u0447\u0438\u0442\u0430\u044e \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442\u00a0<code>\/tokenize<\/code>. \u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u0441\u0442\u0435\u043d\u0434\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 content\u2011\u0447\u0430\u043d\u043a \u0432\u043e\u00a0\u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b\u00a0<code>'Here'<\/code>\u00a0\u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0432\u00a0\u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d. \u041f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0447\u0430\u043d\u043a\u0438 \u043d\u0435\u0441\u043b\u0438 \u043f\u043e\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432; \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 4,3\u20134,7\u00a0\u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0430\u00a0decode\u2011\u0448\u0430\u0433.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u00a0\u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433. \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u0432\u0438\u0436\u043a\u0430 \u0434\u0430\u044e\u0442:<\/p>\n<pre><code>output tokens per verification step = 1 + num_accepted_tokens_total \/ num_drafts_total<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0435\u0434\u0443\u0449\u0430\u044f \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 target\u2011\u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u0434\u0430. \u041f\u0440\u0438\u043d\u044f\u0442\u044b\u0445\u00a0<strong>draft<\/strong>\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u043c\u0435\u043d\u044c\u0448\u0435. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0432\u0435\u0437\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438\u043c\u0435\u043d\u043d\u043e \u00ab\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433\u00bb, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u00a0\u043f\u0443\u0442\u0430\u0442\u044c \u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b.<\/p>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u044f \u043f\u0440\u0438\u0432\u043e\u0436\u0443 \u0432\u00a0\u0434\u0432\u0443\u0445 \u0440\u0435\u0436\u0438\u043c\u0430\u0445: \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 (<code>c=1<\/code>) \u0438 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (<code>c=12<\/code>), \u0434\u043b\u044f\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435.<\/p>\n<p>\u0414\u0432\u0430 \u043f\u0440\u043e\u0444\u0438\u043b\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442 \u043f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0447\u0442\u043e\u00a0\u044d\u0442\u043e<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>code<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f Python, 500\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>heavy<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043a\u043e\u043b\u043e 4K \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u043e\u0437\u043e\u0439, 500\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u043e\u0434 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0434\u0440\u0430\u0444\u0442\u0435\u0440 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0438\u0445 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u043a\u0443\u0441\u043a\u0430\u043c\u0438. \u0412\u00a0heavy\u2011\u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0442\u0430\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<h3>2. \u0418\u0437\u00a0\u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c<\/h3>\n<p>DeepSeek\u2011V4-Flash \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 MoE\u2011\u043c\u043e\u0434\u0435\u043b\u044c: 284B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u0441\u0435\u0433\u043e, \u0438\u0437\u00a0\u043d\u0438\u0445 \u043e\u043a\u043e\u043b\u043e 13B \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u00a0\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u0414\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043e\u00a0\u043c\u043d\u043e\u0433\u043e\u043c \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432, \u043d\u043e\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0440\u0430\u0441\u0447\u0451\u0442 \u00ab\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430\u00a0\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b\u00bb \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u0435\u043d. \u042d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432\u00a0FP4, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, TP=2\u00a0\u0448\u0430\u0440\u0434\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0436\u0443\u0437\u043b\u043e\u0432\u043e\u0439 \u043e\u0431\u043c\u0435\u043d, \u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 MoE\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u044b \u0441\u0430\u043c\u0438 \u043c\u0435\u043d\u044f\u044e\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0448\u0430\u0433\u0430. \u041f\u0430\u0441\u043f\u043e\u0440\u0442\u043d\u044b\u0435 273\u00a0GB\/s \u0437\u0430\u0434\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u0440\u0443\u0431\u044b\u0439 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443 \u0434\u0430\u0451\u0442 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435:<\/p>\n<pre><code>tok\/s \u2248 verification steps\/s \u00d7 output tokens per verification step<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0442\u043e\u0440\u043e\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u041a\u00a0target\u2011\u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0443 \u043f\u0440\u0438\u043a\u0440\u0435\u043f\u043b\u0451\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 DSpark speculative module. \u0412\u00a0\u043c\u043e\u0451\u043c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043e\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043f\u044f\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433; \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430 \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0430 \u0438 \u0432\u00a0\u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u0430\u0445 \u0440\u0430\u0432\u0435\u043d \u0442\u0440\u0451\u043c \u0438\u043b\u0438\u00a0\u0441\u0435\u043c\u0438.<\/p>\n<p><strong>\u041e\u0431\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f \u043f\u043e\u0434\u0432\u0438\u0436\u043d\u044b.<\/strong>\u00a0\u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u0432\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u043a\u0430\u0436\u0434\u043e\u0435 \u0434\u0432\u0438\u0433\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c, \u043f\u0440\u0438\u0447\u0451\u043c \u0432\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b.<\/p>\n<h3>3. \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043e\u00a0\u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0438<\/h3>\n<h4>\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430<\/h4>\n<pre><code>T=0.7 \u2192 42.5 tok\/sT=0   \u2192 42.6 tok\/s<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442. Draft path \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438 0.21.1\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432\u00a0greedy\u2011\u0440\u0435\u0436\u0438\u043c\u0435. Acceptance \u043f\u043e\u00a0\u0434\u0432\u0443\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u044f \u043d\u0435\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b, \u0430\u00a0\u0432\u044b\u0432\u043e\u0434 \u043f\u0440\u043e\u00a0vLLM \u0432\u043e\u043e\u0431\u0449\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f: \u0432\u00a0\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u00a0<code>draft_sample_method=\"probabilistic\"<\/code>.<\/p>\n<h4>\u0423\u0447\u0451\u0442 prefill<\/h4>\n<pre><code>e2e:                 42.5 tok\/s\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode:   43.2 tok\/s<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>TTFT \u043e\u043a\u043e\u043b\u043e 200\u00a0\u043c\u0441 \u043f\u0440\u0438\u00a0\u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 10.5\u00a0\u0441. \u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0432\u043b\u0438\u044f\u0435\u0442, \u043d\u043e\u00a0\u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u0430\u043b\u043e.<\/p>\n<h4>\u0414\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/h4>\n<pre><code>\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: 48.3 tok\/s\u043c\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442:      43.2 tok\/s<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u043a\u043e\u043b\u043e 12%. \u0414\u043e 57\u00a0\u0432\u0441\u0451 \u0435\u0449\u0451 \u0434\u0430\u043b\u0435\u043a\u043e.<\/p>\n<h4>\u0427\u0438\u0441\u043b\u043e \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/h4>\n<p><a href=\"https:\/\/huggingface.co\/deepseek-ai\/DeepSeek-V4-Flash-0731\" rel=\"noopener noreferrer nofollow\">\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u0440\u0435\u043b\u0438\u0437\u0430 0731<\/a>\u00a0\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u00a0<code>num_speculative_tokens=7<\/code>. \u0412\u0430\u043b\u0438\u0434\u0430\u0442\u043e\u0440 \u043c\u043e\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u0438 \u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435:<\/p>\n<pre><code>ValidationError: num_speculative_tokens:7 must be divisible by n_predict=5<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f 3\u00a0\u0438 7\u00a0\u043d\u0435\u00a0\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b\u0438. \u041e\u0442\u043c\u0435\u0447\u0443 \u0433\u0440\u0430\u043d\u0438\u0446\u0443: \u044d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0440\u0435\u0432\u0438\u0437\u0438\u0438 \u043e\u0431\u0440\u0430\u0437\u0430 \u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430, \u0430\u00a0\u043d\u0435\u00a0\u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e DSpark. \u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 0731\u00a0\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442 7, \u0430\u00a0\u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u043d\u0430\u00a0\u0442\u043e\u0439\u00a0\u0436\u0435\u00a0\u043b\u0438\u043d\u0438\u0438 \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 3.<\/p>\n<h4>\u0421\u043c\u0435\u043d\u0430 runtime\u2011\u043e\u0431\u0440\u0430\u0437\u0430<\/h4>\n<p>\u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 drowzeys \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 Stage\u2011C runtime. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 runtime\u2011\u0441\u0442\u0435\u043a\u0430, \u044f \u043f\u0435\u0440\u0435\u0448\u0451\u043b \u043d\u0430\u00a0\u043e\u0431\u0440\u0430\u0437\u00a0<code>ghcr.io\/anemll\/dspark-vllm-gx10:0.1.1<\/code>\u00a0\u0441\u00a0vLLM 0.25.2, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0444\u043b\u0430\u0433\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u043e\u0431\u0440\u0430\u0437 \u043d\u0430 0.21.1<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u0431\u0440\u0430\u0437 \u043d\u0430 0.25.2<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">code, c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">51.8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.27<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.80<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.0\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">10.8\/\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0434\u0440\u0430\u0444\u0442\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">0.21.1<\/p>\n<\/th>\n<th>\n<p align=\"left\">0.25.2<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pos0<\/p>\n<\/td>\n<td>\n<p align=\"left\">85.9%<\/p>\n<\/td>\n<td>\n<p align=\"left\">95.2%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pos1<\/p>\n<\/td>\n<td>\n<p align=\"left\">62.1%<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.0%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pos2<\/p>\n<\/td>\n<td>\n<p align=\"left\">40.8%<\/p>\n<\/td>\n<td>\n<p align=\"left\">74.8%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pos3<\/p>\n<\/td>\n<td>\n<p align=\"left\">24.3%<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.5%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">pos4<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.4%<\/p>\n<\/td>\n<td>\n<p align=\"left\">57.0%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043b\u044e verification\u2011\u0431\u043b\u043e\u043a\u043e\u0432, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0430\u00a0\u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0430. \u041e\u043d\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u044f\u0434 \u0443\u0431\u044b\u0432\u0430\u0435\u0442:<\/p>\n<pre><code>output tokens per step = 1 + \u03a3(position rates)0.21.1:  1 + 0.859 + 0.621 + 0.408 + 0.243 + 0.134 = 3.270.25.2:  1 + 0.952 + 0.860 + 0.748 + 0.665 + 0.570 = 4.80<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u0435\u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u044f:<\/p>\n<pre><code>\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 \u0448\u0430\u0433:  3.27 \u2192 4.80   (+46.8%)\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432:  13.0 \u2192 10.8   (\u221217.0%)\u0438\u0442\u043e\u0433 tok\/s:               42.5 \u2192 51.8   (+21.9%)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u044b 13.0\u00a0\u0438 10.8\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0433\u043e throughput \u043d\u0430\u00a0\u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433. \u041f\u0440\u044f\u043c\u043e\u0439 server\u2011side \u0441\u0447\u0451\u0442\u0447\u0438\u043a verification\u2011\u0448\u0430\u0433\u043e\u0432 \u0434\u043b\u044f\u00a0\u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u044f \u043d\u0435\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b; \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443 \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u0441\u0447\u0451\u0442\u0430 \u043f\u043e\u00a0SSE\u2011\u0447\u0430\u043d\u043a\u0430\u043c \u044f \u043e\u0441\u0432\u043e\u0438\u043b \u043f\u043e\u0437\u0436\u0435 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b \u0443\u0436\u0435 \u043a\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0421\u0432\u0435\u0440\u043a\u0430 \u0441\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u043e\u0439. \u041d\u0430\u00a0\u043d\u043e\u0432\u043e\u043c \u043e\u0431\u0440\u0430\u0437\u0435 \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c code\u2011\u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u00a0<strong>58.3\u00a0tok\/s<\/strong>\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 57\u00a0\u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0436\u0443 \u0432\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e\u00a0\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u043e\u043b\u043d\u043e\u0433\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0435\u0442: \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Stage\u2011C \u0440\u0430\u043d\u0442\u0430\u0439\u043c,\u00a0<code>kv_cache_dtype=nvfp4_ds_mla<\/code>\u00a0\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0440\u0430\u043d\u0433\u043e\u0432, \u0430\u00a0\u043c\u043e\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0448\u043b\u0438 \u043d\u0430\u00a0<code>fp8<\/code>\u00a0KV.<\/p>\n<h3>4. \u041d\u043e\u0432\u044b\u0439 \u0440\u0435\u043b\u0438\u0437 0731<\/h3>\n<p>\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u00a0<a href=\"https:\/\/huggingface.co\/deepseek-ai\/DeepSeek-V4-Flash-0731\" rel=\"noopener noreferrer nofollow\">0731<\/a>\u00a0\u043a\u0430\u043a\u00a0\u0440\u0435\u043b\u0438\u0437 \u0441\u00a0\u0442\u043e\u0439\u00a0\u0436\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u0441\u0438\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438: DeepSWE 7.3\u00a0\u2192 54.4, Terminal Bench 2.1 61.8\u00a0\u2192 82.7. \u041a\u043b\u044e\u0447\u0438 DSpark \u0432\u00a0<code>config.json<\/code>\u00a0\u043d\u0430\u00a0\u043c\u0435\u0441\u0442\u0435, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 1048576.<\/p>\n<p>\u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435, \u043f\u0440\u0438\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u043e\u0431\u0440\u0430\u0437\u0435 \u0438\u00a0<code>auto<\/code>\u00a0\u0431\u044d\u043a\u0435\u043d\u0434\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">0731<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">code, c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">51.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.80<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.68<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">10.8\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.7\/\u0441<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043b\u0435\u0433\u043a\u0430\u00a0<strong>\u0443\u043f\u0430\u043b\u043e<\/strong>, \u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0437\u0430\u00a0\u0441\u0447\u0451\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0448\u0430\u0433\u043e\u0432. \u041f\u0440\u0438\u0447\u0438\u043d\u0443 \u044f \u043d\u0435\u00a0\u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b.<\/p>\n<p>\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u044d\u0442\u043e \u043d\u0435\u00a0\u0447\u0438\u0441\u0442\u0430\u044f \u0430\u0431\u043b\u044f\u0446\u0438\u044f \u0440\u0435\u043b\u0438\u0437\u0430. \u041e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c upstream\u2011\u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0438 \u0440\u0435\u0446\u0435\u043f\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0433\u043e artifact. \u0420\u0430\u043d\u044c\u0448\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b abliterated\u2011\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043e\u0442\u00a0<code>drowzeys<\/code>, \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0442\u00a0<code>apetersson<\/code>. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0430\u0432\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u043a\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 model\u2011surgery \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441 36\u00a0\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b\u043c\u0438 \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u0438 DSpark. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0443\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u0443, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043f\u0440\u0438\u043f\u0438\u0441\u044b\u0432\u0430\u044e \u0435\u0451 \u043e\u0434\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e.<\/p>\n<h3>5. \u0424\u043b\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438<\/h3>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043a\u043e\u043d\u0444\u0438\u0433 \u043a\u043e\u043b\u043b\u0435\u0433\u0435, \u0438 \u043e\u043d \u043f\u043e\u0441\u043e\u0432\u0435\u0442\u043e\u0432\u0430\u043b \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u042d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0441\u043e\u0432\u0435\u0442\u043e\u043c \u0437\u0430\u00a0\u0432\u0441\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e.<\/p>\n<p>\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u044e\u0441\u044c \u043f\u0440\u043e\u00a0\u043f\u0435\u0440\u0432\u0435\u043d\u0441\u0442\u0432\u043e. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441\u043e \u043c\u043d\u043e\u0439 \u044d\u0442\u043e\u0439\u00a0\u0436\u0435 \u0441\u0432\u044f\u0437\u043a\u043e\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f\u00a0<a href=\"https:\/\/github.com\/tonyd2wild\/DeepSeek-v4-Flash-0731-DSpark-1M-NVFP4-KV-2x-DGX-Spark\" rel=\"noopener noreferrer nofollow\">tonyd2wild<\/a>, \u0438 \u0432\u00a0\u0435\u0433\u043e \u0440\u0435\u0446\u0435\u043f\u0442\u0435 B12X \u0442\u043e\u0436\u0435 \u043e\u0442\u043c\u0435\u0447\u0435\u043d \u043a\u0430\u043a\u00a0\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u00a0\u044f\u0432\u043d\u043e\u043c\u0443 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044e. \u042f \u043f\u0440\u0438\u0448\u0451\u043b \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u043e\u0438\u043c \u043f\u0443\u0442\u0451\u043c \u0438 \u043c\u0435\u0440\u0438\u043b \u043f\u043e\u00a0\u0441\u0432\u043e\u0435\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0447\u0438\u0441\u043b\u0430 \u0443\u00a0\u043d\u0430\u0441 \u0440\u0430\u0437\u043d\u044b\u0435. \u041e\u043d \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u0441\u0432\u043e\u0435\u0433\u043e \u0441\u0442\u0435\u043a\u0430\u00a0<code>~29 tok\/s<\/code>\u00a0\u043d\u0430\u00a0\u0444\u043e\u043b\u0431\u044d\u043a\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u00a0<code>~50-60+<\/code>\u00a0\u0441\u00a0\u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c B12X, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043a\u043e\u043b\u043e \u0434\u0432\u0443\u0445 \u0440\u0430\u0437. \u0423\u00a0\u043c\u0435\u043d\u044f \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u043f\u0430\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 13\u201317%, \u043f\u0440\u0438\u0447\u0451\u043c \u0438 \u0431\u0430\u0437\u0430 \u0434\u0440\u0443\u0433\u0430\u044f: \u043c\u043e\u0439\u00a0<code>auto<\/code>\u00a0\u0434\u0430\u0451\u0442 59.7, \u0430\u00a0\u043d\u0435 29. \u041c\u044b \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c B12X \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 (\u0443 \u043d\u0435\u0433\u043e env\u2011\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f\u00a0<code>VLLM_USE_B12X_MOE<\/code>, \u0443\u00a0\u043c\u0435\u043d\u044f CLI\u2011\u0444\u043b\u0430\u0433 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u043e\u0431\u0440\u0430\u0437\u0435), \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0435\u043a\u0430, \u0447\u0435\u043c \u0441\u043f\u043e\u0440 \u043e\u00a0\u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435. \u041d\u0438\u0436\u0435 \u043c\u043e\u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u0438 \u043c\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0438\u0445 \u0441\u043d\u0438\u043c\u0430\u0442\u044c.<\/p>\n<p>\u042f \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0448\u0442\u0430\u0442\u043d\u044b\u0439\u00a0<code>--moe-backend auto<\/code>: \u0432\u00a0<a href=\"https:\/\/docs.vllm.ai\/en\/v0.25.0\/api\/vllm\/config\/kernel\/\" rel=\"noopener noreferrer nofollow\">\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 vLLM<\/a>\u00a0\u044d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u0430\u043a\u00a0\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 backend \u043f\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u00a0\u0436\u0435\u043b\u0435\u0437\u0443. \u041d\u043e\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u044f \u043d\u0435\u00a0mainline vLLM, \u0430\u00a0\u043a\u0430\u0441\u0442\u043e\u043c\u043d\u044b\u0439 community\u2011\u043e\u0431\u0440\u0430\u0437 \u0441\u043e \u0441\u0432\u043e\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u0430. \u0427\u0438\u0442\u0430\u044e \u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u043e\u043d\u0442\u0435\u0439\u043d\u0435\u0440\u0430:<\/p>\n<pre><code class=\"bash\">docker run --rm --entrypoint bash ghcr.io\/anemll\/dspark-vllm-gx10:0.1.1 \\  -lc 'grep -rn \"b12x\" \/usr\/local\/lib\/python3.12\/dist-packages\/vllm\/model_executor\/layers\/fused_moe\/oracle\/mxfp4.py'<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<pre><code class=\"python\"># B12X backend for DeepSeek V4 native MXFP4 weights on SM120\/GB10# ... excluded from auto-selection ...# use moe_backend='flashinfer_b12x' to opt in explicitly.<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0412\u00a0\u044d\u0442\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 B12X \u0438\u0441\u043a\u043b\u044e\u0447\u0451\u043d \u0438\u0437\u00a0auto\u2011selection. \u0412\u00a0\u043b\u043e\u0433\u0435 \u0434\u0432\u0438\u0436\u043a\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0432\u0438\u0434\u0435\u043d \u043f\u0440\u044f\u043c\u043e:<\/p>\n<pre><code>Using 'DEEPGEMM_MXFP4' Mxfp4 MoE backend<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u00a0<code>--moe-backend flashinfer_b12x<\/code>:<\/p>\n<pre><code>Using 'B12X_MXFP4' Mxfp4 MoE backendUsing B12xExpertsPrewarmed B12X route-pack capacities (experts=256, topk=6)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0435\u0440\u0438\u044f \u043d\u0430 500-\u0442\u043e\u043a\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435: \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a \u043e\u0431\u0435\u0438\u0445 \u043d\u043e\u0434, \u043f\u044f\u0442\u044c \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u043e\u0447\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0440\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430, \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u044d\u043a\u0435\u043d\u0434\u0430 \u0432\u00a0\u043b\u043e\u0433\u0435 \u043f\u0435\u0440\u0435\u0434 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u043c\u0435\u0440\u043e\u043c. \u041c\u0435\u0434\u0438\u0430\u043d\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>auto<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>flashinfer_b12x<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0434\u0435\u043b\u044c\u0442\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">code, c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">57.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">+14.9%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">code, 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445, \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">218.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">260.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">+19.3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">heavy, c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">43.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">+10.9%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">heavy, 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445, \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">119.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">156.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">+31.1%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, short\u2011context case, 500\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0442\u0440\u0451\u0445 streamed runs<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">+12.9%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u044f \u0441\u043d\u044f\u043b \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0443\u044e \u0441\u0435\u0440\u0438\u044e \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u044f\u00a0<code>c=1<\/code>, \u0441\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u043d\u0438\u043c\u043a\u0430\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a \u0438 \u043f\u0440\u044f\u043c\u044b\u043c \u0441\u0447\u0451\u0442\u043e\u043c verification\u2011\u0448\u0430\u0433\u043e\u0432 \u043f\u043e\u00a0SSE\u2011\u0447\u0430\u043d\u043a\u0430\u043c. \u041f\u0440\u043e\u0444\u0438\u043b\u044c card\u2011like, \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u044b\u0439 \u043a\u00a0\u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044e \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438:\u00a0<code>max_tokens=128<\/code>, \u043f\u044f\u0442\u044c \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043d\u0430\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>auto<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>flashinfer_b12x<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0434\u0435\u043b\u044c\u0442\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, \u0441\u0440\u0435\u0434\u043d\u0435\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">+13.3%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, \u043c\u0435\u0434\u0438\u0430\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">69.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">+16.6%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SSE\u2011derived \u0448\u0430\u0433\u043e\u0432\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.63<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.83<\/p>\n<\/td>\n<td>\n<p align=\"left\">+16.2%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0decode\u2011\u0448\u0430\u0433<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.38<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.27<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.4%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0432\u0442\u043e\u0440\u043e\u0439 code\u2011\u043f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>auto<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\"><code>flashinfer_b12x<\/code><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0434\u0435\u043b\u044c\u0442\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, \u0441\u0440\u0435\u0434\u043d\u0435\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">62.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">71.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">+14.6%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, \u043c\u0435\u0434\u0438\u0430\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">73.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">+15.6%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SSE\u2011derived \u0448\u0430\u0433\u043e\u0432\/\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.34<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.69<\/p>\n<\/td>\n<td>\n<p align=\"left\">+17.6%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0decode\u2011\u0448\u0430\u0433<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.70<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.58<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.6%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0438 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0432\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0438 \u0442\u043e\u043c\u0443\u00a0\u0436\u0435 decode\u2011\u043e\u043a\u043d\u0443, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u00a0\u0448\u0430\u0433 \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0432\u043d\u044b \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044e decode\u2011throughput \u043a\u00a0\u0447\u0430\u0441\u0442\u043e\u0442\u0435 \u0448\u0430\u0433\u043e\u0432, \u0430\u00a0\u043d\u0435\u00a0<code>completion_tokens \/ chunks<\/code>.<\/p>\n<p>\u041e\u0431\u0430 \u043f\u0440\u043e\u0444\u0438\u043b\u044f \u0434\u0430\u044e\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443: \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432 \u0440\u0430\u0441\u0442\u0451\u0442 \u043d\u0430 16\u201318%, \u0430\u00a0\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043d\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 2.5%. \u0422\u043e \u0435\u0441\u0442\u044c \u0432\u00a0\u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 c=1-\u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445 B12X \u043d\u0435\u00a0\u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0447\u0438\u0441\u043b\u0430 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0decode\u2011\u0448\u0430\u0433: \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u0440\u0438\u0448\u0451\u043b\u0441\u044f \u043d\u0430\u00a0SSE\u2011derived \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0448\u0430\u0433\u043e\u0432. \u042d\u0442\u043e\u0433\u043e \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0434\u043b\u044f\u00a0\u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u0432 13.3\u201314.6% \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0438 15.6\u201316.6% \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0430\u043c.<\/p>\n<p>\u041f\u0440\u043e\u00a0\u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0441\u0442\u043e\u0438\u0442 \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043e\u043d \u043d\u0435\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u043d. \u041d\u0430\u00a0card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0441\u0435\u0440\u0438\u044f\u00a0<code>auto<\/code>\u00a0\u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 59,0\u201360,1, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043c\u0430\u0445 \u043e\u043a\u043e\u043b\u043e 2%. \u0423\u00a0B12X \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0434\u0430\u043b\u0438 69.7, 65.1, 62.6, 69.7\u00a0\u0438 71.0, \u0440\u0430\u0437\u043c\u0430\u0445 \u043e\u043a\u043e\u043b\u043e 12%. \u0418\u0437\u2011\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0440\u0430\u0432\u043d\u043e 67.6, \u0430\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0430 69.7, \u0438 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 +13.3% \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443\u00a0\u043b\u0438\u0431\u043e +16.6% \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0435. \u041f\u044f\u0442\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0434\u0451\u0436\u043d\u043e \u043e\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 B12X, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u043f\u0440\u0438\u0432\u043e\u0436\u0443 \u043e\u0431\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u0430\u00a0\u043d\u0435\u00a0\u0432\u044b\u0431\u0438\u0440\u0430\u044e \u0443\u0434\u043e\u0431\u043d\u0443\u044e.<\/p>\n<p>\u0414\u0432\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0434\u0432\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e\u0431\u0440\u0430\u0437 0.21.1\u00a0\u2192 0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u043e \u221217%<\/p>\n<\/td>\n<td>\n<p align=\"left\">+47%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>auto<\/code>\u00a0\u2192 B12X, card\u2011like c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">SSE\u2011derived +16.2%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.4%<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>auto<\/code>\u00a0\u2192 B12X, \u0432\u0442\u043e\u0440\u043e\u0439 code c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">SSE\u2011derived +17.6%<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22122.6%<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u00a0\u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0435. \u0412\u00a0\u043f\u0430\u0440\u043d\u043e\u0439 500-\u0442\u043e\u043a\u0435\u043d\u043d\u043e\u0439 B12X\u2011\u0441\u0435\u0440\u0438\u0438 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u043b\u0430\u0441\u044c \u043d\u0430 18\u201324% \u043c\u0435\u0436\u0434\u0443 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u043c\u0438, \u0430\u00a0\u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043e\u043d b12x \u043d\u0430\u00a0<code>code c=1<\/code>\u00a0\u0434\u0430\u043b 47.0\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 65\u201367. \u041f\u0440\u0438\u0440\u043e\u0441\u0442 throughput \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u043b\u0441\u044f \u0432\u043e\u00a0\u0432\u0441\u0435\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445, \u043d\u043e\u00a0\u043f\u0440\u0438\u00a0\u0442\u0430\u043a\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432 \u0435\u0433\u043e \u0442\u043e\u0447\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0435\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430. \u0417\u0430\u0449\u0438\u0449\u0430\u0435\u043c\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430: \u043e\u043a\u043e\u043b\u043e +13% \u043d\u0430\u00a0\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 decode\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0435, \u043e\u043a\u043e\u043b\u043e +15% \u043d\u0430\u00a0\u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435; \u043d\u0430\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u043e\u00a0\u0438 \u0448\u0443\u043c \u0432\u044b\u0448\u0435.<\/p>\n<h3>6. \u041c\u0430\u0442\u0440\u0438\u0446\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u0447\u0438\u0441\u043b\u0430 \u043d\u0435\u00a0\u0441\u043c\u0435\u0448\u0438\u0432\u0430\u043b\u0438\u0441\u044c, \u0432\u043e\u0442 \u0441\u0432\u043e\u0434\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0449\u0438\u0445 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u0443\u044e\u00a0\u043b\u0438\u043d\u0438\u044e \u0441\u0442\u0430\u0442\u044c\u0438:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u044d\u0442\u0430\u043f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043e\u0431\u0440\u0430\u0437<\/p>\n<\/th>\n<th>\n<p align=\"left\">KV<\/p>\n<\/th>\n<th>\n<p align=\"left\">MoE<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">drowzeys<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.21.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">code<\/p>\n<\/td>\n<td>\n<p align=\"left\">e2e<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0441\u043c\u0435\u043d\u0430 \u043e\u0431\u0440\u0430\u0437\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">drowzeys<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">code<\/p>\n<\/td>\n<td>\n<p align=\"left\">e2e<\/p>\n<\/td>\n<td>\n<p align=\"left\">51.8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0441\u0432\u0435\u0440\u043a\u0430 \u0441\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u043e\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">drowzeys<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">code, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 ctx<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">58.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043d\u043e\u0432\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">apetersson 0731<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">code<\/p>\n<\/td>\n<td>\n<p align=\"left\">e2e<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u0430\u0440\u043d\u044b\u0439, auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">apetersson 0731<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">code, 500\u00a0\u0442\u043e\u043a.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">64.4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u0430\u0440\u043d\u044b\u0439, B12X<\/p>\n<\/td>\n<td>\n<p align=\"left\">apetersson 0731<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">B12X<\/p>\n<\/td>\n<td>\n<p align=\"left\">code, 500\u00a0\u0442\u043e\u043a.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode<\/p>\n<\/td>\n<td>\n<p align=\"left\">72.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c c=1, auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">apetersson 0731<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\">auto<\/p>\n<\/td>\n<td>\n<p align=\"left\">code, 128\u00a0\u0442\u043e\u043a.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 5<\/p>\n<\/td>\n<td>\n<p align=\"left\">59.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c c=1, B12X<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">apetersson 0731<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">fp8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>B12X<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">code, 128\u00a0\u0442\u043e\u043a.<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 5<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>67.6<\/strong>\u00a0(\u043c\u0435\u0434\u0438\u0430\u043d\u0430 69.7)<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u0434\u043e\u00a0\u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u00a0\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043f\u0440\u043e\u0433\u0440\u0435\u0432\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441\u00a0\u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438. \u041f\u0430\u0440\u043d\u0430\u044f \u0441\u0435\u0440\u0438\u044f \u0441\u043d\u0438\u043c\u0430\u043b\u0430\u0441\u044c \u043d\u0430 500-\u0442\u043e\u043a\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0438 \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0430\u043c \u0442\u0440\u0451\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432; \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0441\u0435\u0440\u0438\u044f \u0434\u043b\u044f\u00a0<code>c=1<\/code>\u00a0\u043d\u0430\u00a0card\u2011like 128-\u0442\u043e\u043a\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435, \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0438\u043c \u043f\u044f\u0442\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0438 \u0441\u043e \u0441\u0447\u0451\u0442\u043e\u043c \u0448\u0430\u0433\u043e\u0432 \u043f\u043e\u00a0SSE\u2011\u0447\u0430\u043d\u043a\u0430\u043c. \u0418\u043c\u0435\u043d\u043d\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u044f \u0441\u0447\u0438\u0442\u0430\u044e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u043c\u0438: \u0441\u0435\u0440\u0438\u044f auto \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0430\u0445 \u043e\u043a\u043e\u043b\u043e 2%, \u0441\u0435\u0440\u0438\u044f B12X \u043e\u043a\u043e\u043b\u043e 12%, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a 500-\u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0435 \u0437\u0430\u043c\u0435\u0440\u044b \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u043b\u0438\u0441\u044c \u043d\u0430 18\u201324%.<\/p>\n<h3>7. \u0427\u0442\u043e\u00a0\u043d\u0435\u00a0\u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0440\u044b\u0447\u0430\u0433<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--max-num-seqs<\/code>\u00a012\u00a0\u2192 32<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410\u0433\u0440\u0435\u0433\u0430\u0442 \u043a\u043e\u0434\u0430 \u0432\u044b\u0440\u043e\u0441 \u0441 205.4\u00a0\u0434\u043e 208.6\u00a0\u0438 212.7, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 1.6\u20133.6%. \u0410\u0433\u0440\u0435\u0433\u0430\u0442 \u043f\u0440\u043e\u0437\u044b \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0443\u043f\u0430\u043b \u0441\u043e 146.5\u00a0\u0434\u043e 65.5\u00a0\u0438 137.3\u00a0\u043d\u0430\u00a0\u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439\u00a0\u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438. \u041d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u043d\u0435\u00a0\u043f\u0440\u0438\u043d\u044f\u043b.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>--linear-backend flashinfer_b12x<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434\u0432\u0438\u0436\u043e\u043a \u043d\u0435\u00a0\u0441\u0442\u0430\u0440\u0442\u0443\u0435\u0442, \u043f\u0443\u0442\u044c b12x \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f\u00a0MoE<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><code>rejection_sample_method: \"block\"<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u043a\u043b\u044e\u0447\u0451\u043d \u0432\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 launcher. \u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u0442\u043e\u0433\u043e A\/B\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u00a0\u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c raw\u2011\u043b\u043e\u0433\u043e\u043c \u0443\u00a0\u043c\u0435\u043d\u044f \u043d\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u043d\u0435\u00a0\u0437\u0430\u044f\u0432\u043b\u044f\u044e.<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 0\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 0.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">42.6\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 42.5\u00a0\u043d\u0430\u00a0\u0441\u0431\u043e\u0440\u043a\u0435 0.21.1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 DGX OS \u0438 \u0434\u0440\u0430\u0439\u0432\u0435\u0440\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u0430\u044f DGX OS \u043d\u0435\u0441\u0451\u0442 \u0442\u043e\u0442\u00a0\u0436\u0435 580.159.03, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0436\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u00a0\u0440\u0430\u0437\u0431\u0440\u043e\u0441. \u0414\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438\u00a0<code>max-num-seqs 32<\/code>\u00a0\u0434\u0430\u043b\u0438 \u043d\u0430\u00a0\u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043f\u0440\u043e\u0437\u044b \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0435 65.5\u00a0\u0438 137.3\u00a0tok\/s, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u0430\u0441\u044c \u0432\u0434\u0432\u043e\u0435 \u043f\u0440\u0438\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u0430, \u043f\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f \u043d\u0435\u00a0\u0441\u0442\u0430\u043b \u0435\u0451 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c: \u0434\u0435\u043b\u043e \u043d\u0435\u00a0\u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438, \u0430\u00a0\u0432\u00a0\u043d\u0435\u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438. \u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u044f \u0432\u044b\u043d\u0435\u0441 \u0438\u0437\u00a0\u044d\u0442\u043e\u0439 \u0441\u0435\u0440\u0438\u0438: \u043f\u043e\u0441\u043b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0430\u0432\u043a\u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u043d\u0435\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u0441\u043a\u0440\u0438\u043f\u0442 \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0431\u0435\u0437\u00a0\u043e\u0448\u0438\u0431\u043a\u0438, \u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u00a0\u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u043d\u043e \u0432\u00a0\u043b\u043e\u0433\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0434\u0432\u0438\u0436\u043a\u0430. \u0423\u00a0\u043c\u0435\u043d\u044f \u043e\u0434\u0438\u043d \u0438\u0437\u00a0sed\u2011\u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u043d\u0435\u00a0\u0441\u043c\u0430\u0442\u0447\u0438\u043b\u0441\u044f \u0438 \u043d\u0435\u00a0\u0432\u0435\u0440\u043d\u0443\u043b \u043e\u0448\u0438\u0431\u043a\u0443, \u0438\u0437\u2011\u0437\u0430 \u0447\u0435\u0433\u043e \u0434\u0432\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u043c \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438.<\/p>\n<h3>8. \u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/h3>\n<pre><code class=\"bash\"># HEAD (rank 0). Peer \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0439 \u0436\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439 \u0441 --node-rank 1 \u0438 --headless,# \u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043d\u0430 head \u043f\u043e\u0440\u0442 rendezvous \u043f\u0435\u0440\u0435\u0448\u0451\u043b \u0432 LISTEN.docker run --gpus all --privileged --network host --ipc host --shm-size 10g \\  --ulimit memlock=-1 --device \/dev\/infiniband:\/dev\/infiniband \\  -v \"$HOME\/.cache\/huggingface:\/cache\/huggingface\" \\  -e HF_HOME=\/cache\/huggingface -e VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 \\  -e NCCL_IB_DISABLE=0 -e NCCL_IB_HCA=rocep1s0f0 -e NCCL_IB_GID_INDEX=3 \\  -e NCCL_SOCKET_IFNAME=enp1s0f0np0 -e GLOO_SOCKET_IFNAME=enp1s0f0np0 \\  ghcr.io\/anemll\/dspark-vllm-gx10@sha256:a83948492cf13df455170fb42885f5ef4db54fefe0feff0f841ecbff464ac9d8 \\  apetersson\/DeepSeek-V4-Flash-0731-Abliterated-FP8 \\  --served-model-name dspark --host 0.0.0.0 --port 8000 --trust-remote-code \\  --tensor-parallel-size 2 --kv-cache-dtype fp8 --block-size 256 \\  --max-model-len 1048576 --max-num-seqs 12 --max-num-batched-tokens 8192 \\  --gpu-memory-utilization 0.86 --enable-prefix-caching \\  --moe-backend flashinfer_b12x \\  --speculative-config '{\"method\":\"dspark\",\"num_speculative_tokens\":5,\"rejection_sample_method\":\"block\"}' \\  --tokenizer-mode deepseek_v4 --distributed-executor-backend mp \\  --tool-call-parser deepseek_v4 --enable-auto-tool-choice --reasoning-parser deepseek_v4 \\  --nnodes 2 --node-rank 0 --master-addr &lt;HEAD_IP&gt; --master-port 29701<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u043c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode, c=1, card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">67.6\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">SSE\u2011derived \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.83\/\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">code, c=1\u00a0e2e (500-\u0442\u043e\u043a\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c)<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.5\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">code, 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445, \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">260.4\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">heavy, c=1<\/p>\n<\/td>\n<td>\n<p align=\"left\">43.7\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">heavy, 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445, \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">156.3\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>9. \u0413\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438<\/h3>\n<ul>\n<li>\n<p><strong>1M \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u043d, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0438\u0437\u043c\u0435\u0440\u0435\u043d.<\/strong>\u00a0\u0421\u0435\u0440\u0432\u0435\u0440 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0441\u00a0<code>--max-model-len 1048576<\/code>, \u0432\u0441\u0435 \u0437\u0430\u043c\u0435\u0440\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0441\u0434\u0435\u043b\u0430\u043d\u044b \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 4K \u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c. \u041e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0432\u043e\u0434\u0430 \u043d\u0435\u00a0\u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438\u0441\u044c.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0434\u0438\u043d \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u00a0\u0436\u0435\u043b\u0435\u0437\u0430, \u043e\u0434\u043d\u0430 \u0442\u0435\u043f\u043b\u043e\u0432\u0430\u044f \u043e\u0431\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430, \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>Abliterated\u2011checkpoint \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u043c \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u043c. \u041d\u0438\u043a\u0430\u043a\u0438\u0445 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0439 \u043e\u00a0\u0435\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u044f \u043d\u0435\u00a0\u0434\u0435\u043b\u0430\u044e.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0427\u0435\u043a\u043b\u0438\u0441\u0442, \u0435\u0441\u043b\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0435<\/h3>\n<ul>\n<li>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0441\u0442\u0440\u043e\u043a\u0443 \u0432\u044b\u0431\u043e\u0440\u0430 MoE\u2011\u0431\u044d\u043a\u0435\u043d\u0434\u0430 \u0432\u00a0\u0441\u0432\u043e\u0451\u043c \u043b\u043e\u0433\u0435:\u00a0<code>grep \"Mxfp4 MoE backend\"<\/code>. \u0414\u043b\u044f\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0437\u0434\u0435\u0441\u044c \u043e\u0431\u0440\u0430\u0437\u0430 \u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430 \u0441\u0442\u0440\u043e\u043a\u0430\u00a0<code>DEEPGEMM_MXFP4<\/code>\u00a0\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 B12X\u2011\u043f\u0443\u0442\u044c \u043d\u0435\u00a0\u0432\u044b\u0431\u0440\u0430\u043d. \u041d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0431\u0440\u0430\u0437\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 auto\u2011selection \u043c\u043e\u0433\u0443\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0447\u0438\u0442\u0430\u0439\u0442\u0435\u00a0<code>usage.completion_tokens<\/code>, \u0430\u00a0\u043d\u0435\u00a0\u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441\u0442\u0440\u0438\u043c\u0430. \u041f\u043e\u0434\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0434\u0438\u043d \u0447\u0430\u043d\u043a \u043d\u0435\u0441\u0451\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043c\u0435\u0440\u044c\u0442\u0435 \u0441\u0432\u043e\u0439 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0434\u043e\u00a0\u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u00a0\u043f\u043e\u0432\u0435\u0440\u0438\u0442\u0435 \u0432\u00a0\u043f\u0440\u0438\u0440\u043e\u0441\u0442. \u041d\u0430\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c 20%: \u0443\u00a0\u043c\u0435\u043d\u044f \u043e\u0434\u043d\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0434\u0430\u043b\u0430 65.5\u00a0\u0438 137.3\u00a0\u043d\u0430\u00a0\u0434\u0432\u0443\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p>\u0421\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0447\u0443\u0436\u043e\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430 \u0446\u0435\u043b\u0438\u043a\u043e\u043c: \u043f\u0440\u043e\u0444\u0438\u043b\u044c, \u0434\u043b\u0438\u043d\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443 \u043f\u043e\u0434\u0441\u0447\u0451\u0442\u0430, KV dtype \u0438 \u0432\u0435\u0440\u0441\u0438\u044e \u043e\u0431\u0440\u0430\u0437\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u00a0<code>num_speculative_tokens<\/code>\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u0443\u00a0\u0441\u0432\u043e\u0435\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0439\u0442\u0435 head \u043f\u0435\u0440\u0432\u044b\u043c, peer \u0432\u0442\u043e\u0440\u044b\u043c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0418\u0442\u043e\u0433<\/h3>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u043b\u0430 \u0441\u043c\u0435\u043d\u0430 runtime\u2011\u043e\u0431\u0440\u0430\u0437\u0430, \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0439\u0441\u044f \u0440\u0430\u0437\u0440\u044b\u0432 \u0437\u0430\u043a\u0440\u044b\u043b\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0444\u0438\u043b\u044f \u043a\u00a0\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c\u0443 \u0432\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435. \u0423\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f runtime \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0434\u0430\u043b \u044f\u0432\u043d\u044b\u0439 \u0432\u044b\u0431\u043e\u0440 MoE\u2011\u0431\u044d\u043a\u0435\u043d\u0434\u0430.<\/p>\n<p>\u042d\u0442\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u041d\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u043f\u043e\u0434\u043d\u044f\u043b \u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0verification step \u0446\u0435\u043d\u043e\u0439 \u0440\u0430\u0441\u0447\u0451\u0442\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0448\u0430\u0433\u043e\u0432. B12X \u043f\u043e\u0432\u044b\u0441\u0438\u043b SSE\u2011derived \u0447\u0430\u0441\u0442\u043e\u0442\u0443 \u0448\u0430\u0433\u043e\u0432 \u043d\u0430 16\u201318%, \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u00a0\u0448\u0430\u0433 \u0432\u00a0\u043e\u0431\u043e\u0438\u0445 c=1-\u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445 \u0441\u043d\u0438\u0437\u0438\u043b\u0438\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 2.5%. \u0420\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u00a0<code>tok\/s<\/code>\u00a0\u043d\u0430\u00a0\u0434\u0432\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0442\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c; \u0431\u0435\u0437\u00a0\u043d\u0435\u0433\u043e \u043e\u0431\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u0438\u00a0\u0431\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e.<\/p>\n<p>\u0412\u00a0\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b \u0440\u0435\u0446\u0435\u043f\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0445\u0430\u0440\u043d\u0435\u0441\u0441\u044b, \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 raw\u2011\u043b\u043e\u0433\u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e B12X\u2011\u0442\u0435\u0441\u0442\u0430 \u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e c=1-\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f. \u0420\u0430\u043d\u043d\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 43.2, 48.3\u00a0\u0438 58.3\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0441\u044c \u043a\u0430\u043a\u00a0\u0441\u0432\u043e\u0434\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u0435\u0437\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 raw\u2011\u0444\u0430\u0439\u043b\u043e\u0432. \u0412\u0441\u0451 \u043b\u0435\u0436\u0438\u0442 \u0432\u00a0<a href=\"https:\/\/github.com\/botAGI\/dspark-0731-gb10\/tree\/d94de1c\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>.<\/p>\n<hr\/>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1066164\/\">https:\/\/habr.com\/ru\/articles\/1066164\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>TL;DR\u0416\u0435\u043b\u0435\u0437\u043e:\u00a02\u00d7 NVIDIA DGX Spark (GB10, SM121), 128\u00a0GB unified \u043d\u043e\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e \u0438 \u043e\u043a\u043e\u043b\u043e 122\u00a0GiB \u0432\u0438\u0434\u0438\u043c\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u043d\u0430\u00a0\u043d\u043e\u0434\u0443, QSFP 200G \/ RoCEv2, TP=2, \u0434\u0440\u0430\u0439\u0432\u0435\u0440 580.159.03.\u041e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u043b\u0430 \u0441\u043c\u0435\u043d\u0430 runtime\u2011\u043e\u0431\u0440\u0430\u0437\u0430.\u00a0\u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u0441\u043e \u0441\u0431\u043e\u0440\u043a\u0438 \u043d\u0430\u00a0\u0431\u0430\u0437\u0435 vLLM 0.21.1\u00a0\u043d\u0430\u00a0\u043e\u0431\u0440\u0430\u0437 \u0441 0.25.2\u00a0\u0434\u0430\u043b \u043e\u043a\u043e\u043b\u043e +22% \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0435. \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u043e\u043c\u043c\u0438\u0442 \u0438\u043b\u0438\u00a0\u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u044f \u043d\u0435\u00a0\u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b: \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0441\u044f \u0432\u0435\u0441\u044c \u043f\u0430\u043a\u0435\u0442.\u041c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043d\u0435\u043e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f:\u00a0\u043d\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 \u0441\u043d\u0438\u0437\u0438\u043b \u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u043e\u0442\u0443 verification\u2011\u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 17%, \u043d\u043e\u00a0\u043f\u043e\u0434\u043d\u044f\u043b \u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441 3.27\u00a0\u0434\u043e 4.80.\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043d\u0430\u0445\u043e\u0434\u043a\u0430 \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0435:\u00a0&#8212;moe-backend flashinfer_b12x\u00a0\u043d\u0435\u00a0\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0436\u0438\u043c\u043e\u043c\u00a0auto. \u042f\u0432\u043d\u043e\u0435 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0434\u0430\u043b\u043e +13.3% \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043f\u044f\u0442\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043d\u0430\u00a0card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u0435 (59.7\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 67.6) \u0438 +16.6% \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0435.B12X \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u043d\u0430\u0447\u0435:\u00a0\u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 SSE\u2011derived \u0447\u0430\u0441\u0442\u043e\u0442\u0443 verification\u2011\u0448\u0430\u0433\u043e\u0432 \u043d\u0430 16\u201318%, \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043d\u0438\u0436\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 2.5% \u0432\u00a0\u043e\u0431\u043e\u0438\u0445 \u043f\u0440\u043e\u0444\u0438\u043b\u044f\u0445. \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 decode\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 13.3\u201314.6% \u043f\u043e\u00a0\u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0438 15.6\u201316.6% \u043f\u043e\u00a0\u043c\u0435\u0434\u0438\u0430\u043d\u0430\u043c.\u0418\u0442\u043e\u0433:\u00a067.6\u00a0tok\/s \u043d\u0430\u00a0\u043e\u0434\u0438\u043d\u043e\u0447\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435, 260\u00a0tok\/s \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e \u043d\u0430 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.\u041e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0438 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u044b\u043d\u0435\u0441\u0435\u043d\u044b \u0432\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u044b.\u0412\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435\u00a0drowzeys\/DeepSeek-V4-Flash-DSpark-Abliterated-Uncensored\u00a0\u0443\u043a\u0430\u0437\u0430\u043d\u043e:| C1 pure decode | ~57 tok\/s (code, 128-tok) |\u0420\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e \u0442\u0443\u00a0\u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u0441\u0432\u043e\u0435\u0439 \u043f\u0430\u0440\u0435 DGX Spark, \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u00a042.5\u00a0tok\/s. \u041c\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043d\u0430 25% \u043d\u0438\u0436\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e.\u041a\u00a0\u043a\u043e\u043d\u0446\u0443 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u044f \u0432\u044b\u0448\u0435\u043b \u0432\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e\u00a0\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0435 \u0438 \u0441\u00a0\u044f\u0432\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c MoE\u2011\u0431\u044d\u043a\u0435\u043d\u0434\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u00a067.6\u00a0tok\/s\u00a0\u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 card\u2011like \u043f\u0440\u043e\u0444\u0438\u043b\u0435. \u041d\u0438\u0436\u0435 \u0440\u0430\u0437\u0431\u043e\u0440: \u043a\u0430\u043a\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043d\u0435\u00a0\u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0438\u0441\u044c, \u0447\u0442\u043e\u00a0\u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u0447\u0438\u043d\u043e\u0439 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u0432\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438.\u0412\u00a0\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b \u0440\u0435\u0446\u0435\u043f\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430, \u0445\u0430\u0440\u043d\u0435\u0441\u0441\u044b, \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 \u0441\u00a0digest \u043e\u0431\u0440\u0430\u0437\u0430 \u0438 \u0440\u0435\u0432\u0438\u0437\u0438\u044f\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430\u00a0\u0442\u0430\u043a\u0436\u0435 \u0441\u044b\u0440\u044b\u0435 \u043b\u043e\u0433\u0438 \u043f\u0430\u0440\u043d\u043e\u0433\u043e B12X\u2011\u0442\u0435\u0441\u0442\u0430 \u0438 c=1-\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f:\u00a0dspark-0731-gb10\u00a01. \u0421\u0442\u0435\u043d\u0434 \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438\u0414\u0432\u0430 DGX Spark, \u0441\u043e\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u043e\u00a0QSFP 200G, NCCL \u043f\u043e\u0432\u0435\u0440\u0445 RoCEv2, \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u043d\u0430\u00a0\u0434\u0432\u0435 \u043d\u043e\u0434\u044b. \u041f\u043e\u043b\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 156\u00a0GiB \u043d\u0430\u00a0\u0434\u0438\u0441\u043a\u0435 \u0438 \u0437\u0430\u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d \u043d\u0430\u00a0\u043e\u0431\u0435\u0438\u0445 \u043d\u043e\u0434\u0430\u0445. \u0412\u00a0\u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u00a0TP=2, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 tensor\u2011parallel shard.\u0421\u0447\u0438\u0442\u0430\u044e\u00a0usage.completion_tokens\u00a0\u0438\u0437\u00a0\u043e\u0442\u0432\u0435\u0442\u0430 API, \u0430\u00a0\u043d\u0435\u00a0\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0441\u0442\u0440\u0438\u043c\u0430.\u041f\u043e\u043b\u0435\u0437\u043d\u043e\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u00a0\u0441\u0442\u0440\u0438\u043c. \u0412\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u043f\u043e\u0434\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c vLLM \u043e\u0442\u0434\u0430\u0432\u0430\u043b \u043e\u0434\u0438\u043d SSE\u2011\u0447\u0430\u043d\u043a \u043d\u0430\u00a0verification step, \u0438 \u0432\u00a0\u043d\u0451\u043c \u043f\u0440\u0438\u0435\u0437\u0436\u0430\u044e\u0442 \u0432\u0441\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0437\u0430\u00a0\u044d\u0442\u043e\u0442 \u0448\u0430\u0433 \u0442\u043e\u043a\u0435\u043d\u044b. \u042f \u0441\u0432\u0435\u0440\u0438\u043b \u044d\u0442\u043e \u0441\u043e \u0441\u0447\u0451\u0442\u0447\u0438\u043a\u043e\u043c \u0434\u0432\u0438\u0436\u043a\u0430 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435: \u043f\u043e\u0441\u043b\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e content\u2011\u0447\u0430\u043d\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f 65\u00a0\u0441\u043e\u0432\u043f\u0430\u043b\u0438 \u0441\u00a0num_drafts_total\u00a0= 65, \u043f\u0440\u0438 66\u00a0\u0447\u0430\u043d\u043a\u0430\u0445 \u0432\u0441\u0435\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u00a0content_chunks \u2212 1\u00a0\u043a\u0430\u043a\u00a0proxy \u0447\u0438\u0441\u043b\u0430 verification\u2011\u0448\u0430\u0433\u043e\u0432. \u0414\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e \u0442\u0430\u043a\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 SSE\u2011derived: \u044d\u0442\u043e proxy, \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435, \u0430\u00a0\u043d\u0435\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442 vLLM. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 \u0441\u0435\u0440\u0438\u0438 \u044f \u0441\u0447\u0438\u0442\u0430\u043b \u0448\u0430\u0433\u0438 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u043e\u00a0\u0447\u0430\u043d\u043a\u0430\u043c. \u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0440\u0430\u043a\u0442\u043e\u043c vLLM \u044d\u0442\u043e \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0439\u0442\u0435 \u043d\u0430\u00a0\u0441\u0432\u043e\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u0435.\u041a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode\u2011\u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u0430\u044f \u0441\u00a0\u0442\u043e\u0439, \u0447\u0442\u043e\u00a0\u0446\u0438\u0442\u0438\u0440\u0443\u044e\u0442 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438:decode tok\/s = (completion_tokens \u2212 first_chunk_tokens) \/ (t_last_content \u2212 t_first_content)steps\/s      = (content_chunks \u2212 1)                     \/ (t_last_content \u2212 t_first_content)first_chunk_tokens\u00a0\u044f \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u044e, \u0430\u00a0\u0441\u0447\u0438\u0442\u0430\u044e \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u044b\u0439 \u044d\u043d\u0434\u043f\u043e\u0438\u043d\u0442\u00a0\/tokenize. \u041d\u0430\u00a0\u044d\u0442\u043e\u043c \u0441\u0442\u0435\u043d\u0434\u0435 \u043f\u0435\u0440\u0432\u044b\u0439 content\u2011\u0447\u0430\u043d\u043a \u0432\u043e\u00a0\u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430\u0445 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043b\u00a0&#8216;Here&#8217;\u00a0\u0438 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0432\u00a0\u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d. \u041f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0447\u0430\u043d\u043a\u0438 \u043d\u0435\u0441\u043b\u0438 \u043f\u043e\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432; \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 4,3\u20134,7\u00a0\u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043d\u0430\u00a0decode\u2011\u0448\u0430\u0433.\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u00a0\u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433. \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u0432\u0438\u0436\u043a\u0430 \u0434\u0430\u044e\u0442:output tokens per verification step = 1 + num_accepted_tokens_total \/ num_drafts_total\u0412\u0435\u0434\u0443\u0449\u0430\u044f \u0435\u0434\u0438\u043d\u0438\u0446\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 target\u2011\u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u0434\u0430. \u041f\u0440\u0438\u043d\u044f\u0442\u044b\u0445\u00a0draft\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u043c\u0435\u043d\u044c\u0448\u0435. \u0414\u0430\u043b\u044c\u0448\u0435 \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0432\u0435\u0437\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e \u0438\u043c\u0435\u043d\u043d\u043e \u00ab\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433\u00bb, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u00a0\u043f\u0443\u0442\u0430\u0442\u044c \u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b.\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u044f \u043f\u0440\u0438\u0432\u043e\u0436\u0443 \u0432\u00a0\u0434\u0432\u0443\u0445 \u0440\u0435\u0436\u0438\u043c\u0430\u0445: \u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 (c=1) \u0438 12\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 (c=12), \u0434\u043b\u044f\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0432\u043c\u0435\u0441\u0442\u0435.\u0414\u0432\u0430 \u043f\u0440\u043e\u0444\u0438\u043b\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u044d\u0444\u0444\u0435\u043a\u0442 \u043f\u043e\u0447\u0442\u0438 \u043b\u044e\u0431\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438:\u043f\u0440\u043e\u0444\u0438\u043b\u044c\u0447\u0442\u043e\u00a0\u044d\u0442\u043ecode\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u043f\u0442, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f Python, 500\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u044b\u0432\u043e\u0434\u0430heavy\u043e\u043a\u043e\u043b\u043e 4K \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u043e\u0437\u043e\u0439, 500\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432\u041a\u043e\u0434 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0443\u0435\u043c\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0434\u0440\u0430\u0444\u0442\u0435\u0440 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0438\u0445 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u043a\u0443\u0441\u043a\u0430\u043c\u0438. \u0412\u00a0heavy\u2011\u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0442\u0430\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435.2. \u0418\u0437\u00a0\u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044cDeepSeek\u2011V4-Flash \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 MoE\u2011\u043c\u043e\u0434\u0435\u043b\u044c: 284B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u0441\u0435\u0433\u043e, \u0438\u0437\u00a0\u043d\u0438\u0445 \u043e\u043a\u043e\u043b\u043e 13B \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u00a0\u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u0414\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u043e\u00a0\u043c\u043d\u043e\u0433\u043e\u043c \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432, \u043d\u043e\u00a0\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0440\u0430\u0441\u0447\u0451\u0442 \u00ab\u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430\u00a0\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b\u00bb \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u0435\u043d. \u042d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f \u0432\u00a0FP4, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u043d\u0437\u043e\u0440\u044b \u0432\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, TP=2\u00a0\u0448\u0430\u0440\u0434\u0438\u0440\u0443\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0436\u0443\u0437\u043b\u043e\u0432\u043e\u0439 \u043e\u0431\u043c\u0435\u043d, \u0430\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 MoE\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u044b \u0441\u0430\u043c\u0438 \u043c\u0435\u043d\u044f\u044e\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0448\u0430\u0433\u0430. \u041f\u0430\u0441\u043f\u043e\u0440\u0442\u043d\u044b\u0435 273\u00a0GB\/s \u0437\u0430\u0434\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0433\u0440\u0443\u0431\u044b\u0439 \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440.\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043a\u0430\u0440\u0442\u0438\u043d\u0443 \u0434\u0430\u0451\u0442 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435:tok\/s \u2248 verification steps\/s \u00d7 output tokens per verification step\u0412\u0442\u043e\u0440\u043e\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0435 \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u041a\u00a0target\u2011\u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0443 \u043f\u0440\u0438\u043a\u0440\u0435\u043f\u043b\u0451\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 DSpark speculative module. \u0412\u00a0\u043c\u043e\u0451\u043c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043e\u043d \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043f\u044f\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433; \u0440\u0430\u0437\u043c\u0435\u0440 \u0431\u043b\u043e\u043a\u0430 \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439 \u0440\u0430\u043d\u0442\u0430\u0439\u043c\u0430 \u0438 \u0432\u00a0\u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u0430\u0445 \u0440\u0430\u0432\u0435\u043d \u0442\u0440\u0451\u043c \u0438\u043b\u0438\u00a0\u0441\u0435\u043c\u0438.\u041e\u0431\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f \u043f\u043e\u0434\u0432\u0438\u0436\u043d\u044b.\u00a0\u0414\u0430\u043b\u044c\u0448\u0435 \u0434\u0432\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u043a\u0430\u0436\u0434\u043e\u0435 \u0434\u0432\u0438\u0433\u0430\u0435\u0442 \u0441\u0432\u043e\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c, \u043f\u0440\u0438\u0447\u0451\u043c \u0432\u00a0\u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b.3. \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u043e\u00a0\u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0438\u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430T=0.7 \u2192 42.5 tok\/sT=0   \u2192 42.6 tok\/s\u0420\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u0435\u0442. Draft path \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0431\u043e\u0440\u043a\u0438 0.21.1\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432\u00a0greedy\u2011\u0440\u0435\u0436\u0438\u043c\u0435. Acceptance \u043f\u043e\u00a0\u0434\u0432\u0443\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u044f \u043d\u0435\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b, \u0430\u00a0\u0432\u044b\u0432\u043e\u0434 \u043f\u0440\u043e\u00a0vLLM \u0432\u043e\u043e\u0431\u0449\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f: \u0432\u00a0\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0432\u0435\u0440\u0441\u0438\u044f\u0445 \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u00a0draft_sample_method=&#187;probabilistic&#187;.\u0423\u0447\u0451\u0442 prefille2e:                 42.5 tok\/s\u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u0430\u044f decode:   43.2 tok\/sTTFT \u043e\u043a\u043e\u043b\u043e 200\u00a0\u043c\u0441 \u043f\u0440\u0438\u00a0\u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 10.5\u00a0\u0441. \u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0432\u043b\u0438\u044f\u0435\u0442, \u043d\u043e\u00a0\u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u0430\u043b\u043e.\u0414\u043b\u0438\u043d\u0430 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442: 48.3 tok\/s\u043c\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442:      43.2 tok\/s\u041e\u043a\u043e\u043b\u043e 12%. \u0414\u043e 57\u00a0\u0432\u0441\u0451 \u0435\u0449\u0451 \u0434\u0430\u043b\u0435\u043a\u043e.\u0427\u0438\u0441\u043b\u043e \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u0440\u0435\u043b\u0438\u0437\u0430 0731\u00a0\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u00a0num_speculative_tokens=7. \u0412\u0430\u043b\u0438\u0434\u0430\u0442\u043e\u0440 \u043c\u043e\u0435\u0439 \u0441\u0431\u043e\u0440\u043a\u0438 \u043e\u0442\u043a\u043b\u043e\u043d\u0438\u043b \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435:ValidationError: num_speculative_tokens:7 must be divisible by n_predict=5\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f 3\u00a0\u0438 7\u00a0\u043d\u0435\u00a0\u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b\u0438. \u041e\u0442\u043c\u0435\u0447\u0443 \u0433\u0440\u0430\u043d\u0438\u0446\u0443: \u044d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0440\u0435\u0432\u0438\u0437\u0438\u0438 \u043e\u0431\u0440\u0430\u0437\u0430 \u0438 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442\u0430, \u0430\u00a0\u043d\u0435\u00a0\u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e DSpark. \u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 0731\u00a0\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442 7, \u0430\u00a0\u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u043d\u0430\u00a0\u0442\u043e\u0439\u00a0\u0436\u0435\u00a0\u043b\u0438\u043d\u0438\u0438 \u043e\u0431\u0440\u0430\u0437\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 3.\u0421\u043c\u0435\u043d\u0430 runtime\u2011\u043e\u0431\u0440\u0430\u0437\u0430\u041a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 drowzeys \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 Stage\u2011C runtime. \u0427\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 runtime\u2011\u0441\u0442\u0435\u043a\u0430, \u044f \u043f\u0435\u0440\u0435\u0448\u0451\u043b \u043d\u0430\u00a0\u043e\u0431\u0440\u0430\u0437\u00a0ghcr.io\/anemll\/dspark-vllm-gx10:0.1.1\u00a0\u0441\u00a0vLLM 0.25.2, \u043e\u0441\u0442\u0430\u0432\u0438\u0432 \u043f\u0440\u0435\u0436\u043d\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0444\u043b\u0430\u0433\u0438:\u043e\u0431\u0440\u0430\u0437 \u043d\u0430 0.21.1\u043e\u0431\u0440\u0430\u0437 \u043d\u0430 0.25.2code, c=142.551.8\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u04333.274.80\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u043213.0\/\u044110.8\/\u0441\u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0434\u0440\u0430\u0444\u0442\u04300.21.10.25.2pos085.9%95.2%pos162.1%86.0%pos240.8%74.8%pos324.3%66.5%pos413.4%57.0%\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043b\u044e verification\u2011\u0431\u043b\u043e\u043a\u043e\u0432, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0430\u00a0\u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0430. \u041e\u043d\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u044f\u0434 \u0443\u0431\u044b\u0432\u0430\u0435\u0442:output tokens per step = 1 + \u03a3(position rates)0.21.1:  1 + 0.859 + 0.621 + 0.408 + 0.243 + 0.134 = 3.270.25.2:  1 + 0.952 + 0.860 + 0.748 + 0.665 + 0.570 = 4.80\u0414\u0435\u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u044f:\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430 \u0448\u0430\u0433:  3.27 \u2192 4.80   (+46.8%)\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u0432:  13.0 \u2192 10.8   (\u221217.0%)\u0438\u0442\u043e\u0433 tok\/s:               42.5 \u2192 51.8   (+21.9%)\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u044b 13.0\u00a0\u0438 10.8\u00a0\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0433\u043e throughput \u043d\u0430\u00a0\u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433. \u041f\u0440\u044f\u043c\u043e\u0439 server\u2011side \u0441\u0447\u0451\u0442\u0447\u0438\u043a verification\u2011\u0448\u0430\u0433\u043e\u0432 \u0434\u043b\u044f\u00a0\u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u044f \u043d\u0435\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u043b; \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443 \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u0441\u0447\u0451\u0442\u0430 \u043f\u043e\u00a0SSE\u2011\u0447\u0430\u043d\u043a\u0430\u043c \u044f \u043e\u0441\u0432\u043e\u0438\u043b \u043f\u043e\u0437\u0436\u0435 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b \u0443\u0436\u0435 \u043a\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438.\u0421\u0432\u0435\u0440\u043a\u0430 \u0441\u00a0\u043a\u0430\u0440\u0442\u043e\u0447\u043a\u043e\u0439. \u041d\u0430\u00a0\u043d\u043e\u0432\u043e\u043c \u043e\u0431\u0440\u0430\u0437\u0435 \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c code\u2011\u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u00a058.3\u00a0tok\/s\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 57\u00a0\u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0445\u043e\u0436\u0443 \u0432\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u043f\u043e\u00a0\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0439 \u043a\u043b\u0438\u0435\u043d\u0442\u0441\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u043e\u043b\u043d\u043e\u0433\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0430 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0435\u0442: \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Stage\u2011C \u0440\u0430\u043d\u0442\u0430\u0439\u043c,\u00a0kv_cache_dtype=nvfp4_ds_mla\u00a0\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0430 \u0440\u0430\u043d\u0433\u043e\u0432, \u0430\u00a0\u043c\u043e\u0438 \u043f\u0440\u043e\u0433\u043e\u043d\u044b \u0448\u043b\u0438 \u043d\u0430\u00a0fp8\u00a0KV.4. \u041d\u043e\u0432\u044b\u0439 \u0440\u0435\u043b\u0438\u0437 0731\u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u00a00731\u00a0\u043a\u0430\u043a\u00a0\u0440\u0435\u043b\u0438\u0437 \u0441\u00a0\u0442\u043e\u0439\u00a0\u0436\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043e\u0439 \u0438 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u0441\u0438\u043b\u0435\u043d\u043d\u044b\u043c\u0438 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438: DeepSWE 7.3\u00a0\u2192 54.4, Terminal Bench 2.1 61.8\u00a0\u2192 82.7. \u041a\u043b\u044e\u0447\u0438 DSpark \u0432\u00a0config.json\u00a0\u043d\u0430\u00a0\u043c\u0435\u0441\u0442\u0435, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 1048576.\u041d\u0430\u00a0\u043c\u043e\u0451\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435, \u043f\u0440\u0438\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u043e\u0431\u0440\u0430\u0437\u0435 \u0438\u00a0auto\u00a0\u0431\u044d\u043a\u0435\u043d\u0434\u0435:\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0447\u0435\u043a\u043f\u043e\u0438\u043d\u04420731code, c=151.859.3\u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u04334.804.68\u0440\u0430\u0441\u0447\u0451\u0442\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0448\u0430\u0433\u043e\u043210.8\/\u044112.7\/\u0441\u0427\u0438\u0441\u043b\u043e \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u00a0\u0448\u0430\u0433 \u0441\u043b\u0435\u0433\u043a\u0430\u00a0\u0443\u043f\u0430\u043b\u043e, \u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u0437\u0430\u00a0\u0441\u0447\u0451\u0442 \u0447\u0430\u0441\u0442\u043e\u0442\u044b \u0448\u0430\u0433\u043e\u0432. \u041f\u0440\u0438\u0447\u0438\u043d\u0443 \u044f \u043d\u0435\u00a0\u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b.\u0412\u0430\u0436\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u044d\u0442\u043e \u043d\u0435\u00a0\u0447\u0438\u0441\u0442\u0430\u044f \u0430\u0431\u043b\u044f\u0446\u0438\u044f \u0440\u0435\u043b\u0438\u0437\u0430. \u041e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u043c\u0435\u043d\u0438\u043b\u0438\u0441\u044c upstream\u2011\u0447\u0435\u043a\u043f\u043e\u0438\u043d\u0442 \u0438 \u0440\u0435\u0446\u0435\u043f\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0433\u043e artifact. \u0420\u0430\u043d\u044c\u0448\u0435 \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b abliterated\u2011\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043e\u0442\u00a0drowzeys, \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0442\u00a0apetersson. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0430\u0432\u0442\u043e\u0440\u043e\u043c \u043a\u0430\u043a\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 model\u2011surgery \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u0441 36\u00a0\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u044b\u043c\u0438 \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u0438 DSpark. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u0443\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u0443, \u043d\u043e\u00a0\u043d\u0435\u00a0\u043f\u0440\u0438\u043f\u0438\u0441\u044b\u0432\u0430\u044e \u0435\u0451 \u043e\u0434\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044e.5. \u0424\u043b\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u00a0\u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0414\u0430\u043b\u044c\u0448\u0435 \u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043a\u043e\u043d\u0444\u0438\u0433 \u043a\u043e\u043b\u043b\u0435\u0433\u0435, \u0438 \u043e\u043d \u043f\u043e\u0441\u043e\u0432\u0435\u0442\u043e\u0432\u0430\u043b \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u042d\u0442\u043e \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0441\u043e\u0432\u0435\u0442\u043e\u043c \u0437\u0430\u00a0\u0432\u0441\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e.\u0421\u0440\u0430\u0437\u0443 \u043e\u0433\u043e\u0432\u043e\u0440\u044e\u0441\u044c \u043f\u0440\u043e\u00a0\u043f\u0435\u0440\u0432\u0435\u043d\u0441\u0442\u0432\u043e. \u041f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e \u0441\u043e \u043c\u043d\u043e\u0439 \u044d\u0442\u043e\u0439\u00a0\u0436\u0435 \u0441\u0432\u044f\u0437\u043a\u043e\u0439 \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0441\u044f\u00a0tonyd2wild, \u0438 \u0432\u00a0\u0435\u0433\u043e \u0440\u0435\u0446\u0435\u043f\u0442\u0435 B12X \u0442\u043e\u0436\u0435 \u043e\u0442\u043c\u0435\u0447\u0435\u043d \u043a\u0430\u043a\u00a0\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u00a0\u044f\u0432\u043d\u043e\u043c\u0443 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044e. \u042f \u043f\u0440\u0438\u0448\u0451\u043b \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u043e\u0438\u043c \u043f\u0443\u0442\u0451\u043c \u0438 \u043c\u0435\u0440\u0438\u043b \u043f\u043e\u00a0\u0441\u0432\u043e\u0435\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0447\u0438\u0441\u043b\u0430 \u0443\u00a0\u043d\u0430\u0441 \u0440\u0430\u0437\u043d\u044b\u0435. \u041e\u043d \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u0441\u0432\u043e\u0435\u0433\u043e \u0441\u0442\u0435\u043a\u0430\u00a0~29 tok\/s\u00a0\u043d\u0430\u00a0\u0444\u043e\u043b\u0431\u044d\u043a\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u00a0~50-60+\u00a0\u0441\u00a0\u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c B12X, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043a\u043e\u043b\u043e \u0434\u0432\u0443\u0445 \u0440\u0430\u0437. \u0423\u00a0\u043c\u0435\u043d\u044f \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u043f\u0430\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 13\u201317%, \u043f\u0440\u0438\u0447\u0451\u043c \u0438 \u0431\u0430\u0437\u0430 \u0434\u0440\u0443\u0433\u0430\u044f: \u043c\u043e\u0439\u00a0auto\u00a0\u0434\u0430\u0451\u0442 59.7, \u0430\u00a0\u043d\u0435 29. \u041c\u044b \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u043c B12X \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438 (\u0443 \u043d\u0435\u0433\u043e env\u2011\u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f\u00a0VLLM_USE_B12X_MOE, \u0443\u00a0\u043c\u0435\u043d\u044f CLI\u2011\u0444\u043b\u0430\u0433 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u043e\u0431\u0440\u0430\u0437\u0435), \u0442\u0430\u043a \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0435\u043a\u0430, \u0447\u0435\u043c \u0441\u043f\u043e\u0440 \u043e\u00a0\u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435. \u041d\u0438\u0436\u0435 \u043c\u043e\u0438 \u0437\u0430\u043c\u0435\u0440\u044b \u0438 \u043c\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0438\u0445 \u0441\u043d\u0438\u043c\u0430\u0442\u044c.\u042f \u043e\u0441\u0442\u0430\u0432\u0438\u043b \u0448\u0442\u0430\u0442\u043d\u044b\u0439\u00a0&#8212;moe-backend auto: \u0432\u00a0\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 vLLM\u00a0\u044d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u043e\u043f\u0438\u0441\u0430\u043d \u043a\u0430\u043a\u00a0\u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0431\u043e\u0440 backend \u043f\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u00a0\u0436\u0435\u043b\u0435\u0437\u0443. \u041d\u043e\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b \u044f \u043d\u0435\u00a0mainline&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-489584","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/489584","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=489584"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/489584\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=489584"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=489584"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=489584"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}