{"id":486252,"date":"2026-07-05T16:22:00","date_gmt":"2026-07-05T16:22:00","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=486252"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=486252","title":{"rendered":"DSpark \u043d\u0430\u00a0\u0434\u0432\u0443\u0445 DGX Spark: \u043f\u043e\u0440\u0442, \u0431\u0430\u0433 \u043d\u0430\u00a0\u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u0438 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043c\u0435\u0440\u0438\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>DeepSeek \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b DSpark\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0434\u043b\u044f\u00a0V4. \u0412\u00a0\u043e\u043a\u043d\u0435 27\u201330\u00a0\u0438\u044e\u043d\u044f 2026\u00a0\u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0434\u043b\u044f\u00a0GB10\u00a0\u043d\u0435\u00a0\u0431\u044b\u043b\u043e\u00a0\u2014 \u043c\u044b \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0435\u0433\u043e \u0441\u0430\u043c\u0438, \u043d\u0430\u0448\u043b\u0438 \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0431\u0430\u0433, \u0443\u0431\u0438\u0432\u0430\u0432\u0448\u0438\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0440\u0430\u0444\u0442\u0430, \u0438 \u0441\u043d\u044f\u043b\u0438 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u0442\u0435\u043d\u0434\u0430. \u041f\u043e\u0442\u043e\u043c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u043e \u0440\u0435\u0446\u0435\u043f\u0442 \u0432\u0434\u0432\u043e\u0435\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430\u0448\u0435\u0433\u043e. \u041c\u044b \u0435\u0433\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438\u00a0\u2014 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u043e\u043d\u043a\u0438 \u0437\u0430\u00a0\u0446\u0438\u0444\u0440\u043e\u0439 \u0441\u043d\u044f\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u00a0\u043f\u0430\u0431\u043b\u0438\u043a\u0435 \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438: \u043a\u0440\u0438\u0432\u0443\u044e \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0434\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e 1M, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 NVFP4\u00a0\u0438 \u043f\u0435\u0442\u043b\u0438 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435. \u041f\u043b\u044e\u0441 \u0442\u0440\u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430. <\/p>\n<h3>TL;DR<\/h3>\n<ul>\n<li>\n<p><strong>\u041f\u043e\u0440\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043b\u0441\u044f.<\/strong>\u00a0DSpark\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c DeepSeek \u043f\u043e\u0432\u0435\u0440\u0445 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430 V4\u00a0\u2014 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 2\u00d7 DGX Spark (GB10, SM121, TP=2\u00a0\u0447\u0435\u0440\u0435\u0437 QSFP 200G \/ RoCEv2) \u043a\u0430\u043a\u00a0\u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434\u00a0<code>dspark<\/code>\u00a0\u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u0444\u043e\u0440\u043a\u0435 \u043f\u043e\u0432\u0435\u0440\u0445 community\u2011\u0444\u043e\u0440\u043a\u0430 jasl. \u041f\u043e\u0440\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439: \u0432\u00a0\u043e\u043a\u043d\u0435 27\u201330\u00a0\u0438\u044e\u043d\u044f 2026\u00a0\u0432\u00a0\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u043c \u043d\u0430\u043c \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u043c vLLM\u2011\u043f\u0443\u0442\u0438 \u0434\u043b\u044f\u00a0GB10\/SM121\u00a0<code>method=dspark<\/code>\u00a0\u043d\u0435\u00a0\u0431\u044b\u043b \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u043f\u0446\u0438\u0435\u0439\u00a0\u2014 \u0437\u0430\u043f\u0443\u0441\u043a \u043d\u0435\u00a0\u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b \u0434\u0430\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u2011\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0431\u0430\u0433\u0444\u0438\u043a\u0441<\/strong>\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430: \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0435\u0440\u043d\u0435\u043b \u0441\u044d\u043c\u043f\u043b\u0438\u043b \u0434\u0440\u0430\u0444\u0442 \u0438\u0437\u00a0noise\u2011\u0441\u043b\u043e\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e bonus\u2011\u0441\u043b\u043e\u0442\u0430. \u0421\u0434\u0432\u0438\u0433 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430 \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0441\u043b\u043e\u0442 \u043f\u043e\u0434\u043d\u044f\u043b acceptance \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0\u00a0\u0441 0.41\u00a0\u0434\u043e 0.74, \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043f\u0440\u0438\u043d\u044f\u0442\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u0441 1.75\u00a0\u0434\u043e 2.5, throughput \u0441 26\u00a0\u0434\u043e 36\u00a0tok\/s.<\/p>\n<\/li>\n<li>\n<p><strong>Single\u2011stream \u043d\u0430\u00a0fp8:<\/strong>\u00a026.7\u00a0tok\/s \u0431\u0435\u0437\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u0438 \u2192 32.4\u00a0tok\/s \u0441\u00a0DSpark =\u00a0<strong>+21\u201324%<\/strong>. \u042d\u0442\u043e \u043d\u0435\u00a0\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0436\u0435\u043d\u0438\u0435 \u0446\u0438\u0444\u0440 DeepSeek: \u0438\u0445 headline (+60\u201385% per\u2011user speedup \u0438 \u043a\u0440\u0430\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435 aggregate\u2011\u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0438 \u0432\u00a0SLA\u2011\u0440\u0435\u0436\u0438\u043c\u0430\u0445) \u0441\u043d\u044f\u0442 \u043d\u0430\u0434 baseline MTP-1\u00a0\u0438 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435\u00a0\u2014 \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0434\u0440\u0443\u0433\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c baseline. \u0420\u0430\u0437\u0431\u043e\u0440 \u043f\u043e\u00a0\u0447\u0435\u0442\u044b\u0440\u0451\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c \u0432\u043d\u0443\u0442\u0440\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 DSpark \u043d\u0430\u00a0GB10\u00a0\u2014 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c:<\/strong>\u00a0~99\u00a0tok\/s \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u043d\u0430 8\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445 (\u043f\u0440\u043e\u0442\u0438\u0432 ~64\u00a0\u0443\u00a0\u043f\u0440\u0435\u0436\u043d\u0435\u0433\u043e MTP-2\u00a0\u043f\u0440\u043e\u0434\u0430, +55%), 141\u2013146\u00a0tok\/s \u043d\u0430 12\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445.<\/p>\n<\/li>\n<li>\n<p><strong>\u041a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438:<\/strong>\u00a0tonyd2wild \u0432\u044b\u043b\u043e\u0436\u0438\u043b NVFP4-KV \u0440\u0435\u0446\u0435\u043f\u0442 \u0441\u00a0\u0437\u0430\u044f\u0432\u043a\u043e\u0439 67\u00a0tok\/s single\u2011stream \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0448\u0438\u0445 32. \u041c\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438: single 55\u201363, C16-static 324\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 \u0435\u0433\u043e 315.1\u00a0\u2014\u00a0<strong>\u043d\u0438\u0447\u044c\u044f \u0432\u00a0\u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430<\/strong>.<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c NVFP4:<\/strong>\u00a0\u0432\u00a0no\u2011spec \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 4-\u0431\u0438\u0442\u043d\u044b\u0439 KV \u043d\u0435\u00a0\u0443\u0441\u043a\u043e\u0440\u0438\u043b \u0433\u043e\u043b\u044b\u0439 forward (26.6\u00a0\u2248 26.7\u00a0tok\/s \u0443\u00a0fp8)\u00a0\u2014 single\u2011stream \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0440\u0435\u0446\u0435\u043f\u0442\u0430 \u043f\u0440\u0438\u0448\u0451\u043b \u0447\u0435\u0440\u0435\u0437 acceptance 3\u20134\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 ~2.1.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u043b\u0443\u0431\u0438\u043d\u0430 \u0438 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c:<\/strong>\u00a0\u043a\u0440\u0438\u0432\u0430\u044f \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0434\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e 1M: 42.7\u00a0tok\/s \u043d\u0430 16K \u2192 17.6\u00a0\u043d\u0430 512K \u2192\u00a0<strong>17.2\u00a0\u043d\u0430 1.03M<\/strong>\u00a0(\u043f\u043e\u0441\u043b\u0435 512K\u00a0\u2014 \u043f\u043e\u043b\u043a\u0430, \u043d\u0435\u00a0\u043e\u0431\u0432\u0430\u043b); \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u2265256K \u0431\u0438\u043b\u0434 \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u043f\u0435\u0442\u043b\u0438 (\u0430 \u043d\u0430 1M \u043e\u0431\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u0432\u044f\u0437\u043d\u044b\u0435\u00a0\u2014 \u043b\u043e\u0442\u0435\u0440\u0435\u044f, \u043d\u0435\u00a0\u0441\u0442\u0435\u043d\u0430), \u0438 acceptance \u0432\u00a0\u043f\u0435\u0442\u043b\u0435 \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0440\u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u0430 \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b:<\/strong>\u00a0YaRN re\u2011anchor \u0434\u0440\u0430\u0444\u0442\u0430 (\u0437\u0430\u043c\u0435\u0434\u043b\u0435\u043d\u0438\u0435 \u0432 ~15\u00a0\u0440\u0430\u0437, \u00ab\u0440\u043e\u0441\u0442\u00bb acceptance\u00a0\u0431\u044b\u043b \u043c\u0438\u0440\u0430\u0436\u043e\u043c), confidence\u2011scheduler (\u22129% \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430), \u0441\u044d\u043c\u043f\u043b\u0435\u0440\u2011\u0444\u0438\u043a\u0441 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 (\u043d\u0438 \u043e\u0434\u0438\u043d \u043a\u043e\u043d\u0444\u0438\u0433 \u043d\u0435\u00a0\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0431\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u044b,\u00a0<code>min_p<\/code>\u00a0\u043f\u043e\u0434\u00a0spec\u2011decode \u0437\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c).<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439:\u00a0<a href=\"https:\/\/github.com\/botAGI\/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8\" rel=\"noopener noreferrer nofollow\">botAGI\/DeepSeek\u2011V4-Flash\u2011DSpark\u2011GB10-2x\u2011DGX\u2011Spark-1m\u2011fp4-fp8<\/a>.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0413\u0434\u0435 \u043c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c<\/h3>\n<p>\u0412\u00a0\u0447\u0430\u0441\u0442\u0438 5\u00a0\u043c\u044b \u043f\u043e\u0434\u043d\u044f\u043b\u0438 DeepSeek\u2011V4\u2011Flash (284B MoE, ~13B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d) \u043d\u0430\u00a0\u0434\u0432\u0443\u0445 GB10\u00a0\u0441\u00a0TP=2\u00a0\u0438 \u0432\u044b\u043b\u0435\u0447\u0438\u043b\u0438 multi\u2011user. \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0447\u0430\u0441\u0442\u0438 5\u00a0\u2014 44.9\u00a0tok\/s single \u0438 144\u2013155\u00a0tok\/s \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430\u00a0\u2014 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445. \u0414\u043b\u044f\u00a0\u0447\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u043e\u0434\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443: MTP-2\u00a0\u0434\u0430\u0432\u0430\u043b ~40\u00a0tok\/s single\u2011stream \u0438 ~64\u00a0tok\/s \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u043d\u0430 8\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445. \u041e\u0442\u00a0\u044d\u0442\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c.<\/p>\n<p>27\u00a0\u0438\u044e\u043d\u044f DeepSeek \u0432\u044b\u043b\u043e\u0436\u0438\u043b DSpark\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u00a0\u0438\u0445 \u0441\u0442\u0435\u043a\u0430\u00a0<a href=\"https:\/\/github.com\/deepseek-ai\/DeepSpec\" rel=\"noopener noreferrer nofollow\">DeepSpec<\/a>\u00a0(MIT\u2011\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f). \u0421\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433, \u0435\u0441\u043b\u0438 \u0432\u00a0\u043e\u0434\u043d\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u0430\u044f \u00ab\u0434\u0440\u0430\u0444\u0442\u00bb\u2011\u0433\u043e\u043b\u043e\u0432\u0430 \u043d\u0430\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043f\u0435\u0440\u0451\u0434, \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445 \u043e\u0434\u043d\u0438\u043c \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435; \u0434\u043e\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 (acceptance) \u0438 \u0435\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448. DeepSeek \u0437\u0430\u044f\u0432\u043b\u044f\u043b\u00a0<a href=\"https:\/\/github.com\/deepseek-ai\/DeepSpec\/blob\/main\/DSpark_paper.pdf\" rel=\"noopener noreferrer nofollow\">+60\u201385% per\u2011user speedup<\/a>\u00a0\u0438 \u043a\u0440\u0430\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435 aggregate\u2011throughput \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0438 \u0432\u00a0SLA\u2011\u0440\u0435\u0436\u0438\u043c\u0430\u0445\u00a0\u2014 \u0438 \u0442\u043e \u0438 \u0434\u0440\u0443\u0433\u043e\u0435\u00a0<strong>\u043d\u0430\u0434 baseline MTP-1<\/strong>, \u043d\u0435\u00a0\u043d\u0430\u0434 \u0433\u043e\u043b\u043e\u0439 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439; \u043d\u0430\u00a0HF \u0443\u0436\u0435 \u043b\u0435\u0436\u0430\u043b \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u00a0<a href=\"https:\/\/huggingface.co\/deepseek-ai\/DeepSeek-V4-Flash-DSpark\" rel=\"noopener noreferrer nofollow\"><code>DeepSeek-V4-Flash-DSpark<\/code><\/a>\u00a0\u2014 \u0442\u0435\u00a0\u0436\u0435 \u0432\u0435\u0441\u0430 \u043f\u043b\u044e\u0441 \u043f\u0440\u0438\u0441\u0442\u0451\u0433\u043d\u0443\u0442\u044b\u0439 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c, \u043a\u0430\u043a\u00a0\u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0438\u0448\u0435\u0442 \u0441\u0430\u043c\u0430 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430.<\/p>\n<p>\u0412\u00a0\u0434\u0435\u043d\u044c \u0440\u0435\u043b\u0438\u0437\u0430 \u043c\u044b \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432\u00a0\u0441\u0442\u0435\u043d\u0443: \u0432\u00a0\u043e\u043a\u043d\u0435 27\u201330\u00a0\u0438\u044e\u043d\u044f 2026\u00a0\u0432\u00a0\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u043c \u043d\u0430\u043c \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u043c vLLM\u2011\u043f\u0443\u0442\u0438 \u0434\u043b\u044f\u00a0GB10\/SM121\u00a0<code>method=dspark<\/code>\u00a0\u043d\u0435\u00a0\u0431\u044b\u043b \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u043f\u0446\u0438\u0435\u0439\u00a0\u2014 \u0432\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u043c \u0444\u043e\u0440\u043a\u0435 \u044d\u0442\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0439 pydantic\u2011enum, \u0430\u00a0\u043d\u0435\u00a0\u0444\u043b\u0430\u0433.\u00a0<code>ValidationError<\/code>\u00a0\u043f\u0440\u0438\u043b\u0435\u0442\u0430\u043b \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u043a\u0430\u0447\u0430\u043b\u0438\u0441\u044c\u00a0\u0431\u044b 165\u00a0\u0413\u0411 \u0432\u0435\u0441\u043e\u0432. \u041d\u0438 \u043a\u043e\u0434\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430, \u043d\u0438 \u043a\u0435\u0440\u043d\u0435\u043b\u043e\u0432, \u043d\u0438 PR \u0432\u00a0upstream. \u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u0430 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u043e\u00a0\u0434\u0430\u0442\u0430\u0445: \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u043b\u0438\u0437\u0430 \u0434\u0432\u0438\u0433\u0430\u043b\u0430\u0441\u044c\u00a0\u0431\u044b\u0441\u0442\u0440\u043e, \u0438 \u0432\u0441\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u00a0upstream\/vLLM \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u00a0\u0442\u043e\u043c\u0443 \u043e\u043a\u043d\u0443\u00a0\u2014 \u0443\u0436\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 \u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0HF \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0448\u0442\u0430\u0442\u043d\u044b\u0439 vLLM\u2011\u0437\u0430\u043f\u0443\u0441\u043a \u0441\u00a0<code>--speculative-config '{\"method\":\"dspark\",...}'<\/code>. \u0410\u00a0\u0431\u0430\u0437\u043e\u0432\u044b\u0439 V4\u00a0\u043d\u0430\u00a0SM121\u00a0\u0438 \u0442\u0430\u043a \u0436\u0438\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0community\u2011\u0444\u043e\u0440\u043a\u0435 jasl (PR #41834\u00a0\u0432\u00a0upstream vLLM)\u00a0\u2014 \u043d\u0430\u00a0\u043d\u0451\u043c \u0438 \u0441\u0442\u0440\u043e\u0438\u043c. \u041c\u044b \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0438 DSpark \u0432\u00a0watch\u2011\u043b\u0438\u0441\u0442\u00a0\u2014 \u0430\u00a0\u043f\u043e\u0442\u043e\u043c \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0435\u00a0\u0436\u0434\u0430\u0442\u044c \u0438 \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0438\u043c.<\/p>\n<h3>\u041f\u043e\u0440\u0442: \u0442\u044f\u0436\u0451\u043b\u043e\u0435 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c, \u0442\u043e\u043d\u043a\u043e\u0435 \u0434\u0435\u0431\u0430\u0436\u0438\u043c<\/h3>\n<p>\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u00a0\u0447\u0442\u0435\u043d\u0438\u0438 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438\u0437\u00a0\u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430: DSpark\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u043d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0414\u0440\u0430\u0444\u0442\u00a0\u2014 \u044d\u0442\u043e 3\u00a0MTP\u2011\u0441\u0442\u0430\u0434\u0438\u0438 \u043f\u043e\u0434\u00a0namespace\u00a0<code>mtp.*<\/code>, \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u0441\u043b\u043e\u044e V4\u00a0(MLA\u2011attention + MoE \u043d\u0430 256\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0443\u00a0\u043d\u0430\u0441 \u043d\u0430\u00a0GB10\u00a0\u043f\u043e\u0434\u00a0\u043f\u0440\u043e\u0434\u043e\u0432\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439. \u0421\u0432\u0435\u0440\u0445\u0443 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0432\u044f\u0437\u043a\u0438:\u00a0<code>main_proj<\/code>, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u044e hidden\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0442\u0440\u0451\u0445 \u0441\u043b\u043e\u0451\u0432 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 (<code>[40,41,42]<\/code>), low\u2011rank\u00a0<strong>Markov\u2011\u0433\u043e\u043b\u043e\u0432\u0430<\/strong>\u00a0(rank 256), \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043b\u043e\u0433\u0438\u0442\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u043b\u043e\u043a\u0430, \u0438 confidence\u2011\u0433\u043e\u043b\u043e\u0432\u0430. \u0417\u0430\u00a0\u0448\u0430\u0433 \u0434\u0440\u0430\u0444\u0442 \u043d\u0430\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0431\u043b\u043e\u043a \u0438\u0437 5\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0430\u0440\u0433\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445 \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c \u0448\u0438\u0440\u0438\u043d\u043e\u0439 6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 (5\u00a0\u0434\u0440\u0430\u0444\u0442\u043e\u0432\u044b\u0445 + 1\u00a0\u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439).<\/p>\n<p>\u041f\u043e\u0440\u0442 \u043b\u0451\u0433 \u0432\u00a0vLLM \u0434\u0432\u0443\u043c\u044f \u043d\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0443\u043b\u044f\u043c\u0438 (\u0433\u043e\u043b\u043e\u0432\u0430\u00a0<code>DSparkV4MTP<\/code>\u00a0+ proposer\u00a0<code>DSparkProposer<\/code>, \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u00a0<code>DFlashProposer<\/code>\u00a0\u2014 \u0435\u0433\u043e non\u2011causal cross\u2011attention \u043e\u0431\u0432\u044f\u0437\u043a\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0440\u043e\u0432\u043d\u043e \u0441\u0445\u0435\u043c\u043e\u0439 DSpark) \u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u043c\u0438 \u043f\u0440\u0430\u0432\u043a\u0430\u043c\u0438 \u043d\u0430\u00a0\u0441\u0435\u043c\u044c \u0441\u0442\u0440\u043e\u043a: enum, \u043f\u0440\u0435\u0434\u0438\u043a\u0430\u0442\u044b, \u0434\u0438\u0441\u043f\u0435\u0442\u0447\u0435\u0440 \u0440\u0430\u043d\u043d\u0435\u0440\u0430. \u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u043e\u0441\u044c, \u043f\u043e\u0435\u0445\u0430\u043b\u043e\u00a0\u2014 \u0438 \u0432\u044b\u0434\u0430\u043b\u043e \u043c\u0443\u0441\u043e\u0440: acceptance \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0\u00a0\u043e\u043a\u043e\u043b\u043e 5%, \u0434\u0440\u0430\u0444\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043f\u043e\u0447\u0442\u0438 \u0448\u0443\u043c.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435\u00a0\u0431\u044b\u043b\u0430 \u0434\u043e\u043b\u0433\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u0447\u043d\u0430\u044f \u043e\u0445\u043e\u0442\u0430 \u0437\u0430\u00a0\u0431\u0430\u0433\u043e\u043c, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0442\u0440\u0438 \u0444\u0438\u043a\u0441\u0430. \u0414\u0432\u0430\u00a0\u2014 \u00ab\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435\u00bb: aux hidden\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u043d\u0430\u0434\u043e \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0442\u044c per\u2011layer (hc\u2011fold\u00a0\u2014 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u00a0<code>hc_post<\/code>\u00a0\u043f\u043b\u044e\u0441 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u043e\u0441\u0438 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 hidden\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439), \u0430\u00a0\u043d\u0435\u00a0\u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u044b\u0440\u044b\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u043c; \u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043d\u043e\u0440\u043c\u0443 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430 (<code>mtp.N.norm.weight<\/code>) \u043d\u0430\u0434\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0435\u0440\u0435\u0434 LM\u2011\u0433\u043e\u043b\u043e\u0432\u043e\u0439, \u043f\u043b\u044e\u0441 \u0442\u043e\u043a\u0435\u043d\u044b \u0431\u043b\u043e\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u0438\u0434\u0435\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 non\u2011causally\u00a0\u2014 \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0431\u0438\u043b\u0434\u0435\u0440 \u0434\u0435\u043b\u0430\u043b \u0431\u043b\u043e\u043a \u043a\u0430\u0443\u0437\u0430\u043b\u044c\u043d\u044b\u043c.<\/p>\n<p>\u0410\u00a0\u0442\u0440\u0435\u0442\u0438\u0439\u00a0\u2014 \u0433\u043b\u0430\u0432\u043d\u044b\u0439. \u0423\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0435\u0440\u043d\u0435\u043b \u0441\u044d\u043c\u043f\u043b\u0438\u043b \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437\u00a0\u0441\u043b\u043e\u0442\u043e\u0432 \u0431\u043b\u043e\u043a\u0430\u00a0<strong>1..5<\/strong>, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441 \u0441\u044d\u043c\u043f\u043b\u0438\u0442 \u0432\u0441\u0435 \u0441\u043b\u043e\u0442\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441\u00a0\u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e. \u0421\u043b\u043e\u0442 0\u00a0\u2014 \u044d\u0442\u043e \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0430\u00a0\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 next\u2011token \u043f\u043e\u0437\u0438\u0446\u0438\u0438; \u0441\u043b\u043e\u0442 1\u00a0\u2014 noise\u2011\u0442\u043e\u043a\u0435\u043d (\u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d\u2011\u0437\u0430\u0433\u043b\u0443\u0448\u043a\u0430\u00a0<code>128799<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0434\u0440\u0430\u0444\u0442 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0435\u0449\u0451 \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0431\u043b\u043e\u043a\u0430) \u043d\u0430\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0434\u043d\u0443. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d \u043c\u044b \u0431\u0440\u0430\u043b\u0438 \u0438\u0437\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0436\u0438\u0432\u0443\u0449\u0435\u0433\u043e \u043d\u0430\u00a0\u0434\u0432\u0430 RoPE\u2011\u0448\u0430\u0433\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e. \u0424\u0438\u043a\u0441\u00a0\u2014 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u0434\u0432\u0438\u0433 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 (<a href=\"https:\/\/github.com\/botAGI\/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8\/blob\/main\/patches\/vllm\/spec_decode\/dspark.py#L251\" rel=\"noopener noreferrer nofollow\">patches\/vllm\/spec_decode\/<\/a><a href=\"http:\/\/dspark.py\" rel=\"noopener noreferrer nofollow\">dspark.py<\/a><a href=\"https:\/\/github.com\/botAGI\/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8\/blob\/main\/patches\/vllm\/spec_decode\/dspark.py#L251\" rel=\"noopener noreferrer nofollow\">#L251<\/a>):<\/p>\n<pre><code class=\"python\"># proposer, \u0432\u044b\u0431\u043e\u0440 \u0441\u043b\u043e\u0442\u043e\u0432 \u0434\u043b\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430 \u0434\u0440\u0430\u0444\u0442\u0430:token_indices_to_sample = token_indices_to_sample - 1  # \u0432\u044b\u0445\u043e\u0434 k \u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u043b\u043e\u0442 k, \u0430 \u043d\u0435 k+1<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430\u00a0debug\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0435: acceptance \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0\u00a0\u2014\u00a0<strong>0.41\u00a0\u2192 0.74<\/strong>\u00a0(\u0434\u043b\u044f \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u043e\u0439 \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 DeepSeek \u0440\u0435\u043f\u043e\u0440\u0442\u0438\u0442\u0441\u044f ~0.76, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0448\u043b\u0438 \u0434\u043e\u00a0\u0435\u0451 \u0443\u0440\u043e\u0432\u043d\u044f: 0.74\u00a0\u2014 \u043f\u0438\u043a, \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d 0.62\u20130.74, \u0441\u043c. \u043d\u0438\u0436\u0435), \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430\u00a0\u2014\u00a0<strong>1.75\u00a0\u2192 2.5<\/strong>, throughput\u00a0\u2014\u00a0<strong>26\u00a0\u2192 36\u00a0tok\/s<\/strong>. \u0412\u00a0\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u043c steady\u2011state \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043d\u0438\u0436\u0435 single\u2011stream \u0446\u0438\u0444\u0440\u0430\u00a0\u2014 32.4\u00a0tok\/s: debug\u2011\u043f\u0440\u043e\u0433\u043e\u043d \u043a\u043e\u0440\u043e\u0447\u0435 \u0438 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043d\u0430\u0434\u043e \u0447\u0438\u0441\u043b\u0430 \u0438\u0437\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u041e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430. \u0414\u043e\u00a0\u043d\u0435\u0451 \u043c\u044b \u0443\u0441\u043f\u0435\u043b\u0438 \u0432\u0441\u0435\u0440\u044c\u0451\u0437 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u00ab\u044d\u0442\u043e \u0441\u0442\u0435\u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 fp8\/fp4\u00bb \u0438 \u00ab\u044d\u0442\u043e \u043d\u0435\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432 EAGLE \u0438 DSpark\u00bb\u00a0\u2014 \u043e\u0431\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c\u0438, \u0447\u0442\u043e\u00a0\u0431\u0430\u0433\u0444\u0438\u043a\u0441 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0447\u0438\u043d\u0438\u0442\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u00a0\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439: \u0432\u00a0sparse\u2011MLA\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u0435 \u0434\u0432\u0430 \u0431\u0438\u043b\u0434\u0435\u0440\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043f\u043e\u0440\u043e\u0433 decode\/prefill\u2011\u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443 (parallel drafting \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u0443\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437\u00a0\u043d\u0438\u0445), \u0438 chunked\u2011prefill \u043a\u0443\u0441\u043e\u043a \u0432 7\u201311\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0439 \u0441\u00a0verify\u2011\u043f\u0440\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u0440\u043e\u043d\u044f\u043b \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u0435\u0439. \u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430\u00a0\u2014 8\/8\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e, \u043d\u043e\u043b\u044c \u043a\u0440\u0430\u0448\u0435\u0439.<\/p>\n<p>\u041f\u043e\u043b\u043d\u044b\u0439 \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0438\u0444\u0444 \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u0430 DeepSeek \u0441\u043d\u044f\u0442\u044c \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e: \u0438\u0445 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0441\u043e\u0431\u0440\u0430\u043d \u043d\u0430\u00a0tilelang\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u00a0SM121\u00a0\u043d\u0435\u00a0\u0431\u0438\u043b\u0434\u044f\u0442\u0441\u044f,\u00a0\u2014 \u043e\u0440\u0430\u043a\u0443\u043b\u0430 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442. \u041c\u044b \u044d\u0442\u043e \u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u043c \u043f\u0440\u044f\u043c\u043e, \u0430\u00a0\u043d\u0435\u00a0\u0437\u0430\u044f\u0432\u043b\u044f\u0435\u043c \u043f\u0430\u0440\u0438\u0442\u0435\u0442: \u043f\u043e\u0441\u043b\u0435 \u0431\u0430\u0433\u0444\u0438\u043a\u0441\u0430 acceptance \u0432\u044b\u0448\u043b\u0430 \u043d\u0430\u00a0\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u0437\u043d\u0430\u0447\u0438\u0442 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435\u00a0\u2014 \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u0435\u0441\u0442\u044c\u00a0\u2014 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435.<\/p>\n<h3>\u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430: \u0447\u0435\u043c \u0438 \u043a\u0430\u043a\u00a0\u043c\u0435\u0440\u044f\u0435\u043c<\/h3>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u0438\u043a \u043d\u0430\u00a0\u043f\u044f\u0442\u044c \u0441\u0442\u0440\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u0447\u0438\u0442\u0430\u043b\u043e\u0441\u044c \u0431\u0435\u0437\u00a0\u0441\u043f\u043e\u0442\u044b\u043a\u0430\u043d\u0438\u0439:<\/p>\n<ul>\n<li>\n<p><strong>acceptance<\/strong>\u00a0\u2014 \u0434\u043e\u043b\u044f \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u0440\u0433\u0435\u0442\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u044f\u043b\u0430 \u043f\u0440\u0438\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 (\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c \u0431\u043b\u043e\u043a\u0430: pos0\u00a0\u2014 \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0433\u043b\u0443\u0431\u044c);<\/p>\n<\/li>\n<li>\n<p><strong>\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430<\/strong>\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0434\u0438\u043d verify\u2011\u0448\u0430\u0433 (\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043b\u044e\u0441 \u043e\u0434\u0438\u043d \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439);<\/p>\n<\/li>\n<li>\n<p><strong>single\u2011stream<\/strong>\u00a0\u2014 \u043e\u0434\u0438\u043d \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u00a0\u0434\u0432\u0438\u0436\u043a\u0443, \u0431\u0435\u0437\u00a0\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u0438;<\/p>\n<\/li>\n<li>\n<p><strong>aggregate<\/strong>\u00a0\u2014 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 throughput \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0442\u043e\u043a\u0430\u043c;<\/p>\n<\/li>\n<li>\n<p><strong>no\u2011spec<\/strong>\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044f \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u0430, \u0433\u043e\u043b\u0430\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f (\u043d\u0430\u0448 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c).<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0446\u0438\u0444\u0440\u044b\u00a0\u2014 \u043a\u0430\u043a\u00a0\u043e\u043d\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0437\u0434\u0435\u0441\u044c \u043b\u0435\u0433\u0447\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u0432\u0440\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435.<\/p>\n<p>Throughput \u0432\u0435\u0437\u0434\u0435\u00a0\u2014 \u044d\u0442\u043e\u00a0<code><strong>usage.completion_tokens \/ wall_time<\/strong><\/code><strong>, non\u2011streaming<\/strong>. \u0421\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e\u00a0SSE\u2011\u0447\u0430\u043d\u043a\u0430\u043c \u0441\u0442\u0440\u0438\u043c\u0430 \u043d\u0435\u043b\u044c\u0437\u044f: \u043f\u0440\u0438\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0435 \u0432\u00a0\u043e\u0434\u0438\u043d \u0447\u0430\u043d\u043a \u043f\u0440\u0438\u0435\u0437\u0436\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2.5\u00a0\u0440\u0430\u0437\u0430. \u041c\u044b \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u043b\u0438 \u043d\u0430\u00a0\u044d\u0442\u0438 \u0433\u0440\u0430\u0431\u043b\u0438 \u0435\u0449\u0451 \u0432\u00a0\u0447\u0430\u0441\u0442\u0438 5\u00a0(\u0442\u0435 \u0441\u0430\u043c\u044b\u0435 \u0444\u0430\u043d\u0442\u043e\u043c\u043d\u044b\u0435 \u00ab18\u00a0tok\/s\u00bb) \u0438 \u0441\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440 SSE\u2011\u0441\u0447\u0451\u0442 \u043d\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435. Acceptance \u0431\u0435\u0440\u0451\u043c \u0438\u0437\u00a0\u0441\u0442\u0440\u043e\u043a\u0438\u00a0<code>SpecDecoding metrics<\/code>\u00a0\u0432\u00a0\u043b\u043e\u0433\u0430\u0445 vLLM \u0437\u0430\u00a0\u0442\u0430\u0439\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u043a\u043d\u043e. \u0414\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0433\u0440\u0435\u0442 (\u226512\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 warmup, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b,\u00a0\u2014 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u043a\u044d\u0448 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u0437\u0430\u043c\u0435\u0440). \u041e\u0434\u0438\u043d \u043a\u043b\u0430\u0441\u0441 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u043e\u0434\u0438\u043d \u0434\u0432\u0438\u0436\u043e\u043a, \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0432\u0443\u0445\u043d\u043e\u0434\u043e\u0432\u044b\u0439 \u0434\u0435\u043f\u043b\u043e\u0439\u00a0\u2014 \u0432\u0441\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445.<\/p>\n<h3>\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c<\/h3>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043f\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0437\u0430\u043c\u0435\u0440\u044b:<\/p>\n<ul>\n<li>\n<p><strong>fp8-\u0431\u0438\u043b\u0434<\/strong>\u00a0\u2014 \u043d\u0430\u0448\u0438 \u043f\u0430\u0442\u0447\u0438 \u043f\u043e\u0432\u0435\u0440\u0445 community\u2011\u0444\u043e\u0440\u043a\u0430 jasl (PR #41834); \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437\u00a0<code>aidendle94\/sparkrun-vllm-ds4-gb10:production-ready<\/code>\u00a0(vLLM 0.21.1rc1.dev339), digest\u00a0<code>sha256:f869281d869b2a1d418cade7dcbabe65216cb8f54891d5e2e50718c3dc8b630f<\/code>; \u043f\u0430\u0442\u0447\u2011\u0441\u0435\u0442\u00a0\u2014 \u0432\u00a0<a href=\"https:\/\/github.com\/botAGI\/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>NVFP4-\u0431\u0438\u043b\u0434<\/strong>\u00a0\u2014 byte\u2011identical \u043e\u0431\u0440\u0430\u0437 tonyd2wild Stage\u2011C, \u043a\u043e\u043c\u043c\u0438\u0442\u00a0<code>89bb82b<\/code>; \u0431\u0430\u0437\u0430\u00a0<code>ghcr.io\/bjk110\/vllm-spark<\/code>, digest\u00a0<code>sha256:d8492e7677cf1b9aaa3344e0e6865efc468454013eee5ebabac85be90af027be<\/code>; \u0435\u0433\u043e\u00a0\u0436\u0435 \u0431\u0435\u043d\u0447\u2011\u0445\u0430\u0440\u043d\u0435\u0441\u0441 (<code>bench_concurrent.py<\/code>\u00a0\/\u00a0<code>staggered_bench.py<\/code>) \u0431\u0435\u0437\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0435\u043a\u043f\u043e\u0439\u043d\u0442<\/strong>\u00a0\u2014 HF snapshot\u00a0<code>913f0657a874f76844e2e91cbe706dbcaceeb6d7<\/code>.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u0435\u0440\u044f\u043b\u0438:<\/strong>\u00a0C16-static\u00a0\u2014 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430 (\u0440\u0430\u0437\u0431\u0440\u043e\u0441 282\u2013330); c12\u00a0\u2014 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430; \u043a\u0440\u0438\u0432\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u044b\u00a0\u2014 1\u00a0\u043f\u0440\u043e\u0433\u043e\u043d \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u043d\u0430\u00a0\u043f\u0440\u043e\u0433\u0440\u0435\u0442\u043e\u043c \u0434\u0432\u0438\u0436\u043a\u0435; 1M\u2011\u0442\u043e\u0447\u043a\u0430\u00a0\u2014 2\u00a0\u0442\u0430\u0439\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 (greedy, 200\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, prompt_tokens = 1,032,953).<\/p>\n<\/li>\n<li>\n<p><strong>\u0422\u0435\u0440\u043c\u0438\u043d\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438:<\/strong>\u00a0C16-static\u00a0\u2014 16\u00a0\u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0441\u0442\u0430\u0440\u0442\u043e\u0432; C16-staggered\u00a0\u2014 \u0441\u0442\u0430\u0440\u0442\u044b \u0441\u043e \u0441\u0434\u0432\u0438\u0433\u043e\u043c \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438; seqs=N\u00a0\u2014\u00a0<code>--max-num-seqs N<\/code>, \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u0431\u0430\u0442\u0447\u0430 \u0434\u0432\u0438\u0436\u043a\u0430.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0427\u0435\u0441\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c fp8: \u043a\u0443\u0434\u0430 \u0434\u0435\u043b\u0438\u0441\u044c \u00ab+85%\u00bb<\/h3>\n<p>\u0421\u0432\u043e\u0434\u043a\u0430 \u043d\u0430\u00a0\u043d\u0430\u0448\u0435\u043c fp8-\u0431\u0438\u043b\u0434\u0435 (<code>fp8_ds_mla<\/code>\u00a0KV, block_size=5, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 1M):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0417\u0430\u043c\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">No\u2011spec \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f (\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044f \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u0430)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>26.7\u00a0tok\/s<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">DSpark single\u2011stream<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>32.4\u00a0tok\/s<\/strong>\u00a0(+21\u201324%)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">DSpark, block_size 5\u00a0\u2192 4<\/p>\n<\/td>\n<td>\n<p align=\"left\">31.4\u00a0tok\/s (\u0431\u0435\u0437 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">DSpark, \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c 8\u00a0\u043f\u043e\u0442\u043e\u043a\u043e\u0432 (seqs=12)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>~99\u00a0tok\/s<\/strong>\u00a0\u0430\u0433\u0440\u0435\u0433\u0430\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">DSpark, 12\u00a0\u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>141\u2013146\u00a0tok\/s<\/strong>\u00a0(\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e, 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">DSpark, 16\u00a0\u043f\u043e\u0442\u043e\u043a\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">117\u00a0tok\/s (\u043f\u0440\u043e\u0442\u0438\u0432 75\u00a0\u043f\u0440\u0438\u00a0seqs=4, +56%; \u043d\u0438\u0436\u0435, \u0447\u0435\u043c c12,\u00a0\u2014 \u043f\u0440\u0438\u00a0<code>--max-num-seqs 12<\/code>\u00a0\u0447\u0430\u0441\u0442\u044c \u0438\u0437 16\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0436\u0434\u0451\u0442 \u0432\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u0438)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Acceptance pos0\u00a0\/ \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 (\u043f\u043e\u0434 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 c8\u2013c16)<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.62\u20130.74\u00a0\/ ~2.2\u20132.56<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>+21\u201324%\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435 +85%. \u0420\u0430\u0437\u0440\u044b\u0432 \u0433\u0440\u0443\u0431\u043e \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445, \u0438 \u043d\u0438 \u043e\u0434\u043d\u043e \u0438\u0437\u00a0\u043d\u0438\u0445 \u043d\u0435 \u00ab\u043c\u044b \u043a\u0440\u0438\u0432\u043e \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u00bb.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u043e\u0435 \u0438 \u0433\u043b\u0430\u0432\u043d\u043e\u0435\u00a0\u2014 baseline mismatch (~40% \u0440\u0430\u0437\u0440\u044b\u0432\u0430).<\/strong>\u00a0DeepSeek \u0440\u0435\u043f\u043e\u0440\u0442\u0438\u0442 \u00ab+60\u201385% per\u2011user speed \u043f\u0440\u0438\u00a0matched throughput\u00a0<strong>\u043d\u0430\u0434 MTP-1<\/strong>\u00bb\u00a0\u2014 \u043d\u0430\u0434 \u0441\u0430\u043c\u043e\u0439 \u0441\u043b\u0430\u0431\u043e\u0439 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0435\u0439. \u041c\u044b\u00a0\u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0441\u00a0no\u2011spec \u0438 \u0441\u043e \u0441\u0432\u043e\u0438\u043c MTP-2\u00a0\u043f\u0440\u043e\u0434\u043e\u043c (\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430 ~2.5)\u00a0\u2014 \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u043e\u0442\u0441\u0447\u0451\u0442\u0430. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043d\u0435\u00a0\u0442\u0443\u00a0\u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 (\u0443 DeepSeek\u00a0\u2014 per\u2011user \u043f\u0440\u0438\u00a0matched throughput \u0438 aggregate, \u0443\u00a0\u043d\u0430\u0441\u00a0\u2014 \u0441\u044b\u0440\u043e\u0439 single\u2011stream) \u0438 \u043d\u0435\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 baseline (\u0443 \u043d\u0438\u0445 MTP-1, \u0443\u00a0\u043d\u0430\u0441 no\u2011spec \u0438 MTP-2). \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430 \u0438\u0441\u043f\u0430\u0440\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044e.<\/p>\n<p><strong>\u0412\u0442\u043e\u0440\u043e\u0435\u00a0\u2014\u00a0\u0436\u0435\u043b\u0435\u0437\u043e (~30%).<\/strong>\u00a0\u0423\u00a0GB10\u00a0\u2014\u00a0<a href=\"https:\/\/docs.nvidia.com\/dgx\/dgx-spark\/hardware.html\" rel=\"noopener noreferrer nofollow\">128\u00a0\u0413\u0411 unified LPDDR5x \u0441 273\u00a0\u0413\u0411\/\u0441<\/a>\u00a0\u043f\u0440\u043e\u0442\u0438\u0432\u00a0<a href=\"https:\/\/www.nvidia.com\/en-us\/data-center\/h100\/\" rel=\"noopener noreferrer nofollow\">3.35\u00a0\u0422\u0411\/\u0441 HBM3\u00a0\u0443\u00a0H100\u00a0SXM<\/a>\u00a0\u2014 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 12\u00a0\u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435. Verify\u2011\u043f\u0440\u043e\u0445\u043e\u0434 \u043f\u043e 43\u00a0\u0441\u043b\u043e\u044f\u043c fp8-MLA \u0441\u00a0MoE \u043d\u0430 256\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~65\u00a0\u043c\u0441 \u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u0435\u0442 \u0448\u0430\u0433. \u041c\u0435\u0436\u043d\u043e\u0434\u043e\u0432\u044b\u0439 all\u2011reduce \u0447\u0435\u0440\u0435\u0437 RoCE (<a href=\"https:\/\/www.nvidia.com\/en-us\/products\/workstations\/dgx-spark\/\" rel=\"noopener noreferrer nofollow\">ConnectX-7, 200\u00a0Gbps<\/a>), \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0433\u0440\u0435\u0448\u0430\u0442 \u043f\u0435\u0440\u0432\u044b\u043c \u0434\u0435\u043b\u043e\u043c,\u00a0\u2014 \u043b\u043e\u0436\u043d\u044b\u0439 \u0441\u043b\u0435\u0434: \u0436\u0438\u0432\u043e\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u043b ~1.5\u00a0\u043c\u0441 \u0438\u0437 65-\u043c\u0441 \u0448\u0430\u0433\u0430, \u043e\u043a\u043e\u043b\u043e 2.3%, \u0432\u00a0\u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 3.5%. \u0423\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435\u00a0\u2014 \u043d\u0435\u00a0\u0438\u043d\u0442\u0435\u0440\u043a\u043e\u043d\u043d\u0435\u043a\u0442, \u0430\u00a0\u0441\u0430\u043c forward \u043d\u0430\u00a0\u044d\u0442\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p><strong>\u0422\u0440\u0435\u0442\u044c\u0435\u00a0\u2014 \u0434\u0435\u0444\u0438\u0446\u0438\u0442 acceptance (~20%).<\/strong>\u00a0\u041d\u0430\u0448 pos0 0.62\u20130.74\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 ~0.76\u00a0\u0443\u00a0\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u0430; \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0432\u043a\u043b\u0430\u0434 fp8-\u0432\u0435\u0441\u043e\u0432 + FP4-\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430\u00a0SM121\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 \u0438\u0445 bf16\/tilelang.<\/p>\n<p><strong>\u0427\u0435\u0442\u0432\u0451\u0440\u0442\u043e\u0435\u00a0\u2014 \u0442\u044f\u0436\u0451\u043b\u044b\u0439 \u0434\u0440\u0430\u0444\u0442 (~10%).<\/strong>\u00a0\u041d\u0430\u0448 \u0434\u0440\u0430\u0444\u0442\u00a0\u2014 \u044d\u0442\u043e \u0442\u0440\u0438 \u043f\u043e\u043b\u043d\u044b\u0445 V4-\u0441\u0442\u0430\u0434\u0438\u0438 \u043d\u0430\u00a0vLLM\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u0430\u0445 \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0443\u0447\u043d\u043e\u0433\u043e tilelang \u0443\u00a0DeepSeek. \u041d\u043e\u00a0\u0434\u0440\u0430\u0444\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u00a0\u043b\u0438\u0448\u044c ~15% \u0448\u0430\u0433\u0430: \u0434\u0430\u0436\u0435 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 \u0434\u0440\u0430\u0444\u0442 \u0443\u043f\u0451\u0440\u0441\u044f\u00a0\u0431\u044b \u0432 ~37\u00a0tok\/s single\u2011stream.<\/p>\n<p>\u0421\u0430\u043c\u044b\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u00a0\u2014 block_size 5\u00a0\u2192 4: throughput \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u00a0\u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f (32.4\u00a0\u2192 31.4). \u0415\u0441\u043b\u0438\u00a0\u0431\u044b \u0448\u0430\u0433\u00a0\u043b\u0438\u043c\u0438\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u0434\u0440\u0430\u0444\u0442\u043e\u043c, \u043c\u0438\u043d\u0443\u0441 \u043e\u0434\u0438\u043d \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d \u0434\u0430\u043b\u00a0\u0431\u044b \u043f\u0440\u0438\u0440\u043e\u0441\u0442. \u041d\u0435\u00a0\u0434\u0430\u043b\u00a0\u2014 \u0437\u043d\u0430\u0447\u0438\u0442, \u0448\u0430\u0433\u00a0\u2014 \u044d\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 verify\u2011forward, \u0438 \u0440\u044b\u0447\u0430\u0433\u0430 \u00ab\u0443\u0432\u0435\u043b\u0438\u0447\u044c \u0431\u043b\u043e\u043a \u0438 \u0435\u0437\u0436\u0430\u0439\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00bb \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u0442. 40+ tok\/s single\u2011stream \u0432\u00a0\u043d\u0430\u0448\u0435\u043c fp8-\u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043d\u0435\u00a0\u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438\u0441\u044c: \u043f\u0440\u0438\u00a0\u0442\u0430\u043a\u043e\u043c step\u2011time \u0438\u0445 \u043d\u0435\u00a0\u0432\u0437\u044f\u0442\u044c \u0431\u0435\u0437\u00a0\u0440\u043e\u0441\u0442\u0430 acceptance, step\u2011time \u0443\u0440\u043e\u0432\u043d\u044f NVLink \u0438\u043b\u0438\u00a0sub-4-\u0431\u0438\u0442\u043d\u043e\u0433\u043e \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043d\u0435\u0442.<\/p>\n<p>\u0417\u0430\u0442\u043e \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c\u00a0\u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. 6-wide verify \u0430\u043c\u043e\u0440\u0442\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c, \u0438 \u0441\u00a0\u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u00a0<code>--max-num-seqs 12<\/code>\u00a0\u0432\u043e\u0441\u0435\u043c\u044c \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0434\u0430\u044e\u0442 ~99\u00a0tok\/s \u043f\u0440\u043e\u0442\u0438\u0432 ~64\u00a0\u0443\u00a0\u043f\u0440\u0435\u0436\u043d\u0435\u0433\u043e MTP-2\u00a0\u043f\u0440\u043e\u0434\u0430\u00a0\u2014\u00a0<strong>+55%<\/strong>. \u041e\u0431\u0435 \u0446\u0438\u0444\u0440\u044b\u00a0\u2014 \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u043e\u0434\u043e\u0432\u0430\u044f \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430, \u043d\u0435\u00a0\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 (\u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 MTP-2\u00a0\u0431\u0435\u043d\u0447 \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u0438 144\u2013155\u00a0\u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430\u00a0\u2014 \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0438\u0437\u00a0\u0447\u0430\u0441\u0442\u0438 5\u00a0\u2014 \u043d\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0443 \u0441\u00a0\u043f\u0440\u043e\u0434\u043e\u0432\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439\u00a0\u0431\u044b\u043b\u043e\u00a0\u0431\u044b \u043a\u0430\u043a\u00a0\u0440\u0430\u0437 \u0442\u043e\u0439 \u043c\u0435\u0442\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439, \u043e\u0442\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0443\u0448\u043b\u0438 \u0432\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043f\u0440\u043e\u00a0\u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0443). \u041f\u043e\u0434\u00a0\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 c8\u2013c16: acceptance 2.3\u20132.56, \u043d\u043e\u043b\u044c \u043a\u0440\u0430\u0448\u0435\u0439, \u043d\u043e\u043b\u044c OOM, RestartCount 0.<\/p>\n<p>\u041d\u0435\u0443\u0434\u043e\u0431\u043d\u044b\u0439 \u0444\u0430\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043d\u0435\u00a0\u043f\u0440\u044f\u0447\u0435\u043c: single\u2011stream 32.4\u00a0\u0443\u00a0DSpark\u00a0\u2014\u00a0<strong>\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435<\/strong>, \u0447\u0435\u043c ~40\u00a0\u0443\u00a0\u043b\u0451\u0433\u043a\u043e\u0433\u043e MTP-2. \u0414\u043b\u044f\u00a0\u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 DSpark \u043d\u0435\u00a0\u043d\u0443\u0436\u0435\u043d; \u0435\u0433\u043e \u043c\u0435\u0441\u0442\u043e\u00a0\u2014 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442.<\/p>\n<h3>\u041a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 67\u00a0tok\/s: \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c<\/h3>\n<p>\u041f\u043e\u043a\u0430 \u043c\u044b \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438 \u043f\u0440\u043e\u0444\u0438\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, tonyd2wild \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u00a0<a href=\"https:\/\/github.com\/tonyd2wild\/DeepSeek-v4-Flash-DSpark-1M-NVFP4-KV-2x-DGX-Spark\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u0446\u0435\u043f\u0442 NVFP4-KV \u0431\u0438\u043b\u0434\u0430<\/a>\u00a0\u0442\u043e\u0439\u00a0\u0436\u0435 \u0441\u0432\u044f\u0437\u043a\u0438\u00a0\u2014 DeepSeek\u2011V4-Flash\u2011DSpark \u043d\u0430 2\u00d7 DGX Spark, 1M \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u00a0\u2014 \u0441\u00a0\u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u043c single\u2011stream\u00a0<strong>67\u00a0tok\/s<\/strong>\u00a0(\u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u00ab~60\u201367\u00bb\u00a0\u2014 \u0438\u0437\u00a0\u0435\u0433\u043e\u00a0<a href=\"https:\/\/forums.developer.nvidia.com\/t\/deepseek-v4-flash-dspark-on-2x-dgx-spark-gb10-big-single-stream-speed-boost-60-67-tok-s-1m-context-now-with-concurrency\/374846\" rel=\"noopener noreferrer nofollow\">\u0442\u0440\u0435\u0434\u0430 \u043d\u0430\u00a0\u0444\u043e\u0440\u0443\u043c\u0435 NVIDIA<\/a>; README \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f \u0446\u0438\u0442\u0438\u0440\u0443\u0435\u0442 61.3\/61.8\u00a0tok\/s). \u041f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0448\u0438\u0445 32.4. \u0412\u0434\u0432\u043e\u0435.<\/p>\n<p>\u0423\u00a0\u0440\u0435\u0446\u0435\u043f\u0442\u0430 \u0434\u043b\u0438\u043d\u043d\u0430\u044f \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0430\u0432\u0442\u043e\u0440\u043e\u0432: \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 bjk110,\u00a0<code>nvfp4_ds_mla<\/code>\u00a0(4-\u0431\u0438\u0442\u043d\u044b\u0439 NVFP4\u00a0KV\u2011\u043a\u044d\u0448) \u0438\u0437\u00a0\u043b\u0438\u043d\u0438\u0438 drowzeys\/Keys, \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 tonyd2wild \u0432 584-\u0431\u0430\u0439\u0442\u043d\u044b\u0439 padded sparse\u2011MLA \u043a\u043e\u043d\u0432\u0435\u0440\u0442, \u043f\u043b\u044e\u0441 \u043d\u0430\u0440\u0430\u0431\u043e\u0442\u043a\u0438 rafaelcaricio, fraserprice \u0438 MiaAI\u2011Lab. \u041c\u044b \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0432\u0441\u0435\u0445, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u044d\u0442\u043e \u0442\u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u00abcommunity build\u00bb\u00a0\u2014 \u043d\u0435\u00a0\u0444\u0438\u0433\u0443\u0440\u0430 \u0440\u0435\u0447\u0438, \u0430\u00a0\u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u0430\u044f \u0438\u0437\u00a0\u043f\u043e\u043b\u0443\u0434\u044e\u0436\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u043d\u0435\u00a0\u043f\u043e\u0432\u0435\u0440\u0438\u043b\u0438: \u043f\u043e\u00a0\u043d\u0430\u0448\u0435\u043c\u0443 fp8-\u043f\u0440\u043e\u0444\u0438\u043b\u044e \u0432\u044b\u0445\u043e\u0434\u0438\u043b\u043e, \u0447\u0442\u043e\u00a0\u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c step\u2011time 40+ single\u2011stream \u043d\u0435\u00a0\u0432\u0437\u044f\u0442\u044c \u0431\u0435\u0437\u00a0\u0440\u043e\u0441\u0442\u0430 acceptance,\u00a0\u2014 \u0430\u00a0\u0442\u0443\u0442 67. \u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u0440\u0435\u0430\u043a\u0446\u0438\u044f\u00a0\u2014 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0438 \u043f\u043e\u043d\u044f\u0442\u044c. \u0415\u0441\u043b\u0438 \u0447\u0438\u0441\u043b\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435\u00a0\u2014 \u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0435\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0430, \u0438 \u043d\u0430\u0434\u043e \u043d\u0430\u0439\u0442\u0438 \u0433\u0434\u0435.<\/p>\n<h3>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0412\u0437\u044f\u043b\u0438 \u0435\u0433\u043e \u0431\u0438\u043b\u0434 byte\u2011identical (\u043a\u043e\u043c\u043c\u0438\u0442\u00a0<code>89bb82b<\/code>), \u0435\u0433\u043e\u00a0\u0436\u0435 \u0431\u0435\u043d\u0447\u2011\u0445\u0430\u0440\u043d\u0435\u0441\u0441 \u0431\u0435\u0437\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u043d\u0430\u0448\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u043e: 2\u00d7 GB10, TP=2\u00a0\u0447\u0435\u0440\u0435\u0437 RoCE,\u00a0<code>max_model_len=1048576<\/code>, block_size=5. \u0412\u0430\u0436\u043d\u043e: \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u043b\u0441\u044f\u00a0\u2014 \u043c\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u043a\u043e\u043c\u043c\u0438\u0442\u0430\u00a0<code>89bb82b<\/code>\u00a0\u0441 1M\u2011\u043e\u043a\u043d\u043e\u043c, \u0430\u00a0\u0442\u0435\u043a\u0443\u0449\u0438\u0439 README \u0430\u043f\u0441\u0442\u0440\u0438\u043c\u0430 \u0443\u0436\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0441\u0432\u0435\u0436\u0443\u044e 1.5M\u2011\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">tonyd2wild (\u043e\u043f\u0443\u0431\u043b.)<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041d\u0430\u0448\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">C16-static \u0430\u0433\u0440\u0435\u0433\u0430\u0442 (200K, seqs=16)<\/p>\n<\/td>\n<td>\n<p align=\"left\">315.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">324\u00a0(\u0440\u0430\u0437\u0431\u0440\u043e\u0441 282\u2013330)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">C16-static, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c (\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u044b\u0447\u0430\u0433\u00a0<code>WO_PROJECTION<\/code>\u00a0\u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>319<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">C16-staggered<\/p>\n<\/td>\n<td>\n<p align=\"left\">205.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">191\u2013196<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Single\u2011stream, \u043a\u043e\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">67<\/p>\n<\/td>\n<td>\n<p align=\"left\">55\u201363<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u00a0\u2014 \u043a\u043b\u044e\u0447 \u043a\u043e \u0432\u0441\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435: \u0441\u00a0\u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c \u0440\u044b\u0447\u0430\u0433\u043e\u043c C16-static \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0430\u00a0<strong>319<\/strong>, \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0447\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f \u0435\u0433\u043e \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0435 315.1. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e\u00a0\u0435\u0433\u043e \u0431\u0435\u043d\u0447\u2011\u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u0432\u0430\u043b\u0438\u0434\u043d\u0430, \u0430\u00a0\u043d\u0430\u0448\u0438 324\u00a0\u0441\u00a0\u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c \u0440\u044b\u0447\u0430\u0433\u043e\u043c\u00a0\u2014 \u0432\u043d\u0443\u0442\u0440\u0438 \u0435\u0433\u043e\u00a0\u0436\u0435 run\u2011to\u2011run \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430, \u043d\u0435\u00a0\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. Single\u2011stream \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 55\u201363\u00a0\u043d\u0430\u00a0\u043a\u043e\u0434\u043e\u0432\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435 (44.4\u00a0\u043d\u0430\u00a0\u043e\u0431\u0449\u0435\u043c)\u00a0\u2014 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435 \u0438\u043b\u0438\u00a0\u0447\u0443\u0442\u044c \u043d\u0438\u0436\u0435 \u0435\u0433\u043e 67. Staggered\u00a0\u2014 \u043c\u0438\u043d\u0443\u0441 ~4%.<\/p>\n<p>\u0412\u0435\u0440\u0434\u0438\u043a\u0442:\u00a0<strong>\u0447\u0438\u0441\u0442\u043e\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0435 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u043d\u0438\u0447\u044c\u044f<\/strong>. \u0415\u0433\u043e \u0440\u0435\u0446\u0435\u043f\u0442 \u043d\u0430\u00a0\u043d\u0430\u0448\u0435\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0432\u044b\u0434\u0430\u0451\u0442 \u0435\u0433\u043e \u0447\u0438\u0441\u043b\u0430. \u0410\u00a0\u043d\u0430\u0448 fp8-\u0430\u043d\u0430\u043b\u0438\u0437 \u0432\u00a0\u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u043b\u0441\u044f: \u043a\u0430\u043a\u00a0\u0432\u044b\u044f\u0441\u043d\u0438\u043b\u043e\u0441\u044c \u043d\u0438\u0436\u0435, NVFP4-\u0431\u0438\u043b\u0434 \u043e\u0431\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0442\u043e\u043b\u043e\u043a \u043d\u0435\u00a0\u0442\u0430\u043c, \u0433\u0434\u0435 \u043c\u044b \u0435\u0433\u043e \u043c\u0435\u0440\u044f\u043b\u0438. \u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u043a\u0441\u0442\u0430\u0442\u0438, \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0448\u0435: \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b Classmethod \u043d\u0430\u00a0\u0441\u0432\u043e\u0435\u0439 \u043f\u0430\u0440\u0435 Spark \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u00a0<a href=\"https:\/\/dev.classmethod.jp\/en\/articles\/dgx-spark-2node-deepseek-v4-flash-dspark\/\" rel=\"noopener noreferrer nofollow\">~55\u00a0tok\/s decode<\/a>\u00a0(thinking OFF; \u0441\u00a0\u0432\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u044b\u043c thinking\u00a0\u2014 ~41), \u043f\u0440\u0430\u0432\u0434\u0430 \u0441\u00a0\u0442\u0440\u0435\u043c\u044f \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0430\u0442\u0447\u0430\u043c\u0438 \u043f\u043e\u0432\u0435\u0440\u0445 \u0440\u0435\u0446\u0435\u043f\u0442\u0430, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043f\u0440\u0438\u043d\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044e vLLM \u043d\u0430\u00a0QSFP\u2011\u043b\u0438\u043d\u043a.<\/p>\n<h3>\u041d\u0430\u0448 \u0432\u043a\u043b\u0430\u0434: \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438 \u0432\u00a0\u043f\u0430\u0431\u043b\u0438\u043a\u0435<\/h3>\n<p>\u0421\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u00a0\u043f\u0438\u043a\u043e\u0432\u0443\u044e \u0446\u0438\u0444\u0440\u0443\u00a0\u0431\u044b\u043b\u043e \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u0441\u043d\u044f\u043b\u0438 \u0442\u043e, \u0447\u0435\u0433\u043e \u0432\u00a0\u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u0430\u0445 \u043d\u0435\u00a0\u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438.<\/p>\n<h4>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c: acceptance, \u0430\u00a0\u043d\u0435\u00a0bandwidth<\/h4>\n<p>\u041e\u0447\u0435\u0432\u0438\u0434\u043d\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u00abNVFP4\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e 4-\u0431\u0438\u0442\u043d\u044b\u0439 KV\u2011\u043a\u044d\u0448 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 8-\u0431\u0438\u0442\u043d\u043e\u0433\u043e\u00bb\u00a0\u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u00a0\u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u0430\u0445 \u043d\u0435\u00a0\u0431\u044b\u043b\u043e: \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044e \u0438 \u043f\u043e\u043c\u0435\u0440\u0438\u0442\u044c \u0433\u043e\u043b\u0443\u044e \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u043d\u0430\u00a0\u043e\u0431\u043e\u0438\u0445 \u0431\u0438\u043b\u0434\u0430\u0445.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">No\u2011spec single\u2011stream<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">NVFP4-KV \u0431\u0438\u043b\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>26.6\u00a0tok\/s<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">fp8-KV \u0431\u0438\u043b\u0434 (\u043d\u0430\u0448)<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>26.7\u00a0tok\/s<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e. \u0412\u00a0\u043d\u0430\u0448\u0435\u043c no\u2011spec single\u2011stream \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 4-\u0431\u0438\u0442\u043d\u044b\u0439 KV \u043d\u0435\u00a0\u0443\u0441\u043a\u043e\u0440\u0438\u043b \u0433\u043e\u043b\u044b\u0439 forward\u00a0\u2014 \u043f\u0440\u0438\u00a0single\u2011stream \u043d\u0430 273\u00a0\u0413\u0411\/\u0441 \u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e\u00a0\u2014 \u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439, \u0430\u00a0\u043d\u0435\u00a0KV. \u0420\u0430\u0437\u00a0<code>tps = \u0441\u0440\u0435\u0434\u043d\u044f\u044f_\u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f_\u0434\u043b\u0438\u043d\u0430 \/ \u0432\u0440\u0435\u043c\u044f_\u0448\u0430\u0433\u0430<\/code>\u00a0\u0438 \u0432\u0440\u0435\u043c\u044f \u0448\u0430\u0433\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0435 (no\u2011spec \u044d\u0442\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442), single\u2011stream \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0440\u0435\u0446\u0435\u043f\u0442\u0430 \u043f\u0440\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0447\u0435\u0440\u0435\u0437\u00a0<strong>acceptance: 3.0\u20134.2\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 ~2.1\u00a0\u0443\u00a0\u043d\u0430\u0448\u0435\u0433\u043e fp8<\/strong>\u00a0(single\u2011stream; \u043f\u043e\u0434\u00a0\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439 \u0443\u00a0fp8\u00a0\u0434\u043b\u0438\u043d\u0430 \u0432\u044b\u0448\u0435, ~2.2\u20132.56). \u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437 + DSpark\u2011\u043e\u043f\u0446\u0438\u0438 + NVFP4-KV \u0434\u0430\u044e\u0442 \u0434\u0440\u0430\u0444\u0442\u0443 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0441\u0435\u0440\u0438\u0438. \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0436\u0438\u043c\u0430\u0445\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 batch, \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0433\u0434\u0435 KV\u2011\u0442\u0440\u0430\u0444\u0438\u043a \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u0435\u0442,\u00a0\u2014 KV\u2011bandwidth \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0433\u0440\u0430\u0442\u044c; \u043c\u044b \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e single\u2011stream \u0441\u043b\u0443\u0447\u0430\u0439. \u0412\u00a0\u043f\u0430\u0431\u043b\u0438\u043a\u0435 NVFP4\u00a0\u043e\u0431\u0441\u0443\u0436\u0434\u0430\u043b\u0441\u044f \u043a\u0430\u043a \u00ab\u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00bb, \u0431\u0435\u0437\u00a0\u0438\u0437\u043e\u043b\u044f\u0446\u0438\u0438 \u043f\u0440\u0438\u0447\u0438\u043d\u044b\u00a0\u2014 no\u2011spec \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0438\u00a0\u0431\u044b\u043b \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u044e\u0449\u0438\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c.<\/p>\n<h4>\u041a\u0440\u0438\u0432\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u044b \u0434\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e 1M: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043d\u0435\u00a0\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b58\/a0c\/55a\/b58a0c55a1d1b84fd68249194f62d899.png\" width=\"1563\" height=\"899\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b58\/a0c\/55a\/b58a0c55a1d1b84fd68249194f62d899.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b58\/a0c\/55a\/b58a0c55a1d1b84fd68249194f62d899.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u0447\u043d\u044b\u0435 67\u00a0tok\/s \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u044b \u043d\u0430\u00a0\u043f\u043e\u0447\u0442\u0438 \u043f\u0443\u0441\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435\u00a0\u2014 ~300\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u0437 1M\u2011\u043e\u043a\u043d\u0430. \u0410\u00a0throughput \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0434\u0432\u0438\u0436\u043a\u0430\u00a0\u2014 \u044d\u0442\u043e acceptance, \u0434\u0435\u043b\u0451\u043d\u043d\u0430\u044f \u043d\u0430\u00a0\u0432\u0440\u0435\u043c\u044f \u0448\u0430\u0433\u0430, \u0438 acceptance \u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439: \u0434\u0440\u0430\u0444\u0442\u0443 \u0432\u0441\u0451 \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u0438\u0433\u043d\u0430\u043b\u0430. \u0417\u043d\u0430\u0447\u0438\u0442, \u043a\u0440\u0438\u0432\u0430\u044f \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u043f\u0440\u043e\u0441\u0435\u0434\u0430\u0442\u044c. \u041e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043a\u0440\u0438\u0432\u043e\u0439 \u043c\u044b \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438\u00a0\u2014 \u043d\u0430\u00a0\u0444\u043e\u0440\u0443\u043c\u0430\u0445\u00a0\u0431\u044b\u043b\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u00ab\u043d\u0430 1M \u0432\u0441\u0435 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435, \u043c\u0435\u043d\u044c\u0448\u0435 10\u00a0tok\/s\u00bb. \u041c\u044b \u043f\u0440\u043e\u043c\u0435\u0440\u0438\u043b\u0438 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u043a\u0440\u0438\u0432\u0443\u044e\u00a0\u2014 \u043d\u0435\u00a0\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a, \u0430\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u0435 continuation\u2011\u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432; \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432\u00a0\u2014 \u0432\u00a0\u0431\u043b\u043e\u043a\u0435 \u00ab\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u00bb. \u041f\u0440\u043e\u043c\u043f\u0442\u00a0\u2014 \u043d\u0435\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0449\u0430\u044f\u0441\u044f \u0445\u0443\u0434\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u0440\u043e\u0437\u0430 \u0441\u00a0\u043f\u0430\u0434\u0434\u0438\u043d\u0433\u043e\u043c \u0434\u043e\u00a0\u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u044b, \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0433\u0440\u0435\u0442. \u0421\u0430\u043c\u0430\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u0430\u044f \u0442\u043e\u0447\u043a\u0430\u00a0\u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u043d\u043e\u0435 \u043e\u043a\u043d\u043e: 1,032,953\u00a0\u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u0440\u043e\u043c\u043f\u0442\u0430 \u0438\u0437 1,048,576\u00a0\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0413\u043b\u0443\u0431\u0438\u043d\u0430<\/p>\n<\/th>\n<th>\n<p align=\"left\">tok\/s<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">16K<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>42.7<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">3.30<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">64K<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>28.9<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2.23<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">256K<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>25.4<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">2.42<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">512K<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>17.6<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">1.98<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>1.03M<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>17.2<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">~2.1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>Acceptance \u043f\u043e\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c \u0431\u043b\u043e\u043a\u0430 (pos 0..4):<\/p>\n<pre><code>16K:  0.80 \/ 0.56 \/ 0.46 \/ 0.30 \/ 0.1864K:  0.62 \/ 0.34 \/ 0.17 \/ 0.07 \/ 0.03256K: 0.70 \/ 0.44 \/ 0.16 \/ 0.07 \/ 0.05512K: 0.54 \/ 0.27 \/ 0.10 \/ 0.04 \/ 0.02<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:14px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<p>\u041e\u0442 16K \u043a 512K \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u0430\u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432\u0434\u0432\u043e\u0435: acceptance \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0441\u043f\u043e\u043b\u0437\u0430\u0435\u0442 \u0441 0.80\u00a0\u0434\u043e 0.54, \u0430\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0434\u0440\u0430\u0444\u0442\u0430 \u043a\u043e\u043b\u043b\u0430\u043f\u0441\u0438\u0440\u0443\u044e\u0442 \u043a\u00a0\u043d\u0443\u043b\u044e\u00a0\u2014 \u043a 512K verify\u2011\u0448\u0430\u0433 \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442 \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043a\u043e\u043b\u043e \u0434\u0432\u0443\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 total (1.98): \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439 \u043f\u043b\u044e\u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d. \u041d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043d\u0435\u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043d\u044f\u0442\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u043d\u0430 64K\/256K (2.23\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 2.42)\u00a0\u2014 \u0432\u00a0\u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0448\u0443\u043c\u0430 \u0441\u044d\u043c\u043f\u043b\u0430, \u0442\u0440\u0435\u043d\u0434 \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u0435\u043d.<\/p>\n<p>\u0410\u00a0\u0434\u0430\u043b\u044c\u0448\u0435 \u043a\u0440\u0438\u0432\u0430\u044f \u0434\u0435\u043b\u0430\u0435\u0442 \u0442\u043e, \u0447\u0435\u0433\u043e \u043c\u044b \u043d\u0435\u00a0\u043e\u0436\u0438\u0434\u0430\u043b\u0438:\u00a0<strong>\u0432\u044b\u043f\u043e\u043b\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/strong>. \u0422\u043e\u0447\u043a\u0430 \u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c 1.03M\u00a0\u2014 17.2\u00a0tok\/s (\u0434\u0432\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430: 17.21\u00a0\u0438 17.19, \u0440\u0430\u0437\u0431\u0440\u043e\u0441 0.02)\u00a0\u2014 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 2% \u043d\u0438\u0436\u0435 512K. \u041f\u043e\u043b\u043a\u0430, \u0430\u00a0\u043d\u0435\u00a0\u043e\u0431\u0432\u0430\u043b: \u043a\u00a0\u044d\u0442\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044f \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 (\u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430 ~2.1), \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 verify\u2011forward, \u0447\u0442\u043e\u00a0\u0438 \u0443\u00a0no\u2011spec. \u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0434\u043b\u044f\u00a0\u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0430: \u0431\u044e\u0434\u0436\u0435\u0442\u0438\u0440\u0443\u0439\u0442\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u0445\u0432\u043e\u0441\u0442 \u043f\u043e ~17\u00a0tok\/s\u00a0\u2014 \u0445\u043e\u0442\u044c \u043d\u0430 512K, \u0445\u043e\u0442\u044c \u043d\u0430\u00a0\u043f\u043e\u043b\u043d\u043e\u043c \u043e\u043a\u043d\u0435. \u0414\u0432\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u0430 \u0432\u00a0\u0434\u043e\u0432\u0435\u0441\u043e\u043a: \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u043f\u0440\u0435\u0444\u0438\u043b\u043b 1.03M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u043d\u044f\u043b 642\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b (~10.7\u00a0\u043c\u0438\u043d\u0443\u0442\u044b, ~1600\u00a0tok\/s \u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0430), \u0430\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u043d\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043f\u043e\u00a0\u0442\u043e\u043c\u0443\u00a0\u0436\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0447\u0435\u0440\u0435\u0437 prefix\u2011cache \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u0430\u043b \u0437\u0430 4\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b\u00a0\u2014 \u0434\u043b\u044f\u00a0\u0447\u0430\u0442\u2011\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0435\u0432 \u043f\u043e\u0432\u0435\u0440\u0445 \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0430 \u044d\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u00ab\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u043f\u0440\u0438\u0433\u043e\u0434\u043d\u043e\u00bb \u0438 \u00ab\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u00bb. \u041c\u0435\u0442\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: 1M\u2011\u0442\u043e\u0447\u043a\u0430 \u0441\u043d\u044f\u0442\u0430 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0435 \u0442\u043e\u0433\u043e\u00a0\u0436\u0435 \u043a\u043b\u0430\u0441\u0441\u0430 \u043f\u0440\u043e\u0437\u044b (\u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u044b\u00a0\u2014 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c), \u043e\u0434\u0438\u043d \u043a\u043e\u043d\u0444\u0438\u0433\u00a0\u2014 greedy, 200\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430\u00a0\u043f\u0440\u043e\u0433\u043e\u043d.<\/p>\n<p>\u041f\u043e\u0434\u0447\u0435\u0440\u043a\u043d\u0451\u043c: \u044d\u0442\u043e \u043a\u0440\u0438\u0432\u0430\u044f\u00a0<strong>\u043d\u0435\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043f\u0441\u0442\u0440\u0438\u043c\u2011\u0431\u0438\u043b\u0434\u0430<\/strong>, \u043d\u0435\u00a0\u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442 \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u0430\u0432\u043e\u043a. \u0415\u0441\u043b\u0438 \u0432\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u2011\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0439 \u0441\u0435\u0440\u0432\u0438\u043d\u0433 \u043f\u043e\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c\u0443 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0443\u00a0\u2014 \u0432\u043e\u0442 \u043d\u0430\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b \u043e\u0448\u0438\u0431\u0451\u0442\u0435\u0441\u044c.<\/p>\n<h4>\u041f\u0435\u0442\u043b\u0438 \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435: \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u0440\u0451\u0442<\/h4>\n<p>\u0410\u043f\u0441\u0442\u0440\u0438\u043c\u043d\u044b\u0439 README \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u00abgibberish, loops\u00bb \u043d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043a\u0430\u043a\u00a0\u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430. \u041c\u044b \u0435\u0451 \u043f\u0440\u043e\u043c\u0435\u0440\u0438\u043b\u0438\u00a0\u2014 \u0438 \u043e\u043d\u0430 \u0433\u043b\u0443\u0431\u0436\u0435.<\/p>\n<p>\u041d\u0430 \u2265256K \u0441\u00a0\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c (greedy) \u0434\u0435\u043a\u043e\u0434\u043e\u043c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u0432\u0430\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043f\u0435\u0442\u043b\u044e\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0444\u0440\u0430\u0437\u0430 \u043f\u043e\u00a0\u043a\u0440\u0443\u0433\u0443 \u0434\u043e\u00a0\u0438\u0441\u0447\u0435\u0440\u043f\u0430\u043d\u0438\u044f \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041d\u0430 256K greedy\u2011\u043f\u0440\u043e\u0433\u043e\u043d \u0434\u0430\u043b repetition ratio\u00a0<strong>0.878<\/strong>\u00a0(\u00abi said i would\u00bb\u00a0\u2014 28\u00a0\u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432); \u0442\u043e\u0442\u00a0\u0436\u0435 greedy \u043d\u0430\u00a0<strong>512K<\/strong>\u00a0\u2014\u00a0<strong>0.013<\/strong>, \u0441\u0432\u044f\u0437\u043d\u043e\u0435 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0437\u0430\u0442\u0440\u0430\u0432\u043a\u0438 (\u0432 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0431\u0430\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u00a0\u2014 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u041c\u0435\u043b\u0432\u0438\u043b\u043b\u0430). \u0410\u00a0\u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u00a0<strong>1.03M<\/strong>\u00a0\u043e\u0431\u0430 greedy\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u0432\u044f\u0437\u043d\u044b\u043c\u0438 (ratio 0.037\u00a0\u0438 0.0\u00a0\u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u043b\u0430 \u0434\u0438\u0430\u043b\u043e\u0433 \u0411\u043e\u043b\u043a\u043e\u043d\u0441\u043a\u043e\u0433\u043e \u0441\u00a0\u0414\u043e\u043b\u0433\u043e\u0440\u0443\u043a\u043e\u0432\u044b\u043c). \u0422\u043e \u0435\u0441\u0442\u044c \u044d\u0442\u043e\u00a0<strong>\u043d\u0435\u00a0\u043f\u043e\u0440\u043e\u0433 \u043f\u043e\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435<\/strong>, \u0430\u00a0\u043b\u043e\u0442\u0435\u0440\u0435\u044f \u043f\u043e\u00a0decode\u2011\u043f\u0443\u0442\u0438: \u0442\u0430\u00a0\u0436\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u043d\u0430\u00a0\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u043d\u0435\u00a0\u043f\u0435\u0442\u043b\u044f\u043b\u0430\u00a0\u2014 \u0434\u0432\u0430\u0436\u0434\u044b. \u0420\u0435\u0448\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u043c\u044b \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u0432\u0441\u0435 \u0441\u0432\u043e\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0443\u0447\u043a\u0438\u00a0\u2014 \u0431\u0438\u043b\u0434 \u0437\u0430\u043f\u0435\u0442\u043b\u044f\u043b \u043d\u0430 256K \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e. \u041f\u0435\u0442\u043b\u044f\u00a0\u2014 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043d\u0435\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e NVFP4-\u0431\u0438\u043b\u0434\u0430 \u0441\u00a0\u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c continuation\u2011\u0434\u0435\u043a\u043e\u0434\u043e\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043d\u0430\u0448\u0438\u0445 \u043f\u0430\u0442\u0447\u0435\u0439.<\/p>\n<p>\u0418 \u0441\u0430\u043c\u043e\u0435 \u043a\u043e\u0432\u0430\u0440\u043d\u043e\u0435:\u00a0<strong>\u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u043f\u0435\u0442\u043b\u0438 acceptance \u0440\u0430\u0441\u0442\u0451\u0442<\/strong>\u00a0\u2014 \u0434\u043e 3.64\u00a0\u043d\u0430 256K\u2011\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 2.42\u00a0\u0443\u00a0\u0441\u0432\u044f\u0437\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430. \u0414\u0440\u0430\u0444\u0442 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0430. \u0415\u0441\u043b\u0438 \u0442\u044e\u043d\u0438\u0442\u044c \u043f\u043e\u00a0\u043c\u0435\u0442\u0440\u0438\u043a\u0435 acceptance, \u043f\u0435\u0442\u043b\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a\u00a0\u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435. \u0412\u044b\u0441\u043e\u043a\u0430\u044f acceptance \u043f\u0440\u0438\u00a0\u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438\u00a0\u2014 \u0441\u0438\u043c\u043f\u0442\u043e\u043c, \u0430\u00a0\u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u044b\u0448; \u044d\u0442\u043e \u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u0434\u043b\u044f\u00a0\u043b\u044e\u0431\u043e\u0433\u043e, \u043a\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044e \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u0439 \u0446\u0438\u0444\u0440\u0435.<\/p>\n<h3>\u0427\u0442\u043e\u00a0\u043d\u0435\u00a0\u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e: \u0442\u0440\u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u0430 \u043f\u043e\u0434\u00a0\u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b<\/h3>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437\u00a0\u0442\u0440\u0451\u0445 \u0437\u0430\u0445\u043e\u0434\u043e\u0432 \u0431\u0438\u043b \u0432\u00a0\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443. \u0412\u0441\u0435 \u0442\u0440\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b\u0438. \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u0443\u0435\u043c, \u0447\u0442\u043e\u0431\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u043d\u0435\u00a0\u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u0438\u0445 \u0437\u0430\u043d\u043e\u0432\u043e.<\/p>\n<p><strong>YaRN re\u2011anchor \u0434\u0440\u0430\u0444\u0442\u0430\u00a0\u2014 \u0447\u0438\u0441\u0442\u044b\u0439 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448.<\/strong>\u00a0\u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u043a\u0440\u0430\u0441\u0438\u0432\u0430\u044f: \u0434\u0440\u0430\u0444\u0442 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e 128-\u0442\u043e\u043a\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u043e\u043a\u043d\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e KV, \u043d\u043e\u00a0\u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 RoPE\u2011\u0441\u043a\u0435\u0439\u043b\u0438\u043d\u0433 \u043f\u043e\u043b\u043d\u043e\u0433\u043e 1M\u2011\u043e\u043a\u043d\u0430\u00a0\u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0447\u0442\u043e\u00a0\u0438 \u0434\u043e\u043b\u0436\u043d\u043e \u0440\u043e\u043d\u044f\u0442\u044c acceptance \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435. \u0424\u0438\u043a\u0441\u00a0\u2014 \u043f\u0435\u0440\u0435\u0431\u0430\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c RoPE \u0434\u0440\u0430\u0444\u0442\u0430 \u043d\u0430\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u043d\u043e. Acceptance \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u00ab\u0432\u044b\u0440\u043e\u0441\u043b\u0430\u00bb: 2.42\u00a0\u2192 4.00\u00a0\u043d\u0430 256K, 2.23\u00a0\u2192 3.70\u00a0\u043d\u0430 64K. \u041c\u0438\u0440\u0430\u0436: \u0432\u0435\u0441\u044c \u00ab\u0440\u043e\u0441\u0442\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0434\u0440\u0430\u0444\u0442, \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u0435\u0442\u043b\u044e \u043f\u043e\u0432\u0442\u043e\u0440\u0430 (\u0441\u043c. \u043b\u043e\u0432\u0443\u0448\u043a\u0443 \u0432\u044b\u0448\u0435), \u0432\u044b\u0445\u043e\u0434\u00a0\u0431\u044b\u043b \u0431\u0435\u0441\u0441\u0432\u044f\u0437\u043d\u044b\u043c \u043d\u0430\u00a0\u0432\u0441\u0435\u0445 \u0433\u043b\u0443\u0431\u0438\u043d\u0430\u0445. \u0412\u0434\u043e\u0431\u0430\u0432\u043e\u043a\u00a0<code>torch.where<\/code>\u2011\u043f\u0443\u0442\u044c \u0440\u0435\u2011\u0430\u043d\u043a\u043e\u0440\u0430 \u043a\u0430\u0442\u0430\u0441\u0442\u0440\u043e\u0444\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u043b \u0434\u0435\u043a\u043e\u0434: 256K\u00a0\u2014 \u0441 25.4\u00a0\u0434\u043e\u00a0<strong>1.73\u00a0tok\/s<\/strong>\u00a0(\u0432 ~15\u00a0\u0440\u0430\u0437), 16K\u00a0\u2014 \u0441 42.7\u00a0\u0434\u043e 18.6\u00a0\u0434\u0430\u0436\u0435 \u0441\u00a0\u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c \u043f\u043e\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u0440\u0435\u2011\u0430\u043d\u043a\u043e\u0440\u043e\u043c:\u00a0\u043b\u0438\u0448\u043d\u044f\u044f \u043f\u0435\u0440\u2011\u0448\u0430\u0433\u043e\u0432\u0430\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430\u00a0GB10\u00a0\u043d\u0435\u00a0\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u0430. \u041c\u044b \u043f\u043e\u0447\u0438\u043d\u0438\u043b\u0438 \u043c\u043e\u0434\u0443\u043b\u044c\u043d\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443, \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 identity \u043f\u043e\u0434\u00a0\u043f\u043e\u0440\u043e\u0433\u043e\u043c, \u043e\u0442\u0433\u0435\u0439\u0442\u0438\u043b\u0438 \u043f\u043e\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435\u00a0\u2014 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043b\u0443\u0431\u0438\u043d\u0435. \u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0437\u0430\u043a\u0440\u044b\u0442. \u0421\u0430\u043c\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u043e\u043a\u043d\u0430\u2011\u043f\u0440\u043e\u0442\u0438\u0432\u2011YaRN \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e \u0432\u0435\u0440\u043d\u043e\u0439, \u043d\u043e\u00a0\u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u043f\u043e\u00a0acceptance \u043d\u0435\u043b\u044c\u0437\u044f\u00a0\u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043e\u0442\u0440\u0430\u0432\u043b\u0435\u043d\u0430 \u043f\u0435\u0442\u043b\u0451\u0439.<\/p>\n<p><strong>Confidence\u2011scheduler\u00a0\u2014 \u0440\u0435\u0433\u0440\u0435\u0441\u0441.<\/strong>\u00a0\u0412\u00a0\u0431\u0438\u043b\u0434\u0435 \u0435\u0441\u0442\u044c \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u0439 \u043f\u043e\u00a0\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e\u00a0<code>VLLM_DSPARK_CONFIDENCE_SCHEDULER<\/code>\u00a0\u2014 \u0433\u0435\u0439\u0442\u0438\u0442\u044c \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0434\u0440\u0430\u0444\u0442\u0430 \u043f\u043e\u00a0\u043f\u043e\u0440\u043e\u0433\u0443 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u0412\u044b\u0433\u043b\u044f\u0434\u0435\u043b\u043e \u043a\u0430\u043a\u00a0\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b\u0439 env\u2011only \u0432\u044b\u0438\u0433\u0440\u044b\u0448. \u0412\u043a\u043b\u044e\u0447\u0438\u043b\u0438 \u0441\u00a0\u043f\u043e\u0440\u043e\u0433\u043e\u043c 0.6: C16-static \u0443\u043f\u0430\u043b \u0441\u00a0<strong>319<\/strong>\u00a0(OFF) \u0434\u043e\u00a0<strong>290<\/strong>\u00a0(ON)\u00a0\u2014 \u043c\u0438\u043d\u0443\u0441 ~9%. \u041f\u043e\u043f\u0443\u0442\u043d\u043e OFF\u2011\u043f\u0440\u043e\u0433\u043e\u043d \u0432\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0440\u0430\u0437 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0451\u043b \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0435 315.1: \u0438 \u0431\u0435\u043d\u0447 tonyd2wild \u0447\u0435\u0441\u0442\u043d\u044b\u0439, \u0438 \u0435\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0448\u0435\u0434\u0443\u043b\u0435\u0440 \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u043d\u044b\u043c\u00a0\u2014 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435. \u041c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u0432\u0430\u043c \u043d\u0435\u00a0\u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c.<\/p>\n<p><strong>\u0421\u044d\u043c\u043f\u043b\u0435\u0440\u2011\u0444\u0438\u043a\u0441 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 \u043c\u044b \u0435\u0433\u043e \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438.<\/strong>\u00a0\u041e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0441\u0435\u0440\u0432\u0438\u043d\u0433\u0430 \u0441\u043f\u0440\u043e\u0441\u0438\u0442 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0435: \u0440\u0430\u0437 greedy \u043f\u0435\u0442\u043b\u044f\u0435\u0442, \u043c\u043e\u0436\u0435\u0442, \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433 \u0441\u044d\u043c\u043f\u043b\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0434\u0451\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0438\u0442 \u0441\u0432\u044f\u0437\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435? \u041c\u044b \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0438 \u043f\u044f\u0442\u044c \u043a\u043e\u043d\u0444\u0438\u0433\u043e\u0432 (greedy; repetition_penalty 1.15; frequency+presence 0.4; top_p\/top_k \u0441\u00a0temperature 0.7; \u043a\u043e\u043c\u0431\u043e) \u043d\u0430 256K \u0438 512K. \u041d\u0438 \u043e\u0434\u0438\u043d \u043d\u0435\u00a0\u0441\u0432\u044f\u0437\u0435\u043d \u043d\u0430\u00a0\u043e\u0431\u0435\u0438\u0445 \u0433\u043b\u0443\u0431\u0438\u043d\u0430\u0445. \u041b\u0443\u0447\u0448\u0438\u0439 \u0438\u0437\u00a0\u043e\u0434\u0438\u043d\u043e\u0447\u043d\u044b\u0445 \u043d\u0430 256K\u00a0\u2014\u00a0<code>repetition_penalty=1.15<\/code>\u00a0(ratio 0.009)\u00a0\u2014 \u043d\u0430 512K \u0441\u0430\u043c \u0443\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u043f\u0435\u0442\u043b\u044e (0.561, \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430\u00a0\u0436\u0435 \u0444\u0440\u0430\u0437\u0430 \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u043f\u044f\u0442\u044c \u0440\u0430\u0437). \u041a\u043e\u043c\u0431\u043e \u043d\u0430 512K \u043d\u0435\u00a0\u043f\u0435\u0442\u043b\u044f\u0435\u0442, \u043d\u043e\u00a0\u0434\u0435\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0432\u00a0\u0440\u0430\u043d\u043d\u0438\u0439 \u0441\u0442\u043e\u043f \u0438\u0437 15\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0411\u043e\u043d\u0443\u0441\u2011\u043d\u0430\u0445\u043e\u0434\u043a\u0430:\u00a0<code><strong>min_p<\/strong><\/code><strong>\u00a0\u043f\u043e\u0434\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u043e\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u0437\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d<\/strong>\u00a0\u2014 \u0441\u0435\u0440\u0432\u0435\u0440 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 HTTP 400\u00a0\u00abnot yet supported with speculative decoding\u00bb; \u0442\u0430\u00a0\u0436\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u0432\u0441\u043f\u043b\u044b\u0432\u0430\u0435\u0442 \u0432\u00a0<a href=\"https:\/\/github.com\/vllm-project\/vllm\/issues\/39295\" rel=\"noopener noreferrer nofollow\">vllm#39295<\/a>, \u043d\u0430\u0448 \u043f\u0440\u043e\u0433\u043e\u043d \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d \u0432\u00a0<a href=\"https:\/\/github.com\/botAGI\/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8\/blob\/main\/benchmarks\/20260701-sampling-coherence-probe.md\" rel=\"noopener noreferrer nofollow\">benchmarks\/<\/a>20260701-sampling\u2011coherence\u2011probe.md. \u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0430\u043d\u0442\u0438\u2011\u0434\u0435\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0440\u0435\u0446\u0435\u043f\u0442\u044b \u043d\u0430\u00a0min_p \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u0431\u0438\u043b\u0434\u0443 \u043d\u0435\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b as\u2011is. \u0412\u0435\u0440\u0434\u0438\u043a\u0442: \u043c\u044b \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438 sampler\u2011only \u043a\u043e\u043d\u0444\u0438\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0431\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u044b, \u0438 \u043d\u0435\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u0443\u0435\u043c \u00ab\u0444\u0438\u043a\u0441\u00bb, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e; \u043f\u043e\u0445\u043e\u0436\u0435, \u043b\u0435\u0447\u0438\u0442\u0441\u044f \u044d\u0442\u043e \u043d\u0435\u00a0\u0440\u0443\u0447\u043a\u043e\u0439 \u0441\u044d\u043c\u043f\u043b\u0435\u0440\u0430.<\/p>\n<h3>\u0427\u0442\u043e\u00a0\u043c\u044b \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u043c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0432\u044b\u0432\u043e\u0434\u043e\u0432\u00a0\u0431\u044b\u043b\u0438 \u0442\u0430\u043a\u0438\u043c\u0438\u00a0\u0436\u0435 \u044f\u0432\u043d\u044b\u043c\u0438, \u043a\u0430\u043a\u00a0\u0441\u0430\u043c\u0438 \u0432\u044b\u0432\u043e\u0434\u044b:<\/p>\n<ul>\n<li>\n<p><strong>\u041f\u0430\u0440\u0438\u0442\u0435\u0442 \u0441\u00a0\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043e\u043c DeepSeek.<\/strong>\u00a0\u041f\u043e\u0441\u043b\u043e\u0439\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0440\u0430\u043a\u0443\u043b\u0430 \u043d\u0430\u00a0SM121\u00a0\u043d\u0435\u0442\u00a0\u2014 tilelang\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u044b \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0437\u0434\u0435\u0441\u044c \u043d\u0435\u00a0\u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f. \u0421\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 acceptance \u0441\u00a0\u0438\u0445 \u0440\u0435\u043f\u043e\u0440\u0442\u043e\u043c\u00a0\u2014 \u0441\u0438\u043b\u044c\u043d\u044b\u0439, \u043d\u043e\u00a0\u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0439 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0442\u043e\u00a0NVFP4-KV \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435\u00a0\u0434\u0430\u0451\u0442 bandwidth\u2011\u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430.<\/strong>\u00a0\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e single\u2011stream no\u2011spec; \u043d\u0430\u00a0\u0440\u0435\u0436\u0438\u043c\u0430\u0445, \u0433\u0434\u0435 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u0435\u0442 KV\u2011\u0442\u0440\u0430\u0444\u0438\u043a, \u043a\u0430\u0440\u0442\u0438\u043d\u0430 \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0442\u043e\u00a0\u043f\u0435\u0442\u043b\u0438 \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u044b \u043d\u0430\u00a0\u043b\u044e\u0431\u043e\u0439 256K+ \u0437\u0430\u0434\u0430\u0447\u0435.<\/strong>\u00a0\u0411\u0430\u0433 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f; \u043c\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e\u00a0\u043e\u043d \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0438 \u043e\u0442\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 acceptance, \u0430\u00a0\u043d\u0435\u00a0\u0447\u0442\u043e\u00a0\u043e\u043d \u043b\u043e\u0432\u0438\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0442\u043e\u00a0DSpark \u043f\u043b\u043e\u0445 \u0434\u043b\u044f\u00a0single\u2011user \u0432\u043e\u043e\u0431\u0449\u0435.<\/strong>\u00a0\u041c\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e\u00a0\u043d\u0430\u0448 fp8-\u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0443\u0441\u0442\u0443\u043f\u0438\u043b \u043b\u0451\u0433\u043a\u043e\u043c\u0443 MTP-2\u00a0\u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438; \u0434\u0440\u0443\u0433\u043e\u0439 \u0431\u0438\u043b\u0434 \u0438\u043b\u0438\u00a0\u0440\u0435\u0446\u0435\u043f\u0442 \u043c\u043e\u0436\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u0438\u043d\u0430\u0447\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0427\u0442\u043e\u00a0\u0440\u0435\u043b\u0438\u0437 DeepSeek \u00ab\u0441\u043e\u0432\u0440\u0430\u043b\u00bb.<\/strong>\u00a0\u0418\u0445 headline \u0441\u043d\u044f\u0442 \u043d\u0430\u0434 \u0434\u0440\u0443\u0433\u0438\u043c baseline (MTP-1) \u0438 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435; \u043d\u0430\u0448\u0438 \u0446\u0438\u0444\u0440\u044b \u0435\u0433\u043e \u043d\u0435\u00a0\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0433\u0430\u044e\u0442\u00a0\u2014 \u043e\u043d\u0438 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<\/ul>\n<h3>\u0418\u0442\u043e\u0433: \u0447\u0442\u043e\u00a0DSpark \u043d\u0430\u00a0GB10\u00a0\u0434\u0430\u0451\u0442\u00a0\u2014 \u0438 \u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0434\u0430\u0451\u0442<\/h3>\n<p>\u0421\u0432\u043e\u0434\u043d\u0430\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0430, \u0432\u0441\u0435 \u0447\u0438\u0441\u043b\u0430\u00a0\u2014\u00a0<code>completion_tokens \/ wall_time<\/code>, \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0432\u0443\u0445\u043d\u043e\u0434\u043e\u0432\u044b\u0439 \u0441\u0442\u0435\u043d\u0434:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0417\u0430\u043c\u0435\u0440<\/p>\n<\/th>\n<th>\n<p align=\"left\">fp8\u00a0DSpark (\u043d\u0430\u0448)<\/p>\n<\/th>\n<th>\n<p align=\"left\">NVFP4\u00a0DSpark (\u0440\u0435\u0446\u0435\u043f\u0442 tonyd2wild)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">No\u2011spec \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.7\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.6\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Single\u2011stream, \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">32.4\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">55\u201363\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430 (single\u2011stream)<\/p>\n<\/td>\n<td>\n<p align=\"left\">~2.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.0\u20134.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">c8\u00a0~99, c12 141\u2013146\u00a0tok\/s<\/p>\n<\/td>\n<td>\n<p align=\"left\">C16-static ~315\u2013324\u00a0tok\/s (200K)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Single\u2011stream \u043d\u0430 512K<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.6\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Single\u2011stream \u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c 1M (1.03M)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2014<\/p>\n<\/td>\n<td>\n<p align=\"left\">17.2\u00a0tok\/s<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u0435\u00a0\u0434\u0430\u0451\u0442 DSpark \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0433\u043e single\u2011stream \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430. \u041d\u0430\u00a0GB10\u00a0\u0448\u0430\u0433\u00a0\u2014 \u044d\u0442\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 memory\u2011bound verify\u2011forward (~65\u00a0\u043c\u0441 \u043d\u0430\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u0438 273\u00a0\u0413\u0411\/\u0441 unified memory), \u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u0438\u043d\u0442\u0435\u0440\u043a\u043e\u043d\u043d\u0435\u043a\u0442 \u043d\u0435\u00a0\u0431\u044b\u043b \u0433\u043b\u0430\u0432\u043d\u044b\u043c \u0443\u0437\u043a\u0438\u043c \u043c\u0435\u0441\u0442\u043e\u043c (\u043c\u0435\u043d\u044c\u0448\u0435 3.5% \u0448\u0430\u0433\u0430), \u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e single\u2011stream \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044f \u043d\u0430\u00a0\u044d\u0442\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0435\u00a0\u0434\u0430\u0451\u0442. \u0414\u043b\u044f\u00a0\u043e\u0434\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 \u043b\u0451\u0433\u043a\u0438\u0439 MTP\u2011\u0434\u0440\u0430\u0444\u0442\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430\u0448\u0435\u0433\u043e fp8-DSpark. NVFP4-\u0431\u0438\u043b\u0434 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 single\u2011stream \u043d\u0435\u00a0bandwidth&#8217;\u043e\u043c, \u0430\u00a0acceptance\u00a0\u2014 \u0438 \u044d\u0442\u0430 \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0430 \u0442\u0430\u0435\u0442 \u0441\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430: 42.7\u00a0tok\/s \u043d\u0430 16K \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432 17.2\u00a0\u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c 1.03M (\u043f\u043e\u0441\u043b\u0435 512K \u043a\u0440\u0438\u0432\u0430\u044f \u0432\u044b\u043f\u043e\u043b\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f\u00a0\u2014 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u0445\u0432\u043e\u0441\u0442 \u043c\u043e\u0436\u043d\u043e \u0431\u044e\u0434\u0436\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e ~17\u00a0tok\/s).<\/p>\n<p>\u0414\u0430\u0451\u0442 \u043e\u043d \u0434\u0432\u0435 \u0432\u0435\u0449\u0438, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0435\u0433\u043e \u0441\u0442\u043e\u0438\u0442 \u0434\u0435\u043f\u043b\u043e\u0438\u0442\u044c. \u041f\u0435\u0440\u0432\u0430\u044f\u00a0\u2014\u00a0<strong>\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c<\/strong>: +55% \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u043d\u0430\u0434 MTP-2\u00a0\u043f\u0440\u043e\u0434\u043e\u043c \u043d\u0430 8\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445, 141\u2013146\u00a0tok\/s \u043d\u0430 12; \u0443\u00a0NVFP4-\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u00a0\u2014 ~315\u2013324\u00a0tok\/s C16\u00a0\u043d\u0430 200K\u2011\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u0412\u0442\u043e\u0440\u0430\u044f\u00a0\u2014\u00a0<strong>1M\u2011\u043e\u043a\u043d\u043e<\/strong>\u00a0\u043a\u0430\u043a\u00a0\u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0440\u0435\u0436\u0438\u043c: \u0441\u00a0\u043a\u0440\u0438\u0432\u043e\u0439 \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438, \u043f\u0440\u043e\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0439 \u0434\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e 1.03M, \u0432\u043c\u0435\u0441\u0442\u043e \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438\u00a0\u2014 \u0438 \u0441\u00a0prefix\u2011cache, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u043e\u0432\u0442\u043e\u0440\u043d\u043e\u0435 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043a\u00a0\u043f\u0440\u043e\u0433\u0440\u0435\u0442\u043e\u043c\u0443 1M\u2011\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443 \u0438\u0437 10-\u043c\u0438\u043d\u0443\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0430 \u0432 4-\u0441\u0435\u043a\u0443\u043d\u0434\u043d\u044b\u0439 \u0441\u0442\u0430\u0440\u0442.<\/p>\n<p>\u0412\u0441\u0451 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u043e:\u00a0<a href=\"https:\/\/github.com\/botAGI\/DeepSeek-V4-Flash-DSpark-GB10-2x-DGX-Spark-1m-fp4-fp8\" rel=\"noopener noreferrer nofollow\">DeepSeek\u2011V4-Flash\u2011DSpark\u2011GB10-2x\u2011DGX\u2011Spark-1m\u2011fp4-fp8<\/a>\u00a0\u2014 \u043d\u0430\u0448 fp8-\u0440\u0435\u0446\u0435\u043f\u0442 (\u043f\u0430\u0442\u0447\u0438, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u0430\u044f \u043a\u0430\u0440\u0442\u0430, \u0440\u0430\u0437\u0431\u043e\u0440 \u0431\u0430\u0433\u043e\u0432) \u043f\u043b\u044e\u0441 \u0432\u0441\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u2011\u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u044b. NVFP4-\u0440\u0435\u0446\u0435\u043f\u0442 \u043c\u044b \u0441\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u00a0\u0432\u0435\u043d\u0434\u043e\u0440\u0438\u043c\u00a0\u2014 \u043e\u043d \u0436\u0438\u0432\u0451\u0442 \u0443\u00a0\u0430\u0432\u0442\u043e\u0440\u0430,\u00a0<a href=\"https:\/\/github.com\/tonyd2wild\/DeepSeek-v4-Flash-DSpark-1M-NVFP4-KV-2x-DGX-Spark\" rel=\"noopener noreferrer nofollow\">tonyd2wild\/DeepSeek\u2011v4-Flash\u2011DSpark-1M\u2011NVFP4-KV-2x\u2011DGX\u2011Spark<\/a>, \u0443\u00a0\u043d\u0430\u0441\u00a0\u2014 \u0441\u0441\u044b\u043b\u043a\u0430, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0438 CREDITS \u0441\u00a0\u043f\u043e\u043b\u043d\u043e\u0439 \u0440\u043e\u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e\u0439 (tonyd2wild, bjk110, drowzeys\/Keys, rafaelcaricio, fraserprice, MiaAI\u2011Lab).<\/p>\n<p>\u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438,\u00a0\u2014 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435. \u041f\u0435\u0442\u043b\u0438 \u043d\u0430 \u2265256K\u00a0\u2014 \u043d\u0435\u00a0\u043f\u043e\u0440\u043e\u0433 \u0438 \u043d\u0435\u00a0\u0441\u044d\u043c\u043f\u043b\u0435\u0440: \u044d\u0442\u043e \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0449\u0438\u0439\u0441\u044f \u0431\u0430\u0433 decode\u2011\u043f\u0443\u0442\u0438 \u043d\u0435\u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u0438\u043b\u0434\u0430, \u0443\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0430\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430 (\u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442 ~256K, \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0decode\u2011\u043f\u0443\u0442\u0438, \u043e\u0442\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 acceptance) \u0432\u043c\u0435\u0441\u0442\u043e \u0430\u043d\u0435\u043a\u0434\u043e\u0442\u0430 \u00ab\u0438\u043d\u043e\u0433\u0434\u0430 \u043b\u043e\u043c\u0430\u0435\u0442\u0441\u044f\u00bb. \u0415\u0441\u043b\u0438 \u0443\u00a0\u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430 GB10\u00a0\u0438 \u0438\u0434\u0435\u044f\u00a0\u2014 \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0441\u0442\u044c \u0438 \u043e\u0442\u00a0\u0447\u0435\u0433\u043e \u043e\u0442\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c\u0441\u044f.<\/p>\n<hr\/>\n<p><em>\u0412\u0441\u0435 \u0447\u0438\u0441\u043b\u0430 \u0441\u043d\u044f\u0442\u044b \u0441\u00a0\u0436\u0438\u0432\u043e\u0433\u043e \u0441\u0442\u0435\u043d\u0434\u0430 2\u00d7 DGX Spark (GB10, SM121, TP=2\u00a0\u0447\u0435\u0440\u0435\u0437 QSFP 200G \/ RoCEv2) 30\u00a0\u0438\u044e\u043d\u044f\u00a0\u2014 4\u00a0\u0438\u044e\u043b\u044f 2026. NVFP4-\u0437\u0430\u043c\u0435\u0440\u044b\u00a0\u2014 \u043d\u0430\u00a0byte\u2011identical \u0431\u0438\u043b\u0434\u0435 tonyd2wild, \u043a\u043e\u043c\u043c\u0438\u0442\u00a0<\/em><code><em>89bb82b<\/em><\/code><em>, \u0435\u0433\u043e \u0445\u0430\u0440\u043d\u0435\u0441\u0441\u043e\u043c \u0431\u0435\u0437\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439. \u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430:\u00a0<\/em><code><em>usage.completion_tokens \/ wall_time<\/em><\/code><em>, non\u2011streaming; SSE\u2011\u0447\u0430\u043d\u043a\u0438 \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0438\u043a\u043e\u0433\u0434\u0430.<\/em><\/p>\n<h3><\/h3>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1055792\/\">https:\/\/habr.com\/ru\/articles\/1055792\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>DeepSeek \u0432\u044b\u043f\u0443\u0441\u0442\u0438\u043b DSpark\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0434\u043b\u044f\u00a0V4. \u0412\u00a0\u043e\u043a\u043d\u0435 27\u201330\u00a0\u0438\u044e\u043d\u044f 2026\u00a0\u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0434\u043b\u044f\u00a0GB10\u00a0\u043d\u0435\u00a0\u0431\u044b\u043b\u043e\u00a0\u2014 \u043c\u044b \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0435\u0433\u043e \u0441\u0430\u043c\u0438, \u043d\u0430\u0448\u043b\u0438 \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0431\u0430\u0433, \u0443\u0431\u0438\u0432\u0430\u0432\u0448\u0438\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0440\u0430\u0444\u0442\u0430, \u0438 \u0441\u043d\u044f\u043b\u0438 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u0442\u0435\u043d\u0434\u0430. \u041f\u043e\u0442\u043e\u043c \u043a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u043e \u0440\u0435\u0446\u0435\u043f\u0442 \u0432\u0434\u0432\u043e\u0435\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043d\u0430\u0448\u0435\u0433\u043e. \u041c\u044b \u0435\u0433\u043e \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438\u00a0\u2014 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u043e\u043d\u043a\u0438 \u0437\u0430\u00a0\u0446\u0438\u0444\u0440\u043e\u0439 \u0441\u043d\u044f\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u00a0\u043f\u0430\u0431\u043b\u0438\u043a\u0435 \u043d\u0435\u00a0\u043d\u0430\u0448\u043b\u0438: \u043a\u0440\u0438\u0432\u0443\u044e \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0434\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e 1M, \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 NVFP4\u00a0\u0438 \u043f\u0435\u0442\u043b\u0438 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435. \u041f\u043b\u044e\u0441 \u0442\u0440\u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430. TL;DR\u041f\u043e\u0440\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043b\u0441\u044f.\u00a0DSpark\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c DeepSeek \u043f\u043e\u0432\u0435\u0440\u0445 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430 V4\u00a0\u2014 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 2\u00d7 DGX Spark (GB10, SM121, TP=2\u00a0\u0447\u0435\u0440\u0435\u0437 QSFP 200G \/ RoCEv2) \u043a\u0430\u043a\u00a0\u043d\u043e\u0432\u044b\u0439 \u043c\u0435\u0442\u043e\u0434\u00a0dspark\u00a0\u0432\u00a0\u043d\u0430\u0448\u0435\u043c \u0444\u043e\u0440\u043a\u0435 \u043f\u043e\u0432\u0435\u0440\u0445 community\u2011\u0444\u043e\u0440\u043a\u0430 jasl. \u041f\u043e\u0440\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0439: \u0432\u00a0\u043e\u043a\u043d\u0435 27\u201330\u00a0\u0438\u044e\u043d\u044f 2026\u00a0\u0432\u00a0\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u043c \u043d\u0430\u043c \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u043c vLLM\u2011\u043f\u0443\u0442\u0438 \u0434\u043b\u044f\u00a0GB10\/SM121\u00a0method=dspark\u00a0\u043d\u0435\u00a0\u0431\u044b\u043b \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u043f\u0446\u0438\u0435\u0439\u00a0\u2014 \u0437\u0430\u043f\u0443\u0441\u043a \u043d\u0435\u00a0\u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b \u0434\u0430\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0444\u0438\u0433\u2011\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438.\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0431\u0430\u0433\u0444\u0438\u043a\u0441\u00a0\u2014 \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430: \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0435\u0440\u043d\u0435\u043b \u0441\u044d\u043c\u043f\u043b\u0438\u043b \u0434\u0440\u0430\u0444\u0442 \u0438\u0437\u00a0noise\u2011\u0441\u043b\u043e\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e bonus\u2011\u0441\u043b\u043e\u0442\u0430. \u0421\u0434\u0432\u0438\u0433 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430 \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0441\u043b\u043e\u0442 \u043f\u043e\u0434\u043d\u044f\u043b acceptance \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0\u00a0\u0441 0.41\u00a0\u0434\u043e 0.74, \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043f\u0440\u0438\u043d\u044f\u0442\u0443\u044e \u0434\u043b\u0438\u043d\u0443 \u0441 1.75\u00a0\u0434\u043e 2.5, throughput \u0441 26\u00a0\u0434\u043e 36\u00a0tok\/s.Single\u2011stream \u043d\u0430\u00a0fp8:\u00a026.7\u00a0tok\/s \u0431\u0435\u0437\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u0438 \u2192 32.4\u00a0tok\/s \u0441\u00a0DSpark =\u00a0+21\u201324%. \u042d\u0442\u043e \u043d\u0435\u00a0\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u0436\u0435\u043d\u0438\u0435 \u0446\u0438\u0444\u0440 DeepSeek: \u0438\u0445 headline (+60\u201385% per\u2011user speedup \u0438 \u043a\u0440\u0430\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435 aggregate\u2011\u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0438 \u0432\u00a0SLA\u2011\u0440\u0435\u0436\u0438\u043c\u0430\u0445) \u0441\u043d\u044f\u0442 \u043d\u0430\u0434 baseline MTP-1\u00a0\u0438 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435\u00a0\u2014 \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0434\u0440\u0443\u0433\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0441\u00a0\u0434\u0440\u0443\u0433\u0438\u043c baseline. \u0420\u0430\u0437\u0431\u043e\u0440 \u043f\u043e\u00a0\u0447\u0435\u0442\u044b\u0440\u0451\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c \u0432\u043d\u0443\u0442\u0440\u0438.\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 DSpark \u043d\u0430\u00a0GB10\u00a0\u2014 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c:\u00a0~99\u00a0tok\/s \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u043d\u0430 8\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445 (\u043f\u0440\u043e\u0442\u0438\u0432 ~64\u00a0\u0443\u00a0\u043f\u0440\u0435\u0436\u043d\u0435\u0433\u043e MTP-2\u00a0\u043f\u0440\u043e\u0434\u0430, +55%), 141\u2013146\u00a0tok\/s \u043d\u0430 12\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445.\u041a\u043e\u043c\u044c\u044e\u043d\u0438\u0442\u0438:\u00a0tonyd2wild \u0432\u044b\u043b\u043e\u0436\u0438\u043b NVFP4-KV \u0440\u0435\u0446\u0435\u043f\u0442 \u0441\u00a0\u0437\u0430\u044f\u0432\u043a\u043e\u0439 67\u00a0tok\/s single\u2011stream \u043f\u0440\u043e\u0442\u0438\u0432 \u043d\u0430\u0448\u0438\u0445 32. \u041c\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u0438: single 55\u201363, C16-static 324\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 \u0435\u0433\u043e 315.1\u00a0\u2014\u00a0\u043d\u0438\u0447\u044c\u044f \u0432\u00a0\u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430.\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c NVFP4:\u00a0\u0432\u00a0no\u2011spec \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 4-\u0431\u0438\u0442\u043d\u044b\u0439 KV \u043d\u0435\u00a0\u0443\u0441\u043a\u043e\u0440\u0438\u043b \u0433\u043e\u043b\u044b\u0439 forward (26.6\u00a0\u2248 26.7\u00a0tok\/s \u0443\u00a0fp8)\u00a0\u2014 single\u2011stream \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0440\u0435\u0446\u0435\u043f\u0442\u0430 \u043f\u0440\u0438\u0448\u0451\u043b \u0447\u0435\u0440\u0435\u0437 acceptance 3\u20134\u00a0\u043f\u0440\u043e\u0442\u0438\u0432 ~2.1.\u0413\u043b\u0443\u0431\u0438\u043d\u0430 \u0438 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c:\u00a0\u043a\u0440\u0438\u0432\u0430\u044f \u0434\u0435\u0433\u0440\u0430\u0434\u0430\u0446\u0438\u0438 \u0434\u043e\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e 1M: 42.7\u00a0tok\/s \u043d\u0430 16K \u2192 17.6\u00a0\u043d\u0430 512K \u2192\u00a017.2\u00a0\u043d\u0430 1.03M\u00a0(\u043f\u043e\u0441\u043b\u0435 512K\u00a0\u2014 \u043f\u043e\u043b\u043a\u0430, \u043d\u0435\u00a0\u043e\u0431\u0432\u0430\u043b); \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0435 \u2265256K \u0431\u0438\u043b\u0434 \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u0445\u043e\u0434\u0438\u0442 \u0432\u00a0\u043f\u0435\u0442\u043b\u0438 (\u0430 \u043d\u0430 1M \u043e\u0431\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u0432\u044f\u0437\u043d\u044b\u0435\u00a0\u2014 \u043b\u043e\u0442\u0435\u0440\u0435\u044f, \u043d\u0435\u00a0\u0441\u0442\u0435\u043d\u0430), \u0438 acceptance \u0432\u00a0\u043f\u0435\u0442\u043b\u0435 \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442\u0441\u044f.\u0422\u0440\u0438 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u0430 \u0437\u0430\u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b:\u00a0YaRN re\u2011anchor \u0434\u0440\u0430\u0444\u0442\u0430 (\u0437\u0430\u043c\u0435\u0434\u043b\u0435\u043d\u0438\u0435 \u0432 ~15\u00a0\u0440\u0430\u0437, \u00ab\u0440\u043e\u0441\u0442\u00bb acceptance\u00a0\u0431\u044b\u043b \u043c\u0438\u0440\u0430\u0436\u043e\u043c), confidence\u2011scheduler (\u22129% \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430), \u0441\u044d\u043c\u043f\u043b\u0435\u0440\u2011\u0444\u0438\u043a\u0441 \u043a\u043e\u0433\u0435\u0440\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u0438 (\u043d\u0438 \u043e\u0434\u0438\u043d \u043a\u043e\u043d\u0444\u0438\u0433 \u043d\u0435\u00a0\u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u0431\u0435 \u0433\u043b\u0443\u0431\u0438\u043d\u044b,\u00a0min_p\u00a0\u043f\u043e\u0434\u00a0spec\u2011decode \u0437\u0430\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u043d \u0441\u0435\u0440\u0432\u0435\u0440\u043e\u043c).\u0420\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439:\u00a0botAGI\/DeepSeek\u2011V4-Flash\u2011DSpark\u2011GB10-2x\u2011DGX\u2011Spark-1m\u2011fp4-fp8.\u0413\u0434\u0435 \u043c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c\u0412\u00a0\u0447\u0430\u0441\u0442\u0438 5\u00a0\u043c\u044b \u043f\u043e\u0434\u043d\u044f\u043b\u0438 DeepSeek\u2011V4\u2011Flash (284B MoE, ~13B \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d) \u043d\u0430\u00a0\u0434\u0432\u0443\u0445 GB10\u00a0\u0441\u00a0TP=2\u00a0\u0438 \u0432\u044b\u043b\u0435\u0447\u0438\u043b\u0438 multi\u2011user. \u0417\u0430\u0433\u043e\u043b\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0447\u0430\u0441\u0442\u0438 5\u00a0\u2014 44.9\u00a0tok\/s single \u0438 144\u2013155\u00a0tok\/s \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430\u00a0\u2014 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u043a\u0430 \u043d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u0440\u043e\u043c\u043f\u0442\u0430\u0445. \u0414\u043b\u044f\u00a0\u0447\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043f\u0440\u043e\u0434\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443: MTP-2\u00a0\u0434\u0430\u0432\u0430\u043b ~40\u00a0tok\/s single\u2011stream \u0438 ~64\u00a0tok\/s \u0430\u0433\u0440\u0435\u0433\u0430\u0442\u0430 \u043d\u0430 8\u00a0\u043f\u043e\u0442\u043e\u043a\u0430\u0445. \u041e\u0442\u00a0\u044d\u0442\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c.27\u00a0\u0438\u044e\u043d\u044f DeepSeek \u0432\u044b\u043b\u043e\u0436\u0438\u043b DSpark\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u0438\u0437\u00a0\u0438\u0445 \u0441\u0442\u0435\u043a\u0430\u00a0DeepSpec\u00a0(MIT\u2011\u043b\u0438\u0446\u0435\u043d\u0437\u0438\u044f). \u0421\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433, \u0435\u0441\u043b\u0438 \u0432\u00a0\u043e\u0434\u043d\u043e\u043c \u0430\u0431\u0437\u0430\u0446\u0435: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u0430\u044f \u00ab\u0434\u0440\u0430\u0444\u0442\u00bb\u2011\u0433\u043e\u043b\u043e\u0432\u0430 \u043d\u0430\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u043f\u0435\u0440\u0451\u0434, \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445 \u043e\u0434\u043d\u0438\u043c \u0448\u0438\u0440\u043e\u043a\u0438\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435; \u0434\u043e\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 (acceptance) \u0438 \u0435\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448. DeepSeek \u0437\u0430\u044f\u0432\u043b\u044f\u043b\u00a0+60\u201385% per\u2011user speedup\u00a0\u0438 \u043a\u0440\u0430\u0442\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0435 aggregate\u2011throughput \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0438 \u0432\u00a0SLA\u2011\u0440\u0435\u0436\u0438\u043c\u0430\u0445\u00a0\u2014 \u0438 \u0442\u043e \u0438 \u0434\u0440\u0443\u0433\u043e\u0435\u00a0\u043d\u0430\u0434 baseline MTP-1, \u043d\u0435\u00a0\u043d\u0430\u0434 \u0433\u043e\u043b\u043e\u0439 \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439; \u043d\u0430\u00a0HF \u0443\u0436\u0435 \u043b\u0435\u0436\u0430\u043b \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u00a0DeepSeek-V4-Flash-DSpark\u00a0\u2014 \u0442\u0435\u00a0\u0436\u0435 \u0432\u0435\u0441\u0430 \u043f\u043b\u044e\u0441 \u043f\u0440\u0438\u0441\u0442\u0451\u0433\u043d\u0443\u0442\u044b\u0439 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u043e\u0434\u0443\u043b\u044c, \u043a\u0430\u043a\u00a0\u0447\u0435\u0441\u0442\u043d\u043e \u043f\u0438\u0448\u0435\u0442 \u0441\u0430\u043c\u0430 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430.\u0412\u00a0\u0434\u0435\u043d\u044c \u0440\u0435\u043b\u0438\u0437\u0430 \u043c\u044b \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432\u00a0\u0441\u0442\u0435\u043d\u0443: \u0432\u00a0\u043e\u043a\u043d\u0435 27\u201330\u00a0\u0438\u044e\u043d\u044f 2026\u00a0\u0432\u00a0\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u043c \u043d\u0430\u043c \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u043e\u043c vLLM\u2011\u043f\u0443\u0442\u0438 \u0434\u043b\u044f\u00a0GB10\/SM121\u00a0method=dspark\u00a0\u043d\u0435\u00a0\u0431\u044b\u043b \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u043e\u043f\u0446\u0438\u0435\u0439\u00a0\u2014 \u0432\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u043c \u0444\u043e\u0440\u043a\u0435 \u044d\u0442\u043e \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0439 pydantic\u2011enum, \u0430\u00a0\u043d\u0435\u00a0\u0444\u043b\u0430\u0433.\u00a0ValidationError\u00a0\u043f\u0440\u0438\u043b\u0435\u0442\u0430\u043b \u0440\u0430\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u043a\u0430\u0447\u0430\u043b\u0438\u0441\u044c\u00a0\u0431\u044b 165\u00a0\u0413\u0411 \u0432\u0435\u0441\u043e\u0432. \u041d\u0438 \u043a\u043e\u0434\u0430 \u0437\u0430\u0433\u0440\u0443\u0437\u0447\u0438\u043a\u0430, \u043d\u0438 \u043a\u0435\u0440\u043d\u0435\u043b\u043e\u0432, \u043d\u0438 PR \u0432\u00a0upstream. \u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u0430 \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u043e\u00a0\u0434\u0430\u0442\u0430\u0445: \u044d\u043a\u043e\u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043f\u043e\u0441\u043b\u0435 \u0440\u0435\u043b\u0438\u0437\u0430 \u0434\u0432\u0438\u0433\u0430\u043b\u0430\u0441\u044c\u00a0\u0431\u044b\u0441\u0442\u0440\u043e, \u0438 \u0432\u0441\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u00a0upstream\/vLLM \u0432\u00a0\u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u043a\u00a0\u0442\u043e\u043c\u0443 \u043e\u043a\u043d\u0443\u00a0\u2014 \u0443\u0436\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 \u0442\u0430 \u0441\u0430\u043c\u0430\u044f \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0HF \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0448\u0442\u0430\u0442\u043d\u044b\u0439 vLLM\u2011\u0437\u0430\u043f\u0443\u0441\u043a \u0441\u00a0&#8212;speculative-config &#8216;{&#171;method&#187;:&#187;dspark&#187;,&#8230;}&#8217;. \u0410\u00a0\u0431\u0430\u0437\u043e\u0432\u044b\u0439 V4\u00a0\u043d\u0430\u00a0SM121\u00a0\u0438 \u0442\u0430\u043a \u0436\u0438\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u00a0community\u2011\u0444\u043e\u0440\u043a\u0435 jasl (PR #41834\u00a0\u0432\u00a0upstream vLLM)\u00a0\u2014 \u043d\u0430\u00a0\u043d\u0451\u043c \u0438 \u0441\u0442\u0440\u043e\u0438\u043c. \u041c\u044b \u0437\u0430\u043f\u0438\u0441\u0430\u043b\u0438 DSpark \u0432\u00a0watch\u2011\u043b\u0438\u0441\u0442\u00a0\u2014 \u0430\u00a0\u043f\u043e\u0442\u043e\u043c \u0440\u0435\u0448\u0438\u043b\u0438 \u043d\u0435\u00a0\u0436\u0434\u0430\u0442\u044c \u0438 \u043f\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0430\u043c\u0438\u043c.\u041f\u043e\u0440\u0442: \u0442\u044f\u0436\u0451\u043b\u043e\u0435 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c, \u0442\u043e\u043d\u043a\u043e\u0435 \u0434\u0435\u0431\u0430\u0436\u0438\u043c\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b\u0430\u0441\u044c \u043f\u0440\u0438\u00a0\u0447\u0442\u0435\u043d\u0438\u0438 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u0438\u0437\u00a0\u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430: DSpark\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u043d\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u0414\u0440\u0430\u0444\u0442\u00a0\u2014 \u044d\u0442\u043e 3\u00a0MTP\u2011\u0441\u0442\u0430\u0434\u0438\u0438 \u043f\u043e\u0434\u00a0namespace\u00a0mtp.*, \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u043e\u043c\u0443 \u0441\u043b\u043e\u044e V4\u00a0(MLA\u2011attention + MoE \u043d\u0430 256\u00a0\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0443\u00a0\u043d\u0430\u0441 \u043d\u0430\u00a0GB10\u00a0\u043f\u043e\u0434\u00a0\u043f\u0440\u043e\u0434\u043e\u0432\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439. \u0421\u0432\u0435\u0440\u0445\u0443 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u0432\u044f\u0437\u043a\u0438:\u00a0main_proj, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0438\u0439 \u043a\u043e\u043d\u043a\u0430\u0442\u0435\u043d\u0430\u0446\u0438\u044e hidden\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0442\u0440\u0451\u0445 \u0441\u043b\u043e\u0451\u0432 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 ([40,41,42]), low\u2011rank\u00a0Markov\u2011\u0433\u043e\u043b\u043e\u0432\u0430\u00a0(rank 256), \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e \u043f\u043e\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043b\u043e\u0433\u0438\u0442\u044b \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u043b\u043e\u043a\u0430, \u0438 confidence\u2011\u0433\u043e\u043b\u043e\u0432\u0430. \u0417\u0430\u00a0\u0448\u0430\u0433 \u0434\u0440\u0430\u0444\u0442 \u043d\u0430\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u0435\u0442 \u0431\u043b\u043e\u043a \u0438\u0437 5\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0430\u0440\u0433\u0435\u0442 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0438\u0445 \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c \u0448\u0438\u0440\u0438\u043d\u043e\u0439 6\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 (5\u00a0\u0434\u0440\u0430\u0444\u0442\u043e\u0432\u044b\u0445 + 1\u00a0\u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439).\u041f\u043e\u0440\u0442 \u043b\u0451\u0433 \u0432\u00a0vLLM \u0434\u0432\u0443\u043c\u044f \u043d\u043e\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0443\u043b\u044f\u043c\u0438 (\u0433\u043e\u043b\u043e\u0432\u0430\u00a0DSparkV4MTP\u00a0+ proposer\u00a0DSparkProposer, \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u00a0DFlashProposer\u00a0\u2014 \u0435\u0433\u043e non\u2011causal cross\u2011attention \u043e\u0431\u0432\u044f\u0437\u043a\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0440\u043e\u0432\u043d\u043e \u0441\u0445\u0435\u043c\u043e\u0439 DSpark) \u0438 \u0442\u043e\u0447\u0435\u0447\u043d\u044b\u043c\u0438 \u043f\u0440\u0430\u0432\u043a\u0430\u043c\u0438 \u043d\u0430\u00a0\u0441\u0435\u043c\u044c \u0441\u0442\u0440\u043e\u043a: enum, \u043f\u0440\u0435\u0434\u0438\u043a\u0430\u0442\u044b, \u0434\u0438\u0441\u043f\u0435\u0442\u0447\u0435\u0440 \u0440\u0430\u043d\u043d\u0435\u0440\u0430. \u0417\u0430\u0433\u0440\u0443\u0437\u0438\u043b\u043e\u0441\u044c, \u043f\u043e\u0435\u0445\u0430\u043b\u043e\u00a0\u2014 \u0438 \u0432\u044b\u0434\u0430\u043b\u043e \u043c\u0443\u0441\u043e\u0440: acceptance \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0\u00a0\u043e\u043a\u043e\u043b\u043e 5%, \u0434\u0440\u0430\u0444\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043f\u043e\u0447\u0442\u0438 \u0448\u0443\u043c.\u0414\u0430\u043b\u044c\u0448\u0435\u00a0\u0431\u044b\u043b\u0430 \u0434\u043e\u043b\u0433\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u0447\u043d\u0430\u044f \u043e\u0445\u043e\u0442\u0430 \u0437\u0430\u00a0\u0431\u0430\u0433\u043e\u043c, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0442\u0440\u0438 \u0444\u0438\u043a\u0441\u0430. \u0414\u0432\u0430\u00a0\u2014 \u00ab\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435\u00bb: aux hidden\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u043d\u0430\u0434\u043e \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0442\u044c per\u2011layer (hc\u2011fold\u00a0\u2014 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f\u00a0hc_post\u00a0\u043f\u043b\u044e\u0441 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u00a0\u043e\u0441\u0438 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 hidden\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439), \u0430\u00a0\u043d\u0435\u00a0\u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c \u0441\u044b\u0440\u044b\u043c \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u043c; \u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0443\u044e \u043d\u043e\u0440\u043c\u0443 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430 (mtp.N.norm.weight) \u043d\u0430\u0434\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043f\u0435\u0440\u0435\u0434 LM\u2011\u0433\u043e\u043b\u043e\u0432\u043e\u0439, \u043f\u043b\u044e\u0441 \u0442\u043e\u043a\u0435\u043d\u044b \u0431\u043b\u043e\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u0438\u0434\u0435\u0442\u044c \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430 non\u2011causally\u00a0\u2014 \u0443\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0431\u0438\u043b\u0434\u0435\u0440 \u0434\u0435\u043b\u0430\u043b \u0431\u043b\u043e\u043a \u043a\u0430\u0443\u0437\u0430\u043b\u044c\u043d\u044b\u043c.\u0410\u00a0\u0442\u0440\u0435\u0442\u0438\u0439\u00a0\u2014 \u0433\u043b\u0430\u0432\u043d\u044b\u0439. \u0423\u043d\u0430\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043a\u0435\u0440\u043d\u0435\u043b \u0441\u044d\u043c\u043f\u043b\u0438\u043b \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d\u044b \u0438\u0437\u00a0\u0441\u043b\u043e\u0442\u043e\u0432 \u0431\u043b\u043e\u043a\u0430\u00a01..5, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u00a0\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441 \u0441\u044d\u043c\u043f\u043b\u0438\u0442 \u0432\u0441\u0435 \u0441\u043b\u043e\u0442\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441\u00a0\u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e. \u0421\u043b\u043e\u0442 0\u00a0\u2014 \u044d\u0442\u043e \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0430\u00a0\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 next\u2011token \u043f\u043e\u0437\u0438\u0446\u0438\u0438; \u0441\u043b\u043e\u0442 1\u00a0\u2014 noise\u2011\u0442\u043e\u043a\u0435\u043d (\u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d\u2011\u0437\u0430\u0433\u043b\u0443\u0448\u043a\u0430\u00a0128799, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0434\u0440\u0430\u0444\u0442 \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0435\u0449\u0451 \u043d\u0435\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0431\u043b\u043e\u043a\u0430) \u043d\u0430\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0447\u0435\u0440\u0435\u0437 \u043e\u0434\u043d\u0443. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d \u043c\u044b \u0431\u0440\u0430\u043b\u0438 \u0438\u0437\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u0430, \u0436\u0438\u0432\u0443\u0449\u0435\u0433\u043e \u043d\u0430\u00a0\u0434\u0432\u0430 RoPE\u2011\u0448\u0430\u0433\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e. \u0424\u0438\u043a\u0441\u00a0\u2014 \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0441\u0434\u0432\u0438\u0433 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 (patches\/vllm\/spec_decode\/dspark.py#L251):# proposer, \u0432\u044b\u0431\u043e\u0440 \u0441\u043b\u043e\u0442\u043e\u0432 \u0434\u043b\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433\u0430 \u0434\u0440\u0430\u0444\u0442\u0430:token_indices_to_sample = token_indices_to_sample &#8212; 1  # \u0432\u044b\u0445\u043e\u0434 k \u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u043b\u043e\u0442 k, \u0430 \u043d\u0435 k+1\u042d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430\u00a0debug\u2011\u043f\u0440\u043e\u0433\u043e\u043d\u0435: acceptance \u043f\u043e\u0437\u0438\u0446\u0438\u0438 0\u00a0\u2014\u00a00.41\u00a0\u2192 0.74\u00a0(\u0434\u043b\u044f \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u043e\u0439 \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u0438 DeepSeek \u0440\u0435\u043f\u043e\u0440\u0442\u0438\u0442\u0441\u044f ~0.76, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0448\u043b\u0438 \u0434\u043e\u00a0\u0435\u0451 \u0443\u0440\u043e\u0432\u043d\u044f: 0.74\u00a0\u2014 \u043f\u0438\u043a, \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d 0.62\u20130.74, \u0441\u043c. \u043d\u0438\u0436\u0435), \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430\u00a0\u2014\u00a01.75\u00a0\u2192 2.5, throughput\u00a0\u2014\u00a026\u00a0\u2192 36\u00a0tok\/s. \u0412\u00a0\u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u043c steady\u2011state \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043d\u0438\u0436\u0435 single\u2011stream \u0446\u0438\u0444\u0440\u0430\u00a0\u2014 32.4\u00a0tok\/s: debug\u2011\u043f\u0440\u043e\u0433\u043e\u043d \u043a\u043e\u0440\u043e\u0447\u0435 \u0438 \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439 \u043d\u0430\u0434\u043e \u0447\u0438\u0441\u043b\u0430 \u0438\u0437\u00a0\u0442\u0430\u0431\u043b\u0438\u0446\u044b. \u041e\u0434\u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0430. \u0414\u043e\u00a0\u043d\u0435\u0451 \u043c\u044b \u0443\u0441\u043f\u0435\u043b\u0438 \u0432\u0441\u0435\u0440\u044c\u0451\u0437 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b \u00ab\u044d\u0442\u043e \u0441\u0442\u0435\u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 fp8\/fp4\u00bb \u0438 \u00ab\u044d\u0442\u043e \u043d\u0435\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432 EAGLE \u0438 DSpark\u00bb\u00a0\u2014 \u043e\u0431\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c\u0438, \u0447\u0442\u043e\u00a0\u0431\u0430\u0433\u0444\u0438\u043a\u0441 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b.\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u0447\u0438\u043d\u0438\u0442\u044c \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u00a0\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439: \u0432\u00a0sparse\u2011MLA\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u0435 \u0434\u0432\u0430 \u0431\u0438\u043b\u0434\u0435\u0440\u0430 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043f\u043e\u0440\u043e\u0433 decode\/prefill\u2011\u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u043f\u043e\u2011\u0440\u0430\u0437\u043d\u043e\u043c\u0443 (parallel drafting \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u0443\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437\u00a0\u043d\u0438\u0445), \u0438 chunked\u2011prefill \u043a\u0443\u0441\u043e\u043a \u0432 7\u201311\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0439 \u0441\u00a0verify\u2011\u043f\u0440\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u0440\u043e\u043d\u044f\u043b \u0434\u0432\u0438\u0436\u043e\u043a \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u0435\u0439. \u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043e\u0440\u043e\u0433\u0430\u00a0\u2014 8\/8\u00a0\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0442\u043e\u043a\u043e\u0432 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e, \u043d\u043e\u043b\u044c \u043a\u0440\u0430\u0448\u0435\u0439.\u041f\u043e\u043b\u043d\u044b\u0439 \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u044b\u0439 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0434\u0438\u0444\u0444 \u043f\u0440\u043e\u0442\u0438\u0432 \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u0430 DeepSeek \u0441\u043d\u044f\u0442\u044c \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e: \u0438\u0445 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0441\u043e\u0431\u0440\u0430\u043d \u043d\u0430\u00a0tilelang\u2011\u043a\u0435\u0440\u043d\u0435\u043b\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u00a0SM121\u00a0\u043d\u0435\u00a0\u0431\u0438\u043b\u0434\u044f\u0442\u0441\u044f,\u00a0\u2014 \u043e\u0440\u0430\u043a\u0443\u043b\u0430 \u043d\u0430\u00a0\u044d\u0442\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442. \u041c\u044b \u044d\u0442\u043e \u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u0435\u043c \u043f\u0440\u044f\u043c\u043e, \u0430\u00a0\u043d\u0435\u00a0\u0437\u0430\u044f\u0432\u043b\u044f\u0435\u043c \u043f\u0430\u0440\u0438\u0442\u0435\u0442: \u043f\u043e\u0441\u043b\u0435 \u0431\u0430\u0433\u0444\u0438\u043a\u0441\u0430 acceptance \u0432\u044b\u0448\u043b\u0430 \u043d\u0430\u00a0\u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0441\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c, \u0437\u043d\u0430\u0447\u0438\u0442 \u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435\u00a0\u2014 \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u0435\u0441\u0442\u044c\u00a0\u2014 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435.\u041c\u0435\u0442\u043e\u0434\u0438\u043a\u0430: \u0447\u0435\u043c \u0438 \u043a\u0430\u043a\u00a0\u043c\u0435\u0440\u044f\u0435\u043c\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043b\u043e\u0432\u0430\u0440\u0438\u043a \u043d\u0430\u00a0\u043f\u044f\u0442\u044c \u0441\u0442\u0440\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u043b\u044c\u0448\u0435 \u0447\u0438\u0442\u0430\u043b\u043e\u0441\u044c \u0431\u0435\u0437\u00a0\u0441\u043f\u043e\u0442\u044b\u043a\u0430\u043d\u0438\u0439:acceptance\u00a0\u2014 \u0434\u043e\u043b\u044f \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u0440\u0433\u0435\u0442\u2011\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043d\u044f\u043b\u0430 \u043f\u0440\u0438\u00a0\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 (\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c \u0431\u043b\u043e\u043a\u0430: pos0\u00a0\u2014 \u043f\u0435\u0440\u0432\u044b\u0439 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u0433\u043b\u0443\u0431\u044c);\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0430\u044f \u0434\u043b\u0438\u043d\u0430\u00a0\u2014 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u00a0\u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u0434\u0438\u043d verify\u2011\u0448\u0430\u0433 (\u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0435 \u0434\u0440\u0430\u0444\u0442\u2011\u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043b\u044e\u0441 \u043e\u0434\u0438\u043d \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0439);single\u2011stream\u00a0\u2014 \u043e\u0434\u0438\u043d \u0437\u0430\u043f\u0440\u043e\u0441 \u043a\u00a0\u0434\u0432\u0438\u0436\u043a\u0443, \u0431\u0435\u0437\u00a0\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u0438;aggregate\u00a0\u2014 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 throughput \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0442\u043e\u043a\u0430\u043c;no\u2011spec\u00a0\u2014 \u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0446\u0438\u044f \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u0430, \u0433\u043e\u043b\u0430\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f (\u043d\u0430\u0448 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c).\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0446\u0438\u0444\u0440\u044b\u00a0\u2014 \u043a\u0430\u043a\u00a0\u043e\u043d\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e\u00a0\u0437\u0434\u0435\u0441\u044c \u043b\u0435\u0433\u0447\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u0432\u0440\u0430\u0442\u044c \u0441\u0430\u043c\u043e\u043c\u0443 \u0441\u0435\u0431\u0435.Throughput \u0432\u0435\u0437\u0434\u0435\u00a0\u2014 \u044d\u0442\u043e\u00a0usage.completion_tokens \/ wall_time, non\u2011streaming. \u0421\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u044b \u043f\u043e\u00a0SSE\u2011\u0447\u0430\u043d\u043a\u0430\u043c \u0441\u0442\u0440\u0438\u043c\u0430 \u043d\u0435\u043b\u044c\u0437\u044f: \u043f\u0440\u0438\u00a0\u0441\u043f\u0435\u043a\u0443\u043b\u044f\u0442\u0438\u0432\u043d\u043e\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u043d\u0433\u0435 \u0432\u00a0\u043e\u0434\u0438\u043d \u0447\u0430\u043d\u043a \u043f\u0440\u0438\u0435\u0437\u0436\u0430\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0438 \u0441\u0447\u0451\u0442\u0447\u0438\u043a \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2.5\u00a0\u0440\u0430\u0437\u0430. \u041c\u044b \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u043b\u0438 \u043d\u0430\u00a0\u044d\u0442\u0438 \u0433\u0440\u0430\u0431\u043b\u0438 \u0435\u0449\u0451 \u0432\u00a0\u0447\u0430\u0441\u0442\u0438 5\u00a0(\u0442\u0435 \u0441\u0430\u043c\u044b\u0435 \u0444\u0430\u043d\u0442\u043e\u043c\u043d\u044b\u0435 \u00ab18\u00a0tok\/s\u00bb) \u0438 \u0441\u00a0\u0442\u0435\u0445 \u043f\u043e\u0440 SSE\u2011\u0441\u0447\u0451\u0442 \u043d\u0435\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432\u043e\u043e\u0431\u0449\u0435. Acceptance \u0431\u0435\u0440\u0451\u043c \u0438\u0437\u00a0\u0441\u0442\u0440\u043e\u043a\u0438\u00a0SpecDecoding metrics\u00a0\u0432\u00a0\u043b\u043e\u0433\u0430\u0445 vLLM \u0437\u0430\u00a0\u0442\u0430\u0439\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043e\u043a\u043d\u043e. \u0414\u0432\u0438\u0436\u043e\u043a \u043f\u0440\u043e\u0433\u0440\u0435\u0442 (\u226512\u00a0\u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 warmup, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b,\u00a0\u2014 \u0445\u043e\u043b\u043e\u0434\u043d\u044b\u0439 \u043a\u044d\u0448 \u0440\u0430\u0437\u0434\u0443\u0432\u0430\u0435\u0442 \u043f\u0435\u0440\u0432\u044b\u0439 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0439 \u0437\u0430\u043c\u0435\u0440). \u041e\u0434\u0438\u043d \u043a\u043b\u0430\u0441\u0441 \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432, \u043e\u0434\u0438\u043d \u0434\u0432\u0438\u0436\u043e\u043a, \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442\u00a0\u0436\u0435 \u0434\u0432\u0443\u0445\u043d\u043e\u0434\u043e\u0432\u044b\u0439 \u0434\u0435\u043f\u043b\u043e\u0439\u00a0\u2014 \u0432\u0441\u0435 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445.\u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043f\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u0437\u0430\u043c\u0435\u0440\u044b:fp8-\u0431\u0438\u043b\u0434\u00a0\u2014 \u043d\u0430\u0448\u0438 \u043f\u0430\u0442\u0447\u0438 \u043f\u043e\u0432\u0435\u0440\u0445 community\u2011\u0444\u043e\u0440\u043a\u0430 jasl (PR #41834); \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043e\u0431\u0440\u0430\u0437\u00a0aidendle94\/sparkrun-vllm-ds4-gb10:production-ready\u00a0(vLLM 0.21.1rc1.dev339), digest\u00a0sha256:f869281d869b2a1d418cade7dcbabe65216cb8f54891d5e2e50718c3dc8b630f; \u043f\u0430\u0442\u0447\u2011\u0441\u0435\u0442\u00a0\u2014 \u0432\u00a0\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438.NVFP4-\u0431\u0438\u043b\u0434\u00a0\u2014 byte\u2011identical \u043e\u0431\u0440\u0430\u0437 tonyd2wild Stage\u2011C, \u043a\u043e\u043c\u043c\u0438\u0442\u00a089bb82b; \u0431\u0430\u0437\u0430\u00a0ghcr.io\/bjk110\/vllm-spark, digest\u00a0sha256:d8492e7677cf1b9aaa3344e0e6865efc468454013eee5ebabac85be90af027be; \u0435\u0433\u043e\u00a0\u0436\u0435 \u0431\u0435\u043d\u0447\u2011\u0445\u0430\u0440\u043d\u0435\u0441\u0441 (bench_concurrent.py\u00a0\/\u00a0staggered_bench.py) \u0431\u0435\u0437\u00a0\u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439.\u0427\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u00a0\u2014 HF snapshot\u00a0913f0657a874f76844e2e91cbe706dbcaceeb6d7.\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u0435\u0440\u044f\u043b\u0438:\u00a0C16-static\u00a0\u2014 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430 (\u0440\u0430\u0437\u0431\u0440\u043e\u0441 282\u2013330); c12\u00a0\u2014 3\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u0430; \u043a\u0440\u0438\u0432\u0430\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u044b\u00a0\u2014 1\u00a0\u043f\u0440\u043e\u0433\u043e\u043d \u043d\u0430\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u0443 \u043d\u0430\u00a0\u043f\u0440\u043e\u0433\u0440\u0435\u0442\u043e\u043c&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-486252","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/486252","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=486252"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/486252\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=486252"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=486252"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=486252"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}