{"id":497543,"date":"2026-10-06T10:16:03","date_gmt":"2026-10-06T10:16:03","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=497543"},"modified":"-0001-11-30T00:00:00","modified_gmt":"2026-10-06T10:16:03","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=497543","title":{"rendered":"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0432\u00a0\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 LLM"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/p>\n<p>\u0422\u043e\u043a\u0435\u043d\u00a0\u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u0418\u0437\u00a0hidden state \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 attention \u0441\u0442\u0440\u043e\u0438\u0442 query, key \u0438 value. Query \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441\u00a0\u00ab\u0447\u0442\u043e \u044f \u0438\u0449\u0443\u00bb, <\/p>\n<p>Key\u00a0\u2014\u00a0\u201c\u0447\u0442\u043e \u044f \u0441\u043e\u0434\u0435\u0440\u0436\u0443\u201d, <\/p>\n<p>Value\u00a0\u2014\u00a0\u201c\u0447\u0442\u043e \u044f \u043f\u0435\u0440\u0435\u0434\u0430\u043c \u0434\u0430\u043b\u044c\u0448\u0435\u201d. \u0421\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 query \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 key \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435; \u043f\u043e\u0441\u043b\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u0430\u0441\u043a\u0438 \u0438 softmax (\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438\u0437\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b) \u044d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0432\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f value. \u0412\u00a0multi\u2011head attention \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e: \u0440\u0430\u0437\u043d\u044b\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u043c\u043e\u0433\u0443\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0435, \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u0434\u0430\u043b\u044c\u043d\u0438\u0445 \u0441\u0441\u044b\u043b\u043a\u0430\u0445 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0438\u043f\u0430\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439. \u0427\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u043b\u043e \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u00a0\u2014 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435:<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/16e\/fa6\/c01\/16efa6c01f90fdabd89294678dbadce8.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/16e\/fa6\/c01\/16efa6c01f90fdabd89294678dbadce8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/16e\/fa6\/c01\/16efa6c01f90fdabd89294678dbadce8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0414\u043b\u044f\u00a0\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c BF16\u00a0= 2\u00a0\u0431\u0430\u0439\u0442\u0430 \u043d\u0430\u00a0\u044d\u043b\u0435\u043c\u0435\u043d\u0442. \u042d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: weights, activations, KV cache \u0438 \u0441\u0430\u043c\u0438 attention kernels \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c FP8, FP4, INT8INT4\u00a0\u0438 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0447\u0435\u0442\u044b \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0443\u0436\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u043a\u00a0\u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u0430\u00a0\u043d\u0435\u00a0\u043a\u0430\u043a\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043b\u044e\u0431\u043e\u0439 LLM.<\/p>\n<p>\u0423\u00a0\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 LLM \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0443\u0437\u043a\u0438\u0445 \u043c\u0435\u0441\u0442\u0430, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441\u00a0attention:<\/p>\n<ol>\n<li>\n<p><strong>KV cache \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u0435\u043a\u043e\u0434\u0430.<\/strong>\u00a0\u0427\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u043b\u044f\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0430. MQA, GQA, MLA \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0445\u0435\u043c\u044b \u0441\u0436\u0430\u0442\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u043e\u0431\u044a\u0451\u043c \u044d\u0442\u043e\u0433\u043e \u043a\u044d\u0448\u0430 \u0438 \u0441\u043d\u0438\u0436\u0430\u044e\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430\u00a0\u043f\u0430\u043c\u044f\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p><strong>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/strong>\u00a0\u0412\u00a0\u043f\u043e\u043b\u043d\u043e\u043c attention \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438. Local, block\u2011sparse \u0438 learned sparse attention \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e \u0442\u0430\u043a\u0438\u0445 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c GPU kernel.<\/strong>\u00a0\u0414\u0430\u0436\u0435 \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430\u00a0\u0436\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 attention \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u00a0\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e. FlashAttention, cuDNN SDPA, FlashInfer \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 kernels \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442\u00a0\u043b\u0438\u0448\u043d\u0435\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0436\u0434\u0443 HBM (High Bandwidth Memory) \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u0438 \u0437\u0430\u00a0\u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<\/ol>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3ac\/f1b\/66a\/3acf1b66afcebcf5efacdf17525a4321.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3ac\/f1b\/66a\/3acf1b66afcebcf5efacdf17525a4321.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3ac\/f1b\/66a\/3acf1b66afcebcf5efacdf17525a4321.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e\u0441\u0442\u0430:\u00a0<strong>\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f LLM \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u043e\u0439 \u00ab\u043d\u043e\u0432\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 attention\u00bb. \u041e\u043d\u0430 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u0438\u0437\u00a0\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f KV, \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u0430 \u0438 low\u2011level \u0441\u043e\u0444\u0442\u0430.<\/strong><\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4a4\/d4a\/d8a\/4a4d4ad8a81b8665d5aeeac2a0849f85.png\" width=\"1089\" height=\"770\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4a4\/d4a\/d8a\/4a4d4ad8a81b8665d5aeeac2a0849f85.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4a4\/d4a\/d8a\/4a4d4ad8a81b8665d5aeeac2a0849f85.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u044f<\/h3>\n<p>\u0412\u00a0\u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0430\u0445 \u043e\u0431\u00a0attention \u0447\u0430\u0441\u0442\u043e \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0441\u0432\u044f\u0437\u0435\u0439, \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 GPU kernel. \u0418\u0437\u2011\u0437\u0430 \u044d\u0442\u043e\u0433\u043e FlashAttention \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u043c \u0432\u0438\u0434\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, RoPE\u00a0\u2014 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c, \u0430\u00a0PagedAttention\u00a0\u2014 \u0437\u0430\u043c\u0435\u043d\u043e\u0439 Transformer. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0440\u043e\u0432\u043d\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u0423\u0440\u043e\u0432\u0435\u043d\u044c<\/p>\n<\/th>\n<th>\n<p>\u0427\u0442\u043e\u00a0\u043e\u043d \u0440\u0435\u0448\u0430\u0435\u0442<\/p>\n<\/th>\n<th>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440\u044b<\/p>\n<\/th>\n<th>\n<p>\u041d\u0430\u00a0\u0447\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0433\u043e\u043b\u043e\u0432<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u043a\u00a0\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f Q, K \u0438 V<\/p>\n<\/td>\n<td>\n<p align=\"left\">MHA, MQA, GQA, MLA<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0440\u0430\u0437\u043c\u0435\u0440 KV cache, bandwidth \u0434\u0435\u043a\u043e\u0434\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041f\u0430\u0442\u0442\u0435\u0440\u043d \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">Full, sliding window, block sparse, learned top k<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0430 \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Kernel<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u043a\u00a0\u043e\u0434\u043d\u0430 \u0438 \u0442\u0430\u00a0\u0436\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0GPU<\/p>\n<\/td>\n<td>\n<p align=\"left\">FlashAttention, cuDNN SDPA, SageAttention<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, HBM traffic, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041f\u043e\u0437\u0438\u0446\u0438\u0438<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u043a\u00a0\u0432 Q \u0438 K \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">RoPE, ALiBi, NoPE, iRoPE<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u042d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u044f \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>PagedAttention \u0442\u043e\u0436\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c, \u043d\u043e\u00a0\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0435: \u044d\u0442\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 KV cache \u0432\u00a0serving engine. \u041e\u043d \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0434\u0435\u043b\u0438\u0442\u044c \u0431\u043b\u043e\u043a\u0438 \u043a\u044d\u0448\u0430 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438, \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0443 attention \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ed3\/128\/1e9\/ed31281e963e7a726627e462e8459557.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ed3\/128\/1e9\/ed31281e963e7a726627e462e8459557.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ed3\/128\/1e9\/ed31281e963e7a726627e462e8459557.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043d\u0430<\/h3>\n<p>\u0412\u00a0causal self attention \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u0442\u0440\u043e\u0438\u0442 query \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u0441\u00a0keys \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 softmax \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 values. \u041c\u0430\u0441\u043a\u0430 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u00a0\u0431\u0443\u0434\u0443\u0449\u0435\u0435.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Attention}(Q, K, V) = \\text{softmax}\\!\\left(\\frac{QK^T}{\\sqrt{d_{head}}} + \\text{causal\\_mask}\\right)V\" alt=\"\\text{Attention}(Q, K, V) = \\text{softmax}\\!\\left(\\frac{QK^T}{\\sqrt{d_{head}}} + \\text{causal\\_mask}\\right)V\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/991\/fa2\/654\/991fa2654ac427bd4b005ba2a600ee6a.svg\" width=\"477\" height=\"48\" data-width=\"57.501\" data-height=\"5.741\" data-vertical-align=\"-2.308\" style=\"width: 57.501ex; height: 5.741ex; vertical-align: -2.308ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/991\/fa2\/654\/991fa2654ac427bd4b005ba2a600ee6a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/991\/fa2\/654\/991fa2654ac427bd4b005ba2a600ee6a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u0438\u043d\u044b n \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 n \u043d\u0430\u00a0n \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u041e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0430 \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u0430\u043a\u00a0O(n\u00b2). \u0412\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0430 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c \u0443\u0436\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u0440\u0430\u0441\u0442\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0441\u00a0\u0434\u043b\u0438\u043d\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438. \u0421\u0430\u043c attention \u043d\u0430\u00a0\u0434\u0435\u043a\u043e\u0434\u0435 \u0447\u0430\u0441\u0442\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u00a0\u0432\u00a0FLOPS, \u0430\u00a0\u0432\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 KV cache \u0438\u0437\u00a0\u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u0423\u0434\u043e\u0431\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u044d\u0448\u0430 \u0434\u043b\u044f\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{KV bytes} \\approx 2 \\times \\text{layers} \\times \\text{tokens} \\times \\text{kv\\_heads} \\times \\text{head\\_dim} \\times \\text{bytes\\_per\\_element}\" alt=\"\\text{KV bytes} \\approx 2 \\times \\text{layers} \\times \\text{tokens} \\times \\text{kv\\_heads} \\times \\text{head\\_dim} \\times \\text{bytes\\_per\\_element}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/02e\/e63\/6e4\/02ee636e48736b960eb8e633d4d4ca0a.svg\" width=\"633\" height=\"17\" data-width=\"76.248\" data-height=\"2.032\" data-vertical-align=\"-0.462\" style=\"width: 76.248ex; height: 2.032ex; vertical-align: -0.462ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/02e\/e63\/6e4\/02ee636e48736b960eb8e633d4d4ca0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/02e\/e63\/6e4\/02ee636e48736b960eb8e633d4d4ca0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c 2\u00a0\u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 K \u0438 V. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 32\u00a0\u0441\u043b\u043e\u044f\u0445, 128K \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 8\u00a0KV \u0433\u043e\u043b\u043e\u0432\u0430\u0445, head dimension 128\u00a0\u0438 BF16\u00a0\u043a\u044d\u0448 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 16\u00a0GiB. \u0415\u0441\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c 8\u00a0KV \u0433\u043e\u043b\u043e\u0432 \u043d\u0430 32\u00a0\u043f\u0440\u0438\u00a0\u043f\u0440\u043e\u0447\u0438\u0445 \u0440\u0430\u0432\u043d\u044b\u0445, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 64\u00a0GiB. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u043e query heads \u0441\u0430\u043c\u043e \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u00a0\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 serving: \u0432\u0430\u0436\u0435\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u00a0<code>num_key_value_heads<\/code>.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e05\/074\/2cd\/e050742cd6af6d9c02b9e021d69e8db2.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e05\/074\/2cd\/e050742cd6af6d9c02b9e021d69e8db2.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e05\/074\/2cd\/e050742cd6af6d9c02b9e021d69e8db2.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>Self attention, causal attention \u0438 cross attention<\/h3>\n<p>Self attention \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0Q, K \u0438 V \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u0437\u00a0\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u00a0\u0431\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043a\u0435\u043d \u0432\u0438\u0434\u0438\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0441\u043b\u0435\u0432\u0430 \u0438 \u0441\u043f\u0440\u0430\u0432\u0430, \u0438 causal, \u043a\u043e\u0433\u0434\u0430 \u043c\u0430\u0441\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0448\u043b\u043e\u0435 \u0438 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e. \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 LLM \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 causal self attention: \u0438\u043d\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u043e\u00a0\u0431\u044b \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b.<\/p>\n<p>Cross attention \u0431\u0435\u0440\u0435\u0442 queries \u0438\u0437\u00a0\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0430\u00a0keys \u0438 values\u00a0\u2014 \u0438\u0437\u00a0\u0434\u0440\u0443\u0433\u043e\u0439. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440\u00a0\u2014 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a\u00a0\u0432\u044b\u0445\u043e\u0434\u0430\u043c \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430. \u0412\u00a0\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 cross attention \u043c\u043e\u0436\u0435\u0442 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0441\u00a0\u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043b\u0438\u00a0\u0430\u0443\u0434\u0438\u043e\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u042d\u0442\u043e \u043d\u0435\u00a0\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442 MHA, GQA \u0438\u043b\u0438\u00a0MLA: cross attention \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a Q, K \u0438 V, \u0430\u00a0MHA, GQA \u0438 MLA\u00a0\u2014 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u0433\u043e\u043b\u043e\u0432 \u0438 \u043a\u044d\u0448\u0430.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/93f\/5bf\/8e6\/93f5bf8e6a18e7a056ed7787a93389a7.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/93f\/5bf\/8e6\/93f5bf8e6a18e7a056ed7787a93389a7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/93f\/5bf\/8e6\/93f5bf8e6a18e7a056ed7787a93389a7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>Multi Head Attention<\/h3>\n<p>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 Multi Head Attention, \u0438\u043b\u0438\u00a0MHA, \u0434\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 Q, K \u0438 V \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438. \u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u043b\u043e\u0432 \u043c\u043e\u0433\u0443\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438: \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441, \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043c\u0435\u043d, \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043a\u043e\u0434\u0430. \u042d\u0442\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u0445\u0435\u043c\u0430, \u043d\u043e\u00a0\u043a\u0430\u0436\u0434\u0430\u044f KV \u0433\u043e\u043b\u043e\u0432\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u043a\u044d\u0448.<\/p>\n<p>\u0421\u0438\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 MHA\u00a0\u2014 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043c\u0435\u0436\u0434\u0443 \u0433\u043e\u043b\u043e\u0432\u0430\u043c\u0438. \u0421\u043b\u0430\u0431\u0430\u044f\u00a0\u2014 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 KV cache \u0438 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 memory bandwidth \u043f\u0440\u0438\u00a0\u0434\u0435\u043a\u043e\u0434\u0435. \u0412\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438\u043b\u0438\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e, \u043f\u0440\u0430\u0432\u0434\u0430 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u043e\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044d\u0442\u043e\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e\u0439.<\/p>\n<h3>Multi Query \u0438 Grouped Query Attention<\/h3>\n<h4>MQA<\/h4>\n<p>Multi Query Attention \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043d\u043e\u0433\u043e query heads, \u043d\u043e\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0443 K \u0438 V. \u041a\u044d\u0448 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u043e\u00a0\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437, \u0432\u043e\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u043b\u043e query heads \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0438\u0441\u043b\u0430 KV heads. \u0414\u0435\u043a\u043e\u0434 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u043f\u043e\u00a0bandwidth, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u0434\u043d\u0430 \u043e\u0431\u0449\u0430\u044f KV \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u0443\u0434\u0448\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0433\u043e\u043b\u043e\u0432.<\/p>\n<h4>GQA<\/h4>\n<p>Grouped Query Attention\u00a0\u2014 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 MHA \u0438 MQA. Query heads \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430\u00a0\u0433\u0440\u0443\u043f\u043f\u044b, \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0432\u043e\u044e KV \u0433\u043e\u043b\u043e\u0432\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 32\u00a0query heads \u0438 8\u00a0KV heads \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u0447\u0435\u0442\u044b\u0440\u0435 query heads \u043d\u0430\u00a0\u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0443 K \u0438 V. GQA \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a\u00a0MHA, \u043d\u043e\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 MQA \u043f\u043e\u00a0\u043a\u044d\u0448\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 GQA \u0441\u0442\u0430\u043b \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u043c \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u043e\u043c \u0434\u043b\u044f\u00a0\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 LLM, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u044b \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.<\/p>\n<p><strong>\u0412\u0430\u0436\u043d\u043e: MQA \u0438 GQA \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e KV\u2011\u0433\u043e\u043b\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0447\u0438\u0441\u043b\u043e query\u2011\u0433\u043e\u043b\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u00a0prefill \u043a\u0430\u0436\u0434\u0430\u044f query\u2011head \u0432\u0441\u0451 \u0435\u0449\u0451 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c attention scores \u0434\u043b\u044f\u00a0\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439, \u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c full attention \u043e\u0442\u00a0\u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f. \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 MQA \u0438 GQA\u00a0\u2014 \u043c\u0435\u043d\u044c\u0448\u0438\u0439 KV cache \u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u043e\u0431\u044a\u0451\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 GPU \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e decode.<\/strong><\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fbe\/e11\/cd8\/fbee11cd82235387bfefb4367069f6f1.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/fbe\/e11\/cd8\/fbee11cd82235387bfefb4367069f6f1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fbe\/e11\/cd8\/fbee11cd82235387bfefb4367069f6f1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>Multi Head Latent Attention<\/h3>\n<p>Multi Head Latent Attention, \u0438\u043b\u0438\u00a0MLA, (\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0432\u00a0DeepSeek V2). \u0412\u043c\u0435\u0441\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u043d\u044b\u0445 K \u0438 V \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u043e\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u041d\u0443\u0436\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u043b\u0438\u00a0\u0430\u043b\u0433\u0435\u0431\u0440\u0430\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0433\u043b\u043e\u0449\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 query \u0438 output \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u0441\u0436\u0430\u0442\u043e\u0439 content \u0447\u0430\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b RoPE (Rotary Positional Embedding, \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c attention,\u00a0<strong>\u0432\u00a0\u043a\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0441\u0442\u043e\u044f\u0442 \u0442\u043e\u043a\u0435\u043d\u044b<\/strong>\u00a0\u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u043d\u0438 \u0434\u0440\u0443\u0433 \u043e\u0442\u00a0\u0434\u0440\u0443\u0433\u0430.) \u043d\u0435\u00a0\u0440\u0430\u0437\u0440\u0443\u0448\u0438\u043b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f.<\/p>\n<p>\u0418\u0434\u0435\u044f \u0433\u043b\u0443\u0431\u0436\u0435, \u0447\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e KV heads. GQA \u0434\u0435\u043b\u0438\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 K \u0438 V \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 query. MLA \u0443\u0447\u0438\u0442 \u043e\u0431\u0449\u0438\u0439 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u0434, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0412\u00a0\u043e\u0442\u0447\u0435\u0442\u0435 DeepSeek V2\u00a0\u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 KV cache \u043d\u0430 93,3% \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u0440\u043e\u0441\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e generation throughput \u0434\u043e 5,76\u00a0\u0440\u0430\u0437\u0430. \u042d\u0442\u0438 \u0446\u0438\u0444\u0440\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0438 \u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0426\u0435\u043d\u0430 MLA\u00a0\u2014 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, \u043e\u0441\u043e\u0431\u044b\u0435 kernel paths \u0438 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u00a0hardware balance. \u0421\u044d\u043a\u043e\u043d\u043e\u043c\u043b\u0435\u043d\u043d\u044b\u0435 \u0431\u0430\u0439\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u041d\u0430\u00a0bandwidth limited \u0434\u0435\u043a\u043e\u0434\u0435 \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043e\u0431\u043c\u0435\u043d; \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c GPU \u0438\u043b\u0438\u00a0\u043f\u0440\u0438\u00a0\u0441\u043b\u0430\u0431\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0431\u0443\u0434\u0435\u0442 \u043d\u0438\u0436\u0435. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0inference engine, tensor parallelism \u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u043e\u043c.<\/p>\n<h3>\u041f\u043e\u043b\u043d\u043e\u0435, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/64b\/1d2\/c20\/64b1d2c203fe03ce7d50bfb490ce013a.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/64b\/1d2\/c20\/64b1d2c203fe03ce7d50bfb490ce013a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/64b\/1d2\/c20\/64b1d2c203fe03ce7d50bfb490ce013a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>Full attention<\/h4>\n<p>\u041f\u043e\u043b\u043d\u043e\u0435 causal attention \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a\u043e \u0432\u0441\u0435\u0439 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438. \u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0438 \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0434\u043b\u044f\u00a0retrieval \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e\u00a0\u0435\u0433\u043e \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e \u043d\u0430\u00a0\u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0435. FlashAttention \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u0435\u0435 \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u00a0\u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 O(n\u00b2) \u0447\u0438\u0441\u043b\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439.<\/p>\n<h4>Sliding window \u0438 local attention<\/h4>\n<p>\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c\u0438 w \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c\u0438. \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f O(nw), \u0430\u00a0\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u044d\u0448 \u043c\u043e\u0436\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c \u043e\u043a\u043d\u043e\u043c. \u0427\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0435\u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u043a\u043d\u0430, \u043d\u043e\u00a0\u043f\u0440\u044f\u043c\u043e\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u0434\u0430\u043b\u0435\u043a\u043e\u043c\u0443 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0443 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f. Mistral 7B \u0441\u043e\u0447\u0435\u0442\u0430\u043b GQA \u0438 sliding window attention: \u043e\u0434\u043d\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0430 KV cost, \u0432\u0442\u043e\u0440\u0430\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u043b\u0430 attention span.<\/p>\n<p>\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0\u2014 \u0447\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u0434\u0435\u0448\u0435\u0432\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430\u00a0\u0440\u0435\u0434\u043a\u0438\u0435 full attention \u0441\u043b\u043e\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043b\u044f\u00a0\u043a\u043e\u0434\u0430, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0433\u0434\u0435 \u043c\u043d\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043d\u043e\u00a0\u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u0435\u043d \u0434\u0430\u043b\u044c\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434.<\/p>\n<h4>\u0424\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 sparse attention<\/h4>\n<p>Block sparse attention \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u0451\u0442, \u043d\u0430\u00a0\u043a\u0430\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 query. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0438\u0434\u0435\u0442\u044c \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u043d\u043e, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u042d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439, \u043d\u043e\u00a0\u0442\u0430\u043a\u043e\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u043d\u0435\u00a0\u0443\u043c\u0435\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0436\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u00a0\u0441\u043c\u044b\u0441\u043b\u0443. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 GPU\u2011kernel \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0437\u0430\u043f\u0440\u0435\u0449\u0451\u043d\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0438 \u0447\u0438\u0442\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u043c\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u0430\u043c\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0430\u00a0\u043d\u0435\u00a0\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0445 \u0447\u0442\u0435\u043d\u0438\u0439.<\/p>\n<h4>\u041e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0435 top k sparse attention<\/h4>\n<p>DeepSeek Sparse Attention \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043b\u0435\u0433\u043a\u0438\u0439 indexer, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 top k \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432 \u0434\u043b\u044f\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e attention. \u0412\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0sliding window, \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u043b\u0435\u043a\u0438\u0439 \u0442\u043e\u043a\u0435\u043d \u043f\u043e\u00a0\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e. \u041f\u0440\u0438\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c k \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c\u00a0<strong>Main Branch<\/strong>\u00a0\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0439 \u043e\u0442\u00a0\u043f\u043e\u043b\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u044b \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e \u043d\u0435\u00a0\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0435 O(nk) \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0433\u043e \u0441\u043b\u043e\u044f: indexer \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u043d\u0430\u0439\u0442\u0438 \u043a\u0430\u043d\u0434\u0438\u0434\u0430\u0442\u043e\u0432, \u0430\u00a0top\u2011k selection \u0438 \u043d\u0435\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0447\u0442\u0435\u043d\u0438\u044f KV \u043c\u043e\u0433\u0443\u0442 \u0441\u0430\u043c\u0438 \u0441\u0442\u0430\u0442\u044c bottleneck.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d45\/8bd\/20a\/d458bd20ac7b52408e3873b6feee521b.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d45\/8bd\/20a\/d458bd20ac7b52408e3873b6feee521b.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d45\/8bd\/20a\/d458bd20ac7b52408e3873b6feee521b.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>MiniMax Sparse Attention (MSA) \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 learned sparse attention \u043f\u043e\u0432\u0435\u0440\u0445 GQA. \u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u043e\u043c\u0443 query \u043f\u0440\u043e\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439\u00a0<strong>indexer<\/strong>\u00a0\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u0438\u0441\u0442\u043e\u0440\u0438\u0438.<\/p>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0431\u043b\u043e\u043a\u0438 \u043f\u043e 128\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0414\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 GQA\u2011\u0433\u0440\u0443\u043f\u043f\u044b indexer \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u00a0<strong>top-16\u00a0\u0431\u043b\u043e\u043a\u043e\u0432<\/strong>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0432\u0435\u0442\u043a\u0430 attention \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 2048\u00a0KV\u2011\u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442\u00a0\u043e\u0431\u0449\u0435\u0439 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u041b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u0431\u043b\u043e\u043a \u0441\u00a0\u0442\u0435\u043a\u0443\u0449\u0438\u043c query \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u0443\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0430\u00a0\u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e.<\/p>\n<p>Indexer \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e full attention, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e Main Branch \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0439 softmax attention \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0431\u043b\u043e\u043a\u0430\u043c.<\/p>\n<p>\u0412\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u0443\u0435\u043c\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043d\u0430 109B MoE\u2011\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c 1M \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u00a0<strong>28,4\u00d7 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 attention<\/strong>,\u00a0<strong>14,2\u00d7 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 prefill<\/strong>\u00a0\u0438\u00a0<strong>7,6\u00d7 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 decode<\/strong>\u00a0\u043d\u0430\u00a0H800. \u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u00a0\u044d\u0442\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u0438\u0437\u00a0\u0440\u0430\u0431\u043e\u0442\u044b \u043e\u00a0MSA \u0438 \u043d\u0435\u00a0\u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0439 MiniMax M3.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c\u00a0<strong>MSA \u043d\u0435\u00a0\u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0441\u0430\u043c KV cache<\/strong>. \u0418\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e\u2011\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f, \u043d\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c attention \u043f\u043e\u00a0\u0432\u0441\u0435\u0439 \u0435\u0451 \u0434\u043b\u0438\u043d\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 MSA \u0432\u00a0\u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u044b \u0441\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043e\u0431\u044a\u0451\u043c \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u0413\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f:\u00a0<strong>GQA \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e K\/V \u043d\u0443\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u0443\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e. MSA \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e query.<\/strong><\/p>\n<p>\u0418 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u00a0\u0436\u0435 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f\u00a0\u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f:<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b41\/8bb\/cfe\/b418bbcfea2b19e821b4c74a02e4e4a8.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b41\/8bb\/cfe\/b418bbcfea2b19e821b4c74a02e4e4a8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b41\/8bb\/cfe\/b418bbcfea2b19e821b4c74a02e4e4a8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dcf\/e6b\/992\/dcfe6b992cb2cc27fbc7151c9ff603f9.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/dcf\/e6b\/992\/dcfe6b992cb2cc27fbc7151c9ff603f9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/dcf\/e6b\/992\/dcfe6b992cb2cc27fbc7151c9ff603f9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cf0\/be3\/b64\/cf0be3b64223dba60553f9ae46a60912.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cf0\/be3\/b64\/cf0be3b64223dba60553f9ae46a60912.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cf0\/be3\/b64\/cf0be3b64223dba60553f9ae46a60912.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 learned sparse attention\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u00ab\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u0435\u00bb\u00a0O(nk). \u041f\u043e\u043c\u0438\u043c\u043e \u0441\u0430\u043c\u043e\u0433\u043e attention \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 indexer, \u0432\u044b\u0431\u043e\u0440 top\u2011k \u0431\u043b\u043e\u043a\u043e\u0432, \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u0441\u043b\u0443\u0436\u0435\u0431\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0445 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432 KV cache.<\/p>\n<p>\u041f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e\u00a0\u0432\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0445 2026\u00a0\u0433\u043e\u0434\u0430, \u0432\u043a\u043b\u044e\u0447\u0430\u044f MISA, \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0443\u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0430 \u043d\u0435\u00a0\u043d\u0430\u00a0softmax attention, \u0430\u00a0\u043d\u0430\u00a0\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0433\u043e indexer \u0438 \u0432\u044b\u0431\u043e\u0440 \u043d\u0443\u0436\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432. \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0443\u0437\u043a\u0438\u043c \u043c\u0435\u0441\u0442\u043e\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 attention, \u043d\u043e\u00a0\u0438 \u043f\u043e\u0438\u0441\u043a \u0442\u0435\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043f\u043e\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0435\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c.<\/p>\n<p>MSA\u00a0\u2014 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043e\u0440\u0438\u0435\u0439 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e:\u00a0<strong>28,4\u00d7 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u00a0FLOPs<\/strong>\u00a0\u043d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a0<strong>14,2\u00d7 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 prefill<\/strong>\u00a0\u0438\u00a0<strong>7,6\u00d7 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 decode<\/strong>. \u0427\u0430\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0440\u0430\u0431\u043e\u0442\u0435 indexer, \u0432\u044b\u0431\u043e\u0440\u0435 top\u2011k, \u0447\u0442\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u0440\u043e\u0437\u043d\u0435\u043d\u043d\u044b\u0445 KV\u2011\u0431\u043b\u043e\u043a\u043e\u0432 \u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0438 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<h3>DeepSeek\u2011V4: compression + sparsity \u0432\u00a0\u043e\u0434\u043d\u043e\u043c attention stack<\/h3>\n<p>DeepSeek\u2011V4\u00a0\u0434\u0435\u043b\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433 \u043f\u043e\u0441\u043b\u0435 MLA \u0438 DSA: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0436\u0438\u043c\u0430\u0435\u0442 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e query \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438 \u044d\u0442\u043e\u0439 \u0441\u0436\u0430\u0442\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438. \u041f\u043e\u043b\u043d\u043e\u0435 attention \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0443\u0436\u0435 \u043d\u0435\u00a0\u043f\u043e\u00a0\u0432\u0441\u0435\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443, \u0430\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0443\u0447\u0430\u0441\u0442\u043a\u0430\u043c. (\u0412\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u043c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c sparse selection)<\/p>\n<p>\u0412\u00a0<strong>CSA<\/strong>\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432\u00a0\u043e\u0434\u043d\u043e \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u0412\u00a0DeepSeek\u2011V4\u00a0\u044d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0434\u043b\u0438\u043d\u0443 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0435\u0449\u0451 \u0434\u043e\u00a0\u0437\u0430\u043f\u0443\u0441\u043a\u0430 sparse attention. \u0417\u0430\u0442\u0435\u043c indexer \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0443\u0436\u0435 \u044d\u0442\u0443 \u0441\u043e\u043a\u0440\u0430\u0449\u0451\u043d\u043d\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0438 \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e query \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0443\u0447\u0430\u0441\u0442\u043a\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 attention \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u00a0\u043d\u0438\u043c.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u0432\u0443\u0445\u0441\u0442\u0443\u043f\u0435\u043d\u0447\u0430\u0442\u0430\u044f \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f:<\/p>\n<p><strong>\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u2192 \u0437\u0430\u0442\u0435\u043c \u0438\u0437\u00a0\u043d\u0435\u0451 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c.<\/strong><\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0443\u0441\u043b\u043e\u0432\u043d\u043e \u043a\u0430\u0436\u0434\u044b\u0435 4\u00a0\u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0432\u00a0\u043e\u0434\u0438\u043d \u044d\u043b\u0435\u043c\u0435\u043d\u0442, \u043c\u0438\u043b\u043b\u0438\u043e\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 250\u00a0\u0442\u044b\u0441\u044f\u0447 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432. \u0410\u00a0\u0443\u0436\u0435 \u0441\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0442\u043e\u0440 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 top\u2011k \u0434\u043b\u044f\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e query. \u0412\u00a0DeepSeek\u2011V4\u00a0CSA \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u044f\u0433\u043a\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u0438 \u0437\u0430\u0442\u0435\u043c DSA \u0434\u043b\u044f\u00a0\u0432\u044b\u0431\u043e\u0440\u0430 \u043d\u0443\u0436\u043d\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p><strong>HCA<\/strong>\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u043d\u0430\u0447\u0435. \u0417\u0434\u0435\u0441\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435\u00a0\u2014 \u0432\u00a0\u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f\u0445 V4\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043f\u043e 128\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432\u00a0\u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u041f\u043e\u0441\u043b\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u043e, \u0447\u0442\u043e\u00a0\u0438\u043d\u0434\u0435\u043a\u0441\u0430\u0442\u043e\u0440 \u0443\u0436\u0435 \u043d\u0435\u00a0\u043d\u0443\u0436\u0435\u043d: \u043a\u0430\u0436\u0434\u044b\u0439 query \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430\u00a0\u0432\u0441\u044e \u0441\u0436\u0430\u0442\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 dense attention.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0440\u044f\u0434\u043e\u043c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435\u00a0<strong>sliding window \u043f\u043e\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c<\/strong>. \u041e\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u00a0\u043d\u0435\u0434\u0430\u0432\u043d\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u0441\u0436\u0430\u0442\u0438\u0435 \u043c\u043e\u0433\u043b\u043e\u00a0\u0431\u044b \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0443\u0440\u043e\u0432\u043d\u044f \u043f\u0430\u043c\u044f\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0442\u043e\u0447\u043d\u044b\u0439 \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0436\u0430\u0442\u0430\u044f \u043f\u043e\u043b\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f (Full attention).<\/p>\n<\/li>\n<\/ul>\n<p>\u0410\u00a0\u0432 CSA \u043a\u00a0\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u0432\u044b\u0431\u043e\u0440 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445 \u0447\u0430\u0441\u0442\u0435\u0439 \u0434\u0430\u043b\u044c\u043d\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438.<\/p>\n<p>\u041f\u043e\u00a0\u0434\u0430\u043d\u043d\u044b\u043c DeepSeek, \u043f\u0440\u0438\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 1M DeepSeek\u2011V4-Pro \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u043a\u043e\u043b\u043e\u00a0<strong>27% single\u2011token inference FLOPs \u0438 10% KV cache<\/strong>\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e DeepSeek\u2011V3.2. \u042d\u0442\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u043c \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 DeepSeek, \u043d\u043e\u00a0\u0432\u0430\u0436\u0435\u043d \u0441\u0430\u043c \u0434\u0438\u0437\u0430\u0439\u043d\u2011\u043f\u0440\u0438\u043d\u0446\u0438\u043f: compression \u0438 sparsity \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u044e\u0442\u00a0\u0431\u044b\u0442\u044c \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430\u043c\u0438 \u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/38f\/1ed\/eb2\/38f1edeb2767eded299abf3500908e1f.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/38f\/1ed\/eb2\/38f1edeb2767eded299abf3500908e1f.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/38f\/1ed\/eb2\/38f1edeb2767eded299abf3500908e1f.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u041b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 recurrent \u043f\u0430\u043c\u044f\u0442\u044c<\/h3>\n<p>\u0423\u00a0softmax attention \u043f\u0430\u043c\u044f\u0442\u044c \u043e\u00a0\u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0440\u0430\u0441\u0442\u0435\u0442 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c: \u0434\u043b\u044f\u00a0\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f K \u0438 V \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. Linear attention \u043c\u0435\u043d\u044f\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438\u043b\u0438\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 recurrent state \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0418\u0441\u0442\u043e\u0440\u0438\u044f \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435. \u0412\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u0430 \u043f\u043e\u00a0\u0434\u043b\u0438\u043d\u0435, \u0430\u00a0\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043d\u0430\u00a0\u0434\u0435\u043a\u043e\u0434\u0435 \u043d\u0435\u00a0\u043e\u0431\u044f\u0437\u0430\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0440\u0430\u0441\u0442\u0438 \u0441\u00a0\u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u00a0\u2014 \u043f\u043e\u0442\u0435\u0440\u044f \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u043f\u0440\u043e\u0448\u043b\u043e\u043c\u0443. \u0412\u00a0\u043e\u0431\u044b\u0447\u043d\u043e\u043c attention \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u0440\u0430\u043d\u0438\u0442 K \u0438 V \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0434\u0430\u0436\u0435 \u0434\u0430\u043b\u0435\u043a\u043e \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>\u0412\u00a0recurrent \u0438 linear attention \u0432\u0441\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0441\u0436\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u00a0\u043d\u0435\u0433\u043e \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u0442\u044c, \u0442\u0435\u043c \u0441\u043b\u043e\u0436\u043d\u0435\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0430\u043a\u0442\u044b \u0431\u0435\u0437\u00a0\u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u0437\u0430\u0442\u0435\u043c \u0442\u043e\u0447\u043d\u043e \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043d\u0443\u0436\u043d\u044b\u0439.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f\u00a0<strong>gating, delta rule \u0438 selective updates<\/strong>. \u041e\u043d\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0432\u00a0\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u043d\u043e\u00a0\u0438 \u0440\u0435\u0448\u0430\u0442\u044c, \u0447\u0442\u043e\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c, \u0447\u0442\u043e\u00a0\u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c, \u0430\u00a0\u0447\u0442\u043e\u00a0\u0443\u0434\u0430\u043b\u0438\u0442\u044c.<\/p>\n<p>Kimi Linear \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0432\u043e\u043a\u0440\u0443\u0433 Kimi Delta Attention \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0433\u0438\u0431\u0440\u0438\u0434 \u0441\u043b\u043e\u0451\u0432 KDA \u0438 MLA. \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u043e\u043e\u0431\u0449\u0430\u044e\u0442, \u0447\u0442\u043e\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0441 48\u00a0\u043c\u043b\u0440\u0434 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u0438\u00a0\u0440\u0430\u0431\u043e\u0442\u0435 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 3\u00a0\u043c\u043b\u0440\u0434, \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u00a0full MLA \u043f\u0440\u0438\u00a0\u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043e\u0431\u044a\u0451\u043c KV cache \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0434\u043e 75%, \u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 1M \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u00a0\u0448\u0435\u0441\u0442\u0438 \u0440\u0430\u0437.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/962\/253\/282\/96225328235b8b115d4714c2bd8d83ad.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/962\/253\/282\/96225328235b8b115d4714c2bd8d83ad.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/962\/253\/282\/96225328235b8b115d4714c2bd8d83ad.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0435\u0449\u0430\u044e\u0449\u0435, \u043e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u043a\u0430 \u043e\u043d \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0451\u043d \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u0438 \u043e\u0434\u043d\u043e\u0439\u00a0\u043b\u0438\u043d\u0435\u0439\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0447\u0438\u0442\u0430\u0442\u044c KDA \u0443\u0441\u0442\u043e\u044f\u0432\u0448\u0438\u043c\u0441\u044f \u0438\u043d\u0434\u0443\u0441\u0442\u0440\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043e\u043c \u043f\u043e\u043a\u0430 \u0440\u0430\u043d\u043e.<\/p>\n<p>Mamba \u0438 Mamba 2\u00a0\u0447\u0430\u0441\u0442\u043e \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u044e\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0441\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c \u0438 recurrent attention, \u0445\u043e\u0442\u044f \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043e\u043d\u0438 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u00a0\u2014 selective state space models. \u0412\u043c\u0435\u0441\u0442\u043e \u043f\u0440\u044f\u043c\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0441\u043e \u0432\u0441\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439 \u043e\u043d\u0438 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e\u00a0\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>\u041d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435\u00a0\u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0442\u043a\u0430\u0437 \u043e\u0442\u00a0Transformer, \u0430\u00a0\u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434. \u0427\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0451\u0432 \u0434\u0435\u0448\u0451\u0432\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0430\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0441\u00a0\u043e\u0431\u044b\u0447\u043d\u044b\u043c \u0438\u043b\u0438\u00a0latent attention \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0447\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u043c \u043f\u0440\u043e\u0448\u043b\u043e\u0433\u043e.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b70\/3ea\/e0f\/b703eae0fefb4631ac6637afb1b4ee43.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b70\/3ea\/e0f\/b703eae0fefb4631ac6637afb1b4ee43.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b70\/3ea\/e0f\/b703eae0fefb4631ac6637afb1b4ee43.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>FlashAttention \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u0433\u043e, \u043d\u0430\u00a0\u0447\u0442\u043e\u00a0\u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c<\/h3>\n<p>\u041e\u0431\u044b\u0447\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f attention \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u0435\u0451 \u0432\u00a0\u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u044c HBM, \u0430\u00a0\u0437\u0430\u0442\u0435\u043c \u0441\u043d\u043e\u0432\u0430 \u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0442\u0442\u0443\u0434\u0430. \u041d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0443\u0445\u043e\u0434\u0438\u0442 \u0443\u0436\u0435 \u043d\u0435\u00a0\u043d\u0430\u00a0\u0441\u0430\u043c\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0430\u00a0\u043d\u0430\u00a0\u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0436\u0434\u0443 \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 GPU.<\/p>\n<p><strong>FlashAttention \u0440\u0435\u0448\u0430\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443.<\/strong>\u00a0Q, K \u0438 V \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u00a0\u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0437\u0430\u0433\u0440\u0443\u0436\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0431\u044b\u0441\u0442\u0440\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u00a0GPU. Softmax \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0446\u0435\u043b\u0438\u043a\u043e\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 attention scores \u0432\u00a0HBM \u043d\u0435\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0421\u0430\u043c\u043e dense attention \u043e\u0442\u00a0\u044d\u0442\u043e\u0433\u043e \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f: \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u2011\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u0435\u00a0\u0436\u0435 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438. \u041c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u043f\u043e\u0441\u043e\u0431 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u0417\u0430\u00a0\u0441\u0447\u0451\u0442 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0447\u0442\u0435\u043d\u0438\u0439 \u0438 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u0432\u00a0HBM GPU \u0442\u0440\u0430\u0442\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430\u00a0\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435\u00a0\u2014 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u00a0\u0440\u0430\u0441\u0447\u0451\u0442\u044b.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u0440\u0441\u0438\u0438 FlashAttention \u0432\u00a0\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u044d\u0442\u0443 \u0438\u0434\u0435\u044e \u043f\u043e\u0434\u00a0\u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f GPU.\u00a0<strong>FlashAttention 2<\/strong>\u00a0\u0443\u043b\u0443\u0447\u0448\u0438\u043b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u0442\u043e\u043a\u0430\u043c\u0438 GPU \u0438 \u043e\u0431\u0449\u0438\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0437\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.\u00a0<strong>FlashAttention 3<\/strong>\u00a0\u0431\u044b\u043b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u0434\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 NVIDIA Hopper. \u041e\u043d \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0430\u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435: \u043f\u043e\u043a\u0430 \u043e\u0434\u043d\u0430 \u0447\u0430\u0441\u0442\u044c GPU \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435, \u0434\u0440\u0443\u0433\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0434\u0433\u043e\u0442\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u0422\u0430\u043a\u0436\u0435\u00a0\u0431\u044b\u043b\u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f\u00a0\u043a\u0432\u0430\u043d\u0442\u043e\u0432\u0430\u043d\u0438\u0439 \u0442\u0438\u043f\u0430 FP8.\u00a0<strong>FlashAttention 4<\/strong>\u00a0\u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442 \u0442\u043e\u0442\u00a0\u0436\u0435 \u043f\u043e\u0434\u0445\u043e\u0434 \u0443\u0436\u0435 \u0434\u043b\u044f\u00a0Blackwell, \u0432\u043a\u043b\u044e\u0447\u0430\u044f B200\u00a0\u0438 GB200. Blackwell \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u0437\u043a\u0438\u043c\u0438 \u043c\u0435\u0441\u0442\u0430\u043c\u0438 \u0441\u0442\u0430\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438\u00a0\u2014 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441\u00a0\u043f\u0430\u043c\u044f\u0442\u044c\u044e \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 softmax. FA4\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, Tensor Memory \u0438 \u043f\u0435\u0440\u0435\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043d\u043e\u0432\u043e\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u043e. \u0412\u00a0\u0442\u0435\u0441\u0442\u0430\u0445 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u00a0B200\u00a0\u0432\u0435\u0440\u0441\u0438\u044f \u0434\u043b\u044f\u00a0BF16\u00a0\u0434\u043e\u0441\u0442\u0438\u0433\u0430\u043b\u0430 \u0434\u043e\u00a0<strong>1613\u00a0TFLOPS<\/strong>, \u043e\u043a\u043e\u043b\u043e\u00a0<strong>71% \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0438\u043a\u0430<\/strong>, \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u0434\u043e\u00a0<strong>1,3\u00d7 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e cuDNN 9.13<\/strong>\u00a0\u0438 \u0434\u043e\u00a0<strong>2,7\u00d7 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e Triton<\/strong>.<\/p>\n<p>\u041f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c FlashAttention \u043f\u043e\u00a0\u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443\u00a0\u00ab\u0447\u0435\u043c \u043d\u043e\u0432\u0435\u0435 \u0432\u0435\u0440\u0441\u0438\u044f, \u0442\u0435\u043c\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435\u00bb. FA3\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u043f\u043e\u0434\u00a0Hopper, FA4\u00a0\u2014 \u043f\u043e\u0434\u00a0Blackwell, \u0430\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 inference engine \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 attention.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u00a0vLLM \u0438\u043b\u0438\u00a0SGLang\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0432\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u00a0FlashAttention, \u0430\u00a0cuDNN SDPA, FlashInfer \u0438\u043b\u0438\u00a0\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u044f\u0434\u0440\u043e \u0434\u043b\u044f\u00a0MLA \u0438\u043b\u0438\u00a0sparse attention.<\/p>\n<p>\u041d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0435\u00a0\u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0431\u0435\u043a\u0435\u043d\u0434\u0430, \u0430\u00a0\u0438\u0442\u043e\u0433\u043e\u0432\u0443\u044e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u044b:\u00a0<strong>TTFT, TPOT, throughput \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u043c\u044f\u0442\u0438<\/strong>\u00a0\u043d\u0430\u00a0\u043d\u0443\u0436\u043d\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u043f\u0440\u0438\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432.<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/936\/0e0\/7f9\/9360e07f99e0ee6e0d8dcbe74ed8da95.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/936\/0e0\/7f9\/9360e07f99e0ee6e0d8dcbe74ed8da95.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/936\/0e0\/7f9\/9360e07f99e0ee6e0d8dcbe74ed8da95.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432<\/h3>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c<\/p>\n<\/th>\n<th>\n<p>\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f<\/p>\n<\/th>\n<th>\n<p>KV cache<\/p>\n<\/th>\n<th>\n<p>\u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043f\u0440\u0435\u0444\u0438\u043b\u043b<\/p>\n<\/th>\n<th>\n<p>\u0417\u0440\u0435\u043b\u043e\u0441\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>MHA<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 Q, K, V \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u043e\u043b\u044c\u0448\u043e\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">O(n\u00b2)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0431\u0430\u0437\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>MQA<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0434\u043d\u0430 KV \u0433\u043e\u043b\u043e\u0432\u0430 \u043d\u0430\u00a0\u0432\u0441\u0435 query heads<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u0435\u0434\u0438 softmax \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">O(n\u00b2)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0440\u0435\u043b\u044b\u0439, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0430 \u043f\u043e\u0442\u0435\u0440\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>GQA<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u0440\u0443\u043f\u043f \u0441\u00a0\u043e\u0431\u0449\u0438\u043c\u0438 KV<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">O(n\u00b2)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0440\u0435\u043b\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 default<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>MLA<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u044b\u0439 latent cache<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">O(n\u00b2) \u043f\u0440\u0438\u00a0full pattern<\/p>\n<\/td>\n<td>\n<p align=\"left\">Production proven, \u0441\u043b\u043e\u0436\u043d\u0435\u0435 kernels<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Sliding window<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u0441\u0442\u0443\u043f \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c w \u0442\u043e\u043a\u0435\u043d\u0430\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u043a\u043d\u043e \u0438\u043b\u0438\u00a0\u043f\u043e\u043b\u043d\u044b\u0439 \u043a\u044d\u0448 \u043f\u043e\u00a0\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">O(nw)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0440\u0435\u043b\u044b\u0439 \u0434\u043b\u044f\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Learned sparse<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Indexer \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 top k \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u044b\u0447\u043d\u043e \u0440\u0430\u0441\u0442\u0435\u0442 \u0441\u00a0n<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u043a\u043e\u043b\u043e O(nk), \u043f\u043b\u044e\u0441 indexer<\/p>\n<\/td>\n<td>\n<p align=\"left\">Frontier,\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>MSA \/ MiniMax<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Block\u2011sparse \u043f\u043e\u0432\u0435\u0440\u0445 GQA: indexer \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 top-16\u00a0\u0431\u043b\u043e\u043a\u043e\u0432 \u043f\u043e 128\u00a0\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 GQA\u2011\u0433\u0440\u0443\u043f\u043f\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u043a\u00a0\u0443 GQA, \u043d\u0435\u00a0\u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u0430\u043c\u0443 \u0438\u0441\u0442\u043e\u0440\u0438\u044e<\/p>\n<\/td>\n<td>\n<p align=\"left\">Main Branch \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d sparse\u2011\u0431\u044e\u0434\u0436\u0435\u0442\u043e\u043c; \u043f\u043b\u044e\u0441 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c indexer<\/p>\n<\/td>\n<td>\n<p align=\"left\">Production\u2011grade \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u0430 \u043a\u0430\u043a\u00a0MiniMax M3, kernel open source<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>DeepSeek\u2011V4\u00a0CSA + HCA<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Token compression \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0441\u0438 + sparse retrieval \u0432\u00a0CSA; \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u0430\u044f compression + dense summary attention \u0432\u00a0HCA; \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 SWA<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0438\u043b\u044c\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e V3.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0413\u0438\u0431\u0440\u0438\u0434: sparse \u043f\u043e\u00a0compressed history + dense \u043f\u043e\u00a0\u0440\u0435\u0434\u043a\u0438\u043c summaries<\/p>\n<\/td>\n<td>\n<p align=\"left\">Productionopen weights, 1M context<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>Linear recurrent<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u0438\u0441\u043a\u0430 KV<\/p>\n<\/td>\n<td>\n<p align=\"left\">O(1) \u043f\u043e\u00a0\u0434\u043b\u0438\u043d\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u043f\u043e\u00a0n<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439, \u0447\u0430\u0449\u0435 \u0433\u0438\u0431\u0440\u0438\u0434<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>FlashAttention<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">IO aware \u0442\u043e\u0447\u043d\u044b\u0439 GPU kernel<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u0441\u0435 \u0435\u0449\u0435 O(n\u00b2)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 full attention<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u041a\u0430\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e\u043f\u043e\u0432\u044b\u043c\u0438 \u0432 2026\u00a0\u0433\u043e\u0434\u0443<\/h3>\n<ol>\n<li>\n<p>1.\u00a0<strong>GQA + \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 exact\u2011attention kernel<\/strong>\u00a0\u2014 \u0437\u0440\u0435\u043b\u0430\u044f \u0438 \u043a\u043e\u043d\u0441\u0435\u0440\u0432\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u0431\u0430\u0437\u0430. \u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u00a0\u0448\u0438\u0440\u043e\u043a\u043e\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u043e\u0439 \u0432\u00a0inference\u2011\u0434\u0432\u0438\u0436\u043a\u0430\u0445 \u0438 \u0443\u0434\u0430\u0447\u043d\u044b\u043c \u0431\u0430\u043b\u0430\u043d\u0441\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c, \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c KV cache \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<\/li>\n<li>\n<p><strong>MLA<\/strong>\u00a0\u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0431\u044a\u0451\u043c KV\u2011\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0430\u00a0\u043e\u0434\u043d\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u044e. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u043f\u0440\u0438\u00a0\u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438, \u043d\u043e\u00a0\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0438 \u0441\u043e \u0441\u0442\u043e\u0440\u043e\u043d\u044b kernels \u0438 \u043f\u0440\u043e\u0434\u0443\u043c\u0430\u043d\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 GPU.<\/p>\n<\/li>\n<li>\n<p><strong>\u0413\u0438\u0431\u0440\u0438\u0434 local + global attention<\/strong>\u00a0\u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u043d\u0438\u0437\u0438\u0442\u044c \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u0431\u0435\u0437\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u043e\u0433\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u043f\u043e\u0438\u0441\u043a\u0430 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f\u00a0\u043a\u043e\u0434\u0430, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0433\u0434\u0435 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430, \u043d\u043e\u00a0\u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0443\u0436\u0435\u043d \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u0434\u0430\u043b\u0451\u043a\u043e\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443.<\/p>\n<\/li>\n<li>\n<p><strong>Learned sparse attention<\/strong>\u00a0\u2014 \u043e\u0434\u043d\u043e \u0438\u0437\u00a0\u0433\u043b\u0430\u0432\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f\u00a0\u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u0432\u0430\u0436\u0435\u043d \u0442\u043e\u0447\u043d\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u0434\u0430\u043b\u0451\u043a\u0438\u043c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. DSA \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432\u044b\u0431\u043e\u0440 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u0432\u0435\u0440\u0445 MLA, \u0430\u00a0MSA\u00a0\u2014 \u0432\u044b\u0431\u043e\u0440 \u0446\u0435\u043b\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 GQA\u2011\u0433\u0440\u0443\u043f\u043f\u044b \u0441\u00a0\u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0439 \u043d\u0430\u00a0\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u043d\u0430\u00a0GPU.<\/p>\n<\/li>\n<li>\n<p><strong>Compression + sparsity<\/strong>\u00a0\u2014 \u0432\u0430\u0436\u043d\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 2026\u00a0\u0433\u043e\u0434\u0430. DeepSeek\u2011V4\u00a0\u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0438\u0441\u0442\u043e\u0440\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0436\u0430\u0442\u044c \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0441\u0438, \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0436\u0430\u0442\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0430\u00a0\u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0451\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a\u00a0\u0441\u0438\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u0443\u044e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043e\u0431\u044a\u0451\u043c KV cache \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u0438\u00a0\u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><strong>Hybrid linear \/ recurrent attention<\/strong>\u00a0\u2014 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0440\u0430\u0434\u0438\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0430 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0440\u0430\u0441\u0442\u0443\u0449\u0435\u043c\u0443 KV cache. Kimi Linear \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0\u0433\u0438\u0431\u0440\u0438\u0434 KDA + MLA \u0443\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u00a0\u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u043c softmax attention, \u043d\u043e\u00a0\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043a\u0440\u0443\u043f\u043d\u043e\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043d\u044b\u0445 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0439 \u0443\u00a0\u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043a\u0430 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0443\u00a0GQA, MLA \u0438 sparse\u2011\u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432.<\/p>\n<\/li>\n<\/ol>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0442\u0440\u0435\u043d\u0434 2026\u00a0\u0433\u043e\u0434\u0430\u00a0\u2014 \u043d\u0435\u00a0\u043f\u043e\u0438\u0441\u043a \u043e\u0434\u043d\u043e\u0433\u043e\u00a0\u00ab\u043b\u0443\u0447\u0448\u0435\u0433\u043e\u00bb\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0430\u00a0<strong>\u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/strong>: \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043e\u0431\u044a\u0451\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d, \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439, \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u0436\u0438\u043c\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0438\u0437\u00a0kernel \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u043e.<\/p>\n<p>\u0418 \u0432\u00a0\u044d\u0442\u043e\u043c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u043e \u0441\u0438\u043b\u0443 open source. \u0418\u0434\u0435\u0438 \u043d\u0435\u00a0\u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e. \u041e\u0434\u043d\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0435 \u043d\u0430\u0445\u043e\u0434\u043a\u0438, \u0434\u0440\u0443\u0433\u0438\u0435 \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0442 kernels, \u0442\u0440\u0435\u0442\u044c\u0438 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442 \u0438\u0445 \u0432\u00a0inference engine, \u0430\u00a0\u0447\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0442 \u0432\u0441\u0451 \u044d\u0442\u043e \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0438 \u0432\u00a0\u0434\u0440\u0443\u0433\u0438\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445. \u0412\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u00a0\u0431\u044b\u0441\u0442\u0440\u043e \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f, \u043a\u043e\u043c\u0431\u0438\u043d\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043e\u0441\u043d\u043e\u0432\u043e\u0439 \u0434\u043b\u044f\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041d\u0443 \u0438 \u0435\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0432\u044b \u0438\u043b\u0438\u00a0\u0432\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u4e2d\u56fd\u5144\u5f1f, \u0440\u0435\u0448\u0438\u0442\u0435 \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u043d\u043e\u0432\u0443\u044e LLM\u00a0\u2014 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0431\u043b\u043e\u043a \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u043e\u0441\u0432\u044f\u0449\u0430\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u0430\u043c.<\/p>\n<h3>\u041a\u0430\u043a\u00a0\u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0434\u043b\u044f\u00a0\u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/71f\/e69\/c74\/71fe69c742b411943f71a8031aa2fbc8.png\" width=\"1200\" height=\"675\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/71f\/e69\/c74\/71fe69c742b411943f71a8031aa2fbc8.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/71f\/e69\/c74\/71fe69c742b411943f71a8031aa2fbc8.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p>\u0421\u0446\u0435\u043d\u0430\u0440\u0438\u0439<\/p>\n<\/th>\n<th>\n<p>\u0427\u0442\u043e\u00a0\u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0441\u043d\u0430\u0447\u0430\u043b\u0430<\/p>\n<\/th>\n<th>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443<\/p>\n<\/th>\n<th>\n<p>\u0427\u0442\u043e\u00a0\u0438\u0437\u043c\u0435\u0440\u0438\u0442\u044c<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041e\u0431\u044b\u0447\u043d\u0430\u044f \u0447\u0430\u0442 \u0438\u043b\u0438\u00a0\u043a\u043e\u0434\u0438\u043d\u0433 \u0434\u043e 128K<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">GQA + FlashAttention \u0438\u043b\u0438\u00a0SDPA<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043d\u044b\u0439 \u0440\u0438\u0441\u043a \u0438 \u0448\u0438\u0440\u043e\u043a\u0430\u044f \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">TTFT, TPOT, tokens per second, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e retrieval<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0412\u044b\u0441\u043e\u043a\u0430\u044f concurrency \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">MLA \u0438\u043b\u0438\u00a0\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u044b\u0439 GQA<\/p>\n<\/td>\n<td>\n<p align=\"left\">Decode \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u00a0KV bandwidth \u0438 \u0435\u043c\u043a\u043e\u0441\u0442\u044c \u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">KV bytes per token, batch size, inter GPU traffic<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u0438 \u043a\u043e\u0434 \u043d\u0430 256K plus<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Local + global hybrid \u0438\u043b\u0438\u00a0learned sparse (MSA, DSA)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0443\u0436\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e \u0434\u0430\u043b\u044c\u043d\u0438\u0445 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">LongBench, RULER, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 repo QA \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u0438\u043b\u043b\u0438\u043e\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u043e\u0447\u043d\u044b\u0439 retrieval<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Compression + sparse hybrid (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, CSAHCA\u2011\u043a\u043b\u0430\u0441\u0441)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u0443\u044e \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0438 \u0447\u0438\u0441\u043b\u043e \u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">KV bytestoken, multi\u2011key retrieval, TTFTTPOT \u043d\u0430 1M<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u041c\u0438\u043b\u043b\u0438\u043e\u043d \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 streaming state<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Hybrid linear + \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0439 full \u0438\u043b\u0438\u00a0MLA<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 state \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u043e\u0441\u0442 \u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0431\u044b\u0432\u0430\u043d\u0438\u0435, multi\u2011key retrieval, throughput \u043f\u0440\u0438\u00a0\u0440\u043e\u0441\u0442\u0435 context<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><strong>\u0418\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">KDA, Gated DeltaNet 2, DSA variants<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u0440\u0438\u00a0\u0431\u043e\u043b\u044c\u0448\u0435\u043c \u0440\u0438\u0441\u043a\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">Scaling law, \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, kernel availability<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<h3>\u0418\u0442\u043e\u0433<\/h3>\n<p>Attention \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u043d\u043e\u043b\u0438\u0442\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0435\u0439. \u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f LLM \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0435\u0433\u043e \u043a\u0430\u043a\u00a0\u0441\u0442\u0435\u043a \u0440\u0435\u0448\u0435\u043d\u0438\u0439: \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c K \u0438 V, \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0441\u0445\u0435\u043c\u0443, \u0444\u043e\u0440\u043c\u0430\u0442 \u043a\u044d\u0448\u0430 \u0438 kernel \u043f\u043e\u0434\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u043e.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0443\u0436\u0435\u043d \u043e\u0434\u0438\u043d \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434, \u043e\u043d \u0442\u0430\u043a\u043e\u0439: GQA + \u0445\u043e\u0440\u043e\u0448\u0438\u0439 exact attention kernel \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0440\u0435\u043b\u043e\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439; MLA \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043d\u0430\u00a0\u043f\u043e\u0437\u0438\u0446\u0438\u044e. local \u0438 learned sparse attention \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e \u0434\u043e\u0440\u043e\u0433\u0438\u0445 \u0441\u0432\u044f\u0437\u0435\u0439, \u0430\u00a0DeepSeek\u2011V4\u00a0\u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433\u00a0\u2014 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u0438\u0442\u044c compression \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043e\u0441\u0438 \u0441\u043e sparse retrieval \u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u043a\u043d\u043e\u043c; linearrecurrent \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u044b \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u043c\u0438 \u043f\u0440\u0435\u0436\u0434\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u00a0\u0433\u0438\u0431\u0440\u0438\u0434\u043d\u044b\u0445 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u0445.<\/p>\n<p>\u042d\u0432\u043e\u043b\u044e\u0446\u0438\u044f attention \u0438\u0434\u0451\u0442 \u043d\u0435\u00a0\u043e\u0442\u00a0MHA \u043a\u00a0\u043a\u0430\u043a\u043e\u043c\u0443\u2011\u0442\u043e \u043e\u0434\u043d\u043e\u043c\u0443\u00a0\u00ab\u043d\u043e\u0432\u043e\u043c\u0443 attention\u00bb. \u041e\u043d\u0430 \u0434\u0432\u0438\u0436\u0435\u0442\u0441\u044f \u043a\u00a0\u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0443\u0440\u043e\u0432\u043d\u0435\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438:\u00a0<strong>compression + selection + hardware\u2011aware kernels<\/strong>. \u041d\u0430\u00a0\u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u00a0\u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u00a0\u0441\u0430\u043c\u043e\u0439 \u043a\u0440\u0430\u0441\u0438\u0432\u043e\u0439 \u0430\u0441\u0438\u043c\u043f\u0442\u043e\u0442\u0438\u043a\u043e\u0439, \u0430\u00a0\u0442\u043e\u0442 \u0441\u0442\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e retrieval \u0438 reasoning \u0438 \u043f\u0440\u0438\u00a0\u044d\u0442\u043e\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0430\u0451\u0442 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0435 \u043d\u0430\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u0435 \u0438 \u0432\u00a0\u0432\u0430\u0448\u0435\u043c serving\u2011\u0441\u0446\u0435\u043d\u0430\u0440\u0438\u0438.<\/p>\n<h4>\u041e\u0442\u00a0\u0430\u0432\u0442\u043e\u0440\u0430<\/h4>\n<p>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u00a0\u2014 \u0447\u0430\u0441\u0442\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u043f\u0438\u0448\u0443 \u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0443\u044e \u0432\u00a0\u0441\u0432\u043e\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u043e\u00a0LLM, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 AI\u2011\u0441\u0438\u0441\u0442\u0435\u043c. \u0421\u043f\u0430\u0441\u0438\u0431\u043e.<\/p>\n<p>\u0410\u00a0\u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u043e\u043c\u0443 \u043f\u0440\u043e\u0449\u0435 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0442\u0435\u043c\u0443 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e, \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0438\u0434\u0435\u043e \u043f\u0440\u043e\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c Attention \u043d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 Qwen3.8\u00a0\u0441\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438, Q\/K\/V, KV\u2011cache, Gated DeltaNet \u0438 \u0433\u0438\u0431\u0440\u0438\u0434\u043d\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438:<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/6ac4ca1c6b1c101e40f7c83a\" data-style=\"\" id=\"6ac4ca1c6b1c101e40f7c83a\" width=\"\" data-habr-games=\"\"><\/div>\n<p>\u0415\u0441\u043b\u0438 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438 \u043e\u0448\u0438\u0431\u043a\u0443 \u0438\u043b\u0438\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435, \u0447\u0442\u043e\u00a0\u043a\u0430\u043a\u043e\u0439\u2011\u0442\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0437\u0434\u0435\u0441\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u00a0\u2014 \u0431\u0443\u0434\u0443 \u0440\u0430\u0434 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u044d\u0442\u043e \u0432\u00a0\u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1090978\/\">https:\/\/habr.com\/ru\/articles\/1090978\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:\u0422\u043e\u043a\u0435\u043d\u00a0\u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0441\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u0418\u0437\u00a0hidden state \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 attention \u0441\u0442\u0440\u043e\u0438\u0442 query, key \u0438 value. Query \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043d\u0430\u00a0\u0432\u043e\u043f\u0440\u043e\u0441\u00a0\u00ab\u0447\u0442\u043e \u044f \u0438\u0449\u0443\u00bb, Key\u00a0\u2014\u00a0\u201c\u0447\u0442\u043e \u044f \u0441\u043e\u0434\u0435\u0440\u0436\u0443\u201d, Value\u00a0\u2014\u00a0\u201c\u0447\u0442\u043e \u044f \u043f\u0435\u0440\u0435\u0434\u0430\u043c \u0434\u0430\u043b\u044c\u0448\u0435\u201d. \u0421\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 query \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0438 key \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435; \u043f\u043e\u0441\u043b\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043c\u0430\u0441\u043a\u0438 \u0438 softmax (\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0438\u0437\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b) \u044d\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u0432\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442\u0441\u044f value. \u0412\u00a0multi\u2011head attention \u0442\u0430\u043a\u0438\u0445 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e: \u0440\u0430\u0437\u043d\u044b\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u043c\u043e\u0433\u0443\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430\u00a0\u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441\u0435, \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0443\u0449\u043d\u043e\u0441\u0442\u0435\u0439, \u0434\u0430\u043b\u044c\u043d\u0438\u0445 \u0441\u0441\u044b\u043b\u043a\u0430\u0445 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0438\u043f\u0430\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439. \u0427\u0442\u043e\u0431\u044b\u00a0\u0431\u044b\u043b\u043e \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u00a0\u2014 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430\u00a0\u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435:\u0414\u043b\u044f\u00a0\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043d\u0438\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c BF16\u00a0= 2\u00a0\u0431\u0430\u0439\u0442\u0430 \u043d\u0430\u00a0\u044d\u043b\u0435\u043c\u0435\u043d\u0442. \u042d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u0430\u044f \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430: weights, activations, KV cache \u0438 \u0441\u0430\u043c\u0438 attention kernels \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c FP8, FP4, INT8INT4\u00a0\u0438 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0430\u0442\u044b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0447\u0435\u0442\u044b \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u043d\u0443\u0436\u043d\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u043a\u00a0\u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u0430\u00a0\u043d\u0435\u00a0\u043a\u0430\u043a\u00a0\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u043b\u044e\u0431\u043e\u0439 LLM.\u0423\u00a0\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 LLM \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0443\u0437\u043a\u0438\u0445 \u043c\u0435\u0441\u0442\u0430, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441\u00a0attention:KV cache \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u0435\u043a\u043e\u0434\u0430.\u00a0\u0427\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043b\u044e\u0447\u0435\u0439 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u043b\u044f\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0430. MQA, GQA, MLA \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u0445\u0435\u043c\u044b \u0441\u0436\u0430\u0442\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u043e\u0431\u044a\u0451\u043c \u044d\u0442\u043e\u0433\u043e \u043a\u044d\u0448\u0430 \u0438 \u0441\u043d\u0438\u0436\u0430\u044e\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430\u00a0\u043f\u0430\u043c\u044f\u0442\u044c.\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.\u00a0\u0412\u00a0\u043f\u043e\u043b\u043d\u043e\u043c attention \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438. Local, block\u2011sparse \u0438 learned sparse attention \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e \u0442\u0430\u043a\u0438\u0445 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043d\u0443\u0436\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438.\u0414\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c GPU kernel.\u00a0\u0414\u0430\u0436\u0435 \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430\u00a0\u0436\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 attention \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u00a0\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0440\u0430\u0437\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e. FlashAttention, cuDNN SDPA, FlashInfer \u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 kernels \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442\u00a0\u043b\u0438\u0448\u043d\u0435\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0436\u0434\u0443 HBM (High Bandwidth Memory) \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u0438 \u0437\u0430\u00a0\u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u044e\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435.\u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043c\u044b\u0441\u043b\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e\u0441\u0442\u0430:\u00a0\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f LLM \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435\u00a0\u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u043e\u0439 \u00ab\u043d\u043e\u0432\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 attention\u00bb. \u041e\u043d\u0430 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u0438\u0437\u00a0\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f KV, \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430 \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430\u00a0\u0443\u0440\u043e\u0432\u043d\u0435\u00a0\u0436\u0435\u043b\u0435\u0437\u0430 \u0438 low\u2011level \u0441\u043e\u0444\u0442\u0430.\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0447\u0435\u0442\u044b\u0440\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u044f\u0412\u00a0\u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0430\u0445 \u043e\u0431\u00a0attention \u0447\u0430\u0441\u0442\u043e \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0441\u0432\u044f\u0437\u0435\u0439, \u043f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 GPU kernel. \u0418\u0437\u2011\u0437\u0430 \u044d\u0442\u043e\u0433\u043e FlashAttention \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u043e\u0432\u044b\u043c \u0432\u0438\u0434\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, RoPE\u00a0\u2014 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c, \u0430\u00a0PagedAttention\u00a0\u2014 \u0437\u0430\u043c\u0435\u043d\u043e\u0439 Transformer. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0443\u0440\u043e\u0432\u043d\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b.\u0423\u0440\u043e\u0432\u0435\u043d\u044c\u0427\u0442\u043e\u00a0\u043e\u043d \u0440\u0435\u0448\u0430\u0435\u0442\u041f\u0440\u0438\u043c\u0435\u0440\u044b\u041d\u0430\u00a0\u0447\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0433\u043e\u043b\u043e\u0432\u041a\u0430\u043a\u00a0\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442\u0441\u044f Q, K \u0438 VMHA, MQA, GQA, MLA\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0440\u0430\u0437\u043c\u0435\u0440 KV cache, bandwidth \u0434\u0435\u043a\u043e\u0434\u0430\u041f\u0430\u0442\u0442\u0435\u0440\u043d \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\u041a\u0430\u043a\u0438\u0435 \u043f\u0440\u043e\u0448\u043b\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443Full, sliding window, block sparse, learned top k\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0430 \u0438 \u0434\u043b\u0438\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0430Kernel\u041a\u0430\u043a\u00a0\u043e\u0434\u043d\u0430 \u0438 \u0442\u0430\u00a0\u0436\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u00a0GPUFlashAttention, cuDNN SDPA, SageAttention\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c, HBM traffic, \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u0442\u0430\u041f\u043e\u0437\u0438\u0446\u0438\u0438\u041a\u0430\u043a\u00a0\u0432 Q \u0438 K \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0442\u043e\u043a\u0435\u043d\u043e\u0432RoPE, ALiBi, NoPE, iRoPE\u042d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u044f \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043d\u0430\u00a0\u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435PagedAttention \u0442\u043e\u0436\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c, \u043d\u043e\u00a0\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u0435: \u044d\u0442\u043e \u043c\u0435\u043d\u0435\u0434\u0436\u043c\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u043d\u0438\u0446 KV cache \u0432\u00a0serving engine. \u041e\u043d \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044e \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0434\u0435\u043b\u0438\u0442\u044c \u0431\u043b\u043e\u043a\u0438 \u043a\u044d\u0448\u0430 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438, \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0443 attention \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043d\u0430\u0412\u00a0causal self attention \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u0442\u0440\u043e\u0438\u0442 query \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u0441\u00a0keys \u0432\u0441\u0435\u0445 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041f\u043e\u0441\u043b\u0435 softmax \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u044e\u0442 values. \u041c\u0430\u0441\u043a\u0430 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432\u00a0\u0431\u0443\u0434\u0443\u0449\u0435\u0435.\u0414\u043b\u044f\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u0438\u043d\u044b n \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u043e\u0437\u0434\u0430\u0435\u0442 n \u043d\u0430\u00a0n \u043f\u043e\u043f\u0430\u0440\u043d\u044b\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u041e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0430 \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u0430\u043a\u00a0O(n\u00b2). \u0412\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u0434\u0435\u043a\u043e\u0434\u0430 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c \u0443\u0436\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u0430 \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u0440\u0430\u0441\u0442\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0441\u00a0\u0434\u043b\u0438\u043d\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438. \u0421\u0430\u043c attention \u043d\u0430\u00a0\u0434\u0435\u043a\u043e\u0434\u0435 \u0447\u0430\u0441\u0442\u043e \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u00a0\u0432\u00a0FLOPS, \u0430\u00a0\u0432\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 KV cache \u0438\u0437\u00a0\u043f\u0430\u043c\u044f\u0442\u0438.\u0423\u0434\u043e\u0431\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u044d\u0448\u0430 \u0434\u043b\u044f\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430:\u041f\u0435\u0440\u0432\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c 2\u00a0\u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 K \u0438 V. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 32\u00a0\u0441\u043b\u043e\u044f\u0445, 128K \u0442\u043e\u043a\u0435\u043d\u043e\u0432, 8\u00a0KV \u0433\u043e\u043b\u043e\u0432\u0430\u0445, head dimension 128\u00a0\u0438 BF16\u00a0\u043a\u044d\u0448 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 16\u00a0GiB. \u0415\u0441\u043b\u0438 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c 8\u00a0KV \u0433\u043e\u043b\u043e\u0432 \u043d\u0430 32\u00a0\u043f\u0440\u0438\u00a0\u043f\u0440\u043e\u0447\u0438\u0445 \u0440\u0430\u0432\u043d\u044b\u0445, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 64\u00a0GiB. \u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0447\u0438\u0441\u043b\u043e query heads \u0441\u0430\u043c\u043e \u043f\u043e\u00a0\u0441\u0435\u0431\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u00a0\u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e\u00a0\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 serving: \u0432\u0430\u0436\u0435\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u00a0num_key_value_heads.Self attention, causal attention \u0438 cross attentionSelf attention \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e\u00a0Q, K \u0438 V \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0438\u0437\u00a0\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u041e\u043d\u00a0\u0431\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0443\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u043c, \u043a\u043e\u0433\u0434\u0430 \u0442\u043e\u043a\u0435\u043d \u0432\u0438\u0434\u0438\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u0441\u043b\u0435\u0432\u0430 \u0438 \u0441\u043f\u0440\u0430\u0432\u0430, \u0438 causal, \u043a\u043e\u0433\u0434\u0430 \u043c\u0430\u0441\u043a\u0430 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u043e\u0448\u043b\u043e\u0435 \u0438 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e. \u0414\u0435\u043a\u043e\u0434\u0435\u0440\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 LLM \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 causal self attention: \u0438\u043d\u0430\u0447\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u043b\u043e\u00a0\u0431\u044b \u0431\u0443\u0434\u0443\u0449\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u044b.Cross attention \u0431\u0435\u0440\u0435\u0442 queries \u0438\u0437\u00a0\u043e\u0434\u043d\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0430\u00a0keys \u0438 values\u00a0\u2014 \u0438\u0437\u00a0\u0434\u0440\u0443\u0433\u043e\u0439. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440\u00a0\u2014 \u0434\u0435\u043a\u043e\u0434\u0435\u0440 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a\u00a0\u0432\u044b\u0445\u043e\u0434\u0430\u043c \u044d\u043d\u043a\u043e\u0434\u0435\u0440\u0430. \u0412\u00a0\u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 cross attention \u043c\u043e\u0436\u0435\u0442 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u043e\u0432\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0441\u00a0\u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043b\u0438\u00a0\u0430\u0443\u0434\u0438\u043e\u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438. \u042d\u0442\u043e \u043d\u0435\u00a0\u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442 MHA, GQA \u0438\u043b\u0438\u00a0MLA: cross attention \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a Q, K \u0438 V, \u0430\u00a0MHA, GQA \u0438 MLA\u00a0\u2014 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043e\u0440\u0433\u0430\u043d\u0438\u0437\u0430\u0446\u0438\u044e \u0433\u043e\u043b\u043e\u0432 \u0438 \u043a\u044d\u0448\u0430.Multi Head Attention\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 Multi Head Attention, \u0438\u043b\u0438\u00a0MHA, \u0434\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u043e\u043b\u043e\u0432\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 Q, K \u0438 V \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438. \u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043e\u043b\u043e\u0432 \u043c\u043e\u0433\u0443\u0442 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u0432\u044f\u0437\u0438: \u0441\u0438\u043d\u0442\u0430\u043a\u0441\u0438\u0441, \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u043c\u0435\u043d, \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u043a\u043e\u0434\u0430. \u042d\u0442\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0441\u0445\u0435\u043c\u0430, \u043d\u043e\u00a0\u043a\u0430\u0436\u0434\u0430\u044f KV \u0433\u043e\u043b\u043e\u0432\u0430 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u00a0\u043a\u044d\u0448.\u0421\u0438\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 MHA\u00a0\u2014 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043c\u0435\u0436\u0434\u0443 \u0433\u043e\u043b\u043e\u0432\u0430\u043c\u0438. \u0421\u043b\u0430\u0431\u0430\u044f\u00a0\u2014 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 KV cache \u0438 \u0432\u044b\u0441\u043e\u043a\u0438\u0439 memory bandwidth \u043f\u0440\u0438\u00a0\u0434\u0435\u043a\u043e\u0434\u0435. \u0412\u00a0\u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0438\u043b\u0438\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442\u00a0\u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e, \u043f\u0440\u0430\u0432\u0434\u0430 \u043f\u0440\u043e\u043c\u044b\u0448\u043b\u0435\u043d\u043d\u043e\u043c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044d\u0442\u043e\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u0440\u043e\u0433\u043e\u0439.Multi Query \u0438 Grouped Query AttentionMQAMulti Query Attention \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u043d\u043e\u0433\u043e query heads, \u043d\u043e\u00a0\u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0442\u044c \u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0443 K \u0438 V. \u041a\u044d\u0448 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u043e\u00a0\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437, \u0432\u043e\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u043b\u043e query heads \u0431\u043e\u043b\u044c\u0448\u0435 \u0447\u0438\u0441\u043b\u0430 KV heads. \u0414\u0435\u043a\u043e\u0434 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u0434\u0435\u0448\u0435\u0432\u043b\u0435 \u043f\u043e\u00a0bandwidth, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u0434\u043d\u0430 \u043e\u0431\u0449\u0430\u044f KV \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u0443\u0434\u0448\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0433\u043e\u043b\u043e\u0432.GQAGrouped Query Attention\u00a0\u2014 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 MHA \u0438 MQA. Query heads \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u043d\u0430\u00a0\u0433\u0440\u0443\u043f\u043f\u044b, \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0432\u043e\u044e KV \u0433\u043e\u043b\u043e\u0432\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 32\u00a0query heads \u0438 8\u00a0KV heads \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u0447\u0435\u0442\u044b\u0440\u0435 query heads \u043d\u0430\u00a0\u043e\u0434\u043d\u0443 \u043f\u0430\u0440\u0443 K \u0438 V. GQA \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0430\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a\u00a0MHA, \u043d\u043e\u00a0\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 MQA \u043f\u043e\u00a0\u043a\u044d\u0448\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 GQA \u0441\u0442\u0430\u043b \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0451\u043d\u043d\u044b\u043c \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u043e\u043c \u0434\u043b\u044f\u00a0\u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 LLM, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u044b \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430.\u0412\u0430\u0436\u043d\u043e: MQA \u0438 GQA \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e KV\u2011\u0433\u043e\u043b\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0447\u0438\u0441\u043b\u043e query\u2011\u0433\u043e\u043b\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u00a0prefill \u043a\u0430\u0436\u0434\u0430\u044f query\u2011head \u0432\u0441\u0451 \u0435\u0449\u0451 \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c attention scores \u0434\u043b\u044f\u00a0\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u0439, \u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c full attention \u043e\u0442\u00a0\u0434\u043b\u0438\u043d\u044b \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f. \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 MQA \u0438 GQA\u00a0\u2014 \u043c\u0435\u043d\u044c\u0448\u0438\u0439 KV cache \u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u043e\u0431\u044a\u0451\u043c \u0434\u0430\u043d\u043d\u044b\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0447\u0438\u0442\u0430\u0442\u044c \u0438\u0437\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 GPU \u0432\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u0430\u0432\u0442\u043e\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0433\u043e decode.Multi Head Latent AttentionMulti Head Latent Attention, \u0438\u043b\u0438\u00a0MLA, (\u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0432\u00a0DeepSeek V2). \u0412\u043c\u0435\u0441\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u043d\u044b\u0445 K \u0438 V \u0434\u043b\u044f\u00a0\u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u043e\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435. \u041d\u0443\u0436\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u043b\u0438\u00a0\u0430\u043b\u0433\u0435\u0431\u0440\u0430\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u0433\u043b\u043e\u0449\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438 query \u0438 output \u043d\u0430\u00a0\u044d\u0442\u0430\u043f\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f. \u041f\u043e\u0437\u0438\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0442\u00a0\u0441\u0436\u0430\u0442\u043e\u0439 content \u0447\u0430\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b RoPE (Rotary Positional Embedding, \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u043e\u043e\u0431\u0449\u0438\u0442\u044c attention,\u00a0\u0432\u00a0\u043a\u0430\u043a\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0441\u0442\u043e\u044f\u0442 \u0442\u043e\u043a\u0435\u043d\u044b\u00a0\u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u043d\u0438 \u0434\u0440\u0443\u0433 \u043e\u0442\u00a0\u0434\u0440\u0443\u0433\u0430.) \u043d\u0435\u00a0\u0440\u0430\u0437\u0440\u0443\u0448\u0438\u043b \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u043e\u0433\u043e \u0441\u0436\u0430\u0442\u0438\u044f.\u0418\u0434\u0435\u044f \u0433\u043b\u0443\u0431\u0436\u0435, \u0447\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u043e KV heads. GQA \u0434\u0435\u043b\u0438\u0442 \u0433\u043e\u0442\u043e\u0432\u044b\u0435 K \u0438 V \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 query. MLA \u0443\u0447\u0438\u0442 \u043e\u0431\u0449\u0438\u0439 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u044b\u0439 \u043a\u043e\u0434, \u0438\u0437\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0443\u0436\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e. \u0412\u00a0\u043e\u0442\u0447\u0435\u0442\u0435 DeepSeek V2\u00a0\u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 KV cache \u043d\u0430 93,3% \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u0438 \u0440\u043e\u0441\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e generation throughput \u0434\u043e 5,76\u00a0\u0440\u0430\u0437\u0430. \u042d\u0442\u0438 \u0446\u0438\u0444\u0440\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435 \u0438 \u043d\u0435\u00a0\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u043c \u0434\u043b\u044f\u00a0\u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.\u0426\u0435\u043d\u0430 MLA\u00a0\u2014 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438, \u043e\u0441\u043e\u0431\u044b\u0435 kernel paths \u0438 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a\u00a0hardware balance. \u0421\u044d\u043a\u043e\u043d\u043e\u043c\u043b\u0435\u043d\u043d\u044b\u0435 \u0431\u0430\u0439\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u0432\u00a0\u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u041d\u0430\u00a0bandwidth limited \u0434\u0435\u043a\u043e\u0434\u0435 \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439 \u043e\u0431\u043c\u0435\u043d; \u043d\u0430\u00a0\u0434\u0440\u0443\u0433\u043e\u043c GPU \u0438\u043b\u0438\u00a0\u043f\u0440\u0438\u00a0\u0441\u043b\u0430\u0431\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0431\u0443\u0434\u0435\u0442 \u043d\u0438\u0436\u0435. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441\u00a0inference engine, tensor parallelism \u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u043c\u00a0\u0436\u0435\u043b\u0435\u0437\u043e\u043c.\u041f\u043e\u043b\u043d\u043e\u0435, \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0438 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435Full attention\u041f\u043e\u043b\u043d\u043e\u0435 causal attention \u0440\u0430\u0437\u0440\u0435\u0448\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a\u043e \u0432\u0441\u0435\u0439 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438. \u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0438 \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0434\u043b\u044f\u00a0retrieval \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u043e\u00a0\u0435\u0433\u043e \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u0442\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e \u043d\u0430\u00a0\u043f\u0440\u0435\u0444\u0438\u043b\u043b\u0435. FlashAttention \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e\u00a0\u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u0435\u0435 \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u00a0\u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 O(n\u00b2) \u0447\u0438\u0441\u043b\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439.Sliding window \u0438 local attention\u041b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u043c\u0438 w \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c\u0438. \u0421\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f O(nw), \u0430\u00a0\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043a\u044d\u0448 \u043c\u043e\u0436\u043d\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0442\u044c \u043e\u043a\u043d\u043e\u043c. \u0427\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0435\u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u043a\u043d\u0430, \u043d\u043e\u00a0\u043f\u0440\u044f\u043c\u043e\u0439 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u0434\u0430\u043b\u0435\u043a\u043e\u043c\u0443 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0443 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f. Mistral 7B \u0441\u043e\u0447\u0435\u0442\u0430\u043b GQA \u0438 sliding window attention: \u043e\u0434\u043d\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0430 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u0430 KV cost, \u0432\u0442\u043e\u0440\u0430\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u043b\u0430 attention span.\u0421\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0\u2014 \u0447\u0435\u0440\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0435\u0432 \u0434\u0435\u0448\u0435\u0432\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0430\u00a0\u0440\u0435\u0434\u043a\u0438\u0435 full attention \u0441\u043b\u043e\u0438 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u044e\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043b\u044f\u00a0\u043a\u043e\u0434\u0430, \u0434\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043c\u0443\u043b\u044c\u0442\u0438\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439, \u0433\u0434\u0435 \u043c\u043d\u043e\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b, \u043d\u043e\u00a0\u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u0435\u043d \u0434\u0430\u043b\u044c\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434.\u0424\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 sparse attentionBlock sparse attention \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0434\u0430\u0451\u0442, \u043d\u0430\u00a0\u043a\u0430\u043a\u0438\u0435 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 query. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u0438\u0434\u0435\u0442\u044c \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043a\u043d\u043e, \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u0438 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043b\u044c\u043d\u0438\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u042d\u0442\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u0445 \u0441\u0432\u044f\u0437\u0435\u0439, \u043d\u043e\u00a0\u0442\u0430\u043a\u043e\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0448\u0430\u0431\u043b\u043e\u043d \u043d\u0435\u00a0\u0443\u043c\u0435\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u0436\u043d\u044b\u0439 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u043f\u043e\u00a0\u0441\u043c\u044b\u0441\u043b\u0443. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 GPU\u2011kernel \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u0437\u0430\u043f\u0440\u0435\u0449\u0451\u043d\u043d\u044b\u0435 \u0431\u043b\u043e\u043a\u0438 \u0438 \u0447\u0438\u0442\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043a\u0440\u0443\u043f\u043d\u044b\u043c\u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u0430\u043c\u0438 \u043f\u0430\u043c\u044f\u0442\u0438, \u0430\u00a0\u043d\u0435\u00a0\u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-497543","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/497543","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=497543"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/497543\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=497543"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=497543"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=497543"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}