{"id":485996,"date":"2026-07-02T22:37:33","date_gmt":"2026-07-02T22:37:33","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=485996"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=485996","title":{"rendered":"\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043e\u0440\u043e\u0433\u0430\u044f LLM \u0434\u043e\u0440\u043e\u0436\u0435: \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u043a\u0430 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0438\u0434\u043d\u043e \u0432 \u0442\u0432\u043e\u0451\u043c 5-\u0447\u0430\u0441\u043e\u0432\u043e\u043c \u043b\u0438\u043c\u0438\u0442\u0435"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u043e\u043f\u043e\u0441\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 5-\u0442\u0438 \u0447\u0430\u0441\u043e\u0432\u044b\u0435 \u0438 \u043d\u0435\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043b\u0438\u043c\u0438\u0442\u044b \u0432 Claude \/ GPT \/ Gemini \u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a36\/9ed\/60d\/a369ed60df0b282ea83379f0321231df.png\" width=\"1664\" height=\"902\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a36\/9ed\/60d\/a369ed60df0b282ea83379f0321231df.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a36\/9ed\/60d\/a369ed60df0b282ea83379f0321231df.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u042d\u0442\u043e \u0442\u0440\u0435\u0442\u044c\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0438\u0437 \u043c\u043e\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u00ab\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 LLM\u00bb<\/p>\n<p><strong>\u0412\u043e\u0442 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0435<\/strong><\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/habr.com\/ru\/articles\/942414\/\" rel=\"noopener noreferrer nofollow\"><strong>\u041f\u0440\u043e\u0441\u0442\u043e \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 ChatGPT \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 GPT \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c\u0438<\/strong><\/a><strong>. <\/strong><em>\u041a\u0441\u0442\u0430\u0442\u0438, \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u0442\u0430\u043b\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u0435\u0439 \u041a\u043e\u0441\u043c\u043e\u0442\u0435\u043a\u0441\u0442\u0430<\/em><\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p><a href=\"https:\/\/habr.com\/ru\/articles\/1028260\/\" rel=\"noopener noreferrer nofollow\"><strong>\u041e\u0442\u00a0\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u043a\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0418\u043b\u0438\u00a0\u043e\u0434\u0438\u043d \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u0448\u0438\u0440\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u00a0Context Engineering<\/strong><\/a><strong>. <\/strong><em>\u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u0430\u044f<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u043b\u0430\u0432\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043b\u0438\u0448\u043d\u0438\u043c\u0438 \u0438\u043b\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u2014 \u043d\u043e \u043d\u0435\u0442. \u0422\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u043e \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0443\u0447\u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u043d\u044c\u044e\u0430\u043d\u0441\u044b \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0443 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f. <\/em><\/p>\n<h4>\u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438<\/h4>\n<ol>\n<li>\n<p>\u041f\u0440\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437 \u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u0430 <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e Dense \u0438 MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b <\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f attention \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<\/li>\n<li>\n<p>Total \u2260 active: \u0442\u0440\u0435\u043d\u0434 \u043d\u0430 MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 output-\u0442\u043e\u043a\u0435\u043d\u044b \u0434\u043e\u0440\u043e\u0436\u0435 input<\/p>\n<\/li>\n<li>\n<p>Reasoning-\u0442\u043e\u043a\u0435\u043d\u044b \u043a\u0430\u043a \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0439 output, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c<\/p>\n<\/li>\n<li>\n<p>Context Window \u0438 KV-cache \u2014 \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 <\/p>\n<\/li>\n<li>\n<p>\u0412 \u0447\u0435\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 KV-cache \u0438 prompt caching<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430 \u0441\u0447\u0435\u0442 \u0447\u0435\u0433\u043e \u0444\u0440\u043e\u043d\u0442\u0438\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u043e\u044f\u0442 \u0432 \u0440\u0430\u0437\u044b \u0434\u043e\u0440\u043e\u0436\u0435<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u00ab\u0443\u043c\u043d\u0435\u0435\u00bb<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0432\u0441\u0451 \u044d\u0442\u043e \u0438\u0442\u043e\u0433\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 5-\u0447\u0430\u0441\u043e\u0432\u043e\u0439 \u043b\u0438\u043c\u0438\u0442<\/p>\n<\/li>\n<li>\n<p>\u0418 \u043a\u0430\u043a \u0431\u043e\u043d\u0443\u0441 \u2014 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 open-weight \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e active \u0438 total <\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>\u041d\u0443, \u043f\u043e\u0435\u0445\u0430\u043b\u0438..<\/h3>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u0434\u0440\u043e\u043f\u0434\u0430\u0443\u043d \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u044b \u0432\u0438\u0434\u0438\u0448\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u044b\u0431\u043e\u0440. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0438 \u0431\u044b\u0441\u0442\u0440\u0430\u044f, \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0438 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0430\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u0440\u043e\u0436\u0435, \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u043d\u043e \u0438 \u0443\u043c\u043d\u0435\u0435 \u0432\u0441\u0435\u0445<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/eb5\/e5a\/6c5\/eb5e5a6c57b00d0519cc22bbfabae7ab.png\" width=\"1448\" height=\"745\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/eb5\/e5a\/6c5\/eb5e5a6c57b00d0519cc22bbfabae7ab.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/eb5\/e5a\/6c5\/eb5e5a6c57b00d0519cc22bbfabae7ab.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 Claude \u044d\u0442\u043e \u0441\u0435\u0440\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 <strong>Opus<\/strong>, <strong>Sonnet <\/strong>\u0438 <strong>Haiku<\/strong><\/p>\n<p>\u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0438 OpenAI \u043f\u043e\u0448\u0435\u043b \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0436\u0435 \u043f\u0443\u0442\u0438 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0446\u0438\u0444\u0435\u0440\u043d\u044b\u0445 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0441\u0435\u0440\u0438\u044e \u0438\u0437 \u0442\u0440\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: <strong>Sol<\/strong>, <strong>Terra <\/strong>\u0438 <strong>Luna<\/strong><\/p>\n<p>\u0410 \u0435\u0449\u0451 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0443 \u0432\u0441\u0435\u0445 \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c <strong>Thinking<\/strong><\/p>\n<p>\u0422\u0430\u043a \u0447\u0435\u043c \u0436\u0435 \u043e\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0440\u043e\u0436\u0435. \u0410 \u0434\u0435\u0448\u0435\u0432\u0430\u044f \u2014 \u0434\u0435\u0448\u0435\u0432\u043b\u0435?<\/p>\n<h4>TL;DR  <\/h4>\n<p>\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442: \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0430. \u0410 5-\u0447\u0430\u0441\u043e\u0432\u043e\u0439 \u043b\u0438\u043c\u0438\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u044b \u0432\u0438\u0434\u0438\u0448\u044c \u0443 \u0441\u0435\u0431\u044f \u043d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435, \u2014 \u044d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u0430\u044f, \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0438 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c<\/p>\n<p><code>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u2248 ( 2N \u00d7 \u0442\u043e\u043a\u0435\u043d\u044b + attention(\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442) + KV-cache ) \u00d7 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430<\/code><\/p>\n<h4>\u0414\u043b\u0438\u043d\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f<\/h4>\n<hr\/>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043b\u0438\u043c\u0438\u0442\u044b, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0438\u0437 \u0447\u0435\u0433\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a \u044d\u0442\u0438\u043c \u043f\u0443\u043d\u043a\u0442\u0430\u043c<\/p>\n<p>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u0442 LLM \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a<\/p>\n<ul>\n<li>\n<p><strong>input-\u0442\u043e\u043a\u0435\u043d\u044b <\/strong>\u2014 \u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0447\u0442\u043e \u0442\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u0437 system prompt + tools + MCP + Skills + Memory + \u043d\u0430\u0448\u0435 \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 <\/p>\n<\/li>\n<li>\n<p>+ <strong>output-\u0442\u043e\u043a\u0435\u043d\u044b <\/strong>\u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u0438\u0437 \u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0432\u0438\u0434\u0438\u043c + \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning-\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b<\/p>\n<\/li>\n<li>\n<p>+ <strong>VRAM<\/strong>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0438 \u0437\u0430\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0430\u0448 KV cashe<\/p>\n<\/li>\n<li>\n<p>+ <strong>serving overhead<\/strong> &#8212; \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u043a\u0443 KV cashe \u0432 GPU \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0438 \u0437\u0430\u0442\u0435\u043c \u0432 \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f. \u0418 \u0442\u0430\u043a \u0442\u0443\u0434\u0430 \u0441\u044e\u0434\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043f\u043e\u00a0\u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c:<\/p>\n<ul>\n<li>\n<p><strong>\u0422\u043e\u043a\u0435\u043d<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430 \u0438\u043b\u0438, \u0438\u043d\u043e\u0433\u0434\u0430 \u0441\u043b\u043e\u0432\u043e \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u00a0\u0442\u0430\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0451 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445<\/p>\n<\/li>\n<li>\n<p><strong>Input<\/strong>\u00a0\u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0447\u0442\u043e \u0442\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u043c\u043e\u0434\u0435\u043b\u0438,\u00a0<strong>output<\/strong>\u00a0\u2014 \u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u0432\u00a0\u043e\u0442\u0432\u0435\u0442<\/p>\n<\/li>\n<li>\n<p><strong>Reasoning-\u0442\u043e\u043a\u0435\u043d\u044b<\/strong>\u00a0\u2014 \u0435\u0451 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u00a0\u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/li>\n<li>\n<p><strong>Serving overhead<\/strong>\u00a0\u2014 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u043e\u0439 \u0438\u00a0\u0433\u043e\u0442\u043e\u0432\u043e\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c: \u043e\u0447\u0435\u0440\u0435\u0434\u0438, \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 GPU<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u2014 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a GPU-\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u00a0GPU-\u043f\u0430\u043c\u044f\u0442\u0438, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0442\u043e-\u0442\u043e \u043f\u043b\u0430\u0442\u0438\u0442. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435<\/p>\n<hr\/>\n<p>\u0414\u043e\u0431\u0430\u0432\u043b\u044e, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0431\u044b\u043b\u043e \u0431\u044b \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e\u00a0<em>\u043d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 ChatGPT<\/em>\u00a0\/ Claude \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u043e\u00a0\u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u00a0\u2014 \u043d\u0438 OpenAI, \u043d\u0438 Anthropic \u043d\u0435\u00a0\u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u043d\u0438\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u043d\u0438\u00a0\u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u0432\u043e\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u00a0\u043d\u0438\u0445 \u043d\u0430\u0448\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043f\u043e\u0439\u0434\u0435\u043c \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438 \u0438 \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u043d\u0430\u00a0open-weight \u043c\u043e\u0434\u0435\u043b\u044f\u0445\u00a0\u2014 Llama \u0438\u00a0\u0447\u0443\u0442\u044c DeepSeek. <\/p>\n<p>\u0423\u00a0\u043d\u0438\u0445 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b \u0438\u00a0\u0440\u0430\u0437\u043c\u0435\u0440, \u0438\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u0430\u00a0\u0446\u0435\u043d\u0443 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0440\u044b\u043d\u043e\u043a \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432. \u041d\u0430\u00a0\u043d\u0438\u0445\u00a0\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u00a0\u0447\u0438\u0441\u043b\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438. <\/p>\n<p>\u0410\u00a0\u0443\u0436\u0435 \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0451\u043c \u043b\u043e\u0433\u0438\u043a\u0443 \u043d\u0430\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u044b \ud83e\udd75<\/p>\n<h3>Let&#8217;s go deeper<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Open-weight\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u0443\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u0441\u0430 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u00a0\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f. Llama \u043e\u0442\u00a0Meta\u00a0\u043a\u0430\u043a \u0440\u0430\u0437 \u043e\u0434\u043d\u0430 \u0438\u0437 \u0442\u0430\u043a\u0438\u0445. <em>\u041b\u044e\u0431\u043e\u0439 \u0438\u0437 \u0432\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 \u0441\u0430\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0442\u0435 \u0436\u0435 \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u044b, \u0447\u0442\u043e \u0438 \u044f<\/em><\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u0432 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u042d\u0442\u043e \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 <code>8B<\/code>,\u00a0<code>70B<\/code>,\u00a0<code>405B<\/code>\u00a0(\u043e\u0442\u00a0\u0430\u043d\u0433\u043b.\u00a0<em>billion<\/em>)<\/p>\n<p>Trade off \u0432\u043f\u043e\u043b\u043d\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u0435\u043c \u00ab\u0443\u043c\u043d\u0435\u0435\u00bb \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0442\u0435\u043c \u043c\u043e\u0449\u043d\u0435\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u043e\u043a\u0430\u0436\u0443 \u044d\u0442\u0443 \u0432\u0437\u0430\u0438\u043c\u0441\u0432\u044f\u0437\u044c \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 Llama \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u0440\u0438 <abbr class=\"habraabbr\" title=\"\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0431\u0438\u0442 \u0446\u0435\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 ------------ \u0425\u043e\u0440\u043e\u0448\u0430\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044f \u044d\u0442\u043e \u0431\u0443\u0445 \u0443\u0447\u0435\u0442. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 weight \u2014 \u044d\u0442\u043e \u0446\u0435\u043d\u0430 \u0442\u043e\u0432\u0430\u0440\u0430: \u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f BF16 \u2014 \u0446\u0435\u043d\u0430 \u0434\u043e \u043a\u043e\u043f\u0435\u0439\u043a\u0438: 73.21 \u20bd FP8 \u2014 \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0435\u043c \u0434\u043e 25 \u043a\u043e\u043f\u0435\u0435\u043a: 73.25 \u20bd Q4 \u2014 \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 16 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u043d\u0430 \u0432\u0441\u044e \u043f\u043e\u043b\u043a\u0443, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439: 73 \u20bd ------------ \u0427\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 (\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0435\u0435) \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0438\u0442 \u043d\u0430 \u0432\u0435\u0441 \u2014 \u0442\u0435\u043c \u043d\u0438\u0436\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 VRAM \u0438 \u0436\u0435\u043b\u0435\u0437\u0430 \u043d\u0443\u0436\u043d\u043e -------------\" data-title=\"&lt;p&gt;\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u044d\u0442\u043e \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0431\u0438\u0442 \u0446\u0435\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438&lt;\/p&gt;&lt;p&gt;------------&lt;\/p&gt;&lt;p&gt;\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u044f \u044d\u0442\u043e \u0431\u0443\u0445 \u0443\u0447\u0435\u0442. &lt;\/p&gt;&lt;p&gt;\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 weight \u2014 \u044d\u0442\u043e \u0446\u0435\u043d\u0430 \u0442\u043e\u0432\u0430\u0440\u0430:&lt;\/p&gt;&lt;p&gt;\u041a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f BF16 \u2014 \u0446\u0435\u043d\u0430 \u0434\u043e \u043a\u043e\u043f\u0435\u0439\u043a\u0438: &lt;strong&gt;73.21 \u20bd&lt;\/strong&gt;&lt;\/p&gt;&lt;p&gt;FP8 \u2014 \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0435\u043c \u0434\u043e 25 \u043a\u043e\u043f\u0435\u0435\u043a: &lt;strong&gt;73.25 \u20bd&lt;\/strong&gt;&lt;\/p&gt;&lt;p&gt;Q4 \u2014 \u0435\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 16 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u043d\u0430 \u0432\u0441\u044e \u043f\u043e\u043b\u043a\u0443, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439: &lt;strong&gt;73 \u20bd&lt;\/strong&gt;&lt;\/p&gt;&lt;p&gt;------------&lt;\/p&gt;&lt;p&gt;\u0427\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 (\u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u0435\u0435) \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u0442\u043e \u0435\u0441\u0442\u044c \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0438\u0442 \u043d\u0430 \u0432\u0435\u0441 \u2014 \u0442\u0435\u043c \u043d\u0438\u0436\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 VRAM \u0438 \u0436\u0435\u043b\u0435\u0437\u0430 \u043d\u0443\u0436\u043d\u043e&lt;\/p&gt;&lt;p&gt;-------------&lt;\/p&gt;&lt;p&gt;&lt;\/p&gt;\" data-abbr=\"quantization FP16\">quantization FP16<\/abbr> <\/p>\n<ul>\n<li>\n<p><strong>Llama 3.1 8B<\/strong>\u00a0\u2014 \u0437\u0430\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0445\u043e\u0440\u043e\u0448\u0435\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435, \u043d\u0443\u0436\u043d\u043e ~16GB \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/li>\n<li>\n<p><strong>Llama 3.1 70B<\/strong>\u00a0\u2014 \u043d\u0443\u0436\u0435\u043d \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u00a0\u043f\u0430\u0440\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0438\u043b\u0438 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0438\u0439 \u043d\u043e\u0443\u0442, \u043d\u0443\u0436\u043d\u043e ~140 GB \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<\/li>\n<li>\n<p><strong>Llama 3.1 405B<\/strong>\u00a0\u2014 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0438\u0437\u00a016\u00a0\u0448\u0442\u0443\u043a H100 (\u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u043e\u0432\u0430\u044f GPU NVIDIA \u0441\u00a080\u00a0\u0413\u0411 VRAM \u043d\u0430\u00a0\u043a\u0430\u0440\u0442\u0443), \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0436\u0435\u043b\u0435\u0437\u0430, ~1280GB \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/221\/da8\/53b\/221da853b8c70f73e7a41fd7e8ac54e1.png\" alt=\"\u0420\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0441 \u0436\u0435\u043b\u0435\u0437\u0430: \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a02\u00a0\u0431\u0430\u0439\u0442\u0430 \u0438\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438\u00a0\u2014 \u043e\u0442\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430 \u0434\u043e\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438\u0437\u00a016 H100.  \" title=\"\u0420\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0441 \u0436\u0435\u043b\u0435\u0437\u0430: \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a02\u00a0\u0431\u0430\u0439\u0442\u0430 \u0438\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438\u00a0\u2014 \u043e\u0442\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430 \u0434\u043e\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438\u0437\u00a016 H100.  \" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/221\/da8\/53b\/221da853b8c70f73e7a41fd7e8ac54e1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/221\/da8\/53b\/221da853b8c70f73e7a41fd7e8ac54e1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0441 \u0436\u0435\u043b\u0435\u0437\u0430: \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a02\u00a0\u0431\u0430\u0439\u0442\u0430 \u0438\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438\u00a0\u2014 \u043e\u0442\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430 \u0434\u043e\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438\u0437\u00a016 H100.  <\/figcaption><\/div>\n<\/figure>\n<\/li>\n<\/ul>\n<details class=\"spoiler\">\n<summary>\u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445. \u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e VRAM \u0438 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u0448\u0430 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0430 \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u0438\u0447\u0451\u043c \u00ab\u043f\u0430\u043c\u044f\u0442\u044c\u00bb \u0437\u0434\u0435\u0441\u044c \u0438\u043c\u0435\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0442\u00a0\u2014\u00a0VRAM, \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b. \u041d\u0435\u00a0\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0430 \u0438 \u043d\u0435\u00a0SSD\/HDD. <\/p>\n<p>\u042d\u0442\u0438 \u0443\u0440\u043e\u0432\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0430\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0438. SSD\u00a0\u2248\u00a05\u00a0\u0413\u0411\/\u0441, RAM\u00a0\u2248\u00a050\u00a0\u0413\u0411\/\u0441, VRAM \u0443\u00a0H100\u00a0\u2248\u00a03000\u00a0\u0413\u0411\/\u0441\u00a0\u2014 \u0442\u043e\u00a0\u0435\u0441\u0442\u044c <strong>VRAM \u0432\u00a0~600\u00a0\u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 SSD<\/strong>. \u041c\u043e\u0434\u0435\u043b\u044c <strong>\u043e\u0431\u044f\u0437\u0430\u043d\u0430 <\/strong>\u0436\u0438\u0442\u044c \u0432\u00a0VRAM \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d GPU \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0435\u0451 \u0432\u0435\u0441\u0430 \u0437\u0430\u043d\u043e\u0432\u043e, \u0438\u00a0\u043b\u044e\u0431\u0430\u044f \u043f\u043e\u0434\u043a\u0430\u0447\u043a\u0430 \u0441\u00a0\u0434\u0438\u0441\u043a\u0430 \u0443\u0431\u0438\u043b\u0430\u00a0\u0431\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u00a0\u0442\u044b\u0441\u044f\u0447\u0438 \u0440\u0430\u0437. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u00ab\u043d\u0443\u0436\u043d\u043e 140\u00a0\u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u00a0VRAM.<\/p>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0435\u043c: \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0432\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 2\u00a0\u0431\u0430\u0439\u0442\u0430\u00a0\u2014 16-\u0431\u0438\u0442\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0435\u0441\u0430 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e. 8B\u00a0\u2014 \u044d\u0442\u043e ~16\u00a0\u0413\u0411 VRAM, \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u0451\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0438\u0433\u0440\u043e\u0432\u043e\u0439 \u043d\u043e\u0443\u0442\u0431\u0443\u043a \u0441\u00a0\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u043e\u0439. 70B\u00a0\u2014 \u0443\u0436\u0435 ~140\u00a0\u0413\u0411, \u0441\u0442\u043e\u043b\u044c\u043a\u043e VRAM \u0432\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a \u043d\u0435\u00a0\u0432\u043b\u0435\u0437\u0430\u0435\u0442, \u043d\u0443\u0436\u0435\u043d \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u043c\u0438. 405B\u00a0\u2014 ~810\u00a0\u0413\u0411, \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0446\u0435\u043b\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.<\/p>\n<p>\u0427\u0438\u0441\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u0443\u0436\u0430\u0442\u044c. \u0415\u0441\u043b\u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0432\u00a01\u00a0\u0431\u0430\u0439\u0442\u0435 \u0432\u043c\u0435\u0441\u0442\u043e 2 (\u0444\u043e\u0440\u043c\u0430\u0442 FP8 \u0432\u043c\u0435\u0441\u0442\u043e BF16), VRAM \u043d\u0443\u0436\u043d\u043e \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435. <\/p>\n<p>\u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0438\u00a0\u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0434\u043b\u044f\u00a0405B \u0442\u0430\u043a\u0430\u044f: \u0431\u0435\u0437 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u00a0\u0444\u043e\u0440\u043c\u0430\u0442\u0435 BF16\u00a0\u2014 \u044d\u0442\u043e ~810\u00a0\u0413\u0411 \u0438\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 ~16 H100. \u0410 \u0441\u0436\u0430\u0442\u0430\u044f \u0434\u043e\u00a0FP8\u00a0\u2014 \u0443\u0436\u0435 ~405\u00a0\u0413\u0411, \u0438\u00a0\u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0432\u00a0\u043e\u0434\u0438\u043d \u0443\u0437\u0435\u043b \u0438\u0437\u00a08\u00a0H100<\/p>\n<\/div>\n<\/details>\n<p>\u0412 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0438 \u0434\u0430\u0436\u0435 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 405B \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u043c\u043e\u0433\u0443\u0442 \u043c\u0435\u043d\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0443\u0437\u0435\u043b \u0438\u0437\u00a08 H100 \u0441\u0442\u043e\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 200+ \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0435\u0440\u0451\u0442\u00a0inference-\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430\u00a0\u2014 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u043e\u0439 \u0438\u00a0\u043f\u0440\u043e\u0434\u0430\u0451\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u043d\u0435\u0439. Inference\u00a0\u2014 \u044d\u0442\u043e \u0438\u00a0\u0435\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u0432\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0422\u0430\u043a\u0438\u0445 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e: Together AI, Fireworks, DeepInfra, Groq, Cerebras. \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 \u0443\u00a0\u0441\u0435\u0431\u044f \u0442\u0435\u00a0\u0436\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438\u00a0\u043f\u0440\u043e\u0434\u0430\u0451\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c.<\/p>\n<p>\u0412\u0435\u0441\u0430 \u0443\u00a0\u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0442 \u043e\u043d\u0438\u00a0<em>\u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439<\/em>\u00a0\u0437\u0430\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u00a0\u0442\u043e\u0433\u043e\u00a0\u0436\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041c\u043e\u043d\u043e\u043f\u043e\u043b\u0438\u0438 \u043d\u0435\u0442. \u0410\u00a0\u0437\u043d\u0430\u0447\u0438\u0442, \u0446\u0435\u043d\u0430 \u043d\u0430\u00a0Llama \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442 \u0443\u043b\u0435\u0442\u0435\u0442\u044c \u0432\u00a0\u043a\u043e\u0441\u043c\u043e\u0441\u00a0\u2014\u00a0\u043e\u043d\u0430 \u043f\u0440\u0438\u0436\u0430\u0442\u0430 \u043a\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u043a\u0435 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043b\u044e\u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u0440\u0436\u0430 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430<\/p>\n<p>\u0423\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0436\u0435 \u0432\u0441\u0451 \u0438\u043d\u0430\u0447\u0435. \u0412\u0435\u0441\u0430 GPT, Claude \u0438\u00a0Gemini \u0437\u043d\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e OpenAI, Anthropic \u0438\u00a0Google\u00a0\u2014 \u0438\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0438 \u0445\u043e\u0441\u0442\u044f\u0442 \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412\u00a0\u0438\u0445 \u0446\u0435\u043d\u043d\u0438\u043a \u0437\u0430\u0448\u0438\u0442\u043e \u0441\u0440\u0430\u0437\u0443 \u0432\u0441\u0451<\/p>\n<ul>\n<li>\n<p><strong>compute<\/strong>\u00a0\u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0438 \u0440\u0430\u0431\u043e\u0442\u0430 GPU<\/p>\n<\/li>\n<li>\n<p>\u0438\u0445 <strong>\u043c\u0430\u0440\u0436\u0430 \u043a\u0430\u043a \u043c\u043e\u043d\u043e\u043f\u043e\u043b\u0438\u0441\u0442\u043e\u0432<\/strong> \u043d\u0430 \u0441\u0432\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/li>\n<li>\n<p><strong>\u043e\u043a\u0443\u043f\u0430\u0435\u043c\u043e\u0441\u0442\u044c <\/strong>\u043c\u043d\u043e\u0433\u043e\u043b\u0435\u0442\u043d\u0435\u0433\u043e <strong>R&amp;D <\/strong>\u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0e7\/9db\/2d1\/0e79db2d115483a25f542ff4e012b513.png\" alt=\"\u0423\u00a0Llama \u0446\u0435\u043d\u044b \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u0442\u044b\u0439 compute + \u043c\u0430\u0440\u0436\u0430. \u0410\u00a0\u0432\u00a0\u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u043f\u0440\u0430\u0439\u0441\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043e \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445\u00a0\u2014 \u0438\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u043c\" title=\"\u0423\u00a0Llama \u0446\u0435\u043d\u044b \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u0442\u044b\u0439 compute + \u043c\u0430\u0440\u0436\u0430. \u0410\u00a0\u0432\u00a0\u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u043f\u0440\u0430\u0439\u0441\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043e \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445\u00a0\u2014 \u0438\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u043c\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/0e7\/9db\/2d1\/0e79db2d115483a25f542ff4e012b513.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0e7\/9db\/2d1\/0e79db2d115483a25f542ff4e012b513.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0423\u00a0Llama \u0446\u0435\u043d\u044b \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u0442\u044b\u0439 compute + \u043c\u0430\u0440\u0436\u0430. \u0410\u00a0\u0432\u00a0\u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u043f\u0440\u0430\u0439\u0441\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043e \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445\u00a0\u2014 \u0438\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u043c<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u2014 \u044d\u0442\u043e compute \u043f\u043b\u044e\u0441 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435. \u0410 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445\u00a0Llama \u2014 \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0447\u0438\u0441\u0442\u0430\u044f \u0444\u0438\u0437\u0438\u043a\u0430 \u0438 \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430. \u041e\u0442 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0442\u0435\u043c \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u044b \u043d\u0430 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<h3>\u0411\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0440\u043e\u0436\u0435 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d<\/h3>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u0442\u043e \u043e\u043d\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0438\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 \u043a\u0430\u043a\u043e\u0439 \u0442\u043e\u043a\u0435\u043d \u0438\u0434\u0451\u0442 \u0434\u0430\u043b\u044c\u0448\u0435. <\/p>\n<p>\u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u0432\u00a0<strong>\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0447\u0438\u0441\u043b\u0430-\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0438\u00a0\u0438\u0445 \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b. \u042d\u0442\u043e \u0432\u0441\u0435 \u0442\u0435 \u0436\u0435 \u043d\u0430\u0448\u0438 Llama <code>8B<\/code>,\u00a0<code>70B<\/code>,\u00a0<code>405B<\/code><\/p>\n<p>\u0418 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7eb\/cb3\/360\/7ebcb336016df0dbed6b5996d3a3b49a.png\" alt=\"\u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0432\u0438\u0434\u0435 token\u00a0ID\u00a0\u2192 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00a0\u2192 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u0438\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0432\u00a0\u043e\u0442\u0432\u0435\u0442.  \" title=\"\u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0432\u0438\u0434\u0435 token\u00a0ID\u00a0\u2192 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00a0\u2192 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u0438\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0432\u00a0\u043e\u0442\u0432\u0435\u0442.  \" width=\"1664\" height=\"902\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/7eb\/cb3\/360\/7ebcb336016df0dbed6b5996d3a3b49a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7eb\/cb3\/360\/7ebcb336016df0dbed6b5996d3a3b49a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0432\u0438\u0434\u0435 token\u00a0ID\u00a0\u2192 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00a0\u2192 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u0438\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0432\u00a0\u043e\u0442\u0432\u0435\u0442.  <\/figcaption><\/div>\n<\/figure>\n<blockquote>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u044b \u0438\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u044f\u00a0\u043f\u0438\u0441\u0430\u043b \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435\u00a0<a href=\"https:\/\/habr.com\/ru\/articles\/942414\/\" rel=\"noopener noreferrer nofollow\">\u00ab\u041f\u0440\u043e\u0441\u0442\u043e \u0438\u00a0\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 GPT-\u043c\u043e\u0434\u0435\u043b\u0438\u00bb<\/a>  <\/p>\n<\/blockquote>\n<h3>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e Dense \u0438 MoE \u043c\u043e\u0434\u0435\u043b\u0438<\/h3>\n<h4>\u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/h4>\n<p><strong>Dense\u00a0<\/strong>\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u0433\u0434\u0435 \u043d\u0430\u00a0\u0440\u0430\u0441\u0447\u0451\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/p>\n<p><strong>MoE\u00a0<\/strong>(Mixture of\u00a0Experts)\u00a0\u2014 \u043c\u043e\u0434\u0435\u043b\u044c, \u0433\u0434\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u044b \u043d\u0430\u00a0\u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00bb<br \/>\u0418 \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0442\u0435\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <br \/>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Llama 3.1\u00a0\u2014 dense, DeepSeek V3.1\u00a0\u2014 MoE<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/90a\/59b\/1e3\/90a59b1e360d395f8acaa063ba0ff336.png\" alt=\"Dense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0total\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0active\u00a0\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  \" title=\"Dense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0total\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0active\u00a0\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  \" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/90a\/59b\/1e3\/90a59b1e360d395f8acaa063ba0ff336.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/90a\/59b\/1e3\/90a59b1e360d395f8acaa063ba0ff336.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Dense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0<u>total<\/u>\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0<u>active\u00a0<\/u>\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  <\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 <strong>Dense <\/strong>\u0438 <strong>MoE <\/strong>\u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u0430 \u0434\u043b\u044f\u00a0\u0440\u0430\u0441\u0447\u0435\u0442 <strong>compute<\/strong>, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0432\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u043b\u0430\u0432\u0435.<\/p>\n<p>\u0410\u00a0\u043f\u043e\u043a\u0430 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u043e\u0437\u044c\u043c\u0451\u043c dense\u00a0\u2014 \u0442\u0430\u043c <strong>compute <\/strong>\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0449\u0435 \u0432\u0441\u0435\u0433\u043e  <\/p>\n<p>\u0414\u043b\u044f dense-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 compute \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a<\/p>\n<blockquote>\n<p>FLOPs\/token \u2248 2 \u00d7 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/blockquote>\n<details class=\"spoiler\">\n<summary>\u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 FLOPs \u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u0432\u043e\u0439\u043a\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>FLOPs\u00a0\u2014 floating-point operations, \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u00a0\u0434\u0440\u043e\u0431\u043d\u044b\u043c\u0438 \u0447\u0438\u0441\u043b\u0430\u043c\u0438. \u042d\u0442\u043e \u043e\u0431\u044a\u0451\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d. \u041d\u0435\u00a0\u043f\u0443\u0442\u0430\u0439\u0442\u0435 \u0441\u00a0FLOPS \u0447\u0435\u0440\u0435\u0437 \u0431\u043e\u043b\u044c\u0448\u0443\u044e\u00a0S\u00a0\u2014 floating-point operations per second: \u044d\u0442\u043e \u0443\u0436\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0435\u043b\u0435\u0437\u0430, \u0438\u00a0\u043e\u0434\u043d\u0430 H100 \u0432\u044b\u0434\u0430\u0451\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043a\u0432\u0430\u0434\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043d\u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0435\u043b\u0435\u0437\u0430, \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043e \u0442\u043e\u043c, \u043e\u0442\u043a\u0443\u0434\u0430 \u0432\u00a0\u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u0432\u043e\u0439\u043a\u0430. <br \/>\u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u00a0\u2014 \u044d\u0442\u043e \u0432\u0435\u0441, \u0447\u0438\u0441\u043b\u043e, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0447\u0442\u043e-\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f. \u041f\u0440\u043e\u0433\u043e\u043d \u0442\u043e\u043a\u0435\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u044c\u00a0\u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446, \u0438\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0435\u0441 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u00a0\u043e\u0434\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u00ab\u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u0438\u00a0\u043f\u0440\u0438\u0431\u0430\u0432\u0438\u0442\u044c\u00bb: \u0432\u0445\u043e\u0434\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u0432\u0435\u0441, \u0430\u00a0\u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u00a0\u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u0435. \u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u043b\u044e\u0441 \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u00a0\u2014 \u0434\u0432\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u0435\u0441. N\u00a0\u0432\u0435\u0441\u043e\u0432\u00a0\u2014 \u0437\u043d\u0430\u0447\u0438\u0442, 2N \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d. \u0414\u0432\u043e\u0439\u043a\u0430\u00a0\u2014 \u044d\u0442\u043e \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u00ab\u0443\u043c\u043d\u043e\u0436\u0438\u0442\u044c \u0438\u00a0\u0441\u043b\u043e\u0436\u0438\u0442\u044c\u00bb.<\/p>\n<\/div>\n<\/details>\n<p>\u0422\u043e\u00a0\u0435\u0441\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 20B \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0\u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 40\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d. 200B\u00a0\u2014 \u0443\u0436\u0435 \u043e\u043a\u043e\u043b\u043e 400\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432.\u00a0\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0435\u043c \u0434\u043e\u0440\u043e\u0436\u0435 \u043d\u0430\u043c \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d.  <\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043d\u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u0432\u043b\u0438\u044f\u0435\u0442 \u0435\u0449\u0451\u00a0<strong>\u0433\u043b\u0443\u0431\u0438\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0451\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u043a\u0435\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e. Llama 3.1 70B \u0438\u043c\u0435\u0435\u0442 80\u00a0\u0441\u043b\u043e\u0451\u0432, Llama 3.1 405B\u00a0\u2014 126. \u0421\u043b\u043e\u0438 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u044c\u00a0\u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0436\u0434\u0451\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u0440\u043e\u0436\u0435 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d, \u043d\u043e\u00a0\u0438\u00a0<strong>\u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435<\/strong>\u00a0\u0437\u0430\u00a0\u0441\u0447\u0451\u0442 \u044d\u0442\u043e\u0439 sequential chain.<\/p>\n<p>\u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0433\u043e\u0432\u043e\u0440\u043e\u043a \u043a\u00a0\u0444\u043e\u0440\u043c\u0443\u043b\u0435<\/p>\n<ul>\n<li>\n<p><strong>MoE-\u043c\u043e\u0434\u0435\u043b\u0438.<\/strong>\u00a0\u0414\u043b\u044f \u043d\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0<em>\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c<\/em>\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043f\u043e\u00a0\u0432\u0441\u0435\u043c. \u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442\u00a0\u2014 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0432\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0435\u043a\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>Attention.<\/strong>\u00a0\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0435\u0433\u043e \u043d\u0435\u00a0\u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u00a0\u2014 \u0430\u00a0\u044d\u0442\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0441\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u00a0\u0432\u0441\u0435\u043c\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u00ab\u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u00a0\u043a\u0430\u0436\u0434\u044b\u043c\u00bb \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430\u00a0attention \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0438\u00a0\u0440\u0430\u0441\u0442\u0443\u0442 \u043e\u043d\u0438 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0441\u0430\u043c\u043e\u0439 \u0434\u043b\u0438\u043d\u044b: \u0443\u0434\u0432\u043e\u0438\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0\u2014 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430\u00a0\u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 attention \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438\u0441\u044c \u0432\u00a0~4\u00a0\u0440\u0430\u0437\u0430. \u041d\u0430\u00a0\u043a\u043e\u0440\u043e\u0442\u043a\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435 \u044d\u0442\u0438\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0447\u044c. \u041d\u043e \u043d\u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0432\u00a0100k+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u00a0\u0443\u0436\u0435 \u043d\u0435\u0442<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78e\/31b\/76c\/78e31b76c62c1cd4c6d6d027ec72c06a.png\" alt=\"Attention \u0441\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u00a0\u043a\u0430\u0436\u0434\u044b\u043c: \u0443\u0434\u0432\u043e\u0438\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0\u2014 \u0441\u0432\u044f\u0437\u0435\u0439 \u0441\u0442\u0430\u043b\u043e \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0420\u043e\u0441\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u044b\u0439, \u0430\u00a0\u043d\u0435\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439.\" title=\"Attention \u0441\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u00a0\u043a\u0430\u0436\u0434\u044b\u043c: \u0443\u0434\u0432\u043e\u0438\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0\u2014 \u0441\u0432\u044f\u0437\u0435\u0439 \u0441\u0442\u0430\u043b\u043e \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0420\u043e\u0441\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u044b\u0439, \u0430\u00a0\u043d\u0435\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439.\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/78e\/31b\/76c\/78e31b76c62c1cd4c6d6d027ec72c06a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/78e\/31b\/76c\/78e31b76c62c1cd4c6d6d027ec72c06a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Attention \u0441\u0432\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u00a0\u043a\u0430\u0436\u0434\u044b\u043c: \u0443\u0434\u0432\u043e\u0438\u043b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0\u2014 \u0441\u0432\u044f\u0437\u0435\u0439 \u0441\u0442\u0430\u043b\u043e \u0432\u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0420\u043e\u0441\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u044b\u0439, \u0430\u00a0\u043d\u0435\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439.<\/figcaption><\/div>\n<\/figure>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043e\u0431\u043e\u0439\u0442\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c O (n<sup>2<\/sup>) \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a Attention, \u043d\u043e \u0441\u0443\u0442\u044c \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430 \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0436\u0435<\/p>\n<h4>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0430\u0448\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043d\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445<\/h4>\n<p>Llama 3.1\u00a0\u2014 \u0432\u0441\u044f <u>dense<\/u>, \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b, \u0446\u0435\u043d\u044b \u0431\u0435\u0440\u0451\u043c \u0443\u00a0Together AI. \u042d\u0442\u043e \u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u043a\u043e\u043d\u0446\u0430\u00a02024\u00a0\u2014 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043f\u0435\u0440\u0438\u043e\u0434, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u044f \u0442\u0440\u043e\u0439\u043a\u0430 8B\u00a0\/\u00a070B\u00a0\/\u00a0405B \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u043b\u0430\u0441\u044c \u0443\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u0439 \u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0435. Llama 3.1 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043a\u0430\u043a \u0447\u0438\u0441\u0442\u0443\u044e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u044b 2N: \u043e\u0434\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u043e\u0434\u043d\u0430 \u043b\u0438\u043d\u0435\u0439\u043a\u0430, \u043e\u0434\u0438\u043d \u043f\u0440\u0430\u0439\u0441-\u043b\u0438\u0441\u0442 \u0438 \u043e\u0434\u043d\u0430 \u0434\u0430\u0442\u0430<\/p>\n<h4>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a050 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435\u00a0\u2014 \u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u00a019 \u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f3\/69f\/cc5\/3f369fcc58d034697c0b630eaa1318fc.png\" alt=\"\u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0432\u043e\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0442\u043e\u043a\u0435\u043d \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u0443\u00a0Llama 8B. \u0426\u0435\u043d\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0\u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043d\u043e\u00a0\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.  \" title=\"\u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0432\u043e\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0442\u043e\u043a\u0435\u043d \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u0443\u00a0Llama 8B. \u0426\u0435\u043d\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0\u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043d\u043e\u00a0\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.  \" width=\"1252\" height=\"591\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3f3\/69f\/cc5\/3f369fcc58d034697c0b630eaa1318fc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3f3\/69f\/cc5\/3f369fcc58d034697c0b630eaa1318fc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0432\u043e\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0442\u043e\u043a\u0435\u043d \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c \u0443\u00a0Llama 8B. \u0426\u0435\u043d\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0\u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u043d\u043e\u00a0\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u0441\u0430\u043c\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.  <\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u044b\u0440\u043e\u0441\u043b\u0438 \u0432\u00a050\u00a0\u0440\u0430\u0437\u00a0\u2014 \u0441\u00a08B \u0434\u043e\u00a0405B. \u0410 \u0446\u0435\u043d\u0430 \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u0432\u00a019\u00a0\u0440\u0430\u0437. <\/p>\n<p>\u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044f \u043d\u0435 \u0441\u0442\u0440\u043e\u0433\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u0440\u043e\u0441\u0442 \u043c\u0435\u0436\u0434\u0443 \u0446\u0435\u043d\u043e\u0439 \u0438 \u043a\u043e\u043b-\u0432\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u2014 \u0438 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u0437-\u0437\u0430 <strong><u>\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430<\/u><\/strong>: \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u00a0\u043e\u0434\u043d\u0443 \u043f\u0430\u0447\u043a\u0443 \u0438\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u0447\u0435\u0440\u0435\u0437 GPU \u0440\u0430\u0437\u043e\u043c. \u041a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 <u>\u0431\u0430\u0442\u0447\u0430\u0442\u0441\u044f<\/u> \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435, \u0438\u00a0\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u0445\u00a0\u0434\u043e\u0440\u043e\u0433\u043e\u0433\u043e \u0436\u0435\u043b\u0435\u0437\u0430 \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0\u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0443 \u0447\u0438\u0441\u043b\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432. <\/p>\n<p>\u041d\u043e\u00a0\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u2014 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u0435\u043c \u0434\u043e\u0440\u043e\u0436\u0435 \u0442\u043e\u043a\u0435\u043d<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445\u00a0\u2014 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u0434\u0430\u0435\u0442 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044e \u0438\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u043a\u0440\u0443\u043f\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u00a0\u0444\u0430\u0437\u0435 <u>decode<\/u> GPU \u0442\u0440\u0430\u0442\u0438\u0442 \u0431\u00f3\u043b\u044c\u0448\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0435\u00a0\u043d\u0430\u00a0\u0441\u0430\u043c\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0430\u00a0\u043d\u0430\u00a0\u0447\u0442\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437\u00a0VRAM\u00a0\u2014 \u0443\u00a0\u043a\u0440\u0443\u043f\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u0435\u0441\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438 \u0447\u0442\u0435\u043d\u0438\u0435 \u0434\u043e\u043b\u044c\u0448\u0435. \u0410 \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u00a0\u043e\u0434\u0438\u043d \u0431\u0430\u0442\u0447 \u0441\u0442\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u043e\u0442\u00a0\u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0442\u043e \u044d\u0442\u0438 \u0432\u0435\u0441\u0430 <strong>\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f\u00a0<em>\u043e\u0434\u0438\u043d \u0440\u0430\u0437<\/em><\/strong>\u00a0\u0438\u00a0\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u044e\u0442 \u0432\u0441\u0435 \u0441\u0442\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e: \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0443\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u0432\u043e\u0438, \u043d\u043e\u00a0\u043e\u043d\u0438 \u043f\u043e\u0447\u0442\u0438 \u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u044b \u043f\u043e\u00a0\u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u00a0\u0443\u0436\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043d\u043e\u0439 \u00ab\u0434\u043e\u0440\u043e\u0433\u043e\u0439\u00bb \u0440\u0430\u0431\u043e\u0442\u043e\u0439 \u0447\u0442\u0435\u043d\u0438\u044f. \u0427\u0435\u043c \u0442\u044f\u0436\u0435\u043b\u0435\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u00a0\u2014 \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f \u043d\u0430\u00a0\u0437\u0430\u043f\u0440\u043e\u0441.<\/p>\n<p>\u041d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u0443\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0432\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 KV-cache (\u043e\u0431\u00a0\u044d\u0442\u043e\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432\u00a0\u0433\u043b\u0430\u0432\u0435 \u043f\u0440\u043e\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442), \u0438\u00a0\u0432\u043e\u0442 \u0443\u0436\u0435 \u043e\u043d \u043d\u0435\u00a0\u0448\u0430\u0440\u0438\u0442\u0441\u044f\u00a0\u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u0441\u0432\u043e\u0439. <\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0431\u0430\u0442\u0447\u0438\u043d\u0433 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0442\u0435\u0440\u044f\u0435\u0442 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443\u00a0\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0435\u043d\u0434\u043e\u0440\u043e\u0432 \u043d\u0430\u00a0200k+ \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u043c\u0438\u0443\u043c-\u0441\u0442\u0430\u0432\u043a\u0430\u00a0\u2014 \u043e\u043d\u0430 \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u0443\u0435\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0431\u0430\u0442\u0447\u0430.<\/p>\n<\/div>\n<\/details>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/300\/d19\/8d7\/300d198d7083fadf456802d10ec4ebc6.png\" alt=\"\u0411\u0435\u0437\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 100 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u0430\u0449\u0430\u0442 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437\u00a0VRAM 100\u00a0\u0440\u0430\u0437. \u0421\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u043e\u043c \u0432\u0435\u0441\u0430 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438\u00a0\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u044e\u0442 \u0432\u0441\u044e \u043f\u0430\u0447\u043a\u0443\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0431\u0430\u0442\u0447\u0430\u0445 \u0436\u0438\u0432\u0443\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u043e.  \" title=\"\u0411\u0435\u0437\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 100 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u0430\u0449\u0430\u0442 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437\u00a0VRAM 100\u00a0\u0440\u0430\u0437. \u0421\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u043e\u043c \u0432\u0435\u0441\u0430 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438\u00a0\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u044e\u0442 \u0432\u0441\u044e \u043f\u0430\u0447\u043a\u0443\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0431\u0430\u0442\u0447\u0430\u0445 \u0436\u0438\u0432\u0443\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u043e.  \" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/300\/d19\/8d7\/300d198d7083fadf456802d10ec4ebc6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/300\/d19\/8d7\/300d198d7083fadf456802d10ec4ebc6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0411\u0435\u0437\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430 100 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0442\u0430\u0449\u0430\u0442 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437\u00a0VRAM 100\u00a0\u0440\u0430\u0437. \u0421\u00a0\u0431\u0430\u0442\u0447\u0438\u043d\u0433\u043e\u043c \u0432\u0435\u0441\u0430 \u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438\u00a0\u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u044e\u0442 \u0432\u0441\u044e \u043f\u0430\u0447\u043a\u0443\u00a0\u2014 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0431\u0430\u0442\u0447\u0430\u0445 \u0436\u0438\u0432\u0443\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u043e.  <\/figcaption><\/div>\n<\/figure>\n<p>\u0418\u00a0\u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043f\u043e\u043c\u0438\u043c\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0446\u0435\u043d\u044b. \u041c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u0435\u0436\u0434\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c \u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435. <\/p>\n<p>\u0424\u043b\u0430\u0433\u043c\u0430\u043d \u043d\u0430\u00a0\u0442\u043e\u0442\u00a0\u0436\u0435 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u0432\u0435\u0442\u0438\u0442 \u0438\u00a0\u0434\u043e\u0440\u043e\u0436\u0435, \u0438\u00a0\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u0412\u00a0\u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445\u00a0\u2014 \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432\u00a0\u0446\u0438\u043a\u043b\u0435 \u00ab\u0448\u0430\u0433\u00a0\u2192 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u00a0\u2192 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433\u00bb \u0438\u043b\u0438 \u0432 Speech to Speech communication, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c<\/p>\n<h3>Total \u2260 active: \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/h3>\n<p>\u0412\u0441\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u044b, \u0434\u0430 \u0438 \u043d\u0430\u0448\u0430 Llama 4 \u0432\u0435\u0440\u0441\u0438\u0438, \u0441\u0442\u0440\u043e\u044f\u0442\u0441\u044f \u043d\u0430 MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435<br \/>\u0415\u0441\u043b\u0438 Llama 3.1 \u0432\u0441\u044f \u0431\u044b\u043b\u0430 <strong>Dense<\/strong>, \u0442\u043e \u0432\u043e\u0442 Llama 4 \u0443\u0436\u0435 \u0432\u0441\u044f <strong>MoE<\/strong><\/p>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u044e \u0432\u00a0dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0430 \u0432\u0441\u044f \u0441\u0435\u0442\u044c, \u0430\u00a0\u0432\u00a0MoE\u00a0\u2014 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c, \u0447\u0435\u0440\u0435\u0437 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00bb. \u0418\u0437\u00a0\u044d\u0442\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043a\u043b\u044e\u0447\u0435\u0432\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u0443\u00a0MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0\u2014\u00a0total, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0445 \u0432\u0441\u0435\u0433\u043e, \u0438\u00a0active, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d.  <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a72\/8fa\/988\/a728fa9882555ab9fe421f36bf5eafe5.png\" alt=\"\u0418\u0437 \u043a\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043b\u0438\u043d\u0435\u0439\u043a\u0430 Llama \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u0439 \u0441\u043b\u0430\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043e\u0442 Dense \u0438 \u043f\u0435\u0440\u0435\u0441\u0430\u0434\u0438\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430 MoE\" title=\"\u0418\u0437 \u043a\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043b\u0438\u043d\u0435\u0439\u043a\u0430 Llama \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u0439 \u0441\u043b\u0430\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043e\u0442 Dense \u0438 \u043f\u0435\u0440\u0435\u0441\u0430\u0434\u0438\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430 MoE\" width=\"1920\" height=\"1080\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a72\/8fa\/988\/a728fa9882555ab9fe421f36bf5eafe5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a72\/8fa\/988\/a728fa9882555ab9fe421f36bf5eafe5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0418\u0437 \u043a\u0430\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043b\u0438\u043d\u0435\u0439\u043a\u0430 Llama \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u0439 \u0441\u043b\u0430\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0438 \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u043e\u0442 Dense \u0438 \u043f\u0435\u0440\u0435\u0441\u0430\u0434\u0438\u043b\u0438 \u0432\u0441\u0435 \u043d\u0430 MoE<\/figcaption><\/div>\n<\/figure>\n<h4>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0436\u0435 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435<\/h4>\n<p>\u0412\u00a0\u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0433\u043b\u0430\u0432\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u00a0<code>FLOPs \u2248 2N<\/code>\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0430 \u0434\u043b\u044f\u00a0dense, \u0433\u0434\u0435 N\u00a0\u2014 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438. \u0423\u00a0MoE\u00a0(Mixture of\u00a0Experts) \u043e\u043d\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0442\u043e\u0439 \u0436\u0435, \u043d\u043e\u00a0N \u0432\u00a0\u043d\u0435\u0439\u00a0\u2014 \u0442\u043e\u043b\u044c\u043a\u043e\u00a0active: \u0442\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d. \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0430\u00a0\u044d\u0442\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/99a\/5ea\/488\/99a5ea48818517bd30e7627a0274d6bc.png\" alt=\"Dense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0total\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0active\u00a0\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  \" title=\"Dense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0total\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0active\u00a0\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  \" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/99a\/5ea\/488\/99a5ea48818517bd30e7627a0274d6bc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/99a\/5ea\/488\/99a5ea48818517bd30e7627a0274d6bc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Dense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0<u>total<\/u>\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0<u>active\u00a0<\/u>\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  <\/figcaption><\/div>\n<\/figure>\n<p><strong><u>Active<\/u> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0446\u0435\u043d\u0443 \u0438\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d.<\/strong>\u00a0\u041d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e FLOPs, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u00a0<u>active<\/u>-\u0447\u0430\u0441\u0442\u044c: 37B \u0443\u00a0V3.1, 17B \u0443\u00a0Maverick. \u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u0430 \u043a\u00a0<u>active<\/u>\u00a0\u2014 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0433\u043d\u0430\u0442\u044c \u043d\u0430\u00a0\u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d, \u0442\u0435\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0436\u0435\u043b\u0435\u0437\u0435.\u00a0<u>Total<\/u>\u00a0\u043d\u0430\u00a0\u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u0449\u0438 \u043d\u0435\u00a0\u0432\u043b\u0438\u044f\u0435\u0442  <\/p>\n<p><strong><u>Total<\/u>\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438.<\/strong>\u00a0\u0412\u0441\u0435 \u0432\u0435\u0441\u0430 \u0434\u043e\u043b\u0436\u043d\u044b \u043b\u0435\u0436\u0430\u0442\u044c \u0432\u00a0VRAM, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e <u>active<\/u> \u0447\u0430\u0441\u0442\u044c\u00a0\u2014 \u0432\u0435\u0434\u044c \u0440\u043e\u0443\u0442\u0435\u0440 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043d\u0435\u00a0\u0437\u043d\u0430\u0435\u0442, \u043a\u043e\u0433\u043e \u0432\u044b\u0431\u0435\u0440\u0435\u0442 \u043d\u0430\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0445\u043e\u0441\u0442\u0438\u0442\u044c MoE-\u0433\u0438\u0433\u0430\u043d\u0442\u0430 \u0434\u043e\u0440\u043e\u0436\u0435, \u0447\u0435\u043c dense-\u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0433\u043e\u00a0\u0436\u0435\u00a0<u>active<\/u>-\u0440\u0430\u0437\u043c\u0435\u0440\u0430. \u041f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 \u0432\u0435\u0441\u044c \u043c\u0430\u0441\u0441\u0438\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e \u0434\u043b\u044f \u0437\u0430\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u044f<\/strong><\/p>\n<p><strong><u>Total<\/u>\u00a0\u2014 \u044d\u0442\u043e \u0433\u0434\u0435 \u0436\u0438\u0432\u0443\u0442 \u0437\u043d\u0430\u043d\u0438\u044f,\u00a0\u0430 <u>active<\/u>\u00a0\u2014 \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435.<\/strong>\u00a0\u041a\u0430\u0436\u0434\u044b\u0439 \u0444\u0430\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043f\u043e\u043c\u043d\u0438\u0442\u00bb (\u0433\u043e\u0434 \u0441\u043c\u0435\u0440\u0442\u0438 \u041f\u0443\u0448\u043a\u0438\u043d\u0430, \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0438\u043d\u0441\u0443\u043b\u0438\u043d\u0430, \u0438\u0434\u0438\u043e\u043c\u0430 \u043d\u0430\u00a0\u043f\u043e\u0440\u0442\u0443\u0433\u0430\u043b\u044c\u0441\u043a\u043e\u043c) \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0441\u0430\u043c\u0438. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435\u00a0<u>total<\/u>, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b\u0445 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u043e\u0432 \u0432\u043b\u0435\u0437\u0430\u0435\u0442\u00a0\u2014 \u0440\u043e\u0441\u0442 \u0441\u0443\u0431\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439, \u043d\u043e\u00a0\u043e\u043d \u0435\u0441\u0442\u044c: Llama 70B \u043d\u0430\u00a0factual-\u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u043e\u0431\u0445\u043e\u0434\u0438\u0442 Llama 8B \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u0434\u0432\u043e\u0435, \u043f\u0440\u0438\u00a0\u0442\u043e\u043c\u00a0\u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u00a0\u043d\u0435\u0451 \u0432\u00a09\u00a0\u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435. <\/p>\n<p>\u0410 \u0442\u043e, \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u044d\u0442\u0438\u043c\u0438 \u0437\u043d\u0430\u043d\u0438\u044f\u043c\u0438 \u0432\u00a0\u043c\u043e\u043c\u0435\u043d\u0442\u0435\u00a0\u2014 \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f \u0432\u00a0<u>active<\/u>\u00a0compute \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 frontier-\u043a\u043b\u0430\u0441\u0441 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u0443\u0448\u0451\u043b \u0437\u0430 1 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d \u043f\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 + MoE, \u0447\u0442\u043e\u0431\u044b \u0432\u0437\u044f\u0442\u044c \u0432\u0441\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u00a0\u2014 \u0437\u043d\u0430\u043d\u0438\u044f \u0432 \u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435\u0439 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0431\u043e\u0442\u044b<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445. \u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u043e MoE \u0438 \u043a\u0430\u043a 671B \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 37B \u043d\u0430 \u0442\u043e\u043a\u0435\u043d<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041f\u0435\u0440\u0435\u0434 &#171;\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438&#187; \u0432\u00a0\u043a\u0430\u0436\u0434\u043e\u043c MoE-\u0441\u043b\u043e\u0435 \u0441\u0442\u043e\u0438\u0442 \u0440\u043e\u0443\u0442\u0435\u0440\u00a0\u2014 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u041e\u043d\u0430 \u0441\u043c\u043e\u0442\u0440\u0438\u0442 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u0438\u00a0\u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442, \u0447\u0435\u0440\u0435\u0437 \u043a\u0430\u043a\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0435\u0433\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u00a0DeepSeek V3.1\u00a0\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b-\u0432\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u00a0\u2014 8 \u0438\u0437\u00a0256, \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 248 \u0434\u043b\u044f\u00a0\u044d\u0442\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u044b\u043a\u043b\u044e\u0447\u0435\u043d\u044b. \u041d\u0430\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0441\u043b\u043e\u0435 \u0432\u044b\u0431\u043e\u0440 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u043d\u043e\u0432\u043e. \u0421\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u043d\u0430\u00a0\u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u044f\u0445\u00a0\u2014 \u044d\u0442\u043e <u>total<\/u>, 671B; \u0441\u043b\u043e\u0436\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445\u00a0\u2014 <u>active<\/u>, 37B.<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0438\u043c\u0435\u043d\u043d\u043e 256, \u0430\u00a0\u043d\u0435\u00a0228 \u0438\u043b\u0438 4000. \u0427\u0438\u0441\u043b\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 \u0431\u0435\u0440\u0443\u0442 \u0441\u0442\u0435\u043f\u0435\u043d\u044c\u044e \u0434\u0432\u043e\u0439\u043a\u0438\u00a0\u2014 \u0442\u0430\u043a \u043e\u043d\u0438 \u0440\u043e\u0432\u043d\u043e \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u043c, \u043d\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u0440\u0443\u0442\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c; 228 \u043d\u0430\u00a08 \u0438\u043b\u0438\u00a016 GPU \u0440\u043e\u0432\u043d\u043e \u043d\u0435\u00a0\u043b\u044f\u0436\u0435\u0442 (228\u00a0\u00f7\u00a08\u00a0=\u00a028 \u0441\u00a0\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u043c 4).<\/p>\n<p>\u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, \u0442\u0435\u043c \u0442\u043e\u043d\u044c\u0448\u0435 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0\u2014 \u043d\u043e\u00a0\u0440\u043e\u0443\u0442\u0435\u0440\u0443 \u0442\u044f\u0436\u0435\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c, \u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u0437\u0430\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0432\u0438\u0434\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u00a0\u0443\u0447\u0438\u0442\u0441\u044f \u0445\u0443\u0436\u0435. 256\u00a0\u2014 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u00a0\u043c\u043e\u0434\u0435\u043b\u044c \u0438\u00a0\u0436\u0435\u043b\u0435\u0437\u043e \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441; \u0443\u00a0\u0434\u0440\u0443\u0433\u0438\u0445 MoE \u0447\u0438\u0441\u043b\u043e \u0441\u0432\u043e\u0451: 8 \u0443\u00a0Mixtral, 128 \u0443\u00a0Llama 4 Maverick<\/p>\n<\/div>\n<\/details>\n<h4>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u043d\u0430 \u0434\u0432\u0443\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u044f\u0445\u00a0\u2014 DeepSeek V3.1 \u0438\u00a0Llama 4 Maverick<\/h4>\n<p><u>Total<\/u> \u0432\u00a0\u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0437\u0432\u0443\u0447\u0438\u0442 \u043a\u0430\u043a \u0444\u043b\u0430\u0433\u043c\u0430\u043d \u2014 \u043d\u043e, \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0437\u043d\u0430\u0435\u043c, \u0432\u00a0MoE \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n<p>V3.1 \u0438\u00a0Maverick\u00a0\u2014 \u0434\u0432\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430  <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2f8\/02a\/8af\/2f802a8af2b9e10292479b0b299013b7.png\" width=\"1267\" height=\"804\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2f8\/02a\/8af\/2f802a8af2b9e10292479b0b299013b7.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2f8\/02a\/8af\/2f802a8af2b9e10292479b0b299013b7.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h4>\u041f\u043e\u00a0compute V3.1 \u0438\u00a0Maverick\u00a0\u2014 \u043e\u0431\u0430 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3c2\/2b3\/26d\/3c22b326ddd26b58165203afe267a2d3.png\" alt=\"Compute \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0active: \u0443\u00a0Maverick\u00a0\u2014 2 \u00d7 17B = 34\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430 FLOPs \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d, \u0443\u00a0V3.1\u00a0\u2014 2 \u00d7 37B = 74. \u041e\u0431\u0435 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u0434\u044f\u0442 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B \u043f\u043e\u00a0compute, \u0445\u043e\u0442\u044f \u043f\u043e\u00a0total \u0443\u00a0\u043d\u0438\u0445 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0414\u043b\u044f\u00a0\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430: dense-\u0433\u0438\u0433\u0430\u043d\u0442 Llama 3.1 405B \u0434\u0435\u043b\u0430\u0435\u0442 810\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 FLOPs \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u00a0\u2014 \u0432\u00a011 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 V3.1 \u0438\u00a0\u0432\u00a024 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 Maverick'\u0430.  \" title=\"Compute \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0active: \u0443\u00a0Maverick\u00a0\u2014 2 \u00d7 17B = 34\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430 FLOPs \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d, \u0443\u00a0V3.1\u00a0\u2014 2 \u00d7 37B = 74. \u041e\u0431\u0435 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u0434\u044f\u0442 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B \u043f\u043e\u00a0compute, \u0445\u043e\u0442\u044f \u043f\u043e\u00a0total \u0443\u00a0\u043d\u0438\u0445 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0414\u043b\u044f\u00a0\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430: dense-\u0433\u0438\u0433\u0430\u043d\u0442 Llama 3.1 405B \u0434\u0435\u043b\u0430\u0435\u0442 810\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 FLOPs \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u00a0\u2014 \u0432\u00a011 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 V3.1 \u0438\u00a0\u0432\u00a024 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 Maverick'\u0430.  \" width=\"1183\" height=\"301\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/3c2\/2b3\/26d\/3c22b326ddd26b58165203afe267a2d3.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3c2\/2b3\/26d\/3c22b326ddd26b58165203afe267a2d3.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Compute \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u00a0active: \u0443\u00a0Maverick\u00a0\u2014 2 \u00d7 17B = 34\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430 FLOPs \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d, \u0443\u00a0V3.1\u00a0\u2014 2 \u00d7 37B = 74. \u041e\u0431\u0435 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u0434\u044f\u0442 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B \u043f\u043e\u00a0compute, \u0445\u043e\u0442\u044f \u043f\u043e\u00a0total \u0443\u00a0\u043d\u0438\u0445 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0414\u043b\u044f\u00a0\u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430: dense-\u0433\u0438\u0433\u0430\u043d\u0442 Llama 3.1 405B \u0434\u0435\u043b\u0430\u0435\u0442 810\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 FLOPs \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d\u00a0\u2014 \u0432\u00a011 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 V3.1 \u0438\u00a0\u0432\u00a024 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 Maverick&#8217;\u0430.  <\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u0438-\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b \u0430\u0440\u0435\u043d\u0434\u0443\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u0447\u0451\u0442 \u0437\u0430\u00a0active, \u0430 \u043d\u0435\u00a0\u0437\u0430\u00a0total<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1aa\/21d\/8df\/1aa21d8dfed8955a7a7e21903aa5d9dc.png\" alt=\"\u0426\u0435\u043d\u0430 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0434\u0451\u0442 \u0437\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 compute, \u0430\u00a0\u043d\u0435\u00a0\u0437\u0430\u00a0total. V3.1 \u0432\u00a0\u043f\u0440\u0430\u0439\u0441\u0435\u00a0\u2014 $0,27 input \u0438\u00a0$1,10 output \u0437\u0430\u00a01M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u043a\u043e\u043d\u0446\u0430\u00a02024): \u043f\u043e\u00a0\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u0438\u0434\u0438\u0442 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B, \u0430\u00a0\u0432\u043e\u0432\u0441\u0435 \u043d\u0435\u00a0\u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0433\u0438\u0433\u0430\u043d\u0442 \u043d\u0430\u00a0671 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434. \u0423\u00a0Maverick \u043d\u0430\u00a0\u0441\u0432\u0435\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0435 (DeepInfra) input \u0435\u0449\u0451 \u0434\u0435\u0448\u0435\u0432\u043b\u0435\u00a0\u2014 $0,15 \u0437\u0430\u00a01M, \u0447\u0442\u043e \u043d\u0438\u0436\u0435 \u0434\u0430\u0436\u0435 dense-8B: \u0440\u044b\u043d\u043e\u043a \u043f\u0440\u0438\u0436\u0438\u043c\u0430\u0435\u0442 \u0446\u0435\u043d\u0443 MoE \u043a\u00a0active-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043a\u00a0total  \" title=\"\u0426\u0435\u043d\u0430 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0434\u0451\u0442 \u0437\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 compute, \u0430\u00a0\u043d\u0435\u00a0\u0437\u0430\u00a0total. V3.1 \u0432\u00a0\u043f\u0440\u0430\u0439\u0441\u0435\u00a0\u2014 $0,27 input \u0438\u00a0$1,10 output \u0437\u0430\u00a01M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u043a\u043e\u043d\u0446\u0430\u00a02024): \u043f\u043e\u00a0\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u0438\u0434\u0438\u0442 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B, \u0430\u00a0\u0432\u043e\u0432\u0441\u0435 \u043d\u0435\u00a0\u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0433\u0438\u0433\u0430\u043d\u0442 \u043d\u0430\u00a0671 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434. \u0423\u00a0Maverick \u043d\u0430\u00a0\u0441\u0432\u0435\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0435 (DeepInfra) input \u0435\u0449\u0451 \u0434\u0435\u0448\u0435\u0432\u043b\u0435\u00a0\u2014 $0,15 \u0437\u0430\u00a01M, \u0447\u0442\u043e \u043d\u0438\u0436\u0435 \u0434\u0430\u0436\u0435 dense-8B: \u0440\u044b\u043d\u043e\u043a \u043f\u0440\u0438\u0436\u0438\u043c\u0430\u0435\u0442 \u0446\u0435\u043d\u0443 MoE \u043a\u00a0active-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043a\u00a0total  \" width=\"1184\" height=\"488\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/1aa\/21d\/8df\/1aa21d8dfed8955a7a7e21903aa5d9dc.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1aa\/21d\/8df\/1aa21d8dfed8955a7a7e21903aa5d9dc.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0426\u0435\u043d\u0430 MoE-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0434\u0451\u0442 \u0437\u0430\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 compute, \u0430\u00a0\u043d\u0435\u00a0\u0437\u0430\u00a0total. V3.1 \u0432\u00a0\u043f\u0440\u0430\u0439\u0441\u0435\u00a0\u2014 $0,27 input \u0438\u00a0$1,10 output \u0437\u0430\u00a01M \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (\u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u043a\u043e\u043d\u0446\u0430\u00a02024): \u043f\u043e\u00a0\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0441\u0438\u0434\u0438\u0442 \u043c\u0435\u0436\u0434\u0443 Llama 3.1 8B \u0438\u00a0Llama 3.1 70B, \u0430\u00a0\u0432\u043e\u0432\u0441\u0435 \u043d\u0435\u00a0\u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0433\u0438\u0433\u0430\u043d\u0442 \u043d\u0430\u00a0671 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434. \u0423\u00a0Maverick \u043d\u0430\u00a0\u0441\u0432\u0435\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0435 (DeepInfra) input \u0435\u0449\u0451 \u0434\u0435\u0448\u0435\u0432\u043b\u0435\u00a0\u2014 $0,15 \u0437\u0430\u00a01M, \u0447\u0442\u043e \u043d\u0438\u0436\u0435 \u0434\u0430\u0436\u0435 dense-8B: \u0440\u044b\u043d\u043e\u043a \u043f\u0440\u0438\u0436\u0438\u043c\u0430\u0435\u0442 \u0446\u0435\u043d\u0443 MoE \u043a\u00a0active-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c, \u0430\u00a0\u043d\u0435\u00a0\u043a\u00a0total  <\/figcaption><\/div>\n<\/figure>\n<h3>\u0418\u0442\u043e\u0433\u043e \u043a\u0430\u043a \u0432\u044b\u0432\u043e\u0434<\/h3>\n<p><strong>total\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u2014 \u044d\u0442\u043e \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433 \u0438\u00a0\u0442\u043e \u043c\u0435\u0441\u0442\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442 \u0432\u0435\u0441\u0430 \u043d\u0430 \u0436\u0435\u043b\u0435\u0437\u0435, \u0430\u00a0\u0441\u0447\u0451\u0442 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u00a0active<\/strong>. \u041a\u043e\u0433\u0434\u0430 \u0432\u00a0\u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0435 \u043f\u0438\u0448\u0443\u0442 \u00abN\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00bb\u00a0\u2014 \u044d\u0442\u043e \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430\u00a0total. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 compute \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043d\u0430\u00a0\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<p>GPT-4, \u043f\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0443\u0442\u0435\u0447\u043a\u0430\u043c, \u0431\u044b\u043b MoE \u0443\u0436\u0435 \u0442\u043e\u0433\u0434\u0430\u00a0\u2014 \u043e\u043a\u043e\u043b\u043e\u00a0<strong>1,8\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430<\/strong>\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <u>total<\/u> \u0438\u00a0<strong>~280\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432<\/strong>\u00a0<u>active<\/u> \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d. \u0422\u043e\u00a0\u0435\u0441\u0442\u044c \u0444\u043b\u0430\u0433\u043c\u0430\u043d \u0443\u0436\u0435 \u0434\u0430\u0432\u043d\u043e \u043c\u0435\u0440\u0438\u0442\u0441\u044f \u0432\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u0445, \u0430\u00a0\u043d\u0435\u00a0\u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430\u0445, \u043d\u043e\u00a0<u>active<\/u> \u0443\u00a0\u043d\u0435\u0433\u043e \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u00ab\u0432\u0441\u0435\u0433\u043e\u00bb 280B\u00a0\u2014 \u0432\u00a0\u0448\u0435\u0441\u0442\u044c \u0440\u0430\u0437 \u043c\u0435\u043d\u044c\u0448\u0435 <u>total<\/u>. <\/p>\n<p>\u041f\u043e GPT-5+ \u0438\u00a0Claude Opus \u0432\u0435\u043d\u0434\u043e\u0440\u044b \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043d\u0435\u00a0\u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0432\u043e\u0432\u0441\u0435. \u041c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c,  \u0447\u0442\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u044b \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u043f\u043e\u0445\u043e\u0436\u0435. \u0410\u00a0\u0432\u043e\u0442 Gemini Google \u043f\u0440\u044f\u043c\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0447\u0442\u043e \u044d\u0442\u043e MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430<\/p>\n<p>\u0422\u043e\u0447\u043d\u044b\u0445 \u0446\u0438\u0444\u0440\u00a0Total\/Active \u043f\u0440\u0430\u0432\u0434\u0430 \u043d\u0438\u043a\u0442\u043e \u0438\u0437 \u043d\u0438\u0445 \u043d\u0435 \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442<\/p>\n<p>\u041f\u043e\u0448\u043b\u0438 \u0434\u0430\u043b\u044c\u0448\u0435<\/p>\n<hr\/>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 Output\u00a0\u0442\u043e\u043a\u0435\u043d\u044b \u0434\u043e\u0440\u043e\u0436\u0435\u00a0Input \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/h3>\n<p>\u0414\u043e\u00a0\u0441\u0438\u0445 \u043f\u043e\u0440 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0442\u043e\u043a\u0435\u043d \u043a\u0430\u043a \u0442\u043e\u043a\u0435\u043d. \u041d\u043e\u00a0\u043c\u043d\u043e\u0433\u0438\u0435 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b \u0434\u0435\u043b\u044f\u0442 \u0438\u0445 \u043d\u0430\u00a0\u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0430:\u00a0<strong><u>input<\/u>-\u0442\u043e\u043a\u0435\u043d\u044b<\/strong>\u00a0\u2014 \u0442\u0435, \u0447\u0442\u043e \u0442\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b,\u00a0\u2014 \u0438\u00a0<strong><u>output<\/u>-\u0442\u043e\u043a\u0435\u043d\u044b<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u0432\u00a0\u043e\u0442\u0432\u0435\u0442. \u0418\u00a0<u>output<\/u>\u00a0\u0432\u0441\u0435\u0433\u0434\u0430 \u0434\u043e\u0440\u043e\u0436\u0435.<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a?<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0432\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u0438 \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c. \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Input<u>&#8212;<\/u>\u0442\u043e\u043a\u0435\u043d\u044b. \u0418\u0445 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u00a0<strong>\u043f\u0430\u0447\u043a\u043e\u0439<\/strong>. \u042d\u0442\u043e \u0441\u0442\u0430\u0434\u0438\u044f prefill: \u0435\u0439 \u0434\u0430\u043b\u0438 \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u043c\u043f\u0442 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043e\u043d\u0430 \u043f\u0440\u043e\u0433\u043d\u0430\u043b\u0430 \u0435\u0433\u043e \u0437\u0430\u00a0\u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434 \u0438\u00a0\u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. Prefill \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u0441\u044f\u00a0\u0438 \u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043e\u0431\u044a\u0451\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0430\u00a0\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0438\u00a0\u0441\u0440\u0430\u0437\u0443 GPU \u043a\u0430\u043a \u0440\u0430\u0437 \u0443\u043c\u0435\u0435\u0442.<\/p>\n<p><u>Output<\/u>\u00a0\u0436\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e<\/p>\n<p><code>1-\u0439 \u0442\u043e\u043a\u0435\u043d \u2192 2-\u0439 \u2192 3-\u0439 \u2192 \u2026 \u2192 2000-\u0439<\/code><\/p>\n<p>\u041d\u0435\u043b\u044c\u0437\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c 2000-\u0439 \u0442\u043e\u043a\u0435\u043d, \u043f\u043e\u043a\u0430 \u043d\u0435\u00a0\u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f 1999-\u0439\u00a0\u2014 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445. \u042d\u0442\u0430 \u0444\u0430\u0437\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u0430, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u00a0<strong>decode<\/strong>, \u0438\u00a0\u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0438\u043d\u0430\u0447\u0435, \u0447\u0435\u043c <strong>prefill<\/strong>. \u041d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u043e\u0432\u043e \u00ab\u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u00bb \u0438\u0437\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 GPU \u0432\u0441\u0451, \u0447\u0442\u043e \u0443\u0436\u0435 \u043d\u0430\u043a\u043e\u043f\u0438\u043b\u0430,\u00a0\u2014 \u0438\u00a0\u0443\u0437\u043a\u043e\u0435 \u043c\u0435\u0441\u0442\u043e \u0442\u0443\u0442 \u043d\u0435\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u0430 \u043a\u00a0\u043f\u0430\u043c\u044f\u0442\u0438. \u0415\u0449\u0435 \u044d\u0442\u043e\u00a0\u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 memory-bandwidth-bound. <\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0435\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e\u00a0\u2014\u00a0output \u0434\u0435\u0440\u0436\u0438\u0442 GPU \u0437\u0430\u043d\u044f\u0442\u044b\u043c \u0434\u043e\u043b\u044c\u0448\u0435, \u0445\u0443\u0436\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0442\u0441\u044f \u0438\u00a0\u043f\u043e\u0442\u043e\u043c\u0443 \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0440\u043e\u0436\u0435  <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/46c\/70a\/6ef\/46c70a6ef757e8040c3d2dda228c93ab.png\" alt=\"Input \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c (prefill), \u0430\u00a0output \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u0432\u00a0\u0446\u0435\u043f\u043e\u0447\u043a\u0435 (decode)\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e output \u0434\u043e\u0440\u043e\u0436\u0435  \" title=\"Input \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c (prefill), \u0430\u00a0output \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u0432\u00a0\u0446\u0435\u043f\u043e\u0447\u043a\u0435 (decode)\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e output \u0434\u043e\u0440\u043e\u0436\u0435  \" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/46c\/70a\/6ef\/46c70a6ef757e8040c3d2dda228c93ab.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/46c\/70a\/6ef\/46c70a6ef757e8040c3d2dda228c93ab.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>Input \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u043c (prefill), \u0430\u00a0output \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u00a0\u043e\u0434\u043d\u043e\u043c\u0443 \u0442\u043e\u043a\u0435\u043d\u0443 \u0432\u00a0\u0446\u0435\u043f\u043e\u0447\u043a\u0435 (decode)\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e output \u0434\u043e\u0440\u043e\u0436\u0435  <\/figcaption><\/div>\n<\/figure>\n<p>\u041d\u0430\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430\u0445\u00a0output\u00a0\u043e\u0431\u044b\u0447\u043d\u043e \u0432\u00a03\u20135\u00a0\u0440\u0430\u0437 \u0434\u043e\u0440\u043e\u0436\u0435\u00a0input. \u0423\u00a0open-weight \u0431\u044b\u0432\u0430\u0435\u0442 \u0438\u043d\u0430\u0447\u0435: \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u0440\u0430\u0442\u044c \u0437\u0430\u00a0input\u00a0\u0438\u00a0output\u00a0\u043e\u0434\u043d\u0443 \u0438\u00a0\u0442\u0443\u00a0\u0436\u0435 \u0441\u0442\u0430\u0432\u043a\u0443<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445. \u041f\u043e\u0447\u0435\u043c\u0443 output-\u0442\u043e\u043a\u0435\u043d\u044b \u0441\u0442\u043e\u044f\u0442 \u0434\u043e\u0440\u043e\u0436\u0435<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u0435\u0434\u044c FLOPs \u0443\u00a0\u043d\u0438\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435: 1000 input-\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u00a01000 output-\u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u043d\u0430\u00a0Llama 3.1 8B \u043f\u0440\u043e\u043a\u0430\u0442\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u00a0\u0436\u0435 ~16\u00a0\u0442\u0435\u0440\u0430\u0444\u043b\u043e\u043f\u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041d\u043e\u00a0\u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0432\u0441\u0451 \u0438\u043d\u0430\u0447\u0435. Prefill 1k input \u043d\u0430\u00a0H100 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 ~16\u00a0\u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434, \u0430\u00a0decode 1k output\u00a0\u2014 ~4,78\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u044b. \u0422\u043e\u00a0\u0436\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u043e\u0442\u00a0\u0436\u0435 compute, \u043d\u043e\u00a0\u0432\u00a0300 \u0440\u0430\u0437 \u0434\u043e\u043b\u044c\u0448\u0435. \u041e\u0434\u0438\u043d output-\u0442\u043e\u043a\u0435\u043d \u043d\u0430\u00a0H100 \u043f\u043e\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u0442\u043e\u0438\u0442 \u043a\u0430\u043a ~295\u00a0input-\u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>\u042d\u0442\u043e \u0447\u0438\u0441\u043b\u043e\u00a0\u2014 \u043f\u0440\u044f\u043c\u043e\u0435 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b GPU: 989\u00a0TFLOPS compute \u043f\u0440\u043e\u0442\u0438\u0432 3,35\u00a0\u0422\u0411\/\u0441 \u043f\u0430\u043c\u044f\u0442\u0438. Output \u043d\u0435\u00a0\u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u044d\u0442\u0443 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443 \u0438\u00a0\u0443\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u00a0bandwidth, \u0430\u00a0input \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u042d\u0442\u0443 \u0444\u0438\u0437\u0438\u043a\u0443 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u044e\u0442 \u0447\u0435\u0440\u0435\u0437 \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u00a0\u2014 \u043a\u043e\u043f\u044f\u0442 \u0437\u0430\u043f\u0440\u043e\u0441\u044b \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u00a0\u043e\u0434\u0438\u043d decode-\u0448\u0430\u0433 \u0438\u00a0\u0447\u0438\u0442\u0430\u044e\u0442 \u0432\u0435\u0441\u0430 \u0440\u0430\u0437 \u043d\u0430\u00a0\u0432\u0441\u0435\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u00a0\u043f\u0440\u0430\u0439\u0441\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043d\u0435\u00a0\u0432\u00a0300, \u0430\u00a0\u0432\u00a03\u20135 \u0440\u0430\u0437. \u041d\u043e\u00a0output \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u0434\u043e\u0440\u043e\u0436\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u00a0\u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435.<\/p>\n<\/div>\n<\/details>\n<h3>Reasoning-\u0442\u043e\u043a\u0435\u043d\u044b\u00a0\u043a\u0430\u043a \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0439 output<\/h3>\n<div class=\"floating-image\">\n<figure class=\"float \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/840\/06c\/75a\/84006c75ac5b2dd18c9f983ac6c0d7b9.png\" width=\"404\" height=\"418\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/840\/06c\/75a\/84006c75ac5b2dd18c9f983ac6c0d7b9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/840\/06c\/75a\/84006c75ac5b2dd18c9f983ac6c0d7b9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435 \u0444\u0440\u043e\u043d\u0442\u0438\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u044e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e Reasonig<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043e\u043d \u0432\u043a\u043b\u044e\u0447\u0435\u043d \u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u043e\u043d\u0430 \u043d\u0435\u00a0\u043f\u0438\u0448\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0441\u0440\u0430\u0437\u0443. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043d\u0430 \u0442\u0440\u0430\u0442\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u044b \u043d\u0430\u00a0\u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b, \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442, \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u043d\u0430\u00a0\u0448\u0430\u0433\u0438. \u0418\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0442\u043e\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u0442\u044b \u0443\u0432\u0438\u0434\u0438\u0448\u044c. \u0423\u00a0Claude \u044d\u0442\u043e\u0442 \u0440\u0435\u0436\u0438\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 thinking, \u0430\u00a0\u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 reasoning effort \u0437\u0430\u0434\u0430\u0451\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0435\u0433\u043e.<\/p>\n<p>\u042d\u0442\u0438 \u0442\u043e\u043a\u0435\u043d\u044b \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f \u0432\u00a0\u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0435\u00a0\u0432\u0438\u0434\u043d\u044b. \u041d\u043e\u00a0GPU \u0438\u0445\u00a0\u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u00a0\u2014 \u0430\u00a0\u0437\u043d\u0430\u0447\u0438\u0442, \u043e\u043d\u0438 \u0442\u043e\u0436\u0435 \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u0442\u0440\u0430\u0442\u0443 \u043b\u0438\u043c\u0438\u0442\u043e\u0432 \u0438\u043b\u0438 \u043a\u043e\u0441\u0442\u044b \u0432 API. <\/p>\n<\/div>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0430\u00a0\u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435:<\/p>\n<ul>\n<li>\n<p>\u0432\u0438\u0434\u0438\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u2014 2\u00a0000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u00a0\u2014 10\u00a0000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f output-\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430\u00a0\u2014 12\u00a0000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4ec\/658\/e5d\/4ec658e5de7856cc603ab39a7778f8e6.png\" alt=\"\u0412\u0438\u0434\u0438\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u2014 \u043b\u0438\u0448\u044c \u0432\u0435\u0440\u0445\u0443\u0448\u043a\u0430: \u043f\u043e\u0434\u00a0\u043d\u0438\u043c \u043b\u0435\u0436\u0438\u0442 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning-\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c\" title=\"\u0412\u0438\u0434\u0438\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u2014 \u043b\u0438\u0448\u044c \u0432\u0435\u0440\u0445\u0443\u0448\u043a\u0430: \u043f\u043e\u0434\u00a0\u043d\u0438\u043c \u043b\u0435\u0436\u0438\u0442 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning-\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c\" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4ec\/658\/e5d\/4ec658e5de7856cc603ab39a7778f8e6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4ec\/658\/e5d\/4ec658e5de7856cc603ab39a7778f8e6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0412\u0438\u0434\u0438\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442\u00a0\u2014 \u043b\u0438\u0448\u044c \u0432\u0435\u0440\u0445\u0443\u0448\u043a\u0430: \u043f\u043e\u0434\u00a0\u043d\u0438\u043c \u043b\u0435\u0436\u0438\u0442 \u043a\u0440\u0443\u043f\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning-\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044c<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0432\u044f\u0437\u043a\u0430 \u00ab\u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c + \u0432\u044b\u0441\u043e\u043a\u0438\u0439 effort\u00bb \u0443\u0442\u044f\u0436\u0435\u043b\u044f\u0435\u0442 \u0441\u0447\u0451\u0442 \u043d\u0435\u00a0\u043d\u0430\u00a020%, \u0430\u00a0\u0432\u00a0\u0440\u0430\u0437\u044b  <\/p>\n<blockquote>\n<p>\u041f\u0440\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u043e\u043c Reasoning \u043c\u044b \u043f\u043b\u0430\u0442\u0438\u043c \u043d\u0435\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u00a0\u0442\u0435\u043a\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u0438\u0434\u0438\u043c. \u041d\u043e \u0438 \u0437\u0430\u00a0\u0442\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043e\u0439\u0442\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/blockquote>\n<p><em>\u0418 \u044d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0440\u0438\u0447\u0438\u043d, \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0430 \u0424\u0440\u043e\u043d\u0442\u0438\u0440 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0441\u043f\u0438\u0430\u0440\u0435\u043d\u043d\u044b\u0439 Caveman style. \u042f \u043f\u0438\u0441\u0430\u043b \u043f\u0440\u043e \u044d\u0442\u043e <\/em><a href=\"https:\/\/ilia-pro-ai.com\/articles\/yazyk-opredelyaet-myshlenie\/\" rel=\"noopener noreferrer nofollow\"><em>\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e<\/em><\/a><\/p>\n<p>\u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0433\u043e \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430: \u0443\u00a0Llama \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e\u0433\u043e reasoning-\u0440\u0435\u0436\u0438\u043c\u0430 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u043d\u0435\u0442\u00a0\u2014 \u044d\u0442\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e frontier-\u0444\u043b\u0430\u0433\u043c\u0430\u043d\u043e\u0432<\/p>\n<p>\u0421\u0440\u0435\u0434\u0438 open-weight \u0442\u0430\u043a\u043e\u0439 \u0440\u0435\u0436\u0438\u043c \u0443\u043c\u0435\u044e\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0435\u00a0\u2014 DeepSeek (R1 \u0438\u00a0V4), Qwen 3.5\/3.6 \u0441\u00a0togglable thinking mode,\u00a0\u2014 \u043d\u043e\u00a0Llama 4 (Scout, Maverick) \u0432\u00a0\u0438\u0445 \u0447\u0438\u0441\u043b\u043e \u043d\u0435\u00a0\u0432\u0445\u043e\u0434\u0438\u0442. \u0422\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043c\u044b \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c \u043d\u0430\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438, \u0430\u00a0\u043d\u0435\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e<\/p>\n<hr\/>\n<blockquote>\n<p><em>\u0415\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f, \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0438 \u0432 Telegram \u043c\u043e\u0439 \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c. <\/em><br \/><em>\u0422\u0430\u043c \u044f \u043f\u043e\u0441\u0442\u044b \u0447\u0430\u0449\u0435 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e <\/em><\/p>\n<p><a href=\"https:\/\/t.me\/iliaprovse\" rel=\"noopener noreferrer nofollow\">https:\/\/t.me\/iliaprovse<\/a><\/p>\n<\/blockquote>\n<h3>Context Window \u2014 \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0430\u0441\u0445\u043e\u0434 \u043d\u0430\u0448\u0438\u0445 \u043b\u0438\u043c\u0438\u0442\u043e\u0432<\/h3>\n<p>\u0421\u00a0\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0435\u0441\u0442\u044c \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u00ab\u0434\u043e\u0440\u043e\u0433\u043e\u00bb<\/p>\n<ul>\n<li>\n<p><strong>\u0412\u00a0\u043f\u0440\u0430\u0439\u0441\u0435<\/strong>\u00a0\u0443 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u0441\u0442\u0430\u0432\u043a\u0430 \u0437\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0\u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u043e\u0433\u043e \u043e\u043a\u043d\u0430\u00a0\u2014 \u043d\u043e\u00a0\u043d\u0435\u00a0\u0432\u0441\u0435\u0433\u0434\u0430: \u0443\u00a0Gemini Pro (\u0438\u00a02.5, \u0438\u00a03\u00a0Pro) \u0437\u0430\u043f\u0440\u043e\u0441 \u0434\u043b\u0438\u043d\u043d\u0435\u0435 200k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u00a0\u043f\u0440\u0435\u043c\u0438\u0443\u043c-\u0441\u0442\u0430\u0432\u043a\u0443, \u0433\u0434\u0435 input \u0432\u0434\u0432\u043e\u0435 \u0434\u043e\u0440\u043e\u0436\u0435, \u0430 output\u00a0\u2014 \u0432\u00a0\u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u0430. \u0423\u00a0Flash-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u044d\u0442\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430 \u043d\u0435\u0442\u00a0\u2014 \u0443\u00a0\u043d\u0438\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f \u0441\u0442\u0430\u0432\u043a\u0430 \u043f\u0440\u0438 \u043b\u044e\u0431\u043e\u0439 \u0434\u043b\u0438\u043d\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. Claude \u043e\u0442\u00a0\u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430\u0446\u0435\u043d\u043a\u0438 \u0432\u0440\u043e\u0434\u0435 \u043a\u0430\u043a \u043e\u0442\u043a\u0430\u0437\u0430\u043b\u0441\u044f, \u0445\u043e\u0442\u044f \u0440\u0430\u043d\u044c\u0448\u0435 \u0431\u044b\u043b\u043e<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p><strong>\u0418\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0436\u0435\u043b\u0435\u0437\u0430<\/strong>\u00a0\u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0442\u044f\u0436\u0435\u043b\u0435\u0435 \u0432\u0441\u0435\u0433\u0434\u0430\u00a0\u2014 \u0434\u0430\u0436\u0435 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0446\u0435\u043d\u0430 \u0437\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u00a0\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f<\/p>\n<\/li>\n<\/ul>\n<p>\u0410 \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u043e \u0442\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442?<\/p>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u0442\u0435\u043a\u0441\u0442, \u043b\u0435\u0436\u0430\u0449\u0438\u0439 \u0440\u044f\u0434\u043e\u043c \u0441\u00a0\u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u0412\u043e\u00a0\u0432\u0440\u0435\u043c\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u0440\u0436\u0438\u0442\u00a0KV-cache\u00a0\u2014 \u0440\u0430\u0431\u043e\u0447\u0443\u044e \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u00a0\u0443\u0436\u0435 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443: \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043d\u0435\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u0432\u0435\u0441\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u043e\u0432\u043e, \u043c\u043e\u0434\u0435\u043b\u044c \u0445\u0440\u0430\u043d\u0438\u0442 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. <\/p>\n<p>\u0427\u0435\u043c \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0443\u0436\u043d\u043e \u044d\u0442\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438\u00a0\u2014 \u0438\u00a0\u0442\u0435\u043c:  <\/p>\n<ul>\n<li>\n<p>\u0431\u043e\u043b\u044c\u0448\u0435\u00a0<strong>VRAM<\/strong>\u00a0(\u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 GPU) \u0437\u0430\u043d\u044f\u0442\u043e \u043f\u043e\u0434\u00a0KV-cache<\/p>\n<\/li>\n<li>\n<p>\u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432 \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u043d\u0430\u00a0\u043e\u0434\u043d\u0443 GPU\u00a0\u2014 \u0445\u0443\u0436\u0435 \u0431\u0430\u0442\u0447\u0438\u043d\u0433<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b\u0448\u0435 \u043b\u0430\u0442\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c, \u0438\u00a0\u0434\u043e\u0440\u043e\u0436\u0435 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0440\u0430\u0437\u043e\u043c<\/p>\n<\/li>\n<li>\n<p>\u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u043a\u043b\u0430\u0434 attention\u00a0\u2014 \u0442\u043e\u0433\u043e \u0441\u0430\u043c\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u0430\u0441\u0442\u0451\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0434\u043b\u0438\u043d\u044b \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u043d\u0430\u00a05k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438\u00a0\u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0430\u00a0150k\u00a0\u2014 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0435\u0449\u0438, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0446\u0435\u043d\u0430 <u>input<\/u>-\u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0430\u044f. \u0412\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 GPU-\u043f\u0430\u043c\u044f\u0442\u0438, \u0445\u0443\u0436\u0435 \u0431\u0430\u0442\u0447\u0438\u0442\u0441\u044f \u0438\u00a0\u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043f\u0430\u0434\u0430\u0442\u044c \u043f\u043e\u0434\u00a0\u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043b\u0438\u043c\u0438\u0442\u044b \u0438\u043b\u0438 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044e\u044e \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044e\u00a0\u2014 \u0443\u00a0\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u044b \u0438\u043d\u043e\u0433\u0434\u0430 \u0438\u0434\u0443\u0442 \u0447\u0435\u0440\u0435\u0437 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0443\u044e \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0441\u043e\u00a0\u0441\u0432\u043e\u0438\u043c\u0438 rate limits. \u00ab\u0417\u0430\u0441\u0443\u043d\u0443\u0442\u044c \u0432\u0435\u0441\u044c \u043f\u0440\u043e\u0435\u043a\u0442 \u0432\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00bb\u00a0\u2014 \u044d\u0442\u043e \u043d\u0435\u00a0\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u0430\u044f \u043c\u0430\u0433\u0438\u044f,<strong> \u0430\u00a0\u0430\u0440\u0435\u043d\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043a\u0443\u0441\u043a\u0430 GPU-\u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u00a0\u0432\u0440\u0435\u043c\u0435\u043d\u0438<\/strong>.  <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/275\/a75\/1f4\/275a751f4dbb5cee49a7a2a18a2c1a06.png\" alt=\"\u0421\u043a\u043e\u043b\u044c\u043a\u043e VRAM \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0435 Llama 4 Maverick \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 Context Window. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0435 \u0437\u0430\u043d\u044f\u0442\u043e\u0433\u043e Context Window KV Cache \u0441\u0442\u0430\u043b \u0432\u0435\u0441\u0438\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438 \u0432\u0435\u0441\u0430\" title=\"\u0421\u043a\u043e\u043b\u044c\u043a\u043e VRAM \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0435 Llama 4 Maverick \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 Context Window. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0435 \u0437\u0430\u043d\u044f\u0442\u043e\u0433\u043e Context Window KV Cache \u0441\u0442\u0430\u043b \u0432\u0435\u0441\u0438\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438 \u0432\u0435\u0441\u0430\" width=\"3342\" height=\"1738\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/275\/a75\/1f4\/275a751f4dbb5cee49a7a2a18a2c1a06.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/275\/a75\/1f4\/275a751f4dbb5cee49a7a2a18a2c1a06.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043a\u043e\u043b\u044c\u043a\u043e VRAM \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0435 Llama 4 Maverick \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 Context Window. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0435 \u0437\u0430\u043d\u044f\u0442\u043e\u0433\u043e Context Window KV Cache \u0441\u0442\u0430\u043b \u0432\u0435\u0441\u0438\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438 \u0432\u0435\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<details class=\"spoiler\">\n<summary>\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u0432\u0440\u0435\u0437\u043a\u0430 \u0434\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u0437\u043d\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0438\u0442 KV Cache \u0438 \u043a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0430\u00a0Llama 3.1\u00a070B. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043b\u0435\u0436\u0438\u0442 \u0432\u00a0\u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438 \u043a\u0430\u043a \u043f\u0430\u0440\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 key\/value \u0441\u043e\u00a0\u0432\u0441\u0435\u0445 80\u00a0\u0441\u043b\u043e\u0451\u0432 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u2014 \u044d\u0442\u043e \u0438\u00a0\u0435\u0441\u0442\u044c KV-cache, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u00a0\u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u043e\u0432\u043e \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435. \u0412\u044b\u0445\u043e\u0434\u0438\u0442 \u0440\u043e\u0432\u043d\u043e 320\u00a0\u041a\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d.<\/p>\n<p><code>KV \u043d\u0430 \u0442\u043e\u043a\u0435\u043d = 2 \u00d7 \u0441\u043b\u043e\u0438 \u00d7 KV-\u0433\u043e\u043b\u043e\u0432\u044b \u00d7 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0433\u043e\u043b\u043e\u0432\u044b \u00d7 \u0431\u0430\u0439\u0442\u044b \u043e\u0442 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438<\/code><\/p>\n<p><code>\u0414\u043b\u044f Llama 3.1 70B = 2 \u00d7 80 \u00d7 8 \u00d7 128 \u00d7 2 \u0431\u0430\u0439\u0442\u0430 = 327 680 \u0431\u0430\u0439\u0442<\/code><\/p>\n<p><code>2 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0435<\/code> \u2014 <code>\u044d\u0442\u043e \u043d\u0430\u0448\u0438<\/code>K + V. Attention \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0445\u0440\u0430\u043d\u0438\u0442 \u0434\u0432\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430: key (\u043f\u043e \u043d\u0435\u043c\u0443 \u0438\u0449\u0443\u0442) \u0438 value (\u0435\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u044e\u0442).<\/p>\n<p>\u0417\u0430\u043f\u0440\u043e\u0441 \u043d\u0430\u00a05\u00a0000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0434\u0435\u0440\u0436\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 1,5\u00a0\u0413\u0411 VRAM, \u0430\u00a0\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0150\u00a0000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u00a0\u2014 \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 46\u00a0\u0413\u0411, \u0432\u00a030\u00a0\u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435. \u042d\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0446\u0435\u043b\u043e\u0439 H100 \u043d\u0430\u00a080\u00a0\u0413\u0411, \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u00ab\u043f\u0430\u043c\u044f\u0442\u044c\u044e \u043e\u00a0\u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440\u0435\u00bb. \u0420\u0430\u0441\u0442\u0451\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u043e: \u0432\u0434\u0432\u043e\u0435 \u0434\u043b\u0438\u043d\u043d\u0435\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0\u2014 \u0432\u0434\u0432\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u043d\u044f\u0442\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u0412\u00a0\u043f\u0440\u043e\u0434\u0430\u043a\u0448\u043d-\u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u0432\u0440\u043e\u0434\u0435 ChatGPT \u0438\u00a0Claude KV-cache \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u0436\u0438\u0432\u0451\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043a\u043e\u043b\u043e \u0447\u0430\u0441\u0430 \u2014 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0434\u0435\u0440\u0436\u0438\u0442 \u0435\u0433\u043e \u0432\u00a0VRAM, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0438 \u0447\u0430\u0442\u0430 \u043d\u0435\u00a0\u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u043e\u0432\u043e. <\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0447\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0443 \u043b\u044e\u0434\u0435\u0439 \u0437\u0430\u0431\u0438\u0442 Context Window \u0438\u00a0\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u0435\u0441\u0441\u0438\u0439 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u00a0\u043c\u0438\u0440\u0443, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 GPU \u0438\u043b\u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u0440\u044f\u0434\u043e\u043c \u0441 GPU \u0437\u0430\u043d\u044f\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u0441\u043f\u044f\u0449\u0438\u043c\u0438 \u0434\u0438\u0430\u043b\u043e\u0433\u0430\u043c\u0438\u00bb. \u042d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437\u00a0\u0442\u0435\u0445 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u0440\u0430\u0437\u043c\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u00a0\u0446\u0435\u043d\u0443 \u0437\u0430\u00a0\u0442\u043e\u043a\u0435\u043d.<\/p>\n<p>\u0427\u0435\u0442\u044b\u0440\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u0447\u0430\u0442\u0430 \u0441\u00a0\u0437\u0430\u0431\u0438\u0442\u044b\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0432\u00a0200\u00a0000 \u0442\u043e\u043a\u0435\u043d\u043e\u0432\u00a0\u2014 \u044d\u0442\u043e \u043e\u043a\u043e\u043b\u043e 250\u00a0\u0413\u0411 VRAM, \u0447\u0442\u043e \u0440\u0430\u0432\u043d\u043e 3\u20134\u00a0\u0437\u0430\u043d\u044f\u0442\u044b\u043c H100 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u043c. \u0418 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u0442\u0430 \u0434\u043e\u043b\u044f \u043f\u0443\u043b\u0430 \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0442\u044c \u043d\u0438\u043a\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435<\/p>\n<\/div>\n<\/details>\n<h4>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u0442\u0430 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 KV Cache \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c Context Window<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a17\/61f\/d5c\/a1761fd5cc6b10287cdbd0753cf37f84.png\" alt=\"\u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a VRAM \u043f\u043e\u0434\u00a0KV-cache: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0432\u0438\u0434\u0435\u043d, \u0430\u00a0150k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u0431\u0438\u0432\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0446\u0435\u043b\u043e\u0439 H100  \" title=\"\u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a VRAM \u043f\u043e\u0434\u00a0KV-cache: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0432\u0438\u0434\u0435\u043d, \u0430\u00a0150k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u0431\u0438\u0432\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0446\u0435\u043b\u043e\u0439 H100  \" width=\"1672\" height=\"941\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a17\/61f\/d5c\/a1761fd5cc6b10287cdbd0753cf37f84.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a17\/61f\/d5c\/a1761fd5cc6b10287cdbd0753cf37f84.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0414\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a VRAM \u043f\u043e\u0434\u00a0KV-cache: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0432\u0438\u0434\u0435\u043d, \u0430\u00a0150k \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0437\u0430\u0431\u0438\u0432\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u044b \u0446\u0435\u043b\u043e\u0439 H100  <\/figcaption><\/div>\n<\/figure>\n<p><strong>KV-cache<\/strong> \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043e\u0442 \u0432\u0435\u0441\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u0410 \u0432\u0435\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u00a0<strong>\u0433\u043b\u0443\u0431\u0438\u043d\u044b \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>\u00a0(\u0447\u0438\u0441\u043b\u043e \u0441\u043b\u043e\u0451\u0432) \u0438\u00a0\u0447\u0438\u0441\u043b\u0430 KV-\u0433\u043e\u043b\u043e\u0432. \u0410 \u043e\u0442\u00a0\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u0442<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0435\u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u00a0Llama 405B \u0442\u044f\u0436\u0435\u043b\u0435\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 Llama 70B \u0432\u0441\u0435\u0433\u043e \u0432\u00a01,6\u00a0\u0440\u0430\u0437\u0430, \u0445\u043e\u0442\u044f \u043f\u043e\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432\u00a05,8\u00a0\u0440\u0430\u0437\u0430  <\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ee8\/4c2\/133\/ee84c2133afd3820688090bc71f2d620.png\" alt=\"\u0412\u0435\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u00a0\u0447\u0438\u0441\u043b\u043e\u043c KV-\u0433\u043e\u043b\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0441\u00a0\u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432: Llama 405B \u0442\u044f\u0436\u0435\u043b\u0435\u0435 70B \u043b\u0438\u0448\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a01,6 \u0440\u0430\u0437\u0430\u00a0\u2014 126 \u0441\u043b\u043e\u0451\u0432 \u043f\u0440\u043e\u0442\u0438\u0432 80,\u00a0\u2014 \u0445\u043e\u0442\u044f \u043f\u043e\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0440\u0430\u0437\u0440\u044b\u0432 \u0432\u00a05,8 \u0440\u0430\u0437\u0430. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443\u00a0GQA\u00a0(Grouped Query Attention)\u00a0\u2014 \u043f\u0440\u0438\u0451\u043c, \u043f\u0440\u0438\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e query-\u0433\u043e\u043b\u043e\u0432 \u0434\u0435\u043b\u044f\u0442 \u043e\u0431\u0449\u0438\u0439 KV-\u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442. \u0411\u0435\u0437\u00a0GQA 64 KV-\u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043c\u0435\u0441\u0442\u043e 8 \u0440\u0430\u0437\u0434\u0443\u043b\u0438\u00a0\u0431\u044b \u043a\u044d\u0448 \u0432\u00a08 \u0440\u0430\u0437\u00a0\u2014 \u0441\u00a0320\u00a0\u041a\u0411 \u0434\u043e\u00a02,5\u00a0\u041c\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d  \" title=\"\u0412\u0435\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u00a0\u0447\u0438\u0441\u043b\u043e\u043c KV-\u0433\u043e\u043b\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0441\u00a0\u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432: Llama 405B \u0442\u044f\u0436\u0435\u043b\u0435\u0435 70B \u043b\u0438\u0448\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a01,6 \u0440\u0430\u0437\u0430\u00a0\u2014 126 \u0441\u043b\u043e\u0451\u0432 \u043f\u0440\u043e\u0442\u0438\u0432 80,\u00a0\u2014 \u0445\u043e\u0442\u044f \u043f\u043e\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0440\u0430\u0437\u0440\u044b\u0432 \u0432\u00a05,8 \u0440\u0430\u0437\u0430. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443\u00a0GQA\u00a0(Grouped Query Attention)\u00a0\u2014 \u043f\u0440\u0438\u0451\u043c, \u043f\u0440\u0438\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e query-\u0433\u043e\u043b\u043e\u0432 \u0434\u0435\u043b\u044f\u0442 \u043e\u0431\u0449\u0438\u0439 KV-\u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442. \u0411\u0435\u0437\u00a0GQA 64 KV-\u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043c\u0435\u0441\u0442\u043e 8 \u0440\u0430\u0437\u0434\u0443\u043b\u0438\u00a0\u0431\u044b \u043a\u044d\u0448 \u0432\u00a08 \u0440\u0430\u0437\u00a0\u2014 \u0441\u00a0320\u00a0\u041a\u0411 \u0434\u043e\u00a02,5\u00a0\u041c\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d  \" width=\"1265\" height=\"511\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ee8\/4c2\/133\/ee84c2133afd3820688090bc71f2d620.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ee8\/4c2\/133\/ee84c2133afd3820688090bc71f2d620.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0412\u0435\u0441 \u0442\u043e\u043a\u0435\u043d\u0430 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0\u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u00a0\u0447\u0438\u0441\u043b\u043e\u043c KV-\u0433\u043e\u043b\u043e\u0432, \u043d\u043e\u00a0\u043d\u0435\u00a0\u0441\u00a0\u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432: Llama 405B \u0442\u044f\u0436\u0435\u043b\u0435\u0435 70B \u043b\u0438\u0448\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u00a01,6 \u0440\u0430\u0437\u0430\u00a0\u2014 126 \u0441\u043b\u043e\u0451\u0432 \u043f\u0440\u043e\u0442\u0438\u0432 80,\u00a0\u2014 \u0445\u043e\u0442\u044f \u043f\u043e\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0440\u0430\u0437\u0440\u044b\u0432 \u0432\u00a05,8 \u0440\u0430\u0437\u0430. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0441\u0442\u0440\u043e\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0443\u00a0<strong>GQA\u00a0<\/strong>(Grouped Query Attention)\u00a0\u2014 \u043f\u0440\u0438\u0451\u043c, \u043f\u0440\u0438\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e query-\u0433\u043e\u043b\u043e\u0432 \u0434\u0435\u043b\u044f\u0442 \u043e\u0431\u0449\u0438\u0439 KV-\u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0442. <strong>\u0411\u0435\u0437\u00a0GQA 64 KV-\u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043c\u0435\u0441\u0442\u043e 8 \u0440\u0430\u0437\u0434\u0443\u043b\u0438\u00a0\u0431\u044b \u043a\u044d\u0448 \u0432\u00a08 \u0440\u0430\u0437<\/strong>\u00a0\u2014 \u0441\u00a0320\u00a0\u041a\u0411 \u0434\u043e\u00a02,5\u00a0\u041c\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d  <\/figcaption><\/div>\n<\/figure>\n<h4>\u0418\u0442\u043e\u0433\u043e \u0432\u043e\u0442 \u0438\u0437 \u043a\u0430\u043a\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u0435\u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430<\/h4>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cac\/0b3\/ddc\/cac0b3ddce2367267f41f1d44152f7b1.png\" alt=\"\u0412\u0435\u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u00a0KV-cache\u00a0\u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u044f\u0442\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439. \u041d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 Llama 3.1\u00a070B: 2\u00a0(K+V) \u00d7 80\u00a0\u0441\u043b\u043e\u0451\u0432 \u00d7 8\u00a0KV-\u0433\u043e\u043b\u043e\u0432 \u00d7 128 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u00d7 2\u00a0\u0431\u0430\u0439\u0442\u0430 BF16 = 320\u00a0\u041a\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d  \" title=\"\u0412\u0435\u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u00a0KV-cache\u00a0\u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u044f\u0442\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439. \u041d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 Llama 3.1\u00a070B: 2\u00a0(K+V) \u00d7 80\u00a0\u0441\u043b\u043e\u0451\u0432 \u00d7 8\u00a0KV-\u0433\u043e\u043b\u043e\u0432 \u00d7 128 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u00d7 2\u00a0\u0431\u0430\u0439\u0442\u0430 BF16 = 320\u00a0\u041a\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d  \" width=\"1879\" height=\"755\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cac\/0b3\/ddc\/cac0b3ddce2367267f41f1d44152f7b1.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cac\/0b3\/ddc\/cac0b3ddce2367267f41f1d44152f7b1.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0412\u0435\u0441 \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0432\u00a0KV-cache\u00a0\u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u044f\u0442\u0438 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439. \u041d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 Llama 3.1\u00a070B: 2\u00a0(K+V) \u00d7 80\u00a0\u0441\u043b\u043e\u0451\u0432 \u00d7 8\u00a0KV-\u0433\u043e\u043b\u043e\u0432 \u00d7 128 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u00d7 2\u00a0\u0431\u0430\u0439\u0442\u0430 BF16 = 320\u00a0\u041a\u0411 \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d  <\/figcaption><\/div>\n<\/figure>\n<h4>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e KV-cache \u0438 \u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h4>\n<p>KV-cache \u0431\u044b\u043b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043d\u0430 \u0441\u0442\u0430\u0434\u0438\u0438 <u>Decoding<\/u> \u043d\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u044c <u>Attention<\/u> \u0437\u0430\u043d\u043e\u0432\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u043e\u0432\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430. \u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0442\u043e\u043a\u0435\u043d \u0437\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u043c, attention \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u043d\u043e\u0432\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u2014 \u0435\u043c\u0443 \u043d\u0443\u0436\u043d\u044b \u0438\u0445 <u>Key<\/u> \u0438 <u>Value<\/u> \u0432\u0435\u043a\u0442\u043e\u0440\u044b. \u041c\u043e\u0434\u0435\u043b\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0438\u0445 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0432 VRAM<\/p>\n<p>\u0410 \u0443\u0436\u0435 \u043f\u043e\u0432\u0435\u0440\u0445 KV-cache \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u043c\u043d\u043e\u0433\u0438\u0435 AI \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u044b \u043d\u0430\u0434\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043d\u043e\u0432\u044b\u0439 \u2014 prompt caching<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th><\/th>\n<th>\n<p align=\"left\">KV-cache<\/p>\n<\/th>\n<th>\n<p align=\"left\">Prompt caching<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0427\u0442\u043e \u043a\u044d\u0448\u0438\u0440\u0443\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">K\/V \u0432\u0441\u0435\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">K\/V \u043e\u0431\u0449\u0435\u0433\u043e \u043f\u0440\u0435\u0444\u0438\u043a\u0441\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041e\u0431\u043b\u0430\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0436\u0438\u0432\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u044d\u0444\u0435\u043c\u0435\u0440\u043d\u044b\u0439, \u0433\u0438\u0431\u043d\u0435\u0442 \u043f\u043e\u0441\u043b\u0435 \u043e\u0442\u0432\u0435\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0440\u0435\u043c\u044f (60 \u043c\u0438\u043d\u0443\u0442 \u0432 Claude Code)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0412\u0430\u0436\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u0435\u043d (\u0438\u043d\u0430\u0447\u0435 decode \u043d\u0435\u0440\u0435\u0430\u043b\u0435\u043d)<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e\u043f\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u042d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430 \u0437\u0430\u0442\u0440\u0430\u0442\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0430\u0436\u0434\u044b\u0439 \u043d\u043e\u0432\u044b\u0439 \u0437\u0430\u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0435\u0441\u0442 VRAM =&gt; \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0432\u044b\u0448\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c Prefill \u0441\u0442\u0430\u0434\u0438\u044e, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u0442 \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0438 \u0434\u0435\u043d\u044c\u0433\u0438<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<blockquote>\n<p><strong>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e Context \u0438 \u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u044f \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u043b \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0443\u0436\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u043b \u0432 \u043d\u0430\u0447\u0430\u043b\u0435<\/strong><\/p>\n<p>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0439 \u043b\u043e\u043d\u0433\u0440\u0438\u0434 \u043f\u0440\u043e <a href=\"https:\/\/habr.com\/ru\/articles\/1028260\/\" rel=\"noopener noreferrer nofollow\">context engineering<\/a><\/p>\n<\/blockquote>\n<p>\u042f \u0432 \u0441\u0432\u043e\u0435\u043c \u0441\u0442\u0430\u0442\u0443\u0441 \u043b\u0430\u0439\u043d\u0435 \u0434\u0430\u0436\u0435 \u0432\u044b\u0432\u0435\u043b \u043a\u0435\u0448\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0427\u0442\u043e\u0431\u044b \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0438\u043d\u0432\u0430\u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043b\u0438 \u043a\u0435\u0448 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0438 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0434\u043e \u0435\u0433\u043e \u043f\u0440\u043e\u0442\u0443\u0445\u0430\u043d\u0438\u044f<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5f8\/e82\/d4a\/5f8e82d4a664d9be450adf548cb9e601.png\" alt=\"\u041c\u043e\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043b\u0430\u0439\u043d \u0434\u043b\u044f Claude Code. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u0442\u0443\u0442 https:\/\/github.com\/ilia-pluzhnikov\/claude-code-statusline\" title=\"\u041c\u043e\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043b\u0430\u0439\u043d \u0434\u043b\u044f Claude Code. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u0442\u0443\u0442 https:\/\/github.com\/ilia-pluzhnikov\/claude-code-statusline\" width=\"968\" height=\"133\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/5f8\/e82\/d4a\/5f8e82d4a664d9be450adf548cb9e601.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/5f8\/e82\/d4a\/5f8e82d4a664d9be450adf548cb9e601.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u043e\u0439 \u0441\u0442\u0430\u0442\u0443\u0441 \u043b\u0430\u0439\u043d \u0434\u043b\u044f Claude Code. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u0431\u0440\u0430\u0442\u044c \u0442\u0443\u0442 <a href=\"https:\/\/github.com\/ilia-pluzhnikov\/claude-code-statusline\" rel=\"noopener noreferrer nofollow\">https:\/\/github.com\/ilia-pluzhnikov\/claude-code-statusline<\/a><\/figcaption><\/div>\n<\/figure>\n<h3>\u041c\u044b \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0430 \u0444\u0438\u043d\u0438\u0448\u043d\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439<\/h3>\n<p>\u0412\u044b\u0448\u0435 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u2014 \u0442\u0430\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c\u043e. \u0423 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u043e\u0432 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u0442\u0430 \u0436\u0435, \u043d\u043e \u0446\u0435\u043d\u043d\u0438\u043a \u0432\u044b\u0448\u0435 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437<\/p>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u044e \u0435\u0449\u0435 \u0440\u0430\u0437, \u0447\u0442\u043e \u043d\u0438 OpenAI, \u043d\u0438 Anthropic, \u043d\u0438 Googl \u043d\u0435 \u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0432\u043e\u0438\u0445 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u043e\u0432. \u0412\u0441\u0451, \u0447\u0442\u043e \u0433\u0434\u0435-\u0442\u043e \u00ab\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u00bb \u043f\u0440\u043e \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440, \u2014 \u044d\u0442\u043e \u0443\u0442\u0435\u0447\u043a\u0438, \u043e\u0446\u0435\u043d\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u0438 \u0441\u043b\u0443\u0445\u0438 \u0441 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u043e\u043c \u0432 \u0440\u0430\u0437\u044b<\/p>\n<h4>\u0418\u0442\u043e\u0433\u043e \u0432\u043e\u0442 \u043f\u043e\u0447\u0435\u043c\u0443 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0441\u0442\u043e\u0438\u0442\u044c \u0432 \u0440\u0430\u0437\u044b \u0434\u043e\u0440\u043e\u0436\u0435 <\/h4>\n<ul>\n<li>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u0435 active-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d<\/strong><\/p>\n<ul>\n<li>\n<p>\u0412\u044b\u0448\u0435 \u044f \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0446\u0435\u043d\u0443 \u0442\u043e\u043a\u0435\u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e <u>active<\/u> \u0430 \u043d\u0435 <u>total<\/u> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0423 \u0442\u043e\u043f\u043e\u0432\u044b\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 MoE active \u2014 \u044d\u0442\u043e 17-49B (Llama 4 Maverick \u2014 17B, Kimi K2 \u2014 32B, DeepSeek V4-Pro \u2014 49B)<\/p>\n<p>\u0423 \u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u043e\u0432 active \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d, \u043d\u043e \u0431\u044b\u043b\u0430 \u043e\u0434\u043d\u0430 \u0443\u0442\u0435\u0447\u043a\u0430 \u043d\u0430\u0441\u0447\u0435\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432 GPT-4 ~280B active \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0433\u043e\u0434 \u043d\u0430\u0437\u0430\u0434 \u0443 GPT \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e <u>active<\/u> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430 MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0431\u044b\u043b\u043e \u0432 3-16 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0445 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0410 \u0440\u0430\u0437 \u0431\u043e\u043b\u044c\u0448\u0435 <u>active<\/u> \u2192 \u0442\u043e \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 2N \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u2192 \u0437\u043d\u0430\u0447\u0438\u0442 \u0434\u043e\u0440\u043e\u0436\u0435.<\/p>\n<p>\u0410 \u0432\u043e\u0442 \u043d\u0430\u0441\u0447\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 total \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443 \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043e\u0432 \u044f \u043e\u0441\u043e\u0431\u043e \u043d\u0438\u0447\u0435\u0433\u043e \u0438 \u043d\u0435 \u043d\u0430\u0440\u044b\u043b. \u0421\u043b\u0443\u0445\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u043e\u0442 1 \u0434\u043e 10 \u0442\u0440\u043b\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u0435 reasoning budget<\/strong> \u2192 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e output. \u0424\u043b\u0430\u0433\u043c\u0430\u043d\u044b \u043e\u0431\u044b\u0447\u043d\u043e \u0433\u043e\u043d\u044f\u044e\u0442 \u0441 \u0431\u043e\u0301\u043b\u044c\u0448\u0438\u043c reasoning budget \u2014 \u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u0433\u043e \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e output, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0442\u043e\u0436\u0435 \u0442\u0440\u0430\u0442\u044f\u0442 \u043c\u043d\u043e\u0433\u043e compute<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u043d\u043e\u043f\u043e\u043b\u044c\u043d\u0430\u044f \u043c\u0430\u0440\u0436\u0430<\/strong>. \u0423 Llama \u0446\u0435\u043d\u0443 \u043f\u0440\u0438\u0436\u0438\u043c\u0430\u0435\u0442 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0446\u0438\u044f \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432, \u043a\u0440\u0443\u0442\u044f\u0449\u0438\u0445 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0432\u0435\u0441\u0430. \u0423 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430 \u043d\u0435\u0442 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0443 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430, \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0438\u043a\u0442\u043e \u043a\u0440\u043e\u043c\u0435 \u043d\u0435\u0433\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u043d\u0435 \u043c\u043e\u0436\u0435\u0442<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u0435\u043d\u044c\u0448\u0435 \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430<\/strong>\u00a0\u2014 \u0440\u0430\u0434\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0442\u0432\u0435\u0442\u0430 \u0431\u043e\u0433\u0430\u0442\u044b\u0439 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 GPU \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0439 GPU. \u0422\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u0441\u043a\u0443\u043f\u0430\u0442\u044c \u0432\u0441\u0435 GPU \u043c\u0438\u0440\u0430<\/p>\n<\/li>\n<li>\n<p><strong>\u041c\u043e\u0433\u0443\u0442 \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043d\u044b\u0435 latency lane<\/strong>\u00a0\u2014 \u0442\u0432\u043e\u0439 \u0437\u0430\u043f\u0440\u043e\u0441 \u043d\u0435\u00a0\u0441\u0442\u043e\u0438\u0442 \u0432\u00a0\u043e\u0431\u0449\u0435\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438; \u0442\u0430\u00a0\u0441\u0430\u043c\u0430\u044f \u0437\u0430\u0434\u0435\u0440\u0436\u043a\u0430 \u0438\u0437\u00a0\u0433\u043b\u0430\u0432\u044b \u043f\u0440\u043e\u00a0\u0446\u0435\u043d\u0443 \u0442\u043e\u043a\u0435\u043d\u0430, \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0434\u0435\u0441\u044c \u0435\u0451 \u0441\u043d\u0438\u043c\u0430\u044e\u0442 \u0434\u0435\u043d\u044c\u0433\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0435\u0436\u0438\u043c \/fast \u0432\u043d\u0443\u0442\u0440\u0438 Claude Code \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0434\u0432\u0443\u0445, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0440\u043e\u0436\u0435<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u00ab\u0443\u043c\u043d\u0435\u0435\u00bb<\/h3>\n<p>\u00ab\u0423\u043c\u043d\u0435\u0435\u00bb \u0432\u00a0\u043c\u0438\u0440\u0435 LLM\u00a0\u044f \u0431\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043b \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430\u043c\u0438 \u2014 \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u0435\u0442, \u0437\u0430 \u0441\u0447\u0451\u0442 \u0447\u0435\u0433\u043e \u0438 \u043a\u0430\u043a \u0435\u0451 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044e\u0442<\/p>\n<p><strong>\u0427\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u043c\u0435\u0435\u0442<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0417\u043d\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435<\/strong>. \u0417\u043d\u0430\u043d\u0438\u044f \u0436\u0438\u0432\u0443\u0442 \u0432 total-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u2014 \u0432\u043e \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438, \u2014 \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 active \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u0439. \u0411\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u043f\u043e\u043c\u043d\u0438\u0442\u00bb \u0431\u043e\u043b\u044c\u0448\u0435 \u0444\u0430\u043a\u0442\u043e\u0432 \u0438 \u0441\u0432\u044f\u0437\u0435\u0439, \u0430 \u043f\u043b\u0430\u0442\u0438\u0448\u044c \u0442\u044b \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0437\u0430 active (\u0441\u043c. \u0433\u043b\u0430\u0432\u0443 total \u2260 active).<\/p>\n<\/li>\n<li>\n<p>\u041b\u0443\u0447\u0448\u0435 <strong>\u0434\u0435\u0440\u0436\u0438\u0442 \u0446\u0435\u043b\u044c <\/strong>\u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0446\u0435\u043f\u043e\u0447\u043a\u0435 \u0448\u0430\u0433\u043e\u0432. \u0412 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u0446\u0435\u043d\u0430\u0440\u0438\u044f\u0445 \u044d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u0430\u0436\u043d\u043e \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u0430 \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0446\u0435\u043b\u044c<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435 \u0442\u0435\u0440\u044f\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0441\u043b\u043e\u0436\u043d\u043e\u043c context window. \u041a\u043e\u0433\u0434\u0430 \u0432 \u043e\u0434\u043d\u043e\u043c \u0437\u0430\u043f\u0440\u043e\u0441\u0435 \u0434\u0435\u0441\u044f\u0442\u044c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u043d\u0438 \u0432 \u043a\u043e\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u0437\u0430\u0431\u044b\u0442\u044c \u0432\u043e\u0441\u044c\u043c\u043e\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u0436\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u0438 \u043b\u0443\u0447\u0448\u0435 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u0430, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439 \u0438 \u0447\u0430\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u00ab\u043d\u0435 \u0437\u043d\u0430\u044e, \u043d\u0430\u0434\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u00bb<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0417\u0430 \u0441\u0447\u0451\u0442 \u0447\u0435\u0433\u043e \u2014 \u0447\u0442\u043e \u0432 \u043d\u0435\u0451 \u0432\u043b\u043e\u0436\u0435\u043d\u043e<\/strong><\/p>\n<ul>\n<li>\n<p>\u0411\u043e\u043b\u044c\u0448\u0435 compute \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (training \u0438 post-training). \u042d\u0442\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u0443\u043c\u0430, \u0430 \u0435\u0433\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430: \u0432 \u043e\u0434\u0438\u043d \u0444\u043b\u0430\u0433\u043c\u0430\u043d \u0442\u043e\u043f\u043e\u0432\u044b\u0435 \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u0438\u0438 \u0432\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0441\u043e\u0442\u043d\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0442\u044f\u0436\u0451\u043b\u044b\u0439 post-training<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u041a\u0430\u043a \u0438 \u0447\u0435\u043c \u0435\u0451 \u043e\u0431\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442 \u2014 harness \u0432\u043e\u043a\u0440\u0443\u0433 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong><\/p>\n<ul>\n<li>\n<p>Harness \u0438 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u0430\u043c\u0438 (tool use). \u0413\u043e\u043b\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0432\u0430\u043a\u0443\u0443\u043c\u0435 \u0443\u0436\u0435 \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u2014 \u0444\u0440\u043e\u043d\u0442\u0438\u0440 \u0437\u0430\u0442\u0430\u0447\u0438\u0432\u0430\u044e\u0442 \u043f\u043e\u0434 \u0430\u0433\u0435\u043d\u0442\u043d\u044b\u0435 \u0446\u0438\u043a\u043b\u044b, \u0432\u044b\u0437\u043e\u0432 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442. \u041e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0445\u043e\u0440\u043e\u0448\u0438\u043c harness \u0438 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e \u2014 \u043f\u043e\u0447\u0442\u0438 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e \u00ab\u0443\u043c\u043d\u043e\u0441\u0442\u0438\u00bb \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430<\/p>\n<\/li>\n<li>\n<p>\u0411\u043e\u043b\u044c\u0448\u0435 inference-time compute. \u0411\u043e\u043b\u044c\u0448\u0435 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u00ab\u043f\u043e\u043f\u044b\u0442\u043e\u043a\u00bb \u043f\u0435\u0440\u0435\u0434 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u2014 reasoning-\u0442\u043e\u043a\u0435\u043d\u044b, \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0434\u0443\u043c\u0430\u0435\u0442 \u0434\u043e\u043b\u044c\u0448\u0435 \u043d\u0430 \u0442\u0440\u0443\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u043e \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0444\u043b\u0430\u0433\u043c\u0430\u043d \u0447\u0430\u0441\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0443\u043c\u043d\u0435\u0435 \u0434\u0435\u0448\u0451\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0410 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u0440\u043e\u0436\u0435 \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435. \u00ab\u0423\u043c\u043d\u0435\u0435\u00bb \u043e\u043a\u0443\u043f\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445<\/p>\n<h2>\u041a\u0430\u043a \u0438\u0442\u043e\u0433<\/h2>\n<p>\u041c\u0435\u0436\u0434\u0443 \u00ab\u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u0437\u0430\u043f\u0440\u043e\u0441 \u0432 LLM\u00bb \u0438\u00a0\u00ab\u0443\u0432\u0438\u0434\u0435\u043b \u0446\u0438\u0444\u0440\u0443 usage\u00bb \u043b\u0435\u0436\u0438\u0442 \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/974\/46b\/e0e\/97446be0ec297498897c3339cc2716d9.png\" width=\"1937\" height=\"812\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/974\/46b\/e0e\/97446be0ec297498897c3339cc2716d9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/974\/46b\/e0e\/97446be0ec297498897c3339cc2716d9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0410 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0440\u043e\u0436\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u0442\u0440\u0430\u0442\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 GPU-\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u00a0GPU-\u043f\u0430\u043c\u044f\u0442\u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u0435\u0441\u0442\u0430\u0445:<\/p>\n<ol>\n<li>\n<p><strong>\u0414\u043e\u0440\u043e\u0436\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d<\/strong>\u00a0\u2014 \u0431\u043e\u043b\u044c\u0448\u0435 active compute, \u0432\u0438\u0434\u043d\u043e \u043d\u0430\u00a0Llama 8B \u2192 70B \u2192 405B<\/p>\n<\/li>\n<li>\n<p><strong>Total\u00a0\u2260\u00a0active<\/strong>\u00a0\u2014 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u00a0\u00abN\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00bb \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u00a0total, \u0430\u00a0\u0431\u0438\u043b\u043b\u0438\u043d\u0433 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 active. \u0412\u0438\u0434\u043d\u043e \u043d\u0430 DeepSeek V4 Pro: 1.6T total, \u0430 \u0431\u0438\u043b\u043b\u0438\u043d\u0433 \u043f\u043e 49B active<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043e\u0440\u043e\u0436\u0435 output<\/strong>\u00a0\u2014 \u043e\u043d \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u0433\u043e \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043e\u0431\u044a\u0435\u043c\u044b VRAM<\/p>\n<\/li>\n<li>\n<p><strong>\u0411\u043e\u043b\u044c\u0448\u0435 reasoning<\/strong>&#8216;a \u2014 \u0435\u0441\u0442\u044c \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043e\u0440\u043e\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u00a0<\/strong>\u2014 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0435\u0441\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u0442\u0441\u044f KV-cache, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u0442 \u0434\u043e\u0440\u043e\u0433\u0443\u044e VRAM. \u0414\u0430 \u0435\u0449\u0435 \u0438 attention \u043d\u0430\u0434\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c<\/p>\n<\/li>\n<li>\n<p><strong>\u0414\u043e\u0440\u043e\u0436\u0435 serving \u0443\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 frontier-\u043c\u043e\u0434\u0435\u043b\u0435\u0439\u00a0<\/strong>\u2014 \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0430\u0442\u0447\u0438\u043d\u0433\u0430, \u043f\u0440\u0438\u043e\u0440\u0438\u0442\u0435\u0442\u043d\u0430\u044f \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0434\u0435\u0444\u0438\u0446\u0438\u0442 \u043c\u043e\u0449\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u043e\u0432, \u043f\u043b\u044e\u0441 \u043c\u043e\u043d\u043e\u043f\u043e\u043b\u044c\u043d\u0430\u044f \u043c\u0430\u0440\u0436\u0430<\/p>\n<\/li>\n<\/ol>\n<p>\u0418, \u043d\u0430\u043a\u043e\u043d\u0435\u0446-\u0442\u043e, \u043e\u0442\u0432\u0435\u0447\u0430\u044f \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 \u0438\u0437 \u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u0438<\/p>\n<h3>\u0427\u0442\u043e \u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0435\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u0438 5-\u0447\u0430\u0441\u043e\u0432\u043e\u0435 \u043e\u043a\u043d\u043e<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ed7\/6bb\/415\/ed76bb4152ce269f7d580d494ae98369.png\" alt=\"\u0418\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u00a0\u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u00bb, \u0430\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e compute\u00a0\u2014 \u0441\u0432\u043e\u0435\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438\u00a0\u043d\u0435\u0434\u0435\u043b\u0438  \" title=\"\u0418\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u00a0\u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u00bb, \u0430\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e compute\u00a0\u2014 \u0441\u0432\u043e\u0435\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438\u00a0\u043d\u0435\u0434\u0435\u043b\u0438  \" width=\"1664\" height=\"902\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ed7\/6bb\/415\/ed76bb4152ce269f7d580d494ae98369.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ed7\/6bb\/415\/ed76bb4152ce269f7d580d494ae98369.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0418\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u00a0\u00ab\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b\u00bb, \u0430\u00a0\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043b \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e compute\u00a0\u2014 \u0441\u0432\u043e\u0435\u0439 \u0441\u0435\u0441\u0441\u0438\u0438 \u0438\u00a0\u043d\u0435\u0434\u0435\u043b\u0438  <\/figcaption><\/div>\n<\/figure>\n<p>\u042d\u0442\u043e\u0442 \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043d\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0430 <strong>compute<\/strong>, \u043f\u043e\u0442\u0440\u0430\u0447\u0435\u043d\u043d\u044b\u0439 \u043d\u0430\u0448\u0438\u043c\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438. <\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a<\/p>\n<p><code>\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u2248 ( 2N \u00d7 \u0442\u043e\u043a\u0435\u043d\u044b + attention(\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442) + KV-cache ) \u00d7 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430<\/code><\/p>\n<h4>\u0413\u0434\u0435<\/h4>\n<ul>\n<li>\n<p><strong>2N<\/strong> \u2014 \u043e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d. N = active-\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. <br \/>\u0415\u0441\u043b\u0438 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 Claude \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u043e \u0423 Haiku N \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0443 Opus N \u0431\u0443\u0434\u0435\u0442 \u0432 \u0440\u0430\u0437\u044b \u0431\u043e\u043b\u044c\u0448\u0435. \u041f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 \u043d\u0430\u0448\u0438\u043c\u0438 Llama 405B (~800 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d) \u0438 8B (~16 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u043e\u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d)<\/p>\n<\/li>\n<li>\n<p><strong>\u00d7 \u0447\u0438\u0441\u043b\u043e \u0442\u043e\u043a\u0435\u043d\u043e\u0432<\/strong> \u2014 \u0432\u0441\u0435 \u0442\u043e\u043a\u0435\u043d\u044b \u0437\u0430\u043f\u0440\u043e\u0441\u0430. Input (\u043f\u0440\u043e\u043c\u043f\u0442 + \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442) + output (\u0432\u0438\u0434\u0438\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442) + \u0441\u043a\u0440\u044b\u0442\u044b\u0435 reasoning-\u0442\u043e\u043a\u0435\u043d\u044b (\u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0439 output). \u0412\u044b\u0448\u0435 reasoning budget \u2192 \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0432 \u044d\u0442\u043e\u043c \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>+ attention(\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442) <\/strong>\u2014 \u043d\u0430\u0434\u0431\u0430\u0432\u043a\u0430 \u0437\u0430 \u0434\u043b\u0438\u043d\u0443 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u041a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0441\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c; \u0440\u0430\u0441\u0442\u0451\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u0438 \u043d\u0430 \u0434\u043b\u0438\u043d\u043d\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043e\u0431\u0433\u043e\u043d\u044f\u0435\u0442 2N. \u042d\u0442\u043e GPU-\u0432\u0440\u0435\u043c\u044f.  <\/p>\n<\/li>\n<li>\n<p><strong>+ KV-cache<\/strong> \u2014 \u043f\u0430\u043c\u044f\u0442\u044c \u043f\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442. \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u0435\u0436\u0438\u0442 \u0432 VRAM (\u2248320 \u041a\u0411\/\u0442\u043e\u043a\u0435\u043d \u0443 Llama 70B). \u042d\u0442\u043e GPU-\u043f\u0430\u043c\u044f\u0442\u044c, \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u044c \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.  \u041f\u043b\u044e\u0441 \u0431\u044b\u043b \u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d Prompt Cashing. \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u0447\u0430\u0441\u0442\u044c Compute \u043d\u0430\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435 \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043b\u0438\u043c\u0438\u0442\u043e\u0432 \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u043c \u043c\u0435\u043d\u044c\u0448\u0435<\/p>\n<\/li>\n<li>\n<p><strong>\u00d7 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0438 <\/strong>\u2014 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u043d\u044c\u0448\u0435 \u0443 Anthropic \u0431\u044b\u043b\u0438 2\u0445 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0438\u043a\u043e\u0432\u044b\u0435 \u0447\u0430\u0441\u044b, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u0440\u0432\u0435\u0440\u0430 \u043d\u0435 \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u043b\u0438\u0441\u044c \u0441 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439. <\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<h3>\u0421\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 Open Weight \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e Active \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ef0\/709\/b8d\/ef0709b8d0ebecc9fd15653f5e352d84.png\" alt=\"\u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 active\u00a0\u2014 \u0442\u043e, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0438\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 FLOPs \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430. Total \u0432\u00a0\u043f\u043e\u0434\u043f\u0438\u0441\u0438\u00a0\u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438: \u0443\u00a0dense\u00a0\u043e\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0active, \u0443\u00a0MoE\u00a0\u2014 \u0432\u00a0\u0440\u0430\u0437\u044b \u0431\u043e\u043b\u044c\u0448\u0435. \u0428\u043a\u0430\u043b\u0430 \u0431\u0430\u0440\u0430 \u043e\u0431\u0449\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 17\u00a0\u0441\u0442\u0440\u043e\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u00a0\u2014 70B (Llama 3.3 70B)\" title=\"\u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 active\u00a0\u2014 \u0442\u043e, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0438\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 FLOPs \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430. Total \u0432\u00a0\u043f\u043e\u0434\u043f\u0438\u0441\u0438\u00a0\u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438: \u0443\u00a0dense\u00a0\u043e\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0active, \u0443\u00a0MoE\u00a0\u2014 \u0432\u00a0\u0440\u0430\u0437\u044b \u0431\u043e\u043b\u044c\u0448\u0435. \u0428\u043a\u0430\u043b\u0430 \u0431\u0430\u0440\u0430 \u043e\u0431\u0449\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 17\u00a0\u0441\u0442\u0440\u043e\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u00a0\u2014 70B (Llama 3.3 70B)\" width=\"2174\" height=\"1794\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/ef0\/709\/b8d\/ef0709b8d0ebecc9fd15653f5e352d84.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ef0\/709\/b8d\/ef0709b8d0ebecc9fd15653f5e352d84.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 active\u00a0\u2014 \u0442\u043e, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0438\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 FLOPs \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430. Total \u0432\u00a0\u043f\u043e\u0434\u043f\u0438\u0441\u0438\u00a0\u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438: \u0443\u00a0dense\u00a0\u043e\u043d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441\u00a0active, \u0443\u00a0MoE\u00a0\u2014 \u0432\u00a0\u0440\u0430\u0437\u044b \u0431\u043e\u043b\u044c\u0448\u0435. \u0428\u043a\u0430\u043b\u0430 \u0431\u0430\u0440\u0430 \u043e\u0431\u0449\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 17\u00a0\u0441\u0442\u0440\u043e\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u00a0\u2014 70B (Llama 3.3 70B)<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e <u>active<\/u> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442<\/strong>\u00a0<\/p>\n<ul>\n<li>\n<p>\u0426\u0435\u043d\u0443 \u0442\u043e\u043a\u0435\u043d\u0430 \u0443\u00a0\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430: \u043e\u043d\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e\u00a0\u0444\u043e\u0440\u043c\u0443\u043b\u0435 FLOPs \u2248\u00a02N\u00a0\u00b7\u00a0active \u0438\u00a0\u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0446\u0435\u043d\u043d\u0438\u043a \u043f\u043e\u00a0\u044d\u0442\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 active, \u0442\u0435\u043c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430\u00a0\u0442\u043e\u043c\u00a0\u0436\u0435 \u0436\u0435\u043b\u0435\u0437\u0435. Total \u043d\u0430\u00a0\u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u0449\u0438 \u043d\u0435\u00a0\u0432\u043b\u0438\u044f\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><strong>\u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0448\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, \u0442\u043e <\/strong>active\u00a0\u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 compute-\u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430\u00a0GPU \u043f\u0440\u0438\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435, \u0442\u043e\u00a0\u0435\u0441\u0442\u044c latency \u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d<\/p>\n<\/li>\n<\/ul>\n<h3>\u0421\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 Open Weight \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e Total \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c<\/h3>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fed\/833\/857\/fed833857b1c36dad00842e0fa0d37dd.png\" alt=\"\u0422\u043e\u0442\u00a0\u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u043e\u00a0\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u00a0total \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c. \u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Total\u00a0\u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438; active \u0432\u00a0\u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u043f\u0440\u0438\u0433\u043b\u0443\u0448\u0451\u043d, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0433\u043b\u0430\u0432\u043d\u043e\u0435 Total. \u0428\u043a\u0430\u043b\u0430 \u043e\u0431\u0449\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 17\u00a0\u0441\u0442\u0440\u043e\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u00a0\u2014 1600B (DeepSeek V4 Pro). \u0412\u0438\u0434\u043d\u043e, \u043a\u0430\u043a 1T+ MoE \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u00a0\u0440\u0430\u0437\u043c\u0435\u0440\u0443, \u0438\u00a0\u043a\u0430\u043a dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u044d\u0442\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043c\u0438\u043d\u0438\u0430\u0442\u044e\u0440\u044b  \" title=\"\u0422\u043e\u0442\u00a0\u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u043e\u00a0\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u00a0total \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c. \u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Total\u00a0\u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438; active \u0432\u00a0\u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u043f\u0440\u0438\u0433\u043b\u0443\u0448\u0451\u043d, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0433\u043b\u0430\u0432\u043d\u043e\u0435 Total. \u0428\u043a\u0430\u043b\u0430 \u043e\u0431\u0449\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 17\u00a0\u0441\u0442\u0440\u043e\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u00a0\u2014 1600B (DeepSeek V4 Pro). \u0412\u0438\u0434\u043d\u043e, \u043a\u0430\u043a 1T+ MoE \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u00a0\u0440\u0430\u0437\u043c\u0435\u0440\u0443, \u0438\u00a0\u043a\u0430\u043a dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u044d\u0442\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043c\u0438\u043d\u0438\u0430\u0442\u044e\u0440\u044b  \" width=\"2162\" height=\"1794\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/fed\/833\/857\/fed833857b1c36dad00842e0fa0d37dd.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fed\/833\/857\/fed833857b1c36dad00842e0fa0d37dd.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u043e\u0442\u00a0\u0436\u0435 \u043d\u0430\u0431\u043e\u0440 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043d\u043e\u00a0\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u043e\u00a0total \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c. \u0411\u0430\u0440 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 Total\u00a0\u2014 \u043e\u0431\u0449\u0438\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438; active \u0432\u00a0\u043f\u043e\u0434\u043f\u0438\u0441\u0438 \u043f\u0440\u0438\u0433\u043b\u0443\u0448\u0451\u043d, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0433\u043b\u0430\u0432\u043d\u043e\u0435 Total. \u0428\u043a\u0430\u043b\u0430 \u043e\u0431\u0449\u0430\u044f \u0434\u043b\u044f\u00a0\u0432\u0441\u0435\u0445 17\u00a0\u0441\u0442\u0440\u043e\u043a, \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u00a0\u2014 1600B (DeepSeek V4 Pro). \u0412\u0438\u0434\u043d\u043e, \u043a\u0430\u043a 1T+ MoE \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u043f\u043e\u00a0\u0440\u0430\u0437\u043c\u0435\u0440\u0443, \u0438\u00a0\u043a\u0430\u043a dense-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432\u00a0\u044d\u0442\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432\u00a0\u043c\u0438\u043d\u0438\u0430\u0442\u044e\u0440\u044b  <\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e <u>total<\/u> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442<\/strong>\u00a0<\/p>\n<ul>\n<li>\n<p><strong>\u0420\u0430\u0437\u043c\u0435\u0440 \u0444\u0430\u0439\u043b\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> \u0438\u00a0<strong>\u0442\u0440\u0435\u0431\u0443\u0435\u043c\u044b\u0439 \u043e\u0431\u044a\u0451\u043c VRAM<\/strong>: \u0432\u0441\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0443\u0436\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432\u00a0\u043f\u0430\u043c\u044f\u0442\u0438 GPU. \u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0435\u0440\u0432\u0435\u0440\u043d\u043e\u0439 \u0438\u043d\u0444\u0440\u0430\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u0443\u00a0\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u0442\u043e\u0436\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 \u0441\u00a0<u>total<\/u>. <u>Active<\/u> \u043d\u0430\u00a0\u044d\u0442\u043e \u043d\u0435\u00a0\u0432\u043b\u0438\u044f\u0435\u0442.<\/p>\n<p><strong>\u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0448\u044c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e, <\/strong>\u0442\u043e\u00a0<u>total<\/u>\u00a0\u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441: \u00ab\u0432\u043b\u0435\u0437\u0435\u0442\u00a0\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u00a0\u043c\u043e\u0439 GPU?\u00bb. \u041e\u0434\u043d\u0430 H100 80GB \u0432\u00a0BF16 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u00a0~35B. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, dense-Llama 3.1 8B. 70B-\u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043b\u0435\u0437\u0430\u0435\u0442 \u0443\u0436\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u00a0FP8 (~70\u00a0\u0413\u0411 \u043f\u043e\u0434\u00a0\u0432\u0435\u0441\u0430) \u0438\u043b\u0438\u00a04-bit \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438 (~35\u00a0\u0413\u0411). Kimi K2 (1T) \u0434\u043e\u043c\u0430 \u0434\u0430\u0436\u0435 \u0432\u00a04-bit \u0442\u0440\u0435\u0431\u0443\u0435\u0442 ~500\u00a0\u0413\u0411\u00a0\u2014 \u044d\u0442\u043e \u0443\u0436\u0435 multi-GPU \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043d\u0430\u00a07 \u043a\u0430\u0440\u0442.<\/p>\n<\/li>\n<\/ul>\n<h3>\u041a\u0430\u043a\u0438\u0435 \u0432\u044b\u0432\u043e\u0434\u044b \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0437 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432<\/h3>\n<h4>Open-weight frontier \u043f\u0435\u0440\u0435\u0435\u0445\u0430\u043b \u0432\u00a0\u043a\u043b\u0430\u0441\u0441 \u00ab1T+ MoE\u00bb<\/h4>\n<p>\u0427\u0435\u0442\u044b\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u043c\u0435\u044e\u0442 1\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d \u0438\u00a0\u0431\u043e\u043b\u044c\u0448\u0435 <u>total<\/u>. \u0423\u00a0\u0432\u0441\u0435\u0445 active \u0432\u00a0\u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 32\u201349B\u00a0\u2014 \u0442\u043e\u00a0\u0435\u0441\u0442\u044c \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442\u00a0<strong>2\u20135% \u043e\u0442\u00a0\u043e\u0431\u0449\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>. \u042d\u0442\u043e\u00a0\u00ab3% \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438\u00bb\u00a0\u2014 \u043d\u043e\u0432\u0430\u044f \u043d\u043e\u0440\u043c\u0430 frontier-\u043a\u043b\u0430\u0441\u0441\u0430 2026\u00a0\u0433\u043e\u0434\u0430; \u0435\u0449\u0451 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u043d\u0430\u0437\u0430\u0434 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u0435\u043b\u0435\u043c \u0431\u044b\u043b Kimi K2<\/p>\n<h4>MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0438 \u044d\u043a\u043e\u043d\u043e\u043c\u0438\u044f<\/h4>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Kimi K2 Instruct ($0,50 \/ $2,00) \u0441\u0442\u043e\u0438\u0442 \u043a\u0430\u043a dense-\u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0430 30B, \u043f\u0440\u0438\u00a0\u0442\u043e\u043c \u0447\u0442\u043e \u043f\u043e\u0434\u00a0\u043a\u0430\u043f\u043e\u0442\u043e\u043c 1\u00a0\u0442\u0440\u0438\u043b\u043b\u0438\u043e\u043d \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0422\u0430\u043a \u043a\u0430\u043a \u043f\u043b\u0430\u0442\u0438\u043c \u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u00a0<u>active<\/u><\/p>\n<p>\u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u0432\u0438\u0434\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u043a\u0438 \u043e\u0442 OpenAI \u2014 gpt-oss-120B: \u043f\u0440\u0438\u00a0117B <u>total<\/u> \u0438\u00a0\u0432\u0441\u0435\u0433\u043e 5,1B <u>active<\/u> \u0446\u0435\u043d\u0430 $0,15 \/ $0,60 \u043d\u0438\u0436\u0435, \u0447\u0435\u043c \u0443\u00a0dense Llama 3.3 70B \u043f\u043e\u00a0output. \u041e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440\u00a0\u2014 Kimi K2.6\u00a0($0,95 \/ $4,00): \u0442\u0430\u00a0\u0436\u0435 1T\/32B-\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u0447\u0442\u043e \u0438\u00a0\u0443\u00a0K2, \u043d\u043e\u00a0\u043d\u0430\u0434\u0431\u0430\u0432\u043a\u0430 \u0437\u0430\u00a0reasoning \u043f\u043e\u0447\u0442\u0438 \u0443\u0434\u0432\u0430\u0438\u0432\u0430\u0435\u0442 \u0446\u0435\u043d\u0443<\/p>\n<hr\/>\n<h4>P.S. \u043f\u0440\u043e\u00a0\u0447\u0438\u0441\u043b\u0430 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435<\/h4>\n<ul>\n<li>\n<p>\u0412\u0441\u0435 \u0446\u0435\u043d\u044b \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435\u00a0\u2014 \u0441\u043d\u0430\u043f\u0448\u043e\u0442 \u043d\u0430\u00a02026\u00a0\u0433\u043e\u0434; \u0440\u044b\u043d\u043e\u043a inference \u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u043e, \u0438\u00a0\u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043b\u0433\u043e\u0434\u0430 \u0441\u0442\u0430\u0432\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 frontier-\u043a\u043b\u0430\u0441\u0441\u0430\u00a0\u2014 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f, \u0430\u00a0\u043d\u0435\u00a0\u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432<\/p>\n<\/li>\n<\/ul>\n<h3>P.P.S. \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0434\u043e\u0447\u0438\u0442\u0430\u043b \u0438 \u043a\u043e\u043c\u0443 \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u043b\u043e\u0441\u044c<\/h3>\n<p>\u0420\u0430\u0437 \u0432 \u043c\u0435\u0441\u044f\u0446 \u044f \u043d\u0430\u0431\u0438\u0440\u0430\u044e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e 7-10 \u0447\u0435\u043b\u043e\u0432\u0435\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 \u043c\u0435\u0441\u044f\u0446\u0430 \u0437\u0430 \u0440\u0443\u0447\u043a\u0443 \u043f\u0440\u043e\u0432\u043e\u0436\u0443 \u043e\u0442 <\/p>\n<blockquote>\n<p>\u00ab\u042f \u0441\u043b\u044b\u0448\u0430\u043b \u0447\u0442\u043e \u0435\u0441\u0442\u044c Claude Code \/ Codex \u0438 \u0430\u0433\u0435\u043d\u0442\u044b, \u043d\u043e \u043d\u0435 \u0437\u043d\u0430\u044e \u0441 \u0447\u0435\u0433\u043e \u043d\u0430\u0447\u0430\u0442\u044c\u00bb<\/p>\n<\/blockquote>\n<p>\u0438 \u0434\u043e<\/p>\n<blockquote>\n<p>\u00ab\u042f \u0437\u043d\u0430\u044e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c 95% \u043b\u044e\u0434\u0435\u0439 \u0432 \u043c\u043e\u0435\u043c \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0438. \u0410 \u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043b\u044e\u0431\u043e\u0439 \u0438\u0434\u0435\u0438 \u0438 \u0434\u043e \u0435\u0451 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u043c\u0435\u043d\u044f \u043e\u0442\u0434\u0435\u043b\u044f\u044e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u043e\u0432\u00bb<\/p>\n<\/blockquote>\n<p>\u0411\u0443\u0434\u0435\u0442 8 \u0436\u0438\u0432\u044b\u0445 \u0443\u0440\u043e\u043a\u043e\u0432 \u0441\u043e \u043c\u043d\u043e\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u043f\u0440\u043e\u0439\u0434\u0435\u043c \u0442\u0435\u043c\u044b \u043e\u0442 \u043e\u0441\u043d\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 Claude Code\/Codex, Git, GitHub, VPS, \u0438 \u0432\u043f\u043b\u043e\u0442\u044c \u0434\u043e \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043b\u0438\u0447\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0441\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e\u0434 \u0432\u0430\u0448 \u0431\u0438\u0437\u043d\u0435\u0441\/\u0436\u0438\u0437\u043d\u044c<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0447\u0443\u0432\u0441\u0442\u0432\u0443\u0435\u0442\u0435, \u0447\u0442\u043e \u043d\u0435 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442\u0435 \u0437\u0430 \u0432\u0441\u0435\u043c\u0438 AI-\u0442\u0440\u0435\u043d\u0434\u0430\u043c\u0438, \u0442\u043e \u0437\u0434\u0435\u0441\u044c \u0432\u044b \u0443\u0431\u0435\u0440\u0451\u0442\u0435 FOMO \u0438 \u043d\u0430\u0443\u0447\u0438\u0442\u0435\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 LLM \u043d\u0430 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u0434\u0440\u0443\u0433\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \ud83d\ude3b<\/p>\n<p><a href=\"https:\/\/ilia-pro-ai.com\/program.html?utm_source=habr&amp;utm_medium=organic_blog&amp;utm_campaign=pochemu-dorogaya-model-dorozhe&amp;utm_term=il\" rel=\"noopener noreferrer nofollow\"><strong>\u041f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0438 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u043f\u043e\u0442\u043e\u043a \u043d\u0430 \u0441\u0430\u0439\u0442\u0435<\/strong><\/a><strong> \u2b05\ufe0f<\/strong><br \/><em>\u0414\u043e 5 \u0438\u044e\u043d\u044f \u043c\u043e\u0436\u043d\u043e \u0435\u0449\u0435 \u0443\u0441\u043f\u0435\u0442\u044c \u043d\u0430 6 \u043f\u043e\u0442\u043e\u043a <\/em><\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u043a\u0430\u043a \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u0432\u0437\u044f\u0442\u044c, \u0442\u0430\u043a \u0438 \u0434\u043b\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u044b<\/p>\n<figure class=\"full-width \"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d8a\/aec\/fbe\/d8aaecfbeb21095920d0931a09ae2954.png\" width=\"1480\" height=\"1123\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/d8a\/aec\/fbe\/d8aaecfbeb21095920d0931a09ae2954.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d8a\/aec\/fbe\/d8aaecfbeb21095920d0931a09ae2954.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1055054\/\">https:\/\/habr.com\/ru\/articles\/1055054\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u042d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0434\u043b\u0438\u043d\u043d\u043e\u043f\u043e\u0441\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442 5-\u0442\u0438 \u0447\u0430\u0441\u043e\u0432\u044b\u0435 \u0438 \u043d\u0435\u0434\u0435\u043b\u044c\u043d\u044b\u0435 \u043b\u0438\u043c\u0438\u0442\u044b \u0432 Claude \/ GPT \/ Gemini \u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c\u042d\u0442\u043e \u0442\u0440\u0435\u0442\u044c\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0438\u0437 \u043c\u043e\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u00ab\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 LLM\u00bb\u0412\u043e\u0442 \u043f\u0435\u0440\u0432\u044b\u0435 \u0434\u0432\u0435\u041f\u0440\u043e\u0441\u0442\u043e \u0438 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 ChatGPT \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 GPT \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c\u0438. \u041a\u0441\u0442\u0430\u0442\u0438, \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u0442\u0430\u043b\u0430 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u0435\u0439 \u041a\u043e\u0441\u043c\u043e\u0442\u0435\u043a\u0441\u0442\u0430\u041e\u0442\u00a0\u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u043f\u0442\u043e\u0432 \u043a\u00a0\u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0418\u043b\u0438\u00a0\u043e\u0434\u0438\u043d \u043e\u0447\u0435\u043d\u044c \u043e\u0431\u0448\u0438\u0440\u043d\u044b\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u00a0Context Engineering. \u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u043f\u0435\u0440\u0432\u0430\u044f\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0433\u043b\u0430\u0432\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043b\u0438\u0448\u043d\u0438\u043c\u0438 \u0438\u043b\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u2014 \u043d\u043e \u043d\u0435\u0442. \u0422\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0445\u043e\u0447\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0434 \u043a\u0430\u043f\u043e\u0442\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u043e \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0443\u0447\u0435\u0441\u0442\u044c \u0432\u0441\u0435 \u043d\u044c\u044e\u0430\u043d\u0441\u044b \u0438 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0443 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f. \u041e\u0433\u043b\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438\u041f\u0440\u043e \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0438\u0445 \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0418\u0437 \u0447\u0435\u0433\u043e \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0446\u0435\u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u0430 \u041f\u0440\u043e Dense \u0438 MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u041a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f attention \u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044bTotal \u2260 active: \u0442\u0440\u0435\u043d\u0434 \u043d\u0430 MoE \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443\u041f\u043e\u0447\u0435\u043c\u0443 output-\u0442\u043e\u043a\u0435\u043d\u044b \u0434\u043e\u0440\u043e\u0436\u0435 inputReasoning-\u0442\u043e\u043a\u0435\u043d\u044b \u043a\u0430\u043a \u043d\u0435\u0432\u0438\u0434\u0438\u043c\u044b\u0439 output, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043b\u0430\u0442\u0438\u0442\u044cContext Window \u0438 KV-cache \u2014 \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0434\u043e\u0440\u043e\u0433\u043e\u0439 \u0412 \u0447\u0435\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 KV-cache \u0438 prompt caching\u0417\u0430 \u0441\u0447\u0435\u0442 \u0447\u0435\u0433\u043e \u0444\u0440\u043e\u043d\u0442\u0438\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0442\u043e\u044f\u0442 \u0432 \u0440\u0430\u0437\u044b \u0434\u043e\u0440\u043e\u0436\u0435\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u00ab\u0443\u043c\u043d\u0435\u0435\u00bb\u041a\u0430\u043a \u0432\u0441\u0451 \u044d\u0442\u043e \u0438\u0442\u043e\u0433\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 5-\u0447\u0430\u0441\u043e\u0432\u043e\u0439 \u043b\u0438\u043c\u0438\u0442\u0418 \u043a\u0430\u043a \u0431\u043e\u043d\u0443\u0441 \u2014 \u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 open-weight \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e active \u0438 total \u041d\u0443, \u043f\u043e\u0435\u0445\u0430\u043b\u0438..\u041a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437, \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u044f \u0434\u0440\u043e\u043f\u0434\u0430\u0443\u043d \u0441 \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u044b \u0432\u0438\u0434\u0438\u0448\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0432\u044b\u0431\u043e\u0440. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0438 \u0431\u044b\u0441\u0442\u0440\u0430\u044f, \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0438 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0430\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u0440\u043e\u0436\u0435, \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u043d\u043e \u0438 \u0443\u043c\u043d\u0435\u0435 \u0432\u0441\u0435\u0445\u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 Claude \u044d\u0442\u043e \u0441\u0435\u0440\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2014 Opus, Sonnet \u0438 Haiku\u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0438 OpenAI \u043f\u043e\u0448\u0435\u043b \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0436\u0435 \u043f\u0443\u0442\u0438 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u0446\u0438\u0444\u0435\u0440\u043d\u044b\u0445 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0441\u0435\u0440\u0438\u044e \u0438\u0437 \u0442\u0440\u0435\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439: Sol, Terra \u0438 Luna\u0410 \u0435\u0449\u0451 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0443 \u0432\u0441\u0435\u0445 \u0435\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c Thinking\u0422\u0430\u043a \u0447\u0435\u043c \u0436\u0435 \u043e\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 \u0434\u043e\u0440\u043e\u0433\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0440\u043e\u0436\u0435. \u0410 \u0434\u0435\u0448\u0435\u0432\u0430\u044f \u2014 \u0434\u0435\u0448\u0435\u0432\u043b\u0435?TL;DR  \u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u0442\u0432\u0435\u0442: \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u0430. \u0410 5-\u0447\u0430\u0441\u043e\u0432\u043e\u0439 \u043b\u0438\u043c\u0438\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u044b \u0432\u0438\u0434\u0438\u0448\u044c \u0443 \u0441\u0435\u0431\u044f \u043d\u0430 \u044d\u043a\u0440\u0430\u043d\u0435, \u2014 \u044d\u0442\u043e \u0443\u0434\u043e\u0431\u043d\u0430\u044f, \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0438 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u2248 ( 2N \u00d7 \u0442\u043e\u043a\u0435\u043d\u044b + attention(\u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442) + KV-cache ) \u00d7 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430\u0414\u043b\u0438\u043d\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043b\u0438\u043c\u0438\u0442\u044b, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0438\u0437 \u0447\u0435\u0433\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0418 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a \u044d\u0442\u0438\u043c \u043f\u0443\u043d\u043a\u0442\u0430\u043c\u0421\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043e\u0442 LLM \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043ainput-\u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0447\u0442\u043e \u0442\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0438\u0437 system prompt + tools + MCP + Skills + Memory + \u043d\u0430\u0448\u0435 \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 + output-\u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u0441\u043e\u0441\u0442\u043e\u044f\u0442 \u0438\u0437 \u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0432\u0438\u0434\u0438\u043c + \u0441\u043a\u0440\u044b\u0442\u044b\u0445 reasoning-\u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u044b+ VRAM, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0438 \u0437\u0430\u0442\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442 \u0432\u0430\u0448 KV cashe+ serving overhead &#8212; \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u043a\u0443 KV cashe \u0432 GPU \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0438 \u0437\u0430\u0442\u0435\u043c \u0432 \u043c\u0435\u0441\u0442\u0430 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f. \u0418 \u0442\u0430\u043a \u0442\u0443\u0434\u0430 \u0441\u044e\u0434\u0430\u0415\u0441\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e \u043f\u043e\u00a0\u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c:\u0422\u043e\u043a\u0435\u043d\u00a0\u2014 \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c. \u041e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0441\u043b\u043e\u0432\u0430 \u0438\u043b\u0438, \u0438\u043d\u043e\u0433\u0434\u0430 \u0441\u043b\u043e\u0432\u043e \u0446\u0435\u043b\u0438\u043a\u043e\u043c. \u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0438\u00a0\u0442\u0430\u0440\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0451 \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u0445Input\u00a0\u0442\u043e\u043a\u0435\u043d\u044b \u2014 \u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0447\u0442\u043e \u0442\u044b \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043b \u043c\u043e\u0434\u0435\u043b\u0438,\u00a0output\u00a0\u2014 \u0442\u0435 \u0442\u043e\u043a\u0435\u043d\u044b, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0430 \u0432\u00a0\u043e\u0442\u0432\u0435\u0442Reasoning-\u0442\u043e\u043a\u0435\u043d\u044b\u00a0\u2014 \u0435\u0451 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0435\u0435 \u0440\u0430\u0437\u043c\u044b\u0448\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u00a0\u0432\u0438\u0434\u0438\u043c\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430Serving overhead\u00a0\u2014 \u043d\u0430\u043a\u043b\u0430\u0434\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430 \u043d\u0430\u00a0\u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u043e\u0439 \u0438\u00a0\u0433\u043e\u0442\u043e\u0432\u043e\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c: \u043e\u0447\u0435\u0440\u0435\u0434\u0438, \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0438\u0437\u0430\u0446\u0438\u044f \u0438\u00a0\u043f\u0440\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u044e\u0449\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u043f\u0440\u043e\u0441\u0430\u043c\u0438 GPU\u041a\u0430\u0436\u0434\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u2014 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0443\u0441\u043e\u043a GPU-\u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u00a0GPU-\u043f\u0430\u043c\u044f\u0442\u0438, \u0437\u0430\u00a0\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u0442\u043e-\u0442\u043e \u043f\u043b\u0430\u0442\u0438\u0442. \u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u0432\u0441\u0435 \u044d\u0442\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435\u0414\u043e\u0431\u0430\u0432\u043b\u044e, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0431\u044b\u043b\u043e \u0431\u044b \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e\u00a0\u043d\u0430\u00a0\u043f\u0440\u0438\u043c\u0435\u0440\u0435 ChatGPT\u00a0\/ Claude \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041d\u043e\u00a0\u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u00a0\u2014 \u043d\u0438 OpenAI, \u043d\u0438 Anthropic \u043d\u0435\u00a0\u0440\u0430\u0441\u043a\u0440\u044b\u0432\u0430\u044e\u0442 \u043d\u0438\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443, \u043d\u0438\u00a0\u0440\u0430\u0437\u043c\u0435\u0440 \u0441\u0432\u043e\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u00a0\u043d\u0438\u0445 \u043d\u0430\u0448\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043b\u044c\u0437\u044f.\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043f\u043e\u0439\u0434\u0435\u043c \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0443\u0442\u0438 \u0438 \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u043d\u0430\u00a0open-weight \u043c\u043e\u0434\u0435\u043b\u044f\u0445\u00a0\u2014 Llama \u0438\u00a0\u0447\u0443\u0442\u044c DeepSeek. \u0423\u00a0\u043d\u0438\u0445 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u044b \u0438\u00a0\u0440\u0430\u0437\u043c\u0435\u0440, \u0438\u00a0\u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430, \u0430\u00a0\u0446\u0435\u043d\u0443 \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0440\u044b\u043d\u043e\u043a \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432. \u041d\u0430\u00a0\u043d\u0438\u0445\u00a0\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u00a0\u0447\u0438\u0441\u043b\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438. \u0410\u00a0\u0443\u0436\u0435 \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u043d\u0435\u0441\u0451\u043c \u043b\u043e\u0433\u0438\u043a\u0443 \u043d\u0430\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0435 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u044b \ud83e\udd75Let&#8217;s go deeper\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Open-weight\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c, \u0443\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u0441\u0430 \u0432\u044b\u043b\u043e\u0436\u0435\u043d\u044b \u0432\u00a0\u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0434\u043e\u0441\u0442\u0443\u043f. Llama \u043e\u0442\u00a0Meta\u00a0\u043a\u0430\u043a \u0440\u0430\u0437 \u043e\u0434\u043d\u0430 \u0438\u0437 \u0442\u0430\u043a\u0438\u0445. \u041b\u044e\u0431\u043e\u0439 \u0438\u0437 \u0432\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u0444\u0430\u0439\u043b\u044b \u0441 \u0432\u0435\u0441\u0430\u043c\u0438 \u0438 \u0441\u0430\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0442\u0435 \u0436\u0435 \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u044b, \u0447\u0442\u043e \u0438 \u044f\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043b\u044e\u0431\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u0432 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u0430\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u042d\u0442\u043e \u0442\u0435 \u0441\u0430\u043c\u044b\u0435 8B,\u00a070B,\u00a0405B\u00a0(\u043e\u0442\u00a0\u0430\u043d\u0433\u043b.\u00a0billion)Trade off \u0432\u043f\u043e\u043b\u043d\u0435 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0442\u0435\u043c \u00ab\u0443\u043c\u043d\u0435\u0435\u00bb \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u0442\u0435\u043c \u043c\u043e\u0449\u043d\u0435\u0435 \u0436\u0435\u043b\u0435\u0437\u043e \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0435\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0438 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u043e\u043a\u0430\u0436\u0443 \u044d\u0442\u0443 \u0432\u0437\u0430\u0438\u043c\u0441\u0432\u044f\u0437\u044c \u043d\u0430 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0445 Llama \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043f\u0440\u0438 quantization FP16 Llama 3.1 8B\u00a0\u2014 \u0437\u0430\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u00a0\u0445\u043e\u0440\u043e\u0448\u0435\u043c \u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0435, \u043d\u0443\u0436\u043d\u043e ~16GB \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438Llama 3.1 70B\u00a0\u2014 \u043d\u0443\u0436\u0435\u043d \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u00a0\u043f\u0430\u0440\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442 \u0438\u043b\u0438 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0438\u0439 \u043d\u043e\u0443\u0442, \u043d\u0443\u0436\u043d\u043e ~140 GB \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438Llama 3.1 405B\u00a0\u2014 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0442\u0435\u0440 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0438\u0437\u00a016\u00a0\u0448\u0442\u0443\u043a H100 (\u0434\u0430\u0442\u0430\u0446\u0435\u043d\u0442\u0440\u043e\u0432\u0430\u044f GPU NVIDIA \u0441\u00a080\u00a0\u0413\u0411 VRAM \u043d\u0430\u00a0\u043a\u0430\u0440\u0442\u0443), \u0441\u043e\u0442\u043d\u0438 \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432 \u0436\u0435\u043b\u0435\u0437\u0430, ~1280GB \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438\u0420\u0430\u0437\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0437\u0430\u0434\u0430\u0451\u0442 \u043a\u043b\u0430\u0441\u0441 \u0436\u0435\u043b\u0435\u0437\u0430: \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u0442\u0441\u044f \u043d\u0430\u00a02\u00a0\u0431\u0430\u0439\u0442\u0430 \u0438\u00a0\u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432\u00a0\u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043e\u0431\u044a\u0451\u043c \u0432\u0438\u0434\u0435\u043e\u043f\u0430\u043c\u044f\u0442\u0438\u00a0\u2014 \u043e\u0442\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a\u0430 \u0434\u043e\u00a0\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430 \u0438\u0437\u00a016 H100.  \u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445. \u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e VRAM \u0438 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u044f\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430\u0448\u0430 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0430 \u043f\u0430\u043c\u044f\u0442\u0438. \u041f\u0440\u0438\u0447\u0451\u043c \u00ab\u043f\u0430\u043c\u044f\u0442\u044c\u00bb \u0437\u0434\u0435\u0441\u044c \u0438\u043c\u0435\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u0438\u043d \u0440\u0435\u0444\u0435\u0440\u0435\u043d\u0442\u00a0\u2014\u00a0VRAM, \u0431\u044b\u0441\u0442\u0440\u0430\u044f \u043f\u0430\u043c\u044f\u0442\u044c \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u044b. \u041d\u0435\u00a0\u043e\u043f\u0435\u0440\u0430\u0442\u0438\u0432\u043a\u0430 \u0438 \u043d\u0435\u00a0SSD\/HDD. \u042d\u0442\u0438 \u0443\u0440\u043e\u0432\u043d\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043d\u0430\u00a0\u043f\u043e\u0440\u044f\u0434\u043a\u0438. SSD\u00a0\u2248\u00a05\u00a0\u0413\u0411\/\u0441, RAM\u00a0\u2248\u00a050\u00a0\u0413\u0411\/\u0441, VRAM \u0443\u00a0H100\u00a0\u2248\u00a03000\u00a0\u0413\u0411\/\u0441\u00a0\u2014 \u0442\u043e\u00a0\u0435\u0441\u0442\u044c VRAM \u0432\u00a0~600\u00a0\u0440\u0430\u0437 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 SSD. \u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u0436\u0438\u0442\u044c \u0432\u00a0VRAM \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d GPU \u043f\u0435\u0440\u0435\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0435\u0451 \u0432\u0435\u0441\u0430 \u0437\u0430\u043d\u043e\u0432\u043e, \u0438\u00a0\u043b\u044e\u0431\u0430\u044f \u043f\u043e\u0434\u043a\u0430\u0447\u043a\u0430 \u0441\u00a0\u0434\u0438\u0441\u043a\u0430 \u0443\u0431\u0438\u043b\u0430\u00a0\u0431\u044b \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0432\u00a0\u0442\u044b\u0441\u044f\u0447\u0438 \u0440\u0430\u0437. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u00ab\u043d\u0443\u0436\u043d\u043e 140\u00a0\u0413\u0411 \u043f\u0430\u043c\u044f\u0442\u0438\u00bb\u00a0\u2014 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u00a0VRAM.\u0414\u0430\u043b\u044c\u0448\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u043c\u043d\u043e\u0436\u0430\u0435\u043c: \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0432\u00a0\u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 2\u00a0\u0431\u0430\u0439\u0442\u0430\u00a0\u2014 16-\u0431\u0438\u0442\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442, \u0432\u00a0\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0435\u0441\u0430 \u0432\u044b\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e. 8B\u00a0\u2014 \u044d\u0442\u043e ~16\u00a0\u0413\u0411 VRAM, \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u0451\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0438\u0433\u0440\u043e\u0432\u043e\u0439 \u043d\u043e\u0443\u0442\u0431\u0443\u043a \u0441\u00a0\u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u043e\u0439. 70B\u00a0\u2014 \u0443\u0436\u0435 ~140\u00a0\u0413\u0411, \u0441\u0442\u043e\u043b\u044c\u043a\u043e VRAM \u0432\u00a0\u043d\u043e\u0443\u0442\u0431\u0443\u043a \u043d\u0435\u00a0\u0432\u043b\u0435\u0437\u0430\u0435\u0442, \u043d\u0443\u0436\u0435\u043d \u0441\u0435\u0440\u0432\u0435\u0440 \u0441\u00a0\u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c\u0438 \u0432\u0438\u0434\u0435\u043e\u043a\u0430\u0440\u0442\u0430\u043c\u0438. 405B\u00a0\u2014 ~810\u00a0\u0413\u0411, \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0446\u0435\u043b\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0430.\u0427\u0438\u0441\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u0443\u0436\u0430\u0442\u044c. \u0415\u0441\u043b\u0438 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0432\u00a01\u00a0\u0431\u0430\u0439\u0442\u0435 \u0432\u043c\u0435\u0441\u0442\u043e 2 (\u0444\u043e\u0440\u043c\u0430\u0442 FP8 \u0432\u043c\u0435\u0441\u0442\u043e BF16), VRAM \u043d\u0443\u0436\u043d\u043e \u0432\u0434\u0432\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435. \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0438\u00a0\u043a\u0440\u0443\u043f\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u043a\u043b\u0430\u0434\u043a\u0430 \u0434\u043b\u044f\u00a0405B \u0442\u0430\u043a\u0430\u044f: \u0431\u0435\u0437 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0432\u00a0\u0444\u043e\u0440\u043c\u0430\u0442\u0435 BF16\u00a0\u2014 \u044d\u0442\u043e ~810\u00a0\u0413\u0411 \u0438\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 ~16 H100. \u0410 \u0441\u0436\u0430\u0442\u0430\u044f \u0434\u043e\u00a0FP8\u00a0\u2014 \u0443\u0436\u0435 ~405\u00a0\u0413\u0411, \u0438\u00a0\u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0432\u00a0\u043e\u0434\u0438\u043d \u0443\u0437\u0435\u043b \u0438\u0437\u00a08\u00a0H100\u0412 \u0434\u043e\u043c\u0430\u0448\u043d\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0438 \u0434\u0430\u0436\u0435 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439 405B \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u043d\u044f\u0442\u044c \u043c\u043e\u0433\u0443\u0442 \u043c\u0435\u043d\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0443\u0437\u0435\u043b \u0438\u0437\u00a08 H100 \u0441\u0442\u043e\u0438\u0442 \u043e\u043a\u043e\u043b\u043e 200+ \u0442\u044b\u0441\u044f\u0447 \u0434\u043e\u043b\u043b\u0430\u0440\u043e\u0432. \u0411\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u0435\u0440\u0451\u0442\u00a0inference-\u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430\u00a0\u2014 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u043e\u0439 \u0438\u00a0\u043f\u0440\u043e\u0434\u0430\u0451\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u043d\u0435\u0439. Inference\u00a0\u2014 \u044d\u0442\u043e \u0438\u00a0\u0435\u0441\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u00a0\u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u0432\u00a0\u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0422\u0430\u043a\u0438\u0445 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e: Together AI, Fireworks, DeepInfra, Groq, Cerebras. \u041a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u0434\u043d\u0438\u043c\u0430\u0435\u0442 \u0443\u00a0\u0441\u0435\u0431\u044f \u0442\u0435\u00a0\u0436\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438\u00a0\u043f\u0440\u043e\u0434\u0430\u0451\u0442 \u0434\u043e\u0441\u0442\u0443\u043f \u043a\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u0430\u043c.\u0412\u0435\u0441\u0430 \u0443\u00a0\u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u043e\u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u043e\u043d\u043a\u0443\u0440\u0438\u0440\u0443\u044e\u0442 \u043e\u043d\u0438\u00a0\u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439\u00a0\u0437\u0430\u00a0\u043e\u0434\u043d\u043e\u0433\u043e \u0438\u00a0\u0442\u043e\u0433\u043e\u00a0\u0436\u0435 \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041c\u043e\u043d\u043e\u043f\u043e\u043b\u0438\u0438 \u043d\u0435\u0442. \u0410\u00a0\u0437\u043d\u0430\u0447\u0438\u0442, \u0446\u0435\u043d\u0430 \u043d\u0430\u00a0Llama \u043d\u0435\u00a0\u043c\u043e\u0436\u0435\u0442 \u0443\u043b\u0435\u0442\u0435\u0442\u044c \u0432\u00a0\u043a\u043e\u0441\u043c\u043e\u0441\u00a0\u2014\u00a0\u043e\u043d\u0430 \u043f\u0440\u0438\u0436\u0430\u0442\u0430 \u043a\u00a0\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u0438\u0437\u0438\u043a\u0435 \u043e\u0431\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u043f\u043b\u044e\u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u0440\u0436\u0430 \u043f\u0440\u043e\u0432\u0430\u0439\u0434\u0435\u0440\u0430\u0423\u00a0\u0437\u0430\u043a\u0440\u044b\u0442\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0436\u0435 \u0432\u0441\u0451 \u0438\u043d\u0430\u0447\u0435. \u0412\u0435\u0441\u0430 GPT, Claude \u0438\u00a0Gemini \u0437\u043d\u0430\u044e\u0442 \u0442\u043e\u043b\u044c\u043a\u043e OpenAI, Anthropic \u0438\u00a0Google\u00a0\u2014 \u0438\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u043e\u043d\u0438 \u0445\u043e\u0441\u0442\u044f\u0442 \u044d\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412\u00a0\u0438\u0445 \u0446\u0435\u043d\u043d\u0438\u043a \u0437\u0430\u0448\u0438\u0442\u043e \u0441\u0440\u0430\u0437\u0443 \u0432\u0441\u0451compute\u00a0\u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0438 \u0440\u0430\u0431\u043e\u0442\u0430 GPU\u0438\u0445 \u043c\u0430\u0440\u0436\u0430 \u043a\u0430\u043a \u043c\u043e\u043d\u043e\u043f\u043e\u043b\u0438\u0441\u0442\u043e\u0432 \u043d\u0430 \u0441\u0432\u043e\u044e \u043c\u043e\u0434\u0435\u043b\u044c\u043e\u043a\u0443\u043f\u0430\u0435\u043c\u043e\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043b\u0435\u0442\u043d\u0435\u0433\u043e R&amp;D \u0438 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u0423\u00a0Llama \u0446\u0435\u043d\u044b \u0432\u044b\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u0442\u044b\u0439 compute + \u043c\u0430\u0440\u0436\u0430. \u0410\u00a0\u0432\u00a0\u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443 \u043f\u0440\u0430\u0439\u0441\u0430 \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u0443\u043f\u0430\u043a\u043e\u0432\u0430\u043d\u043e \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445\u00a0\u2014 \u0438\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u0438\u0445 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u043c\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u0430\u043a\u0440\u044b\u0442\u043e\u0433\u043e \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0430 \u2014 \u044d\u0442\u043e compute \u043f\u043b\u044e\u0441 \u0432\u0441\u0451 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435. \u0410 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445\u00a0Llama \u2014 \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0447\u0438\u0441\u0442\u0430\u044f \u0444\u0438\u0437\u0438\u043a\u0430 \u0438 \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430. \u041e\u0442 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0442\u0435\u043c \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0447\u0435\u0442\u044b \u043d\u0430 \u0444\u043b\u0430\u0433\u043c\u0430\u043d\u0441\u043a\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0411\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0440\u043e\u0436\u0435 \u043d\u0430\u00a0\u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u043e\u043a\u0435\u043d\u041a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0442\u043e\u043a\u0435\u043d, \u0442\u043e \u043e\u043d\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0438\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438\u00a0\u2014 \u043a\u0430\u043a\u043e\u0439 \u0442\u043e\u043a\u0435\u043d \u0438\u0434\u0451\u0442 \u0434\u0430\u043b\u044c\u0448\u0435. \u0420\u0430\u0437\u043c\u0435\u0440 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0442 \u0432\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445\u00a0\u2014 \u044d\u0442\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u00a0\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0447\u0438\u0441\u043b\u0430-\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0438\u00a0\u0438\u0445 \u0432\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434\u044b. \u042d\u0442\u043e \u0432\u0441\u0435 \u0442\u0435 \u0436\u0435 \u043d\u0430\u0448\u0438 Llama 8B,\u00a070B,\u00a0405B\u0418 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0443\u0445\u043e\u0434\u0438\u0442 \u043d\u0430\u00a0\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044e \u043e\u0434\u043d\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u041a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438: \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0432\u00a0\u0432\u0438\u0434\u0435 token\u00a0ID\u00a0\u2192 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u00a0\u2192 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u00a0\u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c. \u041c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u0434\u0438\u043d \u0438\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0435\u0433\u043e \u0432\u00a0\u043e\u0442\u0432\u0435\u0442.  \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e\u00a0\u0442\u043e\u043a\u0435\u043d\u044b \u0438\u00a0\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u044f\u00a0\u043f\u0438\u0441\u0430\u043b \u0432\u00a0\u0441\u0442\u0430\u0442\u044c\u0435\u00a0\u00ab\u041f\u0440\u043e\u0441\u0442\u043e \u0438\u00a0\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u00a0\u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 GPT-\u043c\u043e\u0434\u0435\u043b\u0438\u00bb  \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u043e Dense \u0438 MoE \u043c\u043e\u0434\u0435\u043b\u0438\u042d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439Dense\u00a0\u043c\u043e\u0434\u0435\u043b\u0438 \u2014 \u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440, \u0433\u0434\u0435 \u043d\u0430\u00a0\u0440\u0430\u0441\u0447\u0451\u0442 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0437\u0430\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044bMoE\u00a0(Mixture of\u00a0Experts)\u00a0\u2014 \u043c\u043e\u0434\u0435\u043b\u044c, \u0433\u0434\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u044b \u043d\u0430\u00a0\u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00bb\u0418 \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0442\u0435\u00a0\u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Llama 3.1\u00a0\u2014 dense, DeepSeek V3.1\u00a0\u2014 MoEDense \u043f\u0440\u043e\u0433\u043e\u043d\u044f\u0435\u0442 \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u043e\u043a\u0435\u043d \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b; MoE \u0447\u0435\u0440\u0435\u0437 \u0440\u043e\u0443\u0442\u0435\u0440-\u0433\u0435\u0439\u0442\u0438\u043d\u0433 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432\u00a0\u2014 \u043e\u0442\u0442\u043e\u0433\u043e\u00a0total\u00a0\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0430\u00a0active\u00a0\u043d\u0430\u00a0\u0442\u043e\u043a\u0435\u043d \u043c\u0430\u043b\u043e  \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 Dense \u0438 MoE \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u0430 \u0434\u043b\u044f\u00a0\u0440\u0430\u0441\u0447\u0435\u0442 compute, \u0447\u0442\u043e \u043c\u044b \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0438 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0432\u00a0\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0433\u043b\u0430\u0432\u0435.\u0410\u00a0\u043f\u043e\u043a\u0430 \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u043e\u0437\u044c\u043c\u0451\u043c dense\u00a0\u2014 \u0442\u0430\u043c compute \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0449\u0435 \u0432\u0441\u0435\u0433\u043e  \u0414\u043b\u044f dense-\u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 compute \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043aFLOPs\/token \u2248 2 \u00d7 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u0414\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u044b\u0445 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 FLOPs \u0438 \u043e\u0442\u043a\u0443\u0434\u0430 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u0432\u043e\u0439\u043a\u0430FLOPs\u00a0\u2014 floating-point operations, \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u00a0\u0434\u0440\u043e\u0431\u043d\u044b\u043c\u0438 \u0447\u0438\u0441\u043b\u0430\u043c\u0438. \u042d\u0442\u043e \u043e\u0431\u044a\u0451\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u043a\u0435\u043d. \u041d\u0435\u00a0\u043f\u0443\u0442\u0430\u0439\u0442\u0435 \u0441\u00a0FLOPS \u0447\u0435\u0440\u0435\u0437 \u0431\u043e\u043b\u044c\u0448\u0443\u044e\u00a0S\u00a0\u2014 floating-point operations per second: \u044d\u0442\u043e \u0443\u0436\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0435\u043b\u0435\u0437\u0430, \u0438\u00a0\u043e\u0434\u043d\u0430 H100 \u0432\u044b\u0434\u0430\u0451\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043a\u0432\u0430\u0434\u0440\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0432\u00a0\u0441\u0435\u043a\u0443\u043d\u0434\u0443. \u041e\u0431\u044a\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043d\u0430\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0436\u0435\u043b\u0435\u0437\u0430, \u0434\u0430\u0451\u0442 \u043d\u0430\u043c \u0432\u0440\u0435\u043c\u044f \u043e\u0442\u0432\u0435\u0442\u0430\u0422\u0435\u043f\u0435\u0440\u044c \u043e \u0442\u043e\u043c, \u043e\u0442\u043a\u0443\u0434\u0430&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-485996","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/485996","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=485996"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/485996\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=485996"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=485996"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=485996"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}