{"id":501722,"date":"2026-11-05T11:57:53","date_gmt":"2026-11-05T08:57:53","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=501722"},"modified":"2026-11-05T11:57:53","modified_gmt":"2026-11-05T08:57:53","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=501722","title":{"rendered":"GPT-6 Astra \u043f\u043e\u043f\u0440\u0430\u0432\u0438\u043b\u0430 131 072 \u0432\u0435\u0441\u0430 \u0432 Qwen \u0440\u0443\u043a\u0430\u043c\u0438. \u042f \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u044b \u0438 \u043d\u0430\u0448\u0451\u043b \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u22125. \u0427\u0430\u0441\u0442\u044c 1"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/e6\/d6\/41\/e6d641a800f56ddb38ece911dbacc5aa.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/e6\/d6\/41\/e6d641a800f56ddb38ece911dbacc5aa.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/e6\/d6\/41\/e6d641a800f56ddb38ece911dbacc5aa.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p><em>\u041e\u0431\u043b\u043e\u0436\u043a\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0418\u0418<\/em> <\/p>\n<p><em>\u042f \u0441\u0442\u0443\u0434\u0435\u043d\u0442 \u0420\u0422\u0423 \u041c\u0418\u0420\u042d\u0410, \u0438 \u043c\u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u044d\u0442\u0430 \u0442\u0435\u043c\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0435\u0451 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e.<\/em><\/p>\n<p><em>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0430\u0437\u0431\u0438\u043b \u0435\u0451 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438. \u042d\u0442\u043e \u0447\u0430\u0441\u0442\u044c 1 \u0438\u0437 2: \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 MIT, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u0434\u0438\u0444\u0444\u0435 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0430\u043a\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430 \u00ab\u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u00bb. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u2014 \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u043a\u0430 \u043b\u0435\u0447\u0438\u0442 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0432\u044b\u043a, \u0441\u0432\u044f\u0437\u044c \u0441 ROME \u0438 task arithmetic, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0435\u0441\u0430 Qwen, Gemma, Llama \u0438 MoE, \u0440\u0438\u0441\u043a\u0438 \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.<\/em><\/p>\n<p>2 \u043d\u043e\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 \u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438\u0437 MIT CSAIL \u2014 Rikiya Takehi, Jayden Teoh, Alex Zhang \u0438 Omar Khattab \u2014 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u043f\u043e\u0441\u0442 <em>\u00abSparks of Weight-Space Programming: LLMs can natively read &amp; write neural network weights\u00bb<\/em> [1]. \u0421\u0443\u0442\u044c \u0442\u0430\u043a\u0430\u044f: \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u0430\u044f LLM (\u0432 \u043f\u043e\u0441\u0442\u0435 \u043e\u043d\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>GPT-6 Astra<\/strong>) \u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u044b\u0440\u044b\u0435 \u0432\u0435\u0441\u0430 \u0447\u0443\u0436\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438 \u043f\u0440\u0430\u0432\u0438\u0442 \u0438\u0445 \u0440\u0443\u043a\u0430\u043c\u0438. \u0411\u0435\u0437 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u0440\u0435\u0434\u044b.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438, \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0442\u0440\u0438 \u0432\u0435\u0449\u0438:<\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u0441\u0430\u043c \u043f\u043e\u0441\u0442 \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043b\u043e\u0433\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 [2], \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043f\u0440\u0430\u0432\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u0430\u0447\u0430\u043b \u0431\u0430\u0437\u043e\u0432\u0443\u044e Qwen3.5-0.8B \u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 [3] \u0438 <strong>\u043f\u043e\u0431\u0438\u0442\u043e\u0432\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0438\u0445<\/strong>. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u0440\u0430\u0432\u043a\u0430 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u0443\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u00bb: \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0442\u0430\u043c \u2248 6, \u0438 \u0437\u043d\u0430\u043a \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043d\u0438\u0436\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0432\u0435\u043b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443: \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043b\u0435\u0447\u0438\u0442\u044c \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u00ab\u0432\u043b\u043e\u0436\u0438\u0442\u044c\u00bb \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043d\u0430\u0432\u044b\u043a.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u043e\u043c\u0435\u0447\u0430\u044e, \u0447\u0442\u043e \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u0442\u0438\u043f\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f:<\/p>\n<ul>\n<li>\n<p><strong>[\u0421\u0442\u0430\u0442\u044c\u044f]<\/strong> \u2014 \u044d\u043c\u043f\u0438\u0440\u0438\u043a\u0430 \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0446\u0438\u0444\u0440\u044b \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u0438\u0437 \u043f\u043e\u0441\u0442\u0430 \u0438\u043b\u0438 \u043b\u043e\u0433\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e]<\/strong> \u2014 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0444\u0430\u043a\u0442 \u0441 \u0432\u044b\u0432\u043e\u0434\u043e\u043c;<\/p>\n<\/li>\n<li>\n<p><strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong> \u2014 \u0442\u043e, \u0447\u0442\u043e \u044f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b \u0441\u0430\u043c (\u043a\u043e\u0434 \u043b\u0435\u0436\u0438\u0442 \u0440\u044f\u0434\u043e\u043c \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0451\u0439);<\/p>\n<\/li>\n<li>\n<p><strong>[\u041c\u043e\u0434\u0435\u043b\u044c\/\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong> \u2014 \u043c\u043e\u0438 \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0438\u044f \u0438 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u043e \u043d\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438\u0434\u0451\u0442 \u0432 \u0434\u0432\u0430 \u0441\u043b\u043e\u044f: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0432 \u0442\u0435\u043c\u0435, \u0437\u0430\u0442\u0435\u043c \u0431\u043b\u043e\u043a <strong>\u00ab\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443\u00bb<\/strong> \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0432\u043d\u0438\u043a\u0430\u0442\u044c.<\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 1. \u0427\u0442\u043e \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c: \u0442\u0440\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/h3>\n<h4>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 8: Qwen3.5-0.8B, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0443\u043c\u0430\u043b\u0430 \u0434\u043e \u0443\u043f\u043e\u0440\u0430<\/h4>\n<p><strong>[\u0421\u0442\u0430\u0442\u044c\u044f]<\/strong> \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u0437\u044f\u043b\u0438 Qwen3.5-0.8B (24 \u0441\u043b\u043e\u044f, \u043e\u043a\u043e\u043b\u043e 0.8 \u043c\u043b\u0440\u0434 \u0432\u0435\u0441\u043e\u0432, \u0440\u0435\u0436\u0438\u043c thinking \u0432\u043a\u043b\u044e\u0447\u0451\u043d) \u0438 \u0434\u0430\u043b\u0438 Astra \u0437\u0430\u0434\u0430\u0447\u0443: \u00ab\u0441\u0434\u0435\u043b\u0430\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0443\u0447\u0448\u0435 \u0432 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435, \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u044f \u0432\u0435\u0441\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e\u00bb. \u0411\u044b\u043b\u0438 \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>Python-\u0441\u0435\u0441\u0441\u0438\u044f \u043d\u0430\u0434 \u0432\u0435\u0441\u0430\u043c\u0438, \u0442\u043e\u043b\u044c\u043a\u043e CPU, \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 300 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u043a\u043e\u0434\u0430;<\/p>\n<\/li>\n<li>\n<p><strong>\u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/strong>: \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u044b backward, autograd, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u043f\u043e\u0434 \u043b\u043e\u0441\u0441;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: 7 469 \u0438\u0437 GSM8K train \u0438 7 275 \u0438\u0437 MATH train. \u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 Astra \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430;<\/p>\n<\/li>\n<li>\n<p>\u0431\u044e\u0434\u0436\u0435\u0442 <strong>\u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong>: 10, 25 \u0438\u043b\u0438 50 (\u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430). \u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043e\u043d \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u2264512 \u0437\u0430\u0434\u0430\u0447 \u0438\u043b\u0438 teacher-forced \u0447\u0442\u0435\u043d\u0438\u0435 \u22641 024 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0441 \u043b\u043e\u0433\u043f\u0440\u043e\u0431\u0430\u043c\u0438, \u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438 MLP;<\/p>\n<\/li>\n<li>\n<p><code>save_edit<\/code> \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u043b \u043f\u0440\u0430\u0432\u043a\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u044b, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432\/\u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0438 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u043e\u0433\u043e \u0442\u0435\u043d\u0437\u043e\u0440\u0430 \u043d\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430: vLLM, temperature 0.6, top-p 0.95, top-k 20, presence penalty 1.5, \u0434\u043e <strong>32 768<\/strong> \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<p>Astra \u043d\u0430\u0447\u0430\u043b\u0430 \u0441 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c <strong>\u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/strong>: \u0438\u0437 \u0435\u0451 \u043f\u0435\u0440\u0432\u044b\u0445 96 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 85 \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432 \u043b\u0438\u043c\u0438\u0442 32 768 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 Qwen \u043e\u0431 \u044d\u0442\u043e\u043c \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u043e\u043d\u043d\u0430 \u043a thinking loops. Astra \u043d\u0430\u0448\u043b\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 residual stream, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 MLP <strong>\u0441\u043b\u043e\u0451\u0432 15 \u0438 19<\/strong> \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u0438 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0438, \u0438 \u0432\u044b\u0447\u043b\u0430 \u0435\u0433\u043e \u0438\u0437 <strong>64 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432<\/strong> <code>down_proj<\/code> \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0451\u0432. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c <strong>131 072 \u0432\u0435\u0441\u0430, 0.016 %<\/strong> \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">Qwen3.5-0.8B<\/p>\n<\/th>\n<th>\n<p align=\"left\">MATH-500<\/p>\n<\/th>\n<th>\n<p align=\"left\">GSM8K<\/p>\n<\/th>\n<th>\n<p align=\"left\">IFEval<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0423\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432 \u043b\u0438\u043c\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (MATH-500)<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">21.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">93.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u043a\u0430, 10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">12.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">49.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">87.2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u043a\u0430, 25 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">14.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">25.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0430\u0432\u043a\u0430, 50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>48.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>67.1<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>62.3<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>33.1<\/strong><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u0437 \u043b\u043e\u0433\u043e\u0432 [2] \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u0442\u0440\u0451\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c <strong>\u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438<\/strong>:<\/p>\n<ul>\n<li>\n<p>10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432: \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u00ab\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432\u00bb \u0438\u0437 30 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 (\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 MLP) \u0441\u043b\u043e\u0451\u0432 8\u201322 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"W' = W - 1.5\\,u(u^\\top W)\" alt=\"W' = W - 1.5\\,u(u^\\top W)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/89a\/89a286e5a89d01417ef9af268b963fd4.svg\" width=\"182\" height=\"21\" data-width=\"22.699\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 22.699ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/89a\/89a286e5a89d01417ef9af268b963fd4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/89\/89a\/89a286e5a89d01417ef9af268b963fd4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p>25 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432: \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f 7 \u0432 \u0441\u043b\u043e\u0435 15 (\u043e\u0431\u043d\u0443\u043b\u0435\u043d\u044b \u0435\u0451 256 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432);<\/p>\n<\/li>\n<li>\n<p>50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432: 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 MLP \u0432 \u0441\u043b\u043e\u044f\u0445 15 \u0438 19.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0443 \u043f\u0440\u0430\u0432\u043a\u0438 \u0438\u0437 50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0442\u043e\u0436\u0435 \u0440\u043e\u0441\u0442: AMC23 0.5 \u2192 23.4, Minerva 1.5 \u2192 25.4, OlympiadBench 1.3 \u2192 21.8, MMLU-Pro 40.3 \u2192 45.5, GPQA Diamond 22.7 \u2192 36.6.<\/p>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 Astra \u043d\u0430 1 152 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 [2, <code>final_answer.md<\/code>]: 579 \u00ab\u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0445\u00bb \u0437\u0430\u0434\u0430\u0447 \u043f\u0440\u043e\u0442\u0438\u0432 5 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0439, \u0438 <strong>576 \u0438\u0437 579 \u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0445 \u2014 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u043d\u044c\u0448\u0435 \u043e\u0431\u0440\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043e \u043b\u0438\u043c\u0438\u0442\u0443<\/strong>. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0434\u043e \u043f\u0440\u0430\u0432\u043a\u0438 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430, <em>\u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c<\/em>. \u0417\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u044d\u0442\u043e\u0442 \u0444\u0430\u043a\u0442: \u043a \u043d\u0435\u043c\u0443 \u043c\u044b \u0432\u0435\u0440\u043d\u0451\u043c\u0441\u044f \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438, \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0435\u0442\u043b\u0438.<\/p>\n<p>\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: Ahsen Khaliq (Hugging Face) \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u043b \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u0438\u0437 \u043b\u043e\u0433\u043e\u0432 \u0441\u043e \u0441\u0432\u0435\u0440\u043a\u043e\u0439 sha256 \u0438 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0433\u043d\u0430\u043b \u043f\u043e\u043b\u043d\u044b\u0439 MATH-500 (500 \u00d7 4 \u0441\u044d\u043c\u043f\u043b\u0430) \u043d\u0430 H200. \u0412\u044b\u0448\u043b\u043e <strong>51.0 %<\/strong>, \u043b\u0438\u043c\u0438\u0442 \u0432\u044b\u0431\u0438\u043b\u0438 31.6 % \u043e\u0442\u0432\u0435\u0442\u043e\u0432 [3].<\/p>\n<h4>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 4: \u043c\u0430\u0448\u0438\u043d\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u0443\u043c\u0435\u043b\u0430 \u0441\u0434\u0430\u0442\u044c \u043d\u0430\u0437\u0430\u0434<\/h4>\n<p><strong>[\u0421\u0442\u0430\u0442\u044c\u044f]<\/strong> \u0421\u0440\u0435\u0434\u0430 Kinetix, \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u00ab\u043c\u0430\u0448\u0438\u043d\u043a\u0430 \u0438 \u0440\u0430\u043c\u043f\u0430\u00bb. \u0427\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0443\u0442\u044c \u043a\u0440\u0430\u0441\u043d\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443, \u043c\u0430\u0448\u0438\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u0437\u0430\u0434 \u0438 \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u0440\u0430\u0437\u0433\u043e\u043d. \u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 PPO \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f 1 \u043c\u043b\u0440\u0434 \u0448\u0430\u0433\u043e\u0432 \u0438 \u0437\u0430\u0441\u0442\u0440\u044f\u043b \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435: \u0435\u0434\u0435\u0442 \u043f\u0440\u044f\u043c\u043e \u043d\u0430 \u0440\u0430\u043c\u043f\u0443 \u0438 \u0433\u043b\u043e\u0445\u043d\u0435\u0442. \u0423\u0441\u043f\u0435\u0445\u043e\u0432 <strong>0 \u0438\u0437 256<\/strong> \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432.<\/p>\n<p>\u0421\u0435\u0442\u044c \u2014 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043a\u0442\u043e\u0440 Kinetix: 679 \u2192 128 (ReLU) \u2192 \u043f\u044f\u0442\u044c \u0441\u043b\u043e\u0451\u0432 \u043f\u043e 128 (tanh) \u2192 16. \u0421\u0432\u0435\u0440\u0438\u043c \u0447\u0438\u0441\u043b\u043e \u0432\u0435\u0441\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"679\\cdot128+128 \\;+\\; 5\\,(128\\cdot128+128) \\;+\\; 128\\cdot16+16 \\;=\\; 87\\,040+82\\,560+2\\,064 \\;=\\; 171\\,664.\" alt=\"679\\cdot128+128 \\;+\\; 5\\,(128\\cdot128+128) \\;+\\; 128\\cdot16+16 \\;=\\; 87\\,040+82\\,560+2\\,064 \\;=\\; 171\\,664.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/55\/557\/557a6c87e4c5aa39500a5ec42c6a8410.svg\" width=\"733\" height=\"18\" data-width=\"91.644\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 91.644ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/55\/557\/557a6c87e4c5aa39500a5ec42c6a8410.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/55\/557\/557a6c87e4c5aa39500a5ec42c6a8410.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043f\u043e\u0441\u0442\u043e\u043c. Astra \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0432\u0441\u0435 \u0432\u0435\u0441\u0430, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0446\u0435\u043d\u044b \u0438 \u043e\u0434\u0438\u043d \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u044d\u043f\u0438\u0437\u043e\u0434. <strong>\u041e\u0434\u0438\u043d \u043e\u0442\u0432\u0435\u0442, \u0431\u0435\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432.<\/strong> \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430 3.5 % \u0432\u0435\u0441\u043e\u0432 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043e\u0431\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044e\u043d\u0438\u0442\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435. \u042d\u0442\u043e\u0442 \u043f\u0443\u0442\u044c \u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u044e \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u044b, \u043a\u043e\u043c\u0430\u043d\u0434\u0443\u0435\u0442 \u00ab\u043d\u0430\u0437\u0430\u0434, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043b\u043d\u044b\u0439 \u0432\u043f\u0435\u0440\u0451\u0434\u00bb, \u0430 \u043a\u043e\u0433\u0434\u0430 \u0437\u0435\u043b\u0451\u043d\u043e\u0435 \u043a\u043e\u043b\u0435\u0441\u043e \u043f\u0440\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u043a\u0440\u0430\u0441\u043d\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u0430\u0448\u0438\u043d\u0443 \u0432\u0435\u0434\u0451\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u0418\u0442\u043e\u0433: <strong>1 024 \u0438\u0437 1 024<\/strong> \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432.<\/p>\n<h4>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442: Gemma 3 270M, \u0433\u0434\u0435 \u0432\u0441\u0451 \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c<\/h4>\n<p><strong>[\u0421\u0442\u0430\u0442\u044c\u044f]<\/strong> \u0422\u043e\u0442 \u0436\u0435 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u043a Gemma 3 270M IT. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u0442\u0440\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0438 \u043f\u043e\u0447\u0442\u0438 <strong>\u043d\u0435 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f<\/strong>: \u0432 \u043b\u0438\u043c\u0438\u0442 (\u0437\u0434\u0435\u0441\u044c 8 192 \u0442\u043e\u043a\u0435\u043d\u0430, \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433 \u0438\u0437 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438: T = 1.0, top-k 64, top-p 0.95) \u0443\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 8.5 % \u043e\u0442\u0432\u0435\u0442\u043e\u0432. \u0423 Qwen \u0442\u0430\u043a\u0438\u0445 93 %.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">Gemma 3 270M<\/p>\n<\/th>\n<th>\n<p align=\"left\">MATH-500<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0411\u0430\u0437\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.8<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">25 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">7.0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0427\u0438\u0442\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0438 Gemma, Astra \u043d\u0430\u0448\u043b\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f: \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443 \u0438 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0430\u043b\u0433\u0435\u0431\u0440\u0430\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0448\u0430\u0433\u0438. \u0415\u0434\u0438\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c, \u0442\u0430\u043c \u043d\u0435 \u0431\u044b\u043b\u043e. \u041f\u0440\u0430\u0432\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043c\u0435\u043b\u043a\u0438\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0434\u0432\u043e\u0438\u0442\u044c \u043e\u0434\u0438\u043d \u043d\u0435\u0439\u0440\u043e\u043d, \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u043d\u0430 \u0447\u0438\u0441\u043b\u0430), \u0438 \u0441\u0430\u043c\u0430 Astra \u043e\u0446\u0435\u043d\u0438\u043b\u0430 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u0430\u043a \u043d\u0435\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439. \u0412\u044b\u0432\u043e\u0434 \u0430\u0432\u0442\u043e\u0440\u043e\u0432: <em>\u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0443\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0435, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u044f\u0442\u0430\u043b\u0430\u0441\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442<\/em>.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b: \u0432 \u043f\u043e\u0441\u0442\u0435 \u0435\u0441\u0442\u044c \u0438 \u00ab\u0447\u0438\u0442\u0430\u044e\u0449\u0438\u0435\u00bb \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. Astra \u043f\u043e \u0432\u0435\u0441\u0430\u043c MLP 500\u219232\u219232\u21925 (17 253 \u0432\u0435\u0441\u0430 \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"500\\cdot32+32+32\\cdot32+32+32\\cdot5+5\" alt=\"500\\cdot32+32+32\\cdot32+32+32\\cdot5+5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6b3\/6b3fc49a5fdcf457a2c240926d2a4519.svg\" width=\"304\" height=\"18\" data-width=\"37.963\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 37.963ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6b3\/6b3fc49a5fdcf457a2c240926d2a4519.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6b3\/6b3fc49a5fdcf457a2c240926d2a4519.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f) \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0438\u0433\u0440\u0443, \u043f\u043e \u0432\u0435\u0441\u0430\u043c \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043a\u0438 \u2014 \u0440\u0438\u0441\u0443\u0435\u043c\u0443\u044e \u0444\u0438\u0433\u0443\u0440\u0443, \u0432 char-level \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0431\u0435\u0437 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0451\u0432 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 induction heads. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u043d\u0430 \u0441 \u043d\u0443\u043b\u044f \u043f\u0438\u0448\u0435\u0442 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f MinAtar \u0438 \u0434\u043b\u044f \u0433\u043e 9\u00d79. \u041d\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e <strong>\u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043f\u0440\u0430\u0432\u043a\u0438<\/strong>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044e \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c.<\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 2. \u0427\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u0434\u0438\u0444\u0444\u0435 (\u043c\u043e\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430)<\/h3>\n<p><strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong> \u041e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 <code>Qwen\/Qwen3.5-0.8B<\/code> \u0440\u043e\u0432\u043d\u043e \u0434\u0432\u0443\u043c\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c\u0438 [3]: <code>layers.15.mlp.down_proj.weight<\/code> \u0438 <code>layers.19.mlp.down_proj.weight<\/code>, \u043e\u0431\u0430 \u0444\u043e\u0440\u043c\u044b <img decoding=\"async\" class=\"formula inline\" source=\"1024\\times3584\" alt=\"1024\\times3584\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4fc\/4fc3a6006074e91a621ab9e587d57f74.svg\" width=\"95\" height=\"18\" data-width=\"11.815\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 11.815ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4fc\/4fc3a6006074e91a621ab9e587d57f74.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4f\/4fc\/4fc3a6006074e91a621ab9e587d57f74.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta W = W_{\\text{edit}} - W_{\\text{base}}\" alt=\"\\Delta W = W_{\\text{edit}} - W_{\\text{base}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/02\/022\/022a10a7a2720d631d12817345afeafd.svg\" width=\"163\" height=\"18\" data-width=\"20.382\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 20.382ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/02\/022\/022a10a7a2720d631d12817345afeafd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/02\/022\/022a10a7a2720d631d12817345afeafd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043a\u043e\u0434: <code>code\/analyze_edit.py<\/code>).<\/p>\n<pre><code class=\"python\">D = W2 - W                                   # 1024 x 3584cols = (D.abs().sum(0) &gt; 0).nonzero().flatten()   # \u043a\u0430\u043a\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0442\u0440\u043e\u043d\u0443\u0442\u044bS = torch.linalg.svdvals(D[:, cols])          # \u0441\u043f\u0435\u043a\u0442\u0440 \u043f\u0440\u0430\u0432\u043a\u0438U, _, _ = torch.linalg.svd(D[:, cols], full_matrices=False)v = U[:, 0]                                   # \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u043a\u0438a = -(v @ D[:, cols]).dot(v @ W[:, cols]) \/ (v @ W[:, cols]).pow(2).sum()<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<p>\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\n<\/th>\n<th>\n<p align=\"left\">\u0441\u043b\u043e\u0439 15<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0441\u043b\u043e\u0439 19<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<td>\n<p align=\"left\">64<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 bf16-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td>\n<p align=\"left\">65 260<\/p>\n<\/td>\n<td>\n<p align=\"left\">64 928<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0434\u043e\u043b\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta W\" alt=\"\\Delta W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f18\/f18b10f2a534f6e97eadac766296f0c1.svg\" width=\"34\" height=\"18\" data-width=\"4.256\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.256ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f18\/f18b10f2a534f6e97eadac766296f0c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f18\/f18b10f2a534f6e97eadac766296f0c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u043c \u0447\u0438\u0441\u043b\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.999994<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.999991<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"\\sigma_2\/\\sigma_1\" alt=\"\\sigma_2\/\\sigma_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/902\/90290e83bc522c4d27b86629391feee7.svg\" width=\"46\" height=\"18\" data-width=\"5.69\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.69ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/902\/90290e83bc522c4d27b86629391feee7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/902\/90290e83bc522c4d27b86629391feee7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">5.6\u00b710\u207b\u2074<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.4\u00b710\u207b\u2074<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg\" width=\"12\" height=\"18\" data-width=\"1.448\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.448ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"W'_S=W_S-\\alpha\\,vv^\\top W_S\" alt=\"W'_S=W_S-\\alpha\\,vv^\\top W_S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e44\/e44c709be5844ac542d43003e8f8d4a6.svg\" width=\"170\" height=\"21\" data-width=\"21.302\" data-height=\"2.597\" data-vertical-align=\"-0.733\" style=\"width: 21.302ex; height: 2.597ex; vertical-align: -0.733ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e44\/e44c709be5844ac542d43003e8f8d4a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e44\/e44c709be5844ac542d43003e8f8d4a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>6.0003<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>6.0002<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0432\u044f\u0437\u043a\u0430 \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.23 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.29 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"\\lVert\\Delta W\\rVert_F\/\\lVert W\\rVert_F\" alt=\"\\lVert\\Delta W\\rVert_F\/\\lVert W\\rVert_F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5a0\/5a0e5f988831fd1b92dccbdb7d0771d0.svg\" width=\"120\" height=\"18\" data-width=\"15.055\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 15.055ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5a0\/5a0e5f988831fd1b92dccbdb7d0771d0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5a\/5a0\/5a0e5f988831fd1b92dccbdb7d0771d0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.106<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.081<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 131 072 = 2 \u00d7 64 \u00d7 1 024, \u0430 \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 130 188: \u043f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u0432 bfloat16 \u0447\u0430\u0441\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043a \u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e. \u042d\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442\u043e\u043c \u0438\u0437 \u043b\u043e\u0433\u043e\u0432. \u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u044f\u0445 \u0431\u043b\u0438\u0437\u043a\u0438: <img decoding=\"async\" class=\"formula inline\" source=\"\\cos(v_{15},v_{19})=0.85\" alt=\"\\cos(v_{15},v_{19})=0.85\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/95e\/95e9441bf247920336bb26865f78d7e6.svg\" width=\"149\" height=\"18\" data-width=\"18.603\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 18.603ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/95e\/95e9441bf247920336bb26865f78d7e6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/95e\/95e9441bf247920336bb26865f78d7e6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/3b\/79\/a3\/3b79a3958094f3d85d8efb5e473e11cb.png\" alt=\"\u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 down_proj \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u043a\u0438, \u0441\u043b\u043e\u0439 15\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/3b\/79\/a3\/3b79a3958094f3d85d8efb5e473e11cb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/3b\/79\/a3\/3b79a3958094f3d85d8efb5e473e11cb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 down_proj \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u043a\u0438, \u0441\u043b\u043e\u0439 15<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 1. \u0421\u043b\u043e\u0439 15. \u0421\u043b\u0435\u0432\u0430: <img decoding=\"async\" class=\"formula inline\" source=\"\\langle v,w_i\\rangle\" alt=\"\\langle v,w_i\\rangle\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/142\/14269c577e233a300a6c73d4ce0b89cd.svg\" width=\"50\" height=\"18\" data-width=\"6.223\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.223ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/142\/14269c577e233a300a6c73d4ce0b89cd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/142\/14269c577e233a300a6c73d4ce0b89cd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0432\u0441\u0435\u0445 3 584 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 (\u0441\u0435\u0440\u044b\u0435), \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e 64 \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0434\u043e (\u0441\u0438\u043d\u0438\u0435) \u0438 \u043f\u043e\u0441\u043b\u0435 (\u043a\u0440\u0430\u0441\u043d\u044b\u0435) \u043f\u0440\u0430\u0432\u043a\u0438. \u0421\u043f\u0440\u0430\u0432\u0430: \u00ab\u043f\u043e\u0441\u043b\u0435\u00bb \u043f\u0440\u043e\u0442\u0438\u0432 \u00ab\u0434\u043e\u00bb \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"y=-5x\" alt=\"y=-5x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/289\/289bbd3da79bab62c3a867e22b95adcc.svg\" width=\"66\" height=\"16\" data-width=\"8.311\" data-height=\"1.971\" data-vertical-align=\"-0.464\" style=\"width: 8.311ex; height: 1.971ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/289\/289bbd3da79bab62c3a867e22b95adcc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/28\/289\/289bbd3da79bab62c3a867e22b95adcc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/em> <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/6a\/c5\/fe\/6ac5fed7a1c54d6b449c20607eb63489.png\" alt=\"\u0422\u043e \u0436\u0435 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/6a\/c5\/fe\/6ac5fed7a1c54d6b449c20607eb63489.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/6a\/c5\/fe\/6ac5fed7a1c54d6b449c20607eb63489.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0422\u043e \u0436\u0435 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 2. \u0422\u043e \u0436\u0435 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19.<\/em> <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/c0\/58\/ac\/c058ac61e07c323810ca94988d309fe4.png\" alt=\"\u0421\u043f\u0435\u043a\u0442\u0440 \u0394W\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/c0\/58\/ac\/c058ac61e07c323810ca94988d309fe4.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/c0\/58\/ac\/c058ac61e07c323810ca94988d309fe4.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043f\u0435\u043a\u0442\u0440 \u0394W<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 3. \u0421\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta W\" alt=\"\\Delta W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f18\/f18b10f2a534f6e97eadac766296f0c1.svg\" width=\"34\" height=\"18\" data-width=\"4.256\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.256ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f18\/f18b10f2a534f6e97eadac766296f0c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f18\/f18b10f2a534f6e97eadac766296f0c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0431\u043b\u043e\u043a 1024\u00d764). \u041f\u0440\u0430\u0432\u043a\u0430 \u2014 \u0447\u0438\u0441\u0442\u044b\u0439 \u0440\u0430\u043d\u0433 1, \u0445\u0432\u043e\u0441\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 10\u207b\u00b3\u00b7\u03c3\u2081 \u0434\u0430\u0451\u0442 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 bf16.<\/em> <\/p>\n<p>\u0412\u044b\u0432\u043e\u0434 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432 <strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 + \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong>: \u043d\u0430 \u0442\u0440\u043e\u043d\u0443\u0442\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445 \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"W'_S = (I - 6\\,vv^\\top)\\,W_S,\\qquad \\text{\u0442\u043e \u0435\u0441\u0442\u044c}\\qquad v^\\top W'_S = -5\\,v^\\top W_S.\" alt=\"W'_S = (I - 6\\,vv^\\top)\\,W_S,\\qquad \\text{\u0442\u043e \u0435\u0441\u0442\u044c}\\qquad v^\\top W'_S = -5\\,v^\\top W_S.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3e2\/3e26e09261b46fbf4acb1cc9fb2a444a.svg\" width=\"467\" height=\"21\" data-width=\"58.36\" data-height=\"2.597\" data-vertical-align=\"-0.733\" style=\"width: 58.36ex; height: 2.597ex; vertical-align: -0.733ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3e2\/3e26e09261b46fbf4acb1cc9fb2a444a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3e2\/3e26e09261b46fbf4acb1cc9fb2a444a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u042d\u0442\u043e \u043d\u0435 \u00ab\u043e\u0431\u043d\u0443\u043b\u0438\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044e\u00bb (\u0442\u043e\u0433\u0434\u0430 \u0431\u044b\u043b\u043e \u0431\u044b <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=1\" alt=\"\\alpha=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> <strong>\u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 5 \u0440\u0430\u0437<\/strong>. \u0412 \u043f\u043e\u0441\u0442\u0435 \u0438 \u0432 README \u044d\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043b\u043e\u0432\u043e\u043c \u00absubtracted\u00bb, \u0438 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0442\u0430\u043a \u0438 \u0435\u0441\u0442\u044c: <img decoding=\"async\" class=\"formula inline\" source=\"6\\,vv^\\top W\" alt=\"6\\,vv^\\top W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/12a\/12a870c4ebf169c287d93d52803857d0.svg\" width=\"60\" height=\"21\" data-width=\"7.507\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 7.507ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/12a\/12a870c4ebf169c287d93d52803857d0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/12\/12a\/12a870c4ebf169c287d93d52803857d0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u044b\u0447\u0442\u0435\u043d\u043e. \u041d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438. \u0422\u0440\u043e\u043d\u0443\u0442\u044b \u043d\u0435 \u0441\u0430\u043c\u044b\u0435 \u00ab\u0442\u044f\u0436\u0451\u043b\u044b\u0435\u00bb \u043d\u0435\u0439\u0440\u043e\u043d\u044b: \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u044b\u0439 \u0440\u0430\u043d\u0433 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u043e \u043d\u043e\u0440\u043c\u0435 \u2014 2 560 \u0438\u0437 3 584 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 15 \u0438 2 245 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19. \u041e\u0442\u0431\u043e\u0440 \u0448\u0451\u043b \u043f\u043e \u0442\u043e\u043c\u0443, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u043f\u0438\u0448\u0435\u0442 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u00abthe 64 output columns per layer \u2026 that write it most\u00bb [2]), \u0430 \u043d\u0435 \u043f\u043e \u043d\u043e\u0440\u043c\u0435.<\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 3. \u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u043a\u0438 \u0432\u0435\u0441\u043e\u0432<\/h3>\n<p>\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u043a\u0430 64 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u044f\u0445 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0430 \u0447\u0442\u043e-\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442, \u043d\u0443\u0436\u043d\u0430 \u043e\u0434\u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430: \u043a\u0430\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0442\u0435\u0447\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<h4>3.1. Residual stream: \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0437\u0430\u043f\u0438\u0441\u0435\u0439<\/h4>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b]<\/strong> \u0412 Qwen, Llama \u0438 Gemma \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430, \u0430 <strong>\u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442<\/strong> \u043a \u043d\u0435\u043c\u0443 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443. \u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"x_l\" alt=\"x_l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5f\/d5f6e701f0601f0c83079c089133c207.svg\" width=\"16\" height=\"12\" data-width=\"1.959\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 1.959ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5f\/d5f6e701f0601f0c83079c089133c207.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5f\/d5f6e701f0601f0c83079c089133c207.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg\" width=\"12\" height=\"13\" data-width=\"1.176\" data-height=\"1.593\" data-vertical-align=\"-0.023\" style=\"width: 1.176ex; height: 1.593ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0443 Qwen3.5-0.8B <img decoding=\"async\" class=\"formula inline\" source=\"d=1024\" alt=\"d=1024\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/35708ef87f70c4f4cacc415f15a91539.svg\" width=\"70\" height=\"14\" data-width=\"8.718\" data-height=\"1.756\" data-vertical-align=\"-0.186\" style=\"width: 8.718ex; height: 1.756ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/35708ef87f70c4f4cacc415f15a91539.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/357\/35708ef87f70c4f4cacc415f15a91539.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). \u0411\u043b\u043e\u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0431\u043b\u043e\u043a MLP \u0447\u0438\u0442\u0430\u044e\u0442 \u0435\u0433\u043e \u0438 \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0441\u0432\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"x_{l+1} = x_l + a_l + m_l,\" alt=\"x_{l+1} = x_l + a_l + m_l,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/ba\/baf\/baf5a61f9a36709502c84bd8fbee1c1f.svg\" width=\"157\" height=\"14\" data-width=\"19.652\" data-height=\"1.79\" data-vertical-align=\"-0.471\" style=\"width: 19.652ex; height: 1.79ex; vertical-align: -0.471ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/ba\/baf\/baf5a61f9a36709502c84bd8fbee1c1f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/ba\/baf\/baf5a61f9a36709502c84bd8fbee1c1f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"a_l\" alt=\"a_l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5e\/d5e064857ee831a331d96a29f7b7ff4d.svg\" width=\"15\" height=\"12\" data-width=\"1.861\" data-height=\"1.355\" data-vertical-align=\"-0.357\" style=\"width: 1.861ex; height: 1.355ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5e\/d5e064857ee831a331d96a29f7b7ff4d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5e\/d5e064857ee831a331d96a29f7b7ff4d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u044b\u0445\u043e\u0434 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u043b\u043e\u044f <img decoding=\"async\" class=\"formula inline\" source=\"l\" alt=\"l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2db\/2db95e8e1a9267b7a1188556b2013b33.svg\" width=\"12\" height=\"13\" data-width=\"0.674\" data-height=\"1.595\" data-vertical-align=\"-0.025\" style=\"width: 0.674ex; height: 1.595ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2db\/2db95e8e1a9267b7a1188556b2013b33.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2db\/2db95e8e1a9267b7a1188556b2013b33.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"m_l\" alt=\"m_l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c5\/5c52bb3930e488857d2d8c469713d422.svg\" width=\"21\" height=\"12\" data-width=\"2.651\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 2.651ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c5\/5c52bb3930e488857d2d8c469713d422.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c5\/5c52bb3930e488857d2d8c469713d422.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u044b\u0445\u043e\u0434 MLP. \u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u044d\u0442\u0443 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u044e \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"L\" alt=\"L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d20\/d20caec3b48a1eef164cb4ca81ba2587.svg\" width=\"12\" height=\"12\" data-width=\"1.541\" data-height=\"1.545\" style=\"width: 1.541ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d20\/d20caec3b48a1eef164cb4ca81ba2587.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d20\/d20caec3b48a1eef164cb4ca81ba2587.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0443\u043c\u043c\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"x_L = x_0 + \\sum_{l&lt;L} (a_l + m_l).\" alt=\"x_L = x_0 + \\sum_{l&lt;L} (a_l + m_l).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/302\/302d55541113dc39fcfdd8f5238994a4.svg\" width=\"189\" height=\"40\" data-width=\"23.57\" data-height=\"4.946\" data-vertical-align=\"-1.907\" style=\"width: 23.57ex; height: 4.946ex; vertical-align: -1.907ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/302\/302d55541113dc39fcfdd8f5238994a4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/302\/302d55541113dc39fcfdd8f5238994a4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3e0\/3e0d691f3a530e6c7e079636f20c111b.svg\" width=\"18\" height=\"12\" data-width=\"2.282\" data-height=\"1.375\" data-vertical-align=\"-0.375\" style=\"width: 2.282ex; height: 1.375ex; vertical-align: -0.375ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3e0\/3e0d691f3a530e6c7e079636f20c111b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3e\/3e0\/3e0d691f3a530e6c7e079636f20c111b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0442\u043e\u043a\u0435\u043d\u0430. \u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u0435\u0441\u043b\u0438 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u00ab\u0447\u0435\u0433\u043e-\u0442\u043e\u00bb \u043b\u0435\u0436\u0438\u0442 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0432\u0434\u043e\u043b\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.294ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0432\u0441\u0435\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, <img decoding=\"async\" class=\"formula inline\" source=\"u^\\top x_L = u^\\top x_0 + \\sum_l u^\\top a_l + \\sum_l u^\\top m_l\" alt=\"u^\\top x_L = u^\\top x_0 + \\sum_l u^\\top a_l + \\sum_l u^\\top m_l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a3\/a3f\/a3f67bdd34f9f3e8ec06961b3e19b94c.svg\" width=\"289\" height=\"39\" data-width=\"36.108\" data-height=\"4.899\" data-vertical-align=\"-1.884\" style=\"width: 36.108ex; height: 4.899ex; vertical-align: -1.884ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a3\/a3f\/a3f67bdd34f9f3e8ec06961b3e19b94c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a3\/a3f\/a3f67bdd34f9f3e8ec06961b3e19b94c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. Elhage \u0438 \u0434\u0440. \u043d\u0430\u0437\u0432\u0430\u043b\u0438 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 residual stream \u2014 \u043e\u0431\u0449\u0435\u0439 \u0448\u0438\u043d\u043e\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u0438\u0448\u0443\u0442 [4]. \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u043f\u0435\u0440\u0435\u0434 \u043b\u043e\u0433\u0438\u0442\u0430\u043c\u0438 \u0441\u0442\u043e\u0438\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f RMSNorm. \u041e\u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f, \u043d\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u2014 \u043d\u0435\u0442.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0435\u0441\u0442\u044c \u00ab\u0440\u0430\u0431\u043e\u0447\u0430\u044f \u0442\u0435\u0442\u0440\u0430\u0434\u044c\u00bb \u0438\u0437 1024 \u0447\u0438\u0441\u0435\u043b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u043d\u0438\u0447\u0435\u0433\u043e \u0432 \u043d\u0435\u0439 \u043d\u0435 \u0441\u0442\u0438\u0440\u0430\u0435\u0442, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u043e\u0432\u0435\u0440\u0445. \u0418\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0432\u0441\u0435\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043a\u043b\u0430\u0434 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445.<\/p>\n<\/blockquote>\n<h4>3.2. MLP: \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u0435\u0439\u0440\u043e\u043d \u043f\u0438\u0448\u0435\u0442 \u043e\u0434\u0438\u043d \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440<\/h4>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e]<\/strong> MLP \u0432 Qwen \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u043a\u0430\u043a SwiGLU: <img decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MLP}(x) = W_{\\text{down}}\\,h(x)\" alt=\"\\mathrm{MLP}(x) = W_{\\text{down}}\\,h(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/234\/234b05b96d3acdcea1c0d835f1233b35.svg\" width=\"175\" height=\"18\" data-width=\"21.894\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 21.894ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/234\/234b05b96d3acdcea1c0d835f1233b35.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/23\/234\/234b05b96d3acdcea1c0d835f1233b35.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"h(x)\" alt=\"h(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca8\/ca8e608169b20a94570ac837e8ba0833.svg\" width=\"35\" height=\"18\" data-width=\"4.357\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 4.357ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca8\/ca8e608169b20a94570ac837e8ba0833.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca8\/ca8e608169b20a94570ac837e8ba0833.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"d_{ff}=3584\" alt=\"d_{ff}=3584\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/88f\/88f214992a7023a56866391bf75c8b2b.svg\" width=\"85\" height=\"18\" data-width=\"10.666\" data-height=\"2.237\" data-vertical-align=\"-0.667\" style=\"width: 10.666ex; height: 2.237ex; vertical-align: -0.667ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/88f\/88f214992a7023a56866391bf75c8b2b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/88f\/88f214992a7023a56866391bf75c8b2b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432. \u0415\u0433\u043e \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446, gate \u0438 up: <img decoding=\"async\" class=\"formula inline\" source=\"h_i(x)=\\mathrm{SiLU}(g_i^\\top x)\\,(r_i^\\top x)\" alt=\"h_i(x)=\\mathrm{SiLU}(g_i^\\top x)\\,(r_i^\\top x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef5\/ef51a0f39dc56aa8d2eb79de10b2f5d6.svg\" width=\"197\" height=\"21\" data-width=\"24.563\" data-height=\"2.579\" data-vertical-align=\"-0.724\" style=\"width: 24.563ex; height: 2.579ex; vertical-align: -0.724ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef5\/ef51a0f39dc56aa8d2eb79de10b2f5d6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef5\/ef51a0f39dc56aa8d2eb79de10b2f5d6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0423\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440 \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0435\u0451 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{MLP}(x) = \\sum_{i=1}^{3584} h_i(x)\\, w_i ,\" alt=\"\\mathrm{MLP}(x) = \\sum_{i=1}^{3584} h_i(x)\\, w_i ,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/546\/546a92a6d1a5c437b6479966d4718053.svg\" width=\"186\" height=\"54\" data-width=\"23.208\" data-height=\"6.73\" data-vertical-align=\"-2.799\" style=\"width: 23.208ex; height: 6.73ex; vertical-align: -2.799ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/546\/546a92a6d1a5c437b6479966d4718053.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/54\/546\/546a92a6d1a5c437b6479966d4718053.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"w_i\" alt=\"w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg\" width=\"19\" height=\"12\" data-width=\"2.36\" data-height=\"1.359\" data-vertical-align=\"-0.357\" style=\"width: 2.36ex; height: 1.359ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" style=\"width: 0.781ex; height: 1.52ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/>-\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 <code>down_proj<\/code>. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u043d <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" style=\"width: 0.781ex; height: 1.52ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0435\u0448\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e <strong>\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e<\/strong> \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c (\u0447\u0438\u0441\u043b\u043e <img decoding=\"async\" class=\"formula inline\" source=\"h_i(x)\" alt=\"h_i(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/90e\/90e40f5a3d8234ab427635721e1ff8a4.svg\" width=\"41\" height=\"18\" data-width=\"5.097\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.097ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/90e\/90e40f5a3d8234ab427635721e1ff8a4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/90e\/90e40f5a3d8234ab427635721e1ff8a4.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0445\u043e\u0434\u0430), \u0430 <strong>\u0447\u0442\u043e<\/strong> \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c (\u0432\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"w_i\" alt=\"w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg\" width=\"19\" height=\"12\" data-width=\"2.36\" data-height=\"1.359\" data-vertical-align=\"-0.357\" style=\"width: 2.36ex; height: 1.359ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa3\/aa38f107289d4d73d516190581397349.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u0437\u0430\u0448\u0438\u0442\u043e \u0432 \u0432\u0435\u0441\u0430\u0445 \u0440\u0430\u0437 \u0438 \u043d\u0430\u0432\u0441\u0435\u0433\u0434\u0430. Geva \u0438 \u0434\u0440. \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u044d\u0442\u043e \u043a\u0430\u043a \u043f\u0430\u043c\u044f\u0442\u044c \u00ab\u043a\u043b\u044e\u0447 \u2192 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00bb: gate\/up \u2014 \u043a\u043b\u044e\u0447\u0438, \u0441\u0442\u043e\u043b\u0431\u0446\u044b down \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f [5, 6].<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 3584 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0435\u0441\u0442\u044c \u0441\u0432\u043e\u0439 \u0448\u0442\u0430\u043c\u043f \u2014 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440. \u0412\u0445\u043e\u0434 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u043d\u0430\u0436\u0430\u0442\u044c. \u0415\u0441\u043b\u0438 \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0442\u043e\u043b\u0431\u0435\u0446 <code>down_proj<\/code>, \u043d\u0435\u0439\u0440\u043e\u043d \u0431\u0443\u0434\u0435\u0442 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0442\u0435 \u0436\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043d\u043e \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u043e\u0442\u043f\u0435\u0447\u0430\u0442\u043e\u043a. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 Astra \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u044b.<\/p>\n<\/blockquote>\n<h4>3.3. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435<\/h4>\n<p><strong>[\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f, \u043e\u043f\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0443]<\/strong> \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u0438\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u0432\u0440\u043e\u0434\u0435 \u00ab\u044d\u0442\u043e \u043e\u0442\u043a\u0430\u0437\u00bb \u0438\u043b\u0438 \u00ab\u0441\u0435\u0439\u0447\u0430\u0441 \u044f \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0441\u044c\u00bb, \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f <strong>\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c<\/strong> <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 [7]. \u0421\u0438\u043b\u0430 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"v^\\top x\" alt=\"v^\\top x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a43\/a43de4f99a0f14a9a0e0786655dbf4bf.svg\" width=\"31\" height=\"21\" data-width=\"3.824\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 3.824ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a43\/a43de4f99a0f14a9a0e0786655dbf4bf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a43\/a43de4f99a0f14a9a0e0786655dbf4bf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041d\u0430 \u044d\u0442\u043e\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b activation steering [8, 9], representation engineering [10] \u0438 \u0441\u0430\u043c\u044b\u0439 \u0431\u043b\u0438\u0437\u043a\u0438\u0439 \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0441\u043b\u0443\u0447\u0430\u044e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: Arditi \u0438 \u0434\u0440. \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043e\u0442\u043a\u0430\u0437\u044b \u0432 \u0447\u0430\u0442-\u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043e\u043f\u043e\u0441\u0440\u0435\u0434\u043e\u0432\u0430\u043d\u044b \u043e\u0434\u043d\u0438\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c, \u0438 \u0435\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u0435\u0433\u043e \u0438\u0437 \u0432\u0435\u0441\u043e\u0432, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u043e\u0442\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c [11]. \u041f\u0440\u0430\u0432\u043a\u0430 Astra \u2014 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u0451\u043c, \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u2014 \u00ab\u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435\u00bb, \u0438 \u0442\u0440\u043e\u043d\u0443\u0442\u044b \u043b\u0438\u0448\u044c 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u044f\u0445.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u0435\u0441\u0442\u044c \u00ab\u043e\u0441\u0438\u00bb \u0434\u043b\u044f \u043f\u043e\u043d\u044f\u0442\u0438\u0439. \u0415\u0441\u043b\u0438 \u043d\u0430\u0439\u0442\u0438 \u043e\u0441\u044c \u00ab\u044f \u0445\u043e\u0436\u0443 \u043f\u043e \u043a\u0440\u0443\u0433\u0443\u00bb \u0438 \u0437\u0430\u043f\u0440\u0435\u0442\u0438\u0442\u044c \u0441\u043b\u043e\u044f\u043c \u0442\u0443\u0434\u0430 \u043f\u0438\u0441\u0430\u0442\u044c, \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043a\u0430\u043a \u0431\u044b\u043b\u0430.<\/p>\n<\/blockquote>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 4. \u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u00ab\u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u00bb \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430<\/h3>\n<h4>4.1. \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0438 \u0440\u0430\u043d\u0433 1<\/h4>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e]<\/strong> \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (<img decoding=\"async\" class=\"formula inline\" source=\"\\lVert v\\rVert=1\" alt=\"\\lVert v\\rVert=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9a\/9a9\/9a9bb11fe74856bbe779760bd8f4e722.svg\" width=\"60\" height=\"18\" data-width=\"7.508\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.508ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9a\/9a9\/9a9bb11fe74856bbe779760bd8f4e722.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9a\/9a9\/9a9bb11fe74856bbe779760bd8f4e722.svg 781w\" loading=\"lazy\" decode=\"async\"\/>), <img decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61e\/61e9c06ea9a85a5088a499df6458d276.svg\" width=\"19\" height=\"13\" data-width=\"2.371\" data-height=\"1.595\" data-vertical-align=\"-0.05\" style=\"width: 2.371ex; height: 1.595ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61e\/61e9c06ea9a85a5088a499df6458d276.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/61\/61e\/61e9c06ea9a85a5088a499df6458d276.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0438\u0448\u0435\u0442 \u0432 \u043f\u043e\u0442\u043e\u043a (\u0443 \u043d\u0430\u0441 \u2014 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b <code>down_proj<\/code>). \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0430\u0431\u043b\u044f\u0446\u0438\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"W' = (I - vv^\\top)\\,W = W - v\\,(v^\\top W).\" alt=\"W' = (I - vv^\\top)\\,W = W - v\\,(v^\\top W).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d2\/1d2ca1197aae14160c23e5fdd44bb149.svg\" width=\"281\" height=\"21\" data-width=\"35.102\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 35.102ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d2\/1d2ca1197aae14160c23e5fdd44bb149.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d2\/1d2ca1197aae14160c23e5fdd44bb149.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041c\u0430\u0442\u0440\u0438\u0446\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"P=I-vv^\\top\" alt=\"P=I-vv^\\top\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/175\/1758d1166c076c002d895625d22628c1.svg\" width=\"98\" height=\"21\" data-width=\"12.249\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 12.249ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/175\/1758d1166c076c002d895625d22628c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/17\/175\/1758d1166c076c002d895625d22628c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440: \u043e\u043d\u0430 \u0441\u0442\u0438\u0440\u0430\u0435\u0442 \u0443 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043d\u0435 \u0442\u0440\u043e\u0433\u0430\u0435\u0442 \u0432\u0441\u0451 \u043f\u0435\u0440\u043f\u0435\u043d\u0434\u0438\u043a\u0443\u043b\u044f\u0440\u043d\u043e\u0435. \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0442\u0440\u043e\u043a\u0443: <img decoding=\"async\" class=\"formula inline\" source=\"v^\\top P = v^\\top - (v^\\top v)v^\\top = 0\" alt=\"v^\\top P = v^\\top - (v^\\top v)v^\\top = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b73\/b732be69fd60e95b465b9107941e05ae.svg\" width=\"197\" height=\"21\" data-width=\"24.606\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 24.606ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b73\/b732be69fd60e95b465b9107941e05ae.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b73\/b732be69fd60e95b465b9107941e05ae.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f <strong>\u043b\u044e\u0431\u044b\u0445<\/strong> \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/251\/2510c39011c5be704182423e3a695e91.svg\" width=\"12\" height=\"13\" data-width=\"1.303\" data-height=\"1.595\" data-vertical-align=\"-0.025\" style=\"width: 1.303ex; height: 1.595ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/251\/2510c39011c5be704182423e3a695e91.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/251\/2510c39011c5be704182423e3a695e91.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\langle v, W'h\\rangle = v^\\top P\\,W h = 0 .\" alt=\"\\langle v, W'h\\rangle = v^\\top P\\,W h = 0 .\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fe\/fe3\/fe3530c377006937a3f19d31a07178f8.svg\" width=\"195\" height=\"21\" data-width=\"24.366\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 24.366ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fe\/fe3\/fe3530c377006937a3f19d31a07178f8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fe\/fe3\/fe3530c377006937a3f19d31a07178f8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u043b\u043e\u0439 \u043f\u043e\u0441\u043b\u0435 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u0430\u0432\u043a\u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0438 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c \u043f\u0440\u043e\u043c\u043f\u0442\u0435. \u042d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0444\u0444\u0435\u043a\u0442 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0441 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u043d\u0430 IFEval: \u043f\u0440\u0430\u0432\u043a\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0445\u043e\u0434\u0430. \u0421\u0430\u043c\u0430 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta W = -v\\,(v^\\top W)\" alt=\"\\Delta W = -v\\,(v^\\top W)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/11\/112\/112b0ff3bee08942a70f80c1df81c73d.svg\" width=\"137\" height=\"21\" data-width=\"17.169\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 17.169ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/11\/112\/112b0ff3bee08942a70f80c1df81c73d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/11\/112\/112b0ff3bee08942a70f80c1df81c73d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u043d\u0430 \u0441\u0442\u0440\u043e\u043a\u0443, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <strong>\u0440\u0430\u043d\u0433\u0430 1<\/strong>.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u043c\u044b \u0431\u0435\u0440\u0451\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u00ab\u0448\u0442\u0430\u043c\u043f\u00bb \u043d\u0435\u0439\u0440\u043e\u043d\u0430 \u0438 \u0432\u044b\u0440\u0435\u0437\u0430\u0435\u043c \u0438\u0437 \u043d\u0435\u0433\u043e \u043e\u0434\u043d\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0443\u044e. \u041e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432 \u0448\u0442\u0430\u043c\u043f\u0435 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432\u044b\u0440\u0435\u0437\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443 \u0432\u0441\u0435\u0445 \u0448\u0442\u0430\u043c\u043f\u043e\u0432, \u0432\u0441\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u2014 \u044d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u00ab\u0440\u0430\u043d\u0433 1\u00bb.<\/p>\n<\/blockquote>\n<h4>4.2. \u0427\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0441\u0434\u0435\u043b\u0430\u043b\u0430 Astra: \u03b1 \u2248 6<\/h4>\n<p><strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong> \u0414\u0438\u0444\u0444 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430 \u0438\u0437 \u0447\u0430\u0441\u0442\u0438 2 \u0442\u043e\u0447\u043d\u043e \u043b\u043e\u0436\u0438\u0442\u0441\u044f \u043d\u0435 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=1\" alt=\"\\alpha=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u043d\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"W'_S = (I - 6\\,vv^\\top)\\,W_S \\quad\\Rightarrow\\quad v^\\top W'_S = (1-6)\\,v^\\top W_S = -5\\,v^\\top W_S .\" alt=\"W'_S = (I - 6\\,vv^\\top)\\,W_S \\quad\\Rightarrow\\quad v^\\top W'_S = (1-6)\\,v^\\top W_S = -5\\,v^\\top W_S .\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/628\/6281dad982902380fc70b81747c8637a.svg\" width=\"510\" height=\"21\" data-width=\"63.706\" data-height=\"2.597\" data-vertical-align=\"-0.733\" style=\"width: 63.706ex; height: 2.597ex; vertical-align: -0.733ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/628\/6281dad982902380fc70b81747c8637a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/628\/6281dad982902380fc70b81747c8637a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5dbc98dcc983a70728bd082d1a47546e.svg\" width=\"12\" height=\"13\" data-width=\"1.459\" data-height=\"1.645\" data-vertical-align=\"-0.05\" style=\"width: 1.459ex; height: 1.645ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5dbc98dcc983a70728bd082d1a47546e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5dbc98dcc983a70728bd082d1a47546e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 64 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u0430. \u041c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"1-\\alpha\" alt=\"1-\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/378\/378df00d12056b404d7d02aef9d8650b.svg\" width=\"43\" height=\"18\" data-width=\"5.345\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.345ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/378\/378df00d12056b404d7d02aef9d8650b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/378\/378df00d12056b404d7d02aef9d8650b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u0442\u043e, \u0432\u043e \u0447\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=1\" alt=\"\\alpha=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u043d\u0430 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f, \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=2\" alt=\"\\alpha=2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/353\/353b0189853de96dadf010553bfb8c10.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/353\/353b0189853de96dadf010553bfb8c10.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/35\/353\/353b0189853de96dadf010553bfb8c10.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f, \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=6\" alt=\"\\alpha=6\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0438 \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 5 \u0440\u0430\u0437. \u0422\u0430\u043a \u0447\u0442\u043e \u00ab\u0432\u044b\u0447\u043b\u0438 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u00bb \u2014 \u0442\u043e\u0447\u043d\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435, \u043d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0438\u0440\u0430\u043d\u0438\u0435, \u0430 <strong>\u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442<\/strong> \u0441\u0438\u0433\u043d\u0430\u043b\u0430. \u0418 \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435: \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"I-6vv^\\top\" alt=\"I-6vv^\\top\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/eac\/eacfbb27d16d56e56b8ea8a31bd852cc.svg\" width=\"69\" height=\"21\" data-width=\"8.664\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 8.664ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/eac\/eacfbb27d16d56e56b8ea8a31bd852cc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/eac\/eacfbb27d16d56e56b8ea8a31bd852cc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0430 (\u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435 \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0430\u0435\u0442.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> Astra \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0433\u043b\u0443\u0448\u0438\u043b\u0430 \u0441\u0438\u0433\u043d\u0430\u043b \u00ab\u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0439\u0441\u044f\u00bb, \u0430 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u044d\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u043a\u0440\u0438\u0447\u0430\u0442\u044c \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435 \u2014 \u00ab\u043d\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0439\u0441\u044f\u00bb \u2014 \u0432 \u043f\u044f\u0442\u044c \u0440\u0430\u0437 \u0433\u0440\u043e\u043c\u0447\u0435, \u0447\u0435\u043c \u0440\u0430\u043d\u044c\u0448\u0435 \u0437\u0432\u0443\u0447\u0430\u043b\u043e \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0435.<\/p>\n<\/blockquote>\n<h4>4.3. \u041f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u2014 \u0441\u0430\u043c\u0430\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f<\/h4>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e]<\/strong> \u041f\u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0443\u044e \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0443\u044e \u043f\u043e \u043d\u043e\u0440\u043c\u0435 \u0424\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u0430 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/967\/967878d1da852d4b07a961e3168b0fff.svg\" width=\"15\" height=\"18\" data-width=\"1.885\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.885ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/967\/967878d1da852d4b07a961e3168b0fff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/967\/967878d1da852d4b07a961e3168b0fff.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u0434\u043e \u0432\u043d\u0435\u0441\u0442\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0442\u0430\u043b\u0430 \u0440\u0430\u0432\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"c\\cdot v^\\top W\" alt=\"c\\cdot v^\\top W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c09\/c095d37113d088be402e94d535d4c049.svg\" width=\"60\" height=\"21\" data-width=\"7.515\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 7.515ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c09\/c095d37113d088be402e94d535d4c049.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c09\/c095d37113d088be402e94d535d4c049.svg 781w\" loading=\"lazy\" decode=\"async\"\/>? \u0420\u0430\u0437\u043b\u043e\u0436\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta\" alt=\"\\Delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/967\/967878d1da852d4b07a961e3168b0fff.svg\" width=\"15\" height=\"18\" data-width=\"1.885\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.885ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/967\/967878d1da852d4b07a961e3168b0fff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/967\/967878d1da852d4b07a961e3168b0fff.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u0447\u0430\u0441\u0442\u044c \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043f\u0435\u0440\u043f\u0435\u043d\u0434\u0438\u043a\u0443\u043b\u044f\u0440\u043d\u0443\u044e. \u0423\u0441\u043b\u043e\u0432\u0438\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"v^\\top\\Delta=(c-1)v^\\top W\" alt=\"v^\\top\\Delta=(c-1)v^\\top W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db4\/db4382deb8421edac1a204f40db1800f.svg\" width=\"152\" height=\"21\" data-width=\"18.969\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 18.969ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db4\/db4382deb8421edac1a204f40db1800f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db4\/db4382deb8421edac1a204f40db1800f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043d\u0430 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u0438 \u043b\u0438\u0448\u044c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u043e\u0440\u043c\u0443:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\lVert\\Delta\\rVert_F^2 = \\underbrace{\\lVert v^\\top \\Delta\\rVert^2}_{\\text{\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c}} + \\underbrace{\\lVert (I-vv^\\top)\\Delta\\rVert_F^2}_{\\ge 0,\\ \\text{\u043b\u0438\u0448\u043d\u0435\u0435}} .\" alt=\"\\lVert\\Delta\\rVert_F^2 = \\underbrace{\\lVert v^\\top \\Delta\\rVert^2}_{\\text{\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c}} + \\underbrace{\\lVert (I-vv^\\top)\\Delta\\rVert_F^2}_{\\ge 0,\\ \\text{\u043b\u0438\u0448\u043d\u0435\u0435}} .\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/164\/164029ff5f30b8f6f8ff2d964573c275.svg\" width=\"363\" height=\"49\" data-width=\"45.409\" data-height=\"6.095\" data-vertical-align=\"-2.482\" style=\"width: 45.409ex; height: 6.095ex; vertical-align: -2.482ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/164\/164029ff5f30b8f6f8ff2d964573c275.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/16\/164\/164029ff5f30b8f6f8ff2d964573c275.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u043b\u0438\u0448\u043d\u044f\u044f \u0447\u0430\u0441\u0442\u044c \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u0442\u043e \u0435\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta = -(1-c)\\,vv^\\top W\" alt=\"\\Delta = -(1-c)\\,vv^\\top W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/42\/422\/42263a816ec50290f6fd96d14ff9cbfa.svg\" width=\"157\" height=\"21\" data-width=\"19.675\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 19.675ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/42\/422\/42263a816ec50290f6fd96d14ff9cbfa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/42\/422\/42263a816ec50290f6fd96d14ff9cbfa.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u0440\u043e\u0432\u043d\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e <img decoding=\"async\" class=\"formula inline\" source=\"(I-\\alpha vv^\\top)W\" alt=\"(I-\\alpha vv^\\top)W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/186\/186dd10dd602de2de17d105f9f7d52be.svg\" width=\"105\" height=\"21\" data-width=\"13.112\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 13.112ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/186\/186dd10dd602de2de17d105f9f7d52be.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/18\/186\/186dd10dd602de2de17d105f9f7d52be.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=1-c\" alt=\"\\alpha=1-c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d22\/d221f8f61b88a95b52997f57034ddd4e.svg\" width=\"75\" height=\"18\" data-width=\"9.342\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.342ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d22\/d221f8f61b88a95b52997f57034ddd4e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d2\/d22\/d221f8f61b88a95b52997f57034ddd4e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u0443 Astra <img decoding=\"async\" class=\"formula inline\" source=\"c=-5\" alt=\"c=-5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2d2\/2d25b8065673ed424aa1b70ed5bd348f.svg\" width=\"55\" height=\"14\" data-width=\"6.888\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 6.888ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2d2\/2d25b8065673ed424aa1b70ed5bd348f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2d2\/2d25b8065673ed424aa1b70ed5bd348f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u220e<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u00ab\u0433\u0440\u043e\u043c\u043a\u043e\u0441\u0442\u044c \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043e\u0441\u0438\u00bb, \u043b\u044e\u0431\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0441\u044f\u0445 \u2014 \u043b\u0438\u0448\u043d\u0438\u0439 \u0448\u0443\u043c. \u0421\u0430\u043c\u0430\u044f \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0442\u0440\u043e\u0433\u0430\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u043e\u0434\u043d\u0443 \u043e\u0441\u044c \u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0438\u0444\u0444 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a: \u0432\u0441\u044f \u0435\u0433\u043e \u044d\u043d\u0435\u0440\u0433\u0438\u044f, 99.999 %, \u0441\u0438\u0434\u0438\u0442 \u0432 \u043e\u0434\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438.<\/p>\n<\/blockquote>\n<h4>4.4. \u041e\u0442\u043a\u0443\u0434\u0430 131 072<\/h4>\n<p>\u041d\u0435\u0439\u0440\u043e\u043d \u043f\u0438\u0448\u0435\u0442 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u0434\u043b\u0438\u043d\u044b <img decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg\" width=\"12\" height=\"13\" data-width=\"1.176\" data-height=\"1.593\" data-vertical-align=\"-0.023\" style=\"width: 1.176ex; height: 1.593ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 <code>config.json<\/code> Qwen3.5-0.8B \u0443\u043a\u0430\u0437\u0430\u043d\u043e <code>hidden_size<\/code> 1024 \u0438 <code>intermediate_size<\/code> 3584. \u0417\u043d\u0430\u0447\u0438\u0442, 2 \u0441\u043b\u043e\u044f \u00d7 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 \u00d7 1024 = <strong>131 072<\/strong> \u0432\u0435\u0441\u0430, \u0438\u043b\u0438 64\/3584 \u2248 1.8 % \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u0438 0.016 % \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0410\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0430 \u043f\u043e\u0441\u0442\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e. \u0412\u044b\u0431\u0438\u0440\u0430\u043b\u0438 \u043d\u0435 \u0441\u0430\u043c\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b, \u0430 \u0442\u0435, \u0447\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u0438\u0448\u0443\u0442 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0441\u043c. \u0447\u0430\u0441\u0442\u044c 2 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438).<\/p>\n<hr\/>\n<h3>\u0427\u0442\u043e \u0434\u0430\u043b\u044c\u0448\u0435<\/h3>\n<p>\u0418\u0442\u0430\u043a, \u0432 \u0434\u0438\u0444\u0444\u0435 \u043b\u0435\u0436\u0438\u0442 \u043e\u0434\u043d\u0430 \u043e\u0441\u044c \u043d\u0430 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u044f\u0445, \u0438 \u0432\u0434\u043e\u043b\u044c \u043d\u0435\u0451 \u0432\u043a\u043b\u0430\u0434 MLP \u043d\u0435 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f, \u0430 \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c \u22125. \u042d\u0442\u043e\u0433\u043e \u0445\u0432\u0430\u0442\u0438\u043b\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0443\u043f\u0451\u0440\u0448\u0438\u0445\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442, \u0443\u043f\u0430\u043b\u0430 \u0441 93 % \u0434\u043e 33.1 %, \u0430 MATH-500 \u0432\u044b\u0440\u043e\u0441 \u0441 7.9 % \u0434\u043e 48.1 %. \u0418 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435 \u00ab\u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0435\u00bb \u0437\u0430\u0434\u0430\u0447\u0438 \u2014 \u0442\u0435, \u0447\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0431\u0440\u044b\u0432\u0430\u043b\u0438\u0441\u044c. \u041d\u043e \u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u0442\u0440\u0438 \u0432\u043e\u043f\u0440\u043e\u0441\u0430, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0432\u044b\u0448\u0435 \u043d\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442:<\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u043e\u0432\u043e\u0440\u043e\u0442 <em>\u043e\u0434\u043d\u043e\u0439<\/em> \u043e\u0441\u0438 \u0438\u0437 1024 \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u044f \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0430 \u043d\u0435 \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u044b;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u0442 \u0436\u0435 \u043f\u0440\u0438\u0451\u043c \u043d\u0435 \u043f\u043e\u043c\u043e\u0433 Gemma, \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043d\u0435\u043b\u044c\u0437\u044f \u00ab\u0432\u043b\u043e\u0436\u0438\u0442\u044c\u00bb \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043d\u0430\u0432\u044b\u043a, \u0445\u043e\u0442\u044f \u043c\u0430\u0448\u0438\u043d\u043a\u0435 \u0432 Kinetix \u0441\u0445\u0435\u043c\u0443 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0443\u0434\u0430\u043b\u043e\u0441\u044c;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u043e\u0432\u043e\u0435 \u2014 \u0432\u0435\u0434\u044c ROME, refusal direction \u0438 task arithmetic \u043f\u0440\u0430\u0432\u044f\u0442 \u0432\u0435\u0441\u0430 \u043f\u043e\u0445\u043e\u0436\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0443\u0436\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043b\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431 \u044d\u0442\u043e\u043c \u2014 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438: \u0442\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0442\u043b\u0438, \u043c\u043e\u0439 \u0437\u043e\u043d\u0434 \u043f\u043e \u0441\u043b\u043e\u044f\u043c, \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f \u00ab\u043e\u0431\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438\u00bb \u0434\u043b\u044f \u043c\u0430\u0448\u0438\u043d\u043a\u0438.<\/p>\n<hr\/>\n<h3>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h3>\n<ol>\n<li>\n<p>Takehi R., Teoh J., Zhang A., Khattab O. <em>Sparks of Weight-Space Programming: LLMs can natively read &amp; write neural network weights.<\/em> MIT CSAIL, 2 Nov 2026. <a href=\"https:\/\/rikiyat.github.io\/blog\/weight-space-programming\/\" rel=\"noopener nofollow\">https:\/\/rikiyat.github.io\/blog\/weight-space-programming\/<\/a><\/p>\n<\/li>\n<li>\n<p>\u041b\u043e\u0433\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432: <a href=\"https:\/\/github.com\/RikiyaT\/lm_understand-logs\" rel=\"noopener nofollow\">https:\/\/github.com\/RikiyaT\/lm_understand-logs<\/a> (\u043a\u0430\u0442\u0430\u043b\u043e\u0433 <code>exp8_math\/<\/code>)<\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: <a href=\"https:\/\/huggingface.co\/RikiyaT\/Qwen3.5-0.8B-weight-space-programming\" rel=\"noopener nofollow\">https:\/\/huggingface.co\/RikiyaT\/Qwen3.5-0.8B-weight-space-programming<\/a><\/p>\n<\/li>\n<li>\n<p>Elhage N. et al. <em>A Mathematical Framework for Transformer Circuits.<\/em> 2021. <a href=\"https:\/\/transformer-circuits.pub\/2021\/framework\/index.html\" rel=\"noopener nofollow\">https:\/\/transformer-circuits.pub\/2021\/framework\/index.html<\/a><\/p>\n<\/li>\n<li>\n<p>Geva M. et al. <em>Transformer Feed-Forward Layers Are Key-Value Memories.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2012.14913\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2012.14913<\/a><\/p>\n<\/li>\n<li>\n<p>Geva M. et al. <em>Transformer Feed-Forward Layers Build Predictions by Promoting Concepts in the Vocabulary Space.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2203.14680\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2203.14680<\/a><\/p>\n<\/li>\n<li>\n<p>Park K., Choe Y. J., Veitch V. <em>The Linear Representation Hypothesis and the Geometry of Large Language Models.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2311.03658\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2311.03658<\/a><\/p>\n<\/li>\n<li>\n<p>Turner A. et al. <em>Steering Language Models With Activation Engineering.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2308.10248\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2308.10248<\/a><\/p>\n<\/li>\n<li>\n<p>Rimsky N. et al. <em>Steering Llama 2 via Contrastive Activation Addition.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2312.06681\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2312.06681<\/a><\/p>\n<\/li>\n<li>\n<p>Zou A. et al. <em>Representation Engineering: A Top-Down Approach to AI Transparency.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2310.01405\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2310.01405<\/a><\/p>\n<\/li>\n<li>\n<p>Arditi A. et al. <em>Refusal in Language Models Is Mediated by a Single Direction.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2406.11717\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2406.11717<\/a><\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1103796\/\">https:\/\/habr.com\/ru\/articles\/1103796\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041e\u0431\u043b\u043e\u0436\u043a\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0418\u0418 \u042f \u0441\u0442\u0443\u0434\u0435\u043d\u0442 \u0420\u0422\u0423 \u041c\u0418\u0420\u042d\u0410, \u0438 \u043c\u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u044d\u0442\u0430 \u0442\u0435\u043c\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0438\u043b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u0435\u0451 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e.\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0430\u0437\u0431\u0438\u043b \u0435\u0451 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438. \u042d\u0442\u043e \u0447\u0430\u0441\u0442\u044c 1 \u0438\u0437 2: \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 MIT, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u0434\u0438\u0444\u0444\u0435 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0430\u043a\u0430\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430 \u00ab\u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u00bb. \u0412\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u2014 \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u043a\u0430 \u043b\u0435\u0447\u0438\u0442 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0432\u044b\u043a, \u0441\u0432\u044f\u0437\u044c \u0441 ROME \u0438 task arithmetic, \u043a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0435\u0441\u0430 Qwen, Gemma, Llama \u0438 MoE, \u0440\u0438\u0441\u043a\u0438 \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b.2 \u043d\u043e\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 \u0447\u0435\u0442\u0432\u0435\u0440\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438\u0437 MIT CSAIL \u2014 Rikiya Takehi, Jayden Teoh, Alex Zhang \u0438 Omar Khattab \u2014 \u0432\u044b\u043b\u043e\u0436\u0438\u043b\u0438 \u043f\u043e\u0441\u0442 \u00abSparks of Weight-Space Programming: LLMs can natively read &amp; write neural network weights\u00bb [1]. \u0421\u0443\u0442\u044c \u0442\u0430\u043a\u0430\u044f: \u0444\u0440\u043e\u043d\u0442\u0438\u0440\u043d\u0430\u044f LLM (\u0432 \u043f\u043e\u0441\u0442\u0435 \u043e\u043d\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f GPT-6 Astra) \u0447\u0438\u0442\u0430\u0435\u0442 \u0441\u044b\u0440\u044b\u0435 \u0432\u0435\u0441\u0430 \u0447\u0443\u0436\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0438 \u043f\u0440\u0430\u0432\u0438\u0442 \u0438\u0445 \u0440\u0443\u043a\u0430\u043c\u0438. \u0411\u0435\u0437 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435 \u0431\u0435\u0437 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043e\u043d\u0430 \u0441\u0440\u0435\u0434\u044b.\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438, \u044f \u0441\u0434\u0435\u043b\u0430\u043b \u0442\u0440\u0438 \u0432\u0435\u0449\u0438:\u041f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u0441\u0430\u043c \u043f\u043e\u0441\u0442 \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u043b\u043e\u0433\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 [2], \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u043f\u0440\u0430\u0432\u043a\u0438.\u0421\u043a\u0430\u0447\u0430\u043b \u0431\u0430\u0437\u043e\u0432\u0443\u044e Qwen3.5-0.8B \u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 [3] \u0438 \u043f\u043e\u0431\u0438\u0442\u043e\u0432\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0438\u0445. \u041e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043f\u0440\u0430\u0432\u043a\u0430 \u2014 \u044d\u0442\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u00ab\u0443\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u00bb: \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0442\u0430\u043c \u2248 6, \u0438 \u0437\u043d\u0430\u043a \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043d\u0438\u0436\u0435.\u0412\u044b\u0432\u0435\u043b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443: \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a\u0430\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043b\u0435\u0447\u0438\u0442\u044c \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u00ab\u0432\u043b\u043e\u0436\u0438\u0442\u044c\u00bb \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0439 \u043d\u0430\u0432\u044b\u043a.\u0414\u0430\u043b\u044c\u0448\u0435 \u0432 \u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u043e\u043c\u0435\u0447\u0430\u044e, \u0447\u0442\u043e \u043a \u043a\u0430\u043a\u043e\u043c\u0443 \u0442\u0438\u043f\u0443 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f:[\u0421\u0442\u0430\u0442\u044c\u044f] \u2014 \u044d\u043c\u043f\u0438\u0440\u0438\u043a\u0430 \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0446\u0438\u0444\u0440\u044b \u0434\u043e\u0441\u043b\u043e\u0432\u043d\u043e \u0438\u0437 \u043f\u043e\u0441\u0442\u0430 \u0438\u043b\u0438 \u043b\u043e\u0433\u043e\u0432;[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e] \u2014 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0444\u0430\u043a\u0442 \u0441 \u0432\u044b\u0432\u043e\u0434\u043e\u043c;[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440] \u2014 \u0442\u043e, \u0447\u0442\u043e \u044f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b \u0441\u0430\u043c (\u043a\u043e\u0434 \u043b\u0435\u0436\u0438\u0442 \u0440\u044f\u0434\u043e\u043c \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0451\u0439);[\u041c\u043e\u0434\u0435\u043b\u044c\/\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f] \u2014 \u043c\u043e\u0438 \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0438\u044f \u0438 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u042d\u0442\u043e \u043d\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438\u0434\u0451\u0442 \u0432 \u0434\u0432\u0430 \u0441\u043b\u043e\u044f: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0432 \u0442\u0435\u043c\u0435, \u0437\u0430\u0442\u0435\u043c \u0431\u043b\u043e\u043a \u00ab\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443\u00bb \u0434\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0432\u043d\u0438\u043a\u0430\u0442\u044c.\u0427\u0430\u0441\u0442\u044c 1. \u0427\u0442\u043e \u0441\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c: \u0442\u0440\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 8: Qwen3.5-0.8B, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0443\u043c\u0430\u043b\u0430 \u0434\u043e \u0443\u043f\u043e\u0440\u0430[\u0421\u0442\u0430\u0442\u044c\u044f] \u0410\u0432\u0442\u043e\u0440\u044b \u0432\u0437\u044f\u043b\u0438 Qwen3.5-0.8B (24 \u0441\u043b\u043e\u044f, \u043e\u043a\u043e\u043b\u043e 0.8 \u043c\u043b\u0440\u0434 \u0432\u0435\u0441\u043e\u0432, \u0440\u0435\u0436\u0438\u043c thinking \u0432\u043a\u043b\u044e\u0447\u0451\u043d) \u0438 \u0434\u0430\u043b\u0438 Astra \u0437\u0430\u0434\u0430\u0447\u0443: \u00ab\u0441\u0434\u0435\u043b\u0430\u0439 \u043c\u043e\u0434\u0435\u043b\u044c \u043b\u0443\u0447\u0448\u0435 \u0432 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435, \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u0443\u044f \u0432\u0435\u0441\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e\u00bb. \u0411\u044b\u043b\u0438 \u0436\u0451\u0441\u0442\u043a\u0438\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f:Python-\u0441\u0435\u0441\u0441\u0438\u044f \u043d\u0430\u0434 \u0432\u0435\u0441\u0430\u043c\u0438, \u0442\u043e\u043b\u044c\u043a\u043e CPU, \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 300 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u043a\u043e\u0434\u0430;\u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u044b backward, autograd, \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0438 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u0430\u044f \u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u043f\u043e\u0434 \u043b\u043e\u0441\u0441;\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438: 7 469 \u0438\u0437 GSM8K train \u0438 7 275 \u0438\u0437 MATH train. \u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0438 Astra \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430;\u0431\u044e\u0434\u0436\u0435\u0442 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438: 10, 25 \u0438\u043b\u0438 50 (\u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430). \u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043e\u043d \u2014 \u044d\u0442\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u2264512 \u0437\u0430\u0434\u0430\u0447 \u0438\u043b\u0438 teacher-forced \u0447\u0442\u0435\u043d\u0438\u0435 \u22641 024 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0441 \u043b\u043e\u0433\u043f\u0440\u043e\u0431\u0430\u043c\u0438, \u0441\u043a\u0440\u044b\u0442\u044b\u043c\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438 MLP;save_edit \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u043b \u043f\u0440\u0430\u0432\u043a\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u044b, \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432\/\u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0438 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u043e\u0433\u043e \u0442\u0435\u043d\u0437\u043e\u0440\u0430 \u043d\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443.\u041e\u0446\u0435\u043d\u043a\u0430: vLLM, temperature 0.6, top-p 0.95, top-k 20, presence penalty 1.5, \u0434\u043e 32 768 \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432.Astra \u043d\u0430\u0447\u0430\u043b\u0430 \u0441 \u0434\u0438\u0430\u0433\u043d\u043e\u0441\u0442\u0438\u043a\u0438. \u0411\u0430\u0437\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f: \u0438\u0437 \u0435\u0451 \u043f\u0435\u0440\u0432\u044b\u0445 96 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 85 \u0443\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432 \u043b\u0438\u043c\u0438\u0442 32 768 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u0412 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435 Qwen \u043e\u0431 \u044d\u0442\u043e\u043c \u0435\u0441\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435: \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043b\u043e\u043d\u043d\u0430 \u043a thinking loops. Astra \u043d\u0430\u0448\u043b\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 residual stream, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 MLP \u0441\u043b\u043e\u0451\u0432 15 \u0438 19 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043f\u0440\u0438 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0438, \u0438 \u0432\u044b\u0447\u043b\u0430 \u0435\u0433\u043e \u0438\u0437 64 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 down_proj \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0451\u0432. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c 131 072 \u0432\u0435\u0441\u0430, 0.016 % \u043c\u043e\u0434\u0435\u043b\u0438.Qwen3.5-0.8BMATH-500GSM8KIFEval\u0423\u043f\u0451\u0440\u043b\u0438\u0441\u044c \u0432 \u043b\u0438\u043c\u0438\u0442 \u0442\u043e\u043a\u0435\u043d\u043e\u0432 (MATH-500)\u0411\u0430\u0437\u04307.913.821.093.0\u041f\u0440\u0430\u0432\u043a\u0430, 10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u043212.325.749.087.2\u041f\u0440\u0430\u0432\u043a\u0430, 25 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u043214.125.139.986.4\u041f\u0440\u0430\u0432\u043a\u0430, 50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u043248.167.162.333.1\u0418\u0437 \u043b\u043e\u0433\u043e\u0432 [2] \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u0442\u0440\u0451\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0445 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438:10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432: \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u00ab\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u043e\u0432\u00bb \u0438\u0437 30 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 (\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 MLP) \u0441\u043b\u043e\u0451\u0432 8\u201322 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 ;25 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432: \u043e\u0442\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435 \u0433\u043e\u043b\u043e\u0432\u044b \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f 7 \u0432 \u0441\u043b\u043e\u0435 15 (\u043e\u0431\u043d\u0443\u043b\u0435\u043d\u044b \u0435\u0451 256 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432);50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432: 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430 MLP \u0432 \u0441\u043b\u043e\u044f\u0445 15 \u0438 19.\u041d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u0443 \u043f\u0440\u0430\u0432\u043a\u0438 \u0438\u0437 50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0442\u043e\u0436\u0435 \u0440\u043e\u0441\u0442: AMC23 0.5 \u2192 23.4, Minerva 1.5 \u2192 25.4, OlympiadBench 1.3 \u2192 21.8, MMLU-Pro 40.3 \u2192 45.5, GPQA Diamond 22.7 \u2192 36.6.\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c \u0441\u0430\u043c\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 Astra \u043d\u0430 1 152 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 [2, final_answer.md]: 579 \u00ab\u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0445\u00bb \u0437\u0430\u0434\u0430\u0447 \u043f\u0440\u043e\u0442\u0438\u0432 5 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0439, \u0438 576 \u0438\u0437 579 \u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0445 \u2014 \u044d\u0442\u043e \u043e\u0442\u0432\u0435\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u043d\u044c\u0448\u0435 \u043e\u0431\u0440\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u043f\u043e \u043b\u0438\u043c\u0438\u0442\u0443. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0434\u043e \u043f\u0440\u0430\u0432\u043a\u0438 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c. \u0417\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u044d\u0442\u043e\u0442 \u0444\u0430\u043a\u0442: \u043a \u043d\u0435\u043c\u0443 \u043c\u044b \u0432\u0435\u0440\u043d\u0451\u043c\u0441\u044f \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438, \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u043f\u0435\u0442\u043b\u0438.\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: Ahsen Khaliq (Hugging Face) \u043f\u0435\u0440\u0435\u0441\u043e\u0431\u0440\u0430\u043b \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u0438\u0437 \u043b\u043e\u0433\u043e\u0432 \u0441\u043e \u0441\u0432\u0435\u0440\u043a\u043e\u0439 sha256 \u0438 \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0433\u043d\u0430\u043b \u043f\u043e\u043b\u043d\u044b\u0439 MATH-500 (500 \u00d7 4 \u0441\u044d\u043c\u043f\u043b\u0430) \u043d\u0430 H200. \u0412\u044b\u0448\u043b\u043e 51.0 %, \u043b\u0438\u043c\u0438\u0442 \u0432\u044b\u0431\u0438\u043b\u0438 31.6 % \u043e\u0442\u0432\u0435\u0442\u043e\u0432 [3].\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 4: \u043c\u0430\u0448\u0438\u043d\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u0443\u043c\u0435\u043b\u0430 \u0441\u0434\u0430\u0442\u044c \u043d\u0430\u0437\u0430\u0434[\u0421\u0442\u0430\u0442\u044c\u044f] \u0421\u0440\u0435\u0434\u0430 Kinetix, \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u00ab\u043c\u0430\u0448\u0438\u043d\u043a\u0430 \u0438 \u0440\u0430\u043c\u043f\u0430\u00bb. \u0427\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0443\u0442\u044c \u043a\u0440\u0430\u0441\u043d\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443, \u043c\u0430\u0448\u0438\u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0442\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u0437\u0430\u0434 \u0438 \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u0440\u0430\u0437\u0433\u043e\u043d. \u041e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 PPO \u043e\u0431\u0443\u0447\u0430\u043b\u0441\u044f 1 \u043c\u043b\u0440\u0434 \u0448\u0430\u0433\u043e\u0432 \u0438 \u0437\u0430\u0441\u0442\u0440\u044f\u043b \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435: \u0435\u0434\u0435\u0442 \u043f\u0440\u044f\u043c\u043e \u043d\u0430 \u0440\u0430\u043c\u043f\u0443 \u0438 \u0433\u043b\u043e\u0445\u043d\u0435\u0442. \u0423\u0441\u043f\u0435\u0445\u043e\u0432 0 \u0438\u0437 256 \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432.\u0421\u0435\u0442\u044c \u2014 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0430\u043a\u0442\u043e\u0440 Kinetix: 679 \u2192 128 (ReLU) \u2192 \u043f\u044f\u0442\u044c \u0441\u043b\u043e\u0451\u0432 \u043f\u043e 128 (tanh) \u2192 16. \u0421\u0432\u0435\u0440\u0438\u043c \u0447\u0438\u0441\u043b\u043e \u0432\u0435\u0441\u043e\u0432:\u0421\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043f\u043e\u0441\u0442\u043e\u043c. Astra \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0432\u0441\u0435 \u0432\u0435\u0441\u0430, \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0446\u0435\u043d\u044b \u0438 \u043e\u0434\u0438\u043d \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u044d\u043f\u0438\u0437\u043e\u0434. \u041e\u0434\u0438\u043d \u043e\u0442\u0432\u0435\u0442, \u0431\u0435\u0437 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432. \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430 3.5 % \u0432\u0435\u0441\u043e\u0432 \u0438 \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u043e\u0431\u0445\u043e\u0434\u043d\u043e\u0439 \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044e\u043d\u0438\u0442\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435. \u042d\u0442\u043e\u0442 \u043f\u0443\u0442\u044c \u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e\u0437\u0438\u0446\u0438\u044e \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u044b, \u043a\u043e\u043c\u0430\u043d\u0434\u0443\u0435\u0442 \u00ab\u043d\u0430\u0437\u0430\u0434, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043b\u043d\u044b\u0439 \u0432\u043f\u0435\u0440\u0451\u0434\u00bb, \u0430 \u043a\u043e\u0433\u0434\u0430 \u0437\u0435\u043b\u0451\u043d\u043e\u0435 \u043a\u043e\u043b\u0435\u0441\u043e \u043f\u0440\u043e\u0435\u0437\u0436\u0430\u0435\u0442 \u043a\u0440\u0430\u0441\u043d\u0443\u044e \u043f\u043e\u043b\u043e\u0441\u0443, \u043e\u0442\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f, \u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u043c\u0430\u0448\u0438\u043d\u0443 \u0432\u0435\u0434\u0451\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u0418\u0442\u043e\u0433: 1 024 \u0438\u0437 1 024 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u0445 \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432.\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442: Gemma 3 270M, \u0433\u0434\u0435 \u0432\u0441\u0451 \u0441\u043b\u043e\u043c\u0430\u043b\u043e\u0441\u044c[\u0421\u0442\u0430\u0442\u044c\u044f] \u0422\u043e\u0442 \u0436\u0435 \u043f\u0440\u043e\u0442\u043e\u043a\u043e\u043b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u043a Gemma 3 270M IT. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432\u0442\u0440\u043e\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f: \u0432 \u043b\u0438\u043c\u0438\u0442 (\u0437\u0434\u0435\u0441\u044c 8 192 \u0442\u043e\u043a\u0435\u043d\u0430, \u0441\u044d\u043c\u043f\u043b\u0438\u043d\u0433 \u0438\u0437 \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0438: T = 1.0, top-k 64, top-p 0.95) \u0443\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e 8.5 % \u043e\u0442\u0432\u0435\u0442\u043e\u0432. \u0423 Qwen \u0442\u0430\u043a\u0438\u0445 93 %.Gemma 3 270MMATH-500\u0411\u0430\u0437\u04306.85 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u04327.010 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u04327.625 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u04327.750 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u04327.0\u0427\u0438\u0442\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0438 Gemma, Astra \u043d\u0430\u0448\u043b\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f: \u043d\u0435\u0432\u0435\u0440\u043d\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443 \u0438 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u0430\u043b\u0433\u0435\u0431\u0440\u0430\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0448\u0430\u0433\u0438. \u0415\u0434\u0438\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0432\u044b\u043a\u043b\u044e\u0447\u0438\u0442\u044c, \u0442\u0430\u043c \u043d\u0435 \u0431\u044b\u043b\u043e. \u041f\u0440\u0430\u0432\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043c\u0435\u043b\u043a\u0438\u043c\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0434\u0432\u043e\u0438\u0442\u044c \u043e\u0434\u0438\u043d \u043d\u0435\u0439\u0440\u043e\u043d, \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u043d\u0430 \u0447\u0438\u0441\u043b\u0430), \u0438 \u0441\u0430\u043c\u0430 Astra \u043e\u0446\u0435\u043d\u0438\u043b\u0430 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043a\u0430\u043a \u043d\u0435\u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439. \u0412\u044b\u0432\u043e\u0434 \u0430\u0432\u0442\u043e\u0440\u043e\u0432: \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0443\u0431\u0440\u0430\u0442\u044c \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0435, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u0440\u044f\u0442\u0430\u043b\u0430\u0441\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442.\u0414\u043b\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u044b: \u0432 \u043f\u043e\u0441\u0442\u0435 \u0435\u0441\u0442\u044c \u0438 \u00ab\u0447\u0438\u0442\u0430\u044e\u0449\u0438\u0435\u00bb \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. Astra \u043f\u043e \u0432\u0435\u0441\u0430\u043c MLP 500\u219232\u219232\u21925 (17 253 \u0432\u0435\u0441\u0430 \u2014 , \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f) \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u0438\u0433\u0440\u0443, \u043f\u043e \u0432\u0435\u0441\u0430\u043c \u0434\u0438\u0444\u0444\u0443\u0437\u0438\u043e\u043d\u043a\u0438 \u2014 \u0440\u0438\u0441\u0443\u0435\u043c\u0443\u044e \u0444\u0438\u0433\u0443\u0440\u0443, \u0432 char-level \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0435 \u0431\u0435\u0437 \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0451\u0432 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 induction heads. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u043d\u0430 \u0441 \u043d\u0443\u043b\u044f \u043f\u0438\u0448\u0435\u0442 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f MinAtar \u0438 \u0434\u043b\u044f \u0433\u043e 9\u00d79. \u041d\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u043f\u0440\u0430\u0432\u043a\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044e \u0437\u0430 \u043a\u0430\u0434\u0440\u043e\u043c.\u0427\u0430\u0441\u0442\u044c 2. \u0427\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u0434\u0438\u0444\u0444\u0435 (\u043c\u043e\u0439 \u0440\u0430\u0437\u0431\u043e\u0440 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0430)[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440] \u041e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 Qwen\/Qwen3.5-0.8B \u0440\u043e\u0432\u043d\u043e \u0434\u0432\u0443\u043c\u044f \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c\u0438 [3]: layers.15.mlp.down_proj.weight \u0438 layers.19.mlp.down_proj.weight, \u043e\u0431\u0430 \u0444\u043e\u0440\u043c\u044b . \u042f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b  (\u043a\u043e\u0434: code\/analyze_edit.py).D = W2 &#8212; W                                   # 1024 x 3584cols = (D.abs().sum(0) &gt; 0).nonzero().flatten()   # \u043a\u0430\u043a\u0438\u0435 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0442\u0440\u043e\u043d\u0443\u0442\u044bS = torch.linalg.svdvals(D[:, cols])          # \u0441\u043f\u0435\u043a\u0442\u0440 \u043f\u0440\u0430\u0432\u043a\u0438U, _, _ = torch.linalg.svd(D[:, cols], full_matrices=False)v = U[:, 0]                                   # \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u043a\u0438a = -(v @ D[:, cols]).dot(v @ W[:, cols]) \/ (v @ W[:, cols]).pow(2).sum()\u0427\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c:\u0441\u043b\u043e\u0439 15\u0441\u043b\u043e\u0439 19\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u04326464\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 bf16-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u043965 26064 928\u0434\u043e\u043b\u044f \u044d\u043d\u0435\u0440\u0433\u0438\u0438  \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u043e\u043c \u0447\u0438\u0441\u043b\u04350.9999940.9999915.6\u00b710\u207b\u20746.4\u00b710\u207b\u2074\u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442  \u0432 6.00036.0002\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043d\u0435\u0432\u044f\u0437\u043a\u0430 \u0442\u0430\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u04380.23 %0.29 %0.1060.081\u041f\u043e\u0447\u0435\u043c\u0443 131 072 = 2 \u00d7 64 \u00d7 1 024, \u0430 \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 130 188: \u043f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u0432 bfloat16 \u0447\u0430\u0441\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0435\u0440\u043d\u0443\u043b\u0430\u0441\u044c \u043a \u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e. \u042d\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442\u043e\u043c \u0438\u0437 \u043b\u043e\u0433\u043e\u0432. \u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u044f\u0445 \u0431\u043b\u0438\u0437\u043a\u0438: .\u041f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 down_proj \u043d\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u043a\u0438, \u0441\u043b\u043e\u0439 15\u0420\u0438\u0441. 1. \u0421\u043b\u043e\u0439 15. \u0421\u043b\u0435\u0432\u0430:  \u0434\u043b\u044f \u0432\u0441\u0435\u0445 3 584 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 (\u0441\u0435\u0440\u044b\u0435), \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e 64 \u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u044b\u0445 \u0434\u043e (\u0441\u0438\u043d\u0438\u0435) \u0438 \u043f\u043e\u0441\u043b\u0435 (\u043a\u0440\u0430\u0441\u043d\u044b\u0435) \u043f\u0440\u0430\u0432\u043a\u0438. \u0421\u043f\u0440\u0430\u0432\u0430: \u00ab\u043f\u043e\u0441\u043b\u0435\u00bb \u043f\u0440\u043e\u0442\u0438\u0432 \u00ab\u0434\u043e\u00bb \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0439 . \u0422\u043e \u0436\u0435 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19\u0420\u0438\u0441. 2. \u0422\u043e \u0436\u0435 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19. \u0421\u043f\u0435\u043a\u0442\u0440 \u0394W\u0420\u0438\u0441. 3. \u0421\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430  (\u0431\u043b\u043e\u043a 1024\u00d764). \u041f\u0440\u0430\u0432\u043a\u0430 \u2014 \u0447\u0438\u0441\u0442\u044b\u0439 \u0440\u0430\u043d\u0433 1, \u0445\u0432\u043e\u0441\u0442 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 10\u207b\u00b3\u00b7\u03c3\u2081 \u0434\u0430\u0451\u0442 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 bf16. \u0412\u044b\u0432\u043e\u0434 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0437\u0430\u043c\u0435\u0440\u043e\u0432 [\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440 + \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]: \u043d\u0430 \u0442\u0440\u043e\u043d\u0443\u0442\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445 \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434\u042d\u0442\u043e \u043d\u0435 \u00ab\u043e\u0431\u043d\u0443\u043b\u0438\u0442\u044c \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u044e\u00bb (\u0442\u043e\u0433\u0434\u0430 \u0431\u044b\u043b\u043e \u0431\u044b ). \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0432\u0434\u043e\u043b\u044c  \u043f\u0435\u0440\u0435\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0438 \u0443\u0441\u0438\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 5 \u0440\u0430\u0437. \u0412 \u043f\u043e\u0441\u0442\u0435 \u0438 \u0432 README \u044d\u0442\u043e \u043e\u043f\u0438\u0441\u0430\u043d\u043e \u0441\u043b\u043e\u0432\u043e\u043c \u00absubtracted\u00bb, \u0438 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0442\u0430\u043a \u0438 \u0435\u0441\u0442\u044c:  \u0432\u044b\u0447\u0442\u0435\u043d\u043e. \u041d\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u044d\u0442\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0430\u0431\u043b\u044f\u0446\u0438\u0438. \u0422\u0440\u043e\u043d\u0443\u0442\u044b \u043d\u0435 \u0441\u0430\u043c\u044b\u0435 \u00ab\u0442\u044f\u0436\u0451\u043b\u044b\u0435\u00bb \u043d\u0435\u0439\u0440\u043e\u043d\u044b: \u043c\u0435\u0434\u0438\u0430\u043d\u043d\u044b\u0439 \u0440\u0430\u043d\u0433 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u043f\u043e \u043d\u043e\u0440\u043c\u0435 \u2014 2 560 \u0438\u0437 3 584 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 15 \u0438 2 245 \u0434\u043b\u044f \u0441\u043b\u043e\u044f 19. \u041e\u0442\u0431\u043e\u0440 \u0448\u0451\u043b \u043f\u043e \u0442\u043e\u043c\u0443, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u043f\u0438\u0448\u0435\u0442 \u0432  (\u00abthe 64 output columns per layer \u2026 that write it most\u00bb [2]), \u0430 \u043d\u0435 \u043f\u043e \u043d\u043e\u0440\u043c\u0435.\u0427\u0430\u0441\u0442\u044c 3. \u041a\u0430\u043a \u0443\u0441\u0442\u0440\u043e\u0435\u043d \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u043a\u0438 \u0432\u0435\u0441\u043e\u0432\u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u043a\u0430 64 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0432 \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u044f\u0445 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0430 \u0447\u0442\u043e-\u0442\u043e \u0432\u043b\u0438\u044f\u0435\u0442, \u043d\u0443\u0436\u043d\u0430 \u043e\u0434\u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430: \u043a\u0430\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0442\u0435\u0447\u0451\u0442 \u0447\u0435\u0440\u0435\u0437 \u043c\u043e\u0434\u0435\u043b\u044c.3.1. Residual stream: \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0437\u0430\u043f\u0438\u0441\u0435\u0439[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b] \u0412 Qwen, Llama \u0438 Gemma \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0442\u043e\u043a\u0435\u043d\u0430, \u0430 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u043a \u043d\u0435\u043c\u0443 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443. \u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435  \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438  (\u0443 Qwen3.5-0.8B ). \u0411\u043b\u043e\u043a \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0438 \u0431\u043b\u043e\u043a MLP \u0447\u0438\u0442\u0430\u044e\u0442 \u0435\u0433\u043e \u0438 \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0441\u0432\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442:\u0433\u0434\u0435  \u2014 \u0432\u044b\u0445\u043e\u0434 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u043b\u043e\u044f ,  \u2014 \u0432\u044b\u0445\u043e\u0434 MLP. \u0415\u0441\u043b\u0438 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u044d\u0442\u0443 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u044e \u043e\u0442 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e , \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0443\u043c\u043c\u0430:\u0417\u0434\u0435\u0441\u044c  \u2014 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433 \u0442\u043e\u043a\u0435\u043d\u0430. \u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e: \u0435\u0441\u043b\u0438 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u00ab\u0447\u0435\u0433\u043e-\u0442\u043e\u00bb \u043b\u0435\u0436\u0438\u0442 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0432\u0434\u043e\u043b\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f , \u0442\u043e \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0432\u0441\u0435\u0445 \u0431\u043b\u043e\u043a\u043e\u0432 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, . Elhage \u0438 \u0434\u0440. \u043d\u0430\u0437\u0432\u0430\u043b\u0438 \u044d\u0442\u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 residual stream \u2014 \u043e\u0431\u0449\u0435\u0439 \u0448\u0438\u043d\u043e\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u0438\u0448\u0443\u0442 [4]. \u041e\u0433\u043e\u0432\u043e\u0440\u043a\u0430: \u043f\u0435\u0440\u0435\u0434 \u043b\u043e\u0433\u0438\u0442\u0430\u043c\u0438 \u0441\u0442\u043e\u0438\u0442 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f RMSNorm. \u041e\u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442 \u0432\u0435\u0441\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0432\u043a\u043b\u0430\u0434\u043e\u0432 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442\u0441\u044f, \u043d\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u2014 \u043d\u0435\u0442.\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443: \u0443 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0435\u0441\u0442\u044c \u00ab\u0440\u0430\u0431\u043e\u0447\u0430\u044f \u0442\u0435\u0442\u0440\u0430\u0434\u044c\u00bb \u0438\u0437 1024 \u0447\u0438\u0441\u0435\u043b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u043d\u0438\u0447\u0435\u0433\u043e \u0432 \u043d\u0435\u0439 \u043d\u0435 \u0441\u0442\u0438\u0440\u0430\u0435\u0442, \u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u0441\u0432\u043e\u0438 \u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u043e\u0432\u0435\u0440\u0445. \u0418\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-501722","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/501722","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=501722"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/501722\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=501722"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=501722"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=501722"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}