{"id":501727,"date":"2026-11-05T12:04:44","date_gmt":"2026-11-05T09:04:44","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=501727"},"modified":"2026-11-05T12:04:44","modified_gmt":"2026-11-05T09:04:44","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=501727","title":{"rendered":"\u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0430 \u0432\u0435\u0441\u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0435\u0437 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0427\u0430\u0441\u0442\u044c 2: \u043f\u043e\u0447\u0435\u043c\u0443 \u043f\u0435\u0442\u043b\u044f \u0440\u0432\u0451\u0442\u0441\u044f, \u0430 \u043d\u0430\u0432\u044b\u043a \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/94\/8e\/e2\/948ee2d60a87d0337722e4aa523ea3c5.jpg\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/94\/8e\/e2\/948ee2d60a87d0337722e4aa523ea3c5.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/94\/8e\/e2\/948ee2d60a87d0337722e4aa523ea3c5.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p><em>\u041e\u0431\u043b\u043e\u0436\u043a\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0418\u0418<\/em><\/p>\n<p><em>\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0430\u0437\u0431\u0438\u043b \u0435\u0451 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438. \u042d\u0442\u043e \u0447\u0430\u0441\u0442\u044c 2 \u0438\u0437 2. <\/em><a href=\"https:\/\/habr.com\/ru\/articles\/1103796\/\" rel=\"noopener nofollow\"><em>\u041f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c<\/em><\/a><em> \u2014 \u043f\u0440\u043e \u0441\u0430\u043c\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b MIT, \u0434\u0438\u0444\u0444 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 Qwen \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438; \u0437\u0434\u0435\u0441\u044c \u2014 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u0435\u0442\u0435\u043b\u044c, \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043c\u0435\u0442\u043e\u0434\u0430, \u0440\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b, \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0432\u0435\u0441\u043e\u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0440\u0438\u0441\u043a\u0438.<\/em><\/p>\n<h3>\u041a\u043e\u0440\u043e\u0442\u043a\u043e \u043e \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/h3>\n<ul>\n<li>\n<p>\u0412 \u043f\u043e\u0441\u0442\u0435 MIT CSAIL [1] \u043c\u043e\u0434\u0435\u043b\u044c GPT-6 Astra \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432\u0435\u0441\u0430 \u0447\u0443\u0436\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u0431\u0435\u0437 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432. \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 Qwen3.5-0.8B, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0432 93 % \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0443\u0445\u043e\u0434\u0438\u043b\u0430 \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043f\u043e\u0432\u0442\u043e\u0440.<\/p>\n<\/li>\n<li>\n<p>\u042f \u043f\u043e\u0431\u0438\u0442\u043e\u0432\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442: \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u044b 131 072 \u0432\u0435\u0441\u0430 \u0432 <code>down_proj<\/code> \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0451\u0432 (15 \u0438 19), \u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"W' = (I - 6vv^\\top)W\" alt=\"W' = (I - 6vv^\\top)W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb8\/bb876f867cdf262476d9fdac8ef5347d.svg\" width=\"151\" height=\"21\" data-width=\"18.936\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 18.936ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb8\/bb876f867cdf262476d9fdac8ef5347d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb8\/bb876f867cdf262476d9fdac8ef5347d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0440\u0430\u043d\u0433 1, 99.999 % \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0442\u043e \u043d\u0435 \u00ab\u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435\u00bb \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u0435\u0433\u043e \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442: \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"-5\" alt=\"-5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/47c\/47c1b025fa18ea96c33fbb6718688c0f.svg\" width=\"23\" height=\"14\" data-width=\"2.891\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 2.891ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/47c\/47c1b025fa18ea96c33fbb6718688c0f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/47\/47c\/47c1b025fa18ea96c33fbb6718688c0f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439. \u0421\u0440\u0435\u0434\u0438 \u043f\u0440\u0430\u0432\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u043a \u043c\u0435\u043d\u044f\u044e\u0442 \u043e\u0434\u043d\u0443 \u043e\u0441\u044c, \u044d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e \u043d\u043e\u0440\u043c\u0435 \u0424\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442: \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043f\u0438\u0448\u0443\u0442 \u0432 \u043e\u0431\u0449\u0438\u0439 residual stream, \u0430 MLP \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 <code>down_proj<\/code>, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432. \u0417\u043d\u0430\u0447\u0438\u0442, \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u0432 \u043e\u0434\u043d\u0443 \u043e\u0441\u044c \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 MLP, \u043c\u044b \u043c\u0435\u043d\u044f\u0435\u043c \u0442\u043e, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u00ab\u0447\u0438\u0442\u0430\u044e\u0442\u00bb \u0432\u0434\u043e\u043b\u044c \u043d\u0435\u0451.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u0435\u0442\u043a\u0438 \u0442\u0435 \u0436\u0435: <strong>[\u0421\u0442\u0430\u0442\u044c\u044f]<\/strong>, <strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e]<\/strong>, <strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong>, <strong>[\u041c\u043e\u0434\u0435\u043b\u044c\/\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong>.<\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 1. \u041f\u043e\u0447\u0435\u043c\u0443 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043b\u0435\u0447\u0438\u0442 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u0435<\/h3>\n<h4>1.1. \u041e\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u00ab\u0432\u044b\u0439\u0442\u0438 \u0438\u0437 \u0446\u0438\u043a\u043b\u0430\u00bb<\/h4>\n<p><strong>[\u041c\u043e\u0434\u0435\u043b\u044c]<\/strong> \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u043f\u0435\u0442\u043b\u044e\u00bb \u0438 \u00ab\u0441\u043b\u043e\u043c\u0430\u0442\u044c \u0435\u0451\u00bb (\u0437\u0430\u043a\u0440\u044b\u0442\u044c <code>&lt;\/think&gt;<\/code>, \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442, \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u043c\u044b\u0441\u043b\u044c). \u0412\u044b\u0431\u043e\u0440 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0434\u0432\u0443\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041b\u043e\u0433\u0438\u0442\u044b \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f: <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta z = u^\\top x_L\" alt=\"\\Delta z = u^\\top x_L\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/adc\/adc79bf683edeed005abdfaa1fcf8555.svg\" width=\"90\" height=\"21\" data-width=\"11.252\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 11.252ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/adc\/adc79bf683edeed005abdfaa1fcf8555.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/adc\/adc79bf683edeed005abdfaa1fcf8555.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.294ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u043e\u043a \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b. \u041f\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0443 \u0441\u0443\u043c\u043c\u044b residual stream (\u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c, 3.1) \u0432\u043a\u043b\u0430\u0434\u044b \u0441\u043b\u043e\u0451\u0432 15 \u0438 19 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta z\" alt=\"\\Delta z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a4c8bd3b3799f4dafac4cd43f8f4123.svg\" width=\"23\" height=\"18\" data-width=\"2.937\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.937ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a4c8bd3b3799f4dafac4cd43f8f4123.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a4c8bd3b3799f4dafac4cd43f8f4123.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c\u0438, \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\langle u, v\\rangle\\cdot v^\\top m_l\" alt=\"\\langle u, v\\rangle\\cdot v^\\top m_l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/371\/3715610689620b60874c56c696df648a.svg\" width=\"96\" height=\"21\" data-width=\"11.973\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 11.973ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/371\/3715610689620b60874c56c696df648a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/371\/3715610689620b60874c56c696df648a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0439\u00bb (<img decoding=\"async\" class=\"formula inline\" source=\"\\langle u,v\\rangle&lt;0\" alt=\"\\langle u,v\\rangle&lt;0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/98d\/98d364a00064390ded4deb030bd17eea.svg\" width=\"74\" height=\"18\" data-width=\"9.306\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.306ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/98d\/98d364a00064390ded4deb030bd17eea.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/98\/98d\/98d364a00064390ded4deb030bd17eea.svg 781w\" loading=\"lazy\" decode=\"async\"\/>), \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442 \u0437\u043d\u0430\u043a\u0430 \u0443 \u044d\u0442\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0441\u0434\u0432\u0438\u0433\u0430\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\Delta z\" alt=\"\\Delta z\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a4c8bd3b3799f4dafac4cd43f8f4123.svg\" width=\"23\" height=\"18\" data-width=\"2.937\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.937ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a4c8bd3b3799f4dafac4cd43f8f4123.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a4c8bd3b3799f4dafac4cd43f8f4123.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435, \u0433\u0434\u0435 \u043e\u043d\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u044b. \u042d\u0442\u043e \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0438\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.294ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b774effe4a349c6dd82ad4f4f21d34c.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u044b \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438, \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u043c\u043e\u0433\u0443\u0442 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0434\u0432\u0438\u0433.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0433\u0434\u0435-\u0442\u043e \u0432 \u043a\u043e\u043d\u0446\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0433\u043e\u043b\u043e\u0441\u0443\u0435\u0442\u00bb, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u043b\u0438 \u0442\u043e\u0442 \u0436\u0435 \u043a\u0443\u0441\u043e\u043a \u0442\u0435\u043a\u0441\u0442\u0430. \u0421\u043b\u043e\u0438 15 \u0438 19 \u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u043e\u0434\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043b\u0438 \u0433\u043e\u043b\u043e\u0441 \u00ab\u0437\u0430\u00bb. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u043e\u043d\u0438 \u0433\u043e\u043b\u043e\u0441\u0443\u044e\u0442 \u00ab\u043f\u0440\u043e\u0442\u0438\u0432\u00bb, \u0438 \u0447\u0430\u0448\u0430 \u0432\u0435\u0441\u043e\u0432 \u0447\u0430\u0449\u0435 \u043f\u0435\u0440\u0435\u0432\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0432\u044b\u0445\u043e\u0434\u0430.<\/p>\n<\/blockquote>\n<h4>1.2. \u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440: \u043d\u0430 \u043f\u0435\u0442\u043b\u0435 \u044d\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u043f\u0440\u0430\u0432\u0434\u0430 \u043f\u0438\u0448\u0443\u0442 \u0432 v \u0441\u0438\u043b\u044c\u043d\u0435\u0435<\/h4>\n<p><strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong> \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 CPU \u043d\u0430 \u0434\u0432\u0443\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u041f\u0435\u0440\u0432\u044b\u0439 \u2014 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f (220 \u0442\u043e\u043a\u0435\u043d\u043e\u0432). \u0412\u0442\u043e\u0440\u043e\u0439 \u2014 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u0435\u0442\u043b\u044f \u00abWait, let me check again\u2026\u00bb \u00d712 (397 \u0442\u043e\u043a\u0435\u043d\u043e\u0432). \u0425\u0443\u043a\u043e\u043c \u0441\u043d\u0438\u043c\u0430\u043b, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0445\u043e\u0434 MLP \u043f\u0438\u0448\u0435\u0442 \u0432\u0434\u043e\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (<code>code\/demo_probe.py<\/code>):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0441\u0440\u0435\u0434\u043d\u0435\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\langle v, m_l\\rangle\" alt=\"\\langle v, m_l\\rangle\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/975\/9752fe6eabad3188a1fa1c1e3964944b.svg\" width=\"52\" height=\"18\" data-width=\"6.514\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.514ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/975\/9752fe6eabad3188a1fa1c1e3964944b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/975\/9752fe6eabad3188a1fa1c1e3964944b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u043e\u0440\u043c. \u0442\u0435\u043a\u0441\u0442, L15<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0435\u0442\u043b\u044f, L15<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043d\u043e\u0440\u043c. \u0442\u0435\u043a\u0441\u0442, L19<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u043f\u0435\u0442\u043b\u044f, L19<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0431\u0430\u0437\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.273<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.385<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">0.280<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>0.520<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f\u0440\u0430\u0432\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.816<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22121.518<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.014<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u22120.246<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/c7\/41\/04\/c74104bcd236a5041aeca0ede26506eb.png\" alt=\"\u041f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430 MLP \u043d\u0430 v \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/c7\/41\/04\/c74104bcd236a5041aeca0ede26506eb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/c7\/41\/04\/c74104bcd236a5041aeca0ede26506eb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430 MLP \u043d\u0430 v \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 1. <img decoding=\"async\" class=\"formula inline\" source=\"\\langle v, \\mathrm{MLP}_l(x_t)\\rangle\" alt=\"\\langle v, \\mathrm{MLP}_l(x_t)\\rangle\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f0\/f01\/f0177507b85938d31d9788522d7b3838.svg\" width=\"107\" height=\"18\" data-width=\"13.377\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 13.377ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f0\/f01\/f0177507b85938d31d9788522d7b3838.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f0\/f01\/f0177507b85938d31d9788522d7b3838.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c: \u0431\u0430\u0437\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u0430\u0432\u043a\u0438 \u043d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0438 \u0437\u0430\u0446\u0438\u043a\u043b\u0435\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/em> <\/p>\n<p>\u041d\u0430 \u043f\u0435\u0442\u043b\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 MLP \u043f\u0438\u0448\u0443\u0442 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u0438\u043b\u044c\u043d\u0435\u0435: \u0432 1.4 \u0440\u0430\u0437\u0430 \u0432 \u0441\u043b\u043e\u0435 15 \u0438 \u0432 1.9 \u0440\u0430\u0437\u0430 \u0432 \u0441\u043b\u043e\u0435 19. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u0437\u043d\u0430\u043a \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0439. \u042d\u0442\u043e \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f, \u0430 \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430. \u041a\u043e\u0440\u043e\u0442\u043a\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f (400 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0437\u0430 \u043e\u0442\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0435 \u0434\u043e\u0448\u043b\u0430 \u043d\u0438 \u0443 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0432\u043e\u0434\u043e\u0432 \u0438\u0437 \u043d\u0435\u0451 \u044f \u043d\u0435 \u0434\u0435\u043b\u0430\u044e.<\/p>\n<h4>1.3. \u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: (1\u2212p)^T<\/h4>\n<p><strong>[\u041c\u043e\u0434\u0435\u043b\u044c]<\/strong> \u041f\u0443\u0441\u0442\u044c, \u043f\u043e\u043f\u0430\u0432 \u0432 \u043f\u0435\u0442\u043b\u044e, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0438\u0437 \u043d\u0435\u0451 \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.138ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0422\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0432\u044b\u0439\u0442\u0438 \u0437\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg\" width=\"13\" height=\"12\" data-width=\"1.593\" data-height=\"1.532\" style=\"width: 1.593ex; height: 1.532ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014 \u044d\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg\" width=\"13\" height=\"12\" data-width=\"1.593\" data-height=\"1.532\" style=\"width: 1.593ex; height: 1.532ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u00ab\u043d\u0435\u0443\u0434\u0430\u0447\u00bb \u043f\u043e\u0434\u0440\u044f\u0434:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\Pr[\\text{\u0443\u043f\u0435\u0440\u0435\u0442\u044c\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442}] = (1-p)^T,\\qquad \\mathbb E[\\text{\u0434\u043b\u0438\u043d\u0430 \u043f\u0435\u0442\u043b\u0438}] = 1\/p .\" alt=\"\\Pr[\\text{\u0443\u043f\u0435\u0440\u0435\u0442\u044c\u0441\u044f \u0432 \u043b\u0438\u043c\u0438\u0442}] = (1-p)^T,\\qquad \\mathbb E[\\text{\u0434\u043b\u0438\u043d\u0430 \u043f\u0435\u0442\u043b\u0438}] = 1\/p .\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2e\/2ee\/2eef14f37403cd89436d1ad269fa8f2c.svg\" width=\"526\" height=\"21\" data-width=\"65.79\" data-height=\"2.583\" data-vertical-align=\"-0.726\" style=\"width: 65.79ex; height: 2.583ex; vertical-align: -0.726ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2e\/2ee\/2eef14f37403cd89436d1ad269fa8f2c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2e\/2ee\/2eef14f37403cd89436d1ad269fa8f2c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0446\u0438\u0444\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 (<img decoding=\"async\" class=\"formula inline\" source=\"T = 32\\,768\" alt=\"T = 32\\,768\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/09\/094\/094a7e8c1b00c9074be095f9d1456f9d.svg\" width=\"85\" height=\"18\" data-width=\"10.644\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 10.644ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/09\/094\/094a7e8c1b00c9074be095f9d1456f9d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/09\/094\/094a7e8c1b00c9074be095f9d1456f9d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). 93 % \u043e\u0431\u0440\u044b\u0432\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"p \\approx 2.2\\cdot10^{-6}\" alt=\"p \\approx 2.2\\cdot10^{-6}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0b1\/0b175335d359a48040ba272de82c6dbf.svg\" width=\"105\" height=\"21\" data-width=\"13.176\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 13.176ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0b1\/0b175335d359a48040ba272de82c6dbf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0b1\/0b175335d359a48040ba272de82c6dbf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, 33.1 % \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"p\\approx 3.4\\cdot10^{-5}\" alt=\"p\\approx 3.4\\cdot10^{-5}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef3\/ef31ab9c37b0555e94fc5f6a1971012b.svg\" width=\"105\" height=\"21\" data-width=\"13.176\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 13.176ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef3\/ef31ab9c37b0555e94fc5f6a1971012b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ef\/ef3\/ef31ab9c37b0555e94fc5f6a1971012b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0428\u0430\u043d\u0441 \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u0432\u044b\u0440\u043e\u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 15 \u0440\u0430\u0437. \u0414\u043b\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.138ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043b\u043e\u0433\u0438\u0442 \u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u043e\u0447\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u0434\u0432\u0438\u0433 \u043b\u043e\u0433\u0438\u0442\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\ln 15 \\approx 2.7\" alt=\"\\ln 15 \\approx 2.7\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2da\/2da54ab902a7caa330f1d0b50b013a3f.svg\" width=\"83\" height=\"18\" data-width=\"10.435\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 10.435ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2da\/2da54ab902a7caa330f1d0b50b013a3f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2d\/2da\/2da54ab902a7caa330f1d0b50b013a3f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435, \u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0446\u0438\u0444\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u044f\u0437\u044b\u043a \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0435\u0441\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0434\u0430\u0451\u0442 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u044b\u0439 \u0448\u0430\u043d\u0441 \u0432\u044b\u0440\u0432\u0430\u0442\u044c\u0441\u044f, \u0442\u043e \u043f\u0440\u0438 32 \u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u0448\u0430\u0433\u043e\u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a \u0438 \u043d\u0435 \u0432\u044b\u0440\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u044d\u0442\u043e\u043c\u0443 \u0448\u0430\u043d\u0441\u0443. \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u0432 15 \u0440\u0430\u0437 \u2014 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445, \u043d\u043e \u0434\u043e\u043b\u044f \u00ab\u0437\u0430\u0441\u0442\u0440\u044f\u0432\u0448\u0438\u0445\u00bb \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 93 % \u0434\u043e \u0442\u0440\u0435\u0442\u0438.<\/p>\n<\/blockquote>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/17\/bc\/17\/17bc17c41842eb41a4e93347c8796182.png\" alt=\"\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/17\/bc\/17\/17bc17c41842eb41a4e93347c8796182.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/17\/bc\/17\/17bc17c41842eb41a4e93347c8796182.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 2. <img decoding=\"async\" class=\"formula inline\" source=\"(1-p)^T\" alt=\"(1-p)^T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/193\/193166c83df56b0e237fa8aa524b8b94.svg\" width=\"65\" height=\"21\" data-width=\"8.109\" data-height=\"2.583\" data-vertical-align=\"-0.566\" style=\"width: 8.109ex; height: 2.583ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/193\/193166c83df56b0e237fa8aa524b8b94.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/19\/193\/193166c83df56b0e237fa8aa524b8b94.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f <img decoding=\"async\" class=\"formula inline\" source=\"T=8192\" alt=\"T=8192\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2a2\/2a2ae9e529de671f3b48e0a1ace3c6db.svg\" width=\"73\" height=\"14\" data-width=\"9.135\" data-height=\"1.717\" data-vertical-align=\"-0.186\" style=\"width: 9.135ex; height: 1.717ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2a2\/2a2ae9e529de671f3b48e0a1ace3c6db.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/2a\/2a2\/2a2ae9e529de671f3b48e0a1ace3c6db.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"32\\,768\" alt=\"32\\,768\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c5c\/c5c271c2b5b309e43262908d7ad6019b.svg\" width=\"48\" height=\"18\" data-width=\"6.034\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.034ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c5c\/c5c271c2b5b309e43262908d7ad6019b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c5\/c5c\/c5c271c2b5b309e43262908d7ad6019b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>; \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 \u2014 93 %, 33.1 % \u0438 8.5 % \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438. \u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043a\u0440\u0438\u0432\u0430\u044f, \u043d\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/em> <\/p>\n<p>\u041a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.138ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0433\u0440\u0443\u0431\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435. Xu \u0438 \u0434\u0440. [2] \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044b <strong>\u0441\u0430\u043c\u043e\u0443\u0441\u0438\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f<\/strong>: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437 \u0444\u0440\u0430\u0437\u0430 \u0443\u0436\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0430\u0441\u044c, \u0442\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u043e\u0432\u0442\u043e\u0440. \u041f\u0435\u0442\u043b\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u043e\u0439, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0448\u0430\u0433\u043e\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u0435\u0435; \u043e \u0442\u043e\u0439 \u0436\u0435 \u0434\u0435\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438 \u0436\u0430\u0434\u043d\u043e\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0438\u0441\u0430\u043b\u0438 Holtzman \u0438 \u0434\u0440. [3]. \u042f \u0441\u043e\u0431\u0440\u0430\u043b \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0443\u044e \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0442\u0430\u043a\u0438\u043c \u0441\u0430\u043c\u043e\u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435\u043c (<code>code\/loop_sim.py<\/code>). \u0412\u0438\u0434\u043d\u043e \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435: \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0434\u0432\u0438\u0433 \u043b\u043e\u0433\u0438\u0442\u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0438\u0437 \u0440\u0435\u0436\u0438\u043c\u0430 \u00ab\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442\u00bb \u0432 \u0440\u0435\u0436\u0438\u043c \u00ab\u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430\u00bb.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/5d\/7b\/87\/5d7b87e65e9a1357c83edbda3733da10.png\" alt=\"\u0418\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0430\u044f \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/5d\/7b\/87\/5d7b87e65e9a1357c83edbda3733da10.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/5d\/7b\/87\/5d7b87e65e9a1357c83edbda3733da10.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0418\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0430\u044f \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 3. \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435, <\/em><strong><em>\u043d\u0435 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u044b<\/em><\/strong><em> \u043f\u043e\u0434 \u0434\u0430\u043d\u043d\u044b\u0435): \u0434\u043e\u043b\u044f \u043e\u0431\u0440\u044b\u0432\u043e\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0441\u0434\u0432\u0438\u0433\u0430 \u043b\u043e\u0433\u0438\u0442\u0430 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u0439 \u0441\u0438\u043b\u0435 \u0441\u0430\u043c\u043e\u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u03b2.<\/em> <\/p>\n<p><strong>[\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f] 93 % \u043f\u0440\u043e\u0442\u0438\u0432 8.5 %.<\/strong> \u0423 Qwen \u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430, \u0438 \u0435\u0451 \u043e\u0441\u043b\u0430\u0431\u043b\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0442\u0430\u043a \u0443\u043c\u0435\u043b\u0430 \u0434\u043e\u0432\u0435\u0441\u0442\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430. \u0421\u0430\u043c\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 Astra \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442: 576 \u0438\u0437 579 \u00ab\u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0445\u00bb \u0437\u0430\u0434\u0430\u0447 \u2014 \u0431\u044b\u0432\u0448\u0438\u0435 \u043e\u0431\u0440\u044b\u0432\u044b, \u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0440\u0430\u043d\u044c\u0448\u0435 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c [4]. \u0423 Gemma \u043b\u043e\u0432\u0443\u0448\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u0434\u0432\u0438\u0433\u0430\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e.<\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 2. \u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0432\u044b\u043a, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u0445\u0435\u043c\u0443 \u043c\u0430\u0448\u0438\u043d\u043a\u0435<\/h3>\n<h4>2.1. \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442<\/h4>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e]<\/strong> \u0415\u0441\u043b\u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u2014 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"P\" alt=\"P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44c\/44c29edb103a2872f519ad0c9a0fdaaa.svg\" width=\"14\" height=\"12\" data-width=\"1.699\" data-height=\"1.545\" style=\"width: 1.699ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44c\/44c29edb103a2872f519ad0c9a0fdaaa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/44c\/44c29edb103a2872f519ad0c9a0fdaaa.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"Px\" alt=\"Px\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7e\/d7e2c9feaded425c8f73763ccf7397a2.svg\" width=\"24\" height=\"13\" data-width=\"2.993\" data-height=\"1.57\" data-vertical-align=\"-0.025\" style=\"width: 2.993ex; height: 1.57ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7e\/d7e2c9feaded425c8f73763ccf7397a2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d7\/d7e\/d7e2c9feaded425c8f73763ccf7397a2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0437 \u0441\u0442\u0430\u0440\u043e\u0433\u043e <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.294ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"Y\" alt=\"Y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57c\/57cec4137b614c87cb4e24a3d003a3e0.svg\" width=\"14\" height=\"12\" data-width=\"1.726\" data-height=\"1.545\" style=\"width: 1.726ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57c\/57cec4137b614c87cb4e24a3d003a3e0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/57c\/57cec4137b614c87cb4e24a3d003a3e0.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 \u043d\u0451\u043c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0431\u044b\u043b\u043e: <img decoding=\"async\" class=\"formula inline\" source=\"I(Y;Px) \\le I(Y;x)\" alt=\"I(Y;Px) \\le I(Y;x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a91\/a9111cc4537b336791a247a78265f350.svg\" width=\"149\" height=\"18\" data-width=\"18.57\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 18.57ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a91\/a9111cc4537b336791a247a78265f350.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a91\/a9111cc4537b336791a247a78265f350.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 (<img decoding=\"async\" class=\"formula inline\" source=\"\\operatorname{rank}P=d-1\" alt=\"\\operatorname{rank}P=d-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/307\/3078aa98661a6ece711c33068f6304ff.svg\" width=\"117\" height=\"18\" data-width=\"14.637\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 14.637ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/307\/3078aa98661a6ece711c33068f6304ff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/307\/3078aa98661a6ece711c33068f6304ff.svg 781w\" loading=\"lazy\" decode=\"async\"\/>).<\/p>\n<p><strong>\u0427\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430.<\/strong> \u0421\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u0435\u0442\u0430 \u044d\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u0440\u0430\u0432\u043a\u0430 \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=6\" alt=\"\\alpha=6\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0430. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0438 \u0442\u0430\u043a \u0435\u0441\u0442\u044c \u0432 \u043f\u0440\u043e\u043c\u043f\u0442\u0435, \u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 <strong>\u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f<\/strong>, \u0430 \u043d\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u00abusable information\u00bb \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438 [5], \u0438 \u0442\u0430\u043c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0443 \u043c\u0435\u043d\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 <strong>[\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong>: \u043e\u0434\u043d\u0430 \u043e\u0441\u044c \u0441 \u043e\u0434\u043d\u0438\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0442\u044c <em>\u0440\u0435\u0436\u0438\u043c<\/em> (\u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c\u00bb \/ \u00ab\u0432\u044b\u0445\u043e\u0434\u0438\u0442\u044c\u00bb), \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 <em>\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/em>, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0443\u044e \u043c\u043d\u043e\u0433\u043e\u0437\u043d\u0430\u0447\u043d\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443. \u0423 Gemma \u043e\u0448\u0438\u0431\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435, \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0443\u0437\u043a\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u043d\u0435\u0442, \u0438 \u044d\u0442\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441 \u0435\u0451 \u043f\u0440\u043e\u0432\u0430\u043b\u043e\u043c.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0432\u044b\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0433\u0430\u0441\u0438\u0442\u044c \u043c\u0435\u0448\u0430\u044e\u0449\u0438\u0439 \u0448\u0443\u043c, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0443\u0447\u0438\u0442\u044c. Qwen \u0443\u043c\u0435\u043b\u0430 \u0440\u0435\u0448\u0430\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u043c\u043e\u0433\u043b\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u0443\u0431\u0440\u0430\u043b\u0430 \u043f\u043e\u043c\u0435\u0445\u0443. Gemma \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0430\u043c\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445, \u0430 \u00ab\u0433\u0434\u0435 \u0432\u044b\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c \u0443 \u043d\u0435\u0443\u043c\u0435\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u00bb, \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442.<\/p>\n<\/blockquote>\n<h4>2.2. \u041c\u0430\u0448\u0438\u043d\u043a\u0430: \u0442\u0443\u0442 \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0445\u0435\u043c\u0443<\/h4>\n<p><strong>[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e: \u044f\u0432\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f]<\/strong> \u0423 \u043c\u0430\u0448\u0438\u043d\u043a\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f: \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043a\u0443\u0441\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0440\u0443\u0447\u043d\u0443\u044e. \u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u00ab\u0435\u0441\u043b\u0438 \u2014 \u0442\u043e\u00bb \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0438\u0437 \u0434\u0432\u0443\u0445 ReLU: \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"a=(x_{\\text{\u043f\u043e\u0440\u043e\u0433}}-x_{\\text{\u043a\u043e\u043b\u0435\u0441\u0430}})\/\\varepsilon\" alt=\"a=(x_{\\text{\u043f\u043e\u0440\u043e\u0433}}-x_{\\text{\u043a\u043e\u043b\u0435\u0441\u0430}})\/\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eef\/eef753456b339dd102ebfd58a45965bd.svg\" width=\"196\" height=\"19\" data-width=\"24.448\" data-height=\"2.417\" data-vertical-align=\"-0.643\" style=\"width: 24.448ex; height: 2.417ex; vertical-align: -0.643ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eef\/eef753456b339dd102ebfd58a45965bd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/eef\/eef753456b339dd102ebfd58a45965bd.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g = \\mathrm{ReLU}(a) - \\mathrm{ReLU}(a-1) \\in [0, 1].\" alt=\"g = \\mathrm{ReLU}(a) - \\mathrm{ReLU}(a-1) \\in [0, 1].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/51\/510\/510d0a26244d763597f1b3191abb56a4.svg\" width=\"289\" height=\"18\" data-width=\"36.155\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 36.155ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/51\/510\/510d0a26244d763597f1b3191abb56a4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/51\/510\/510d0a26244d763597f1b3191abb56a4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0435\u0439\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b2f\/b2f5ff47436671b6e533d8dc3614845d.svg\" width=\"12\" height=\"12\" data-width=\"1.079\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.079ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b2f\/b2f5ff47436671b6e533d8dc3614845d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b2\/b2f\/b2f5ff47436671b6e533d8dc3614845d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0432\u0435\u043d 0 \u043f\u043e \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043f\u043e\u0440\u043e\u0433\u0430 \u0438 1 \u043f\u043e \u0434\u0440\u0443\u0433\u0443\u044e. \u0417\u0430\u0442\u0435\u043c \u043a \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"M\\cdot g\\cdot(\\text{\u0432\u0435\u043a\u0442\u043e\u0440 \u00ab\u043d\u0430\u0437\u0430\u0434\u00bb})\" alt=\"M\\cdot g\\cdot(\\text{\u0432\u0435\u043a\u0442\u043e\u0440 \u00ab\u043d\u0430\u0437\u0430\u0434\u00bb})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d9\/9d94a6c1ced7c4aa1adc37b139f68436.svg\" width=\"214\" height=\"18\" data-width=\"26.699\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 26.699ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d9\/9d94a6c1ced7c4aa1adc37b139f68436.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d9\/9d94a6c1ced7c4aa1adc37b139f68436.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg\" width=\"19\" height=\"12\" data-width=\"2.378\" data-height=\"1.545\" style=\"width: 2.378ex; height: 1.545ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/696\/69691c7bdcc3ce6d5d8a1361f22d04ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u043a\u0430 \u0433\u0435\u0439\u0442 \u043e\u0442\u043a\u0440\u044b\u0442, \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u0430 \u043a\u043e\u0433\u0434\u0430 \u0437\u0430\u043a\u0440\u044b\u0442, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u041f\u044f\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 tanh-\u0441\u043b\u043e\u0451\u0432 \u0441\u0438\u0433\u043d\u0430\u043b \u0433\u0435\u0439\u0442\u0430 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442: \u043d\u0430 \u043c\u0430\u043b\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 tanh \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e, \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043f\u043e\u0447\u0442\u0438 \u0437\u043d\u0430\u043a, \u0438 \u0434\u043b\u044f \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u00ab\u0434\u0430\/\u043d\u0435\u0442\u00bb \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0438 \u0442\u043e, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435. \u041f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, Astra \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044e\u043d\u0438\u0442\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435.<\/p>\n<p><strong>[\u041c\u043e\u044f \u043e\u0446\u0435\u043d\u043a\u0430]<\/strong> \u0422\u0440\u0438 \u044e\u043d\u0438\u0442\u0430 \u043d\u0430 \u0441\u043b\u043e\u0439 \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 680 \u0432\u0435\u0441\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u043c \u0441\u043b\u043e\u0435 \u043d\u0430 \u044e\u043d\u0438\u0442, \u043e\u043a\u043e\u043b\u043e 256 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0438 16 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434. \u0418\u0442\u043e\u0433\u043e \u2248 5 900 \u0432\u0435\u0441\u043e\u0432, \u0438\u043b\u0438 ~3.4 % \u043e\u0442 171 664. \u042d\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0441 3.5 % \u0438\u0437 \u043f\u043e\u0441\u0442\u0430; \u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043e\u0441\u0442\u0430\u0432 \u043f\u0440\u0430\u0432\u043a\u0438 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u043c\u0430\u0448\u0438\u043d\u043a\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043e\u0434\u043d\u043e \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u2014 \u00ab\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0434\u0430\u0439 \u043d\u0430\u0437\u0430\u0434, \u043f\u043e\u0442\u043e\u043c \u0433\u0430\u0437\u00bb. \u0422\u0430\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0443\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0430\u0440\u0443 \u00ab\u0435\u0441\u043b\u0438 \u2014 \u0442\u043e\u00bb \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b\u0441\u044f\u0447 \u0447\u0438\u0441\u0435\u043b, \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438. \u041c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443 \u0442\u0430\u043a \u043d\u0435 \u0432\u043f\u0438\u0448\u0435\u0448\u044c: \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430.<\/p>\n<\/blockquote>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 3. \u0420\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0438 \u0438\u0437 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u044b \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u043e<\/h3>\n<p><strong>ROME [6]<\/strong> \u2014 \u0442\u043e\u0436\u0435 \u043f\u0440\u0430\u0432\u043a\u0430 \u0440\u0430\u043d\u0433\u0430 1, \u043d\u043e \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e. ROME <em>\u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442<\/em> \u043d\u043e\u0432\u044b\u0439 \u0444\u0430\u043a\u0442: \u0438\u0449\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 MLP-\u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u043b\u044e\u0447 <img decoding=\"async\" class=\"formula inline\" source=\"k_\\star\" alt=\"k_\\star\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/901\/901f3be9cc8fea0a25f53c1fd2a371ab.svg\" width=\"17\" height=\"18\" data-width=\"2.166\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.166ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/901\/901f3be9cc8fea0a25f53c1fd2a371ab.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/901\/901f3be9cc8fea0a25f53c1fd2a371ab.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u00ab\u042d\u0439\u0444\u0435\u043b\u0435\u0432\u0430 \u0431\u0430\u0448\u043d\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u2026\u00bb) \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u043e\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"v_\\star\" alt=\"v_\\star\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b7\/9b7d5d77d9d5c1ae7efd455b242b4634.svg\" width=\"17\" height=\"18\" data-width=\"2.085\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 2.085ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b7\/9b7d5d77d9d5c1ae7efd455b242b4634.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b7\/9b7d5d77d9d5c1ae7efd455b242b4634.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u044e\u0447\u0438 \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e. \u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0441 \u043e\u0434\u043d\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0434\u0430\u0451\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0443<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat W = W + \\frac{(v_\\star - Wk_\\star)\\,(C^{-1}k_\\star)^\\top}{(C^{-1}k_\\star)^\\top k_\\star},\" alt=\"\\hat W = W + \\frac{(v_\\star - Wk_\\star)\\,(C^{-1}k_\\star)^\\top}{(C^{-1}k_\\star)^\\top k_\\star},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce2\/ce28c3f7cdd03b845b692c17e1050d86.svg\" width=\"265\" height=\"46\" data-width=\"33.104\" data-height=\"5.694\" data-vertical-align=\"-2.281\" style=\"width: 33.104ex; height: 5.694ex; vertical-align: -2.281ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce2\/ce28c3f7cdd03b845b692c17e1050d86.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce2\/ce28c3f7cdd03b845b692c17e1050d86.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg\" width=\"14\" height=\"13\" data-width=\"1.719\" data-height=\"1.645\" data-vertical-align=\"-0.05\" style=\"width: 1.719ex; height: 1.645ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0d\/0d6\/0d61f8370cad1d412f80b84d143e1257.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u00ab\u043e\u0431\u044b\u0447\u043d\u044b\u0445\u00bb \u043a\u043b\u044e\u0447\u0435\u0439. \u0427\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u2014 \u00ab\u0447\u0435\u0433\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442\u00bb \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0444\u0430\u043a\u0442\u0430, \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u2014 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"C^{-1}\" alt=\"C^{-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a47\/a47dc6dce0f5dcbdf98b9f9acaedbd10.svg\" width=\"33\" height=\"16\" data-width=\"4.07\" data-height=\"2.05\" data-vertical-align=\"-0.05\" style=\"width: 4.07ex; height: 2.05ex; vertical-align: -0.05ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a47\/a47dc6dce0f5dcbdf98b9f9acaedbd10.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a4\/a47\/a47dc6dce0f5dcbdf98b9f9acaedbd10.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0430\u0432\u043a\u0443 \u0442\u0443\u0434\u0430, \u0433\u0434\u0435 \u043e\u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u0435\u0448\u0430\u0435\u0442 \u0441\u0442\u0430\u0440\u044b\u043c \u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u044f\u043c. MEMIT [7] \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442 \u0442\u043e \u0436\u0435 \u043d\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0444\u0430\u043a\u0442\u043e\u0432. \u041e\u0431\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 <em>\u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u0438<\/em>, \u0430 \u043d\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0438 \u044d\u0442\u043e \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043a \u0447\u0430\u0441\u0442\u0438 2.<\/p>\n<blockquote>\n<p><strong>\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443:<\/strong> \u0430\u0431\u043b\u044f\u0446\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u043b\u043e\u044e \u00ab\u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0438\u0448\u0438 \u0432 \u044d\u0442\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443\u00bb, ROME \u2014 \u00ab\u043d\u0430 \u044d\u0442\u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u0432\u0435\u0447\u0430\u0439 \u0432\u043e\u0442 \u0442\u0430\u043a\u00bb. \u042d\u0442\u043e \u0434\u0432\u0430 \u0437\u0435\u0440\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0445\u0438\u0440\u0443\u0440\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0438\u0451\u043c\u0430 \u043d\u0430\u0434 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439.<\/p>\n<\/blockquote>\n<p><strong>\u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u0430\u0437\u0430 [8].<\/strong> Arditi \u0438 \u0434\u0440. \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u0438\u0437\u0443\u044e\u0442 <em>\u0432\u0441\u0435<\/em> \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043f\u0438\u0448\u0443\u0449\u0438\u0435 \u0432 \u043f\u043e\u0442\u043e\u043a, \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"W - \\hat r\\hat r^\\top W\" alt=\"W - \\hat r\\hat r^\\top W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/40\/406\/40644982f21f62948c9352fe67b867c1.svg\" width=\"88\" height=\"21\" data-width=\"10.981\" data-height=\"2.569\" data-vertical-align=\"-0.719\" style=\"width: 10.981ex; height: 2.569ex; vertical-align: -0.719ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/40\/406\/40644982f21f62948c9352fe67b867c1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/40\/406\/40644982f21f62948c9352fe67b867c1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0440\u0430\u0432\u043a\u0430 Astra \u0438\u0437 50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0435\u0435 (2 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430, <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=6\" alt=\"\\alpha=6\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cde\/cdeefed0ff47b1acc444190d218a267a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>). \u041f\u0440\u0430\u0432\u043a\u0430 \u0438\u0437 10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0431\u043b\u0438\u0436\u0435 \u043a Arditi: 30 \u043c\u0430\u0442\u0440\u0438\u0446, <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=1.5\" alt=\"\\alpha=1.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f4\/f44\/f441b16cbe83916593920ef9d6c8a19c.svg\" width=\"59\" height=\"18\" data-width=\"7.356\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 7.356ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f4\/f44\/f441b16cbe83916593920ef9d6c8a19c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f4\/f44\/f441b16cbe83916593920ef9d6c8a19c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p><strong>Task arithmetic \u0438 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/strong> \u0412\u0435\u043a\u0442\u043e\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\tau=\\theta_{\\text{ft}}-\\theta_{\\text{pre}}\" alt=\"\\tau=\\theta_{\\text{ft}}-\\theta_{\\text{pre}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/768\/7681498da7ceecd994ff40990f507297.svg\" width=\"102\" height=\"19\" data-width=\"12.789\" data-height=\"2.347\" data-vertical-align=\"-0.608\" style=\"width: 12.789ex; height: 2.347ex; vertical-align: -0.608ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/768\/7681498da7ceecd994ff40990f507297.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/768\/7681498da7ceecd994ff40990f507297.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0442\u044c [9]. \u042d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043b\u0435\u0436\u0430\u0442 \u0432 \u043e\u0434\u043d\u043e\u0439 \u00ab\u0434\u043e\u043b\u0438\u043d\u0435\u00bb \u043b\u043e\u0441\u0441\u0430 (linear mode connectivity [10]). \u0420\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u044d\u0442\u043e\u0439 \u043b\u0438\u043d\u0438\u0438 \u2014 model soups [11], TIES [12], DARE [13], Git Re-Basin [14]. \u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Astra: \u0442\u0430\u043c \u043f\u0440\u0430\u0432\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c, \u0437\u0434\u0435\u0441\u044c \u2014 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p><strong>\u0421\u0443\u043f\u0435\u0440\u043f\u043e\u0437\u0438\u0446\u0438\u044f.<\/strong> \u0412 <img decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg\" width=\"12\" height=\"13\" data-width=\"1.176\" data-height=\"1.593\" data-vertical-align=\"-0.023\" style=\"width: 1.176ex; height: 1.593ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 781w\" loading=\"lazy\" decode=\"async\"\/>-\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u043e\u0447\u0442\u0438 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg\" width=\"12\" height=\"13\" data-width=\"1.176\" data-height=\"1.593\" data-vertical-align=\"-0.023\" style=\"width: 1.176ex; height: 1.593ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043a\u043e\u0441\u0438\u043d\u0443\u0441 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"1\/\\sqrt d\" alt=\"1\/\\sqrt d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b8\/b8a\/b8a1d3bd93589dfdf35b44dc67c1fdfc.svg\" width=\"43\" height=\"23\" data-width=\"5.369\" data-height=\"2.867\" data-vertical-align=\"-0.868\" style=\"width: 5.369ex; height: 2.867ex; vertical-align: -0.868ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b8\/b8a\/b8a1d3bd93589dfdf35b44dc67c1fdfc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b8\/b8a\/b8a1d3bd93589dfdf35b44dc67c1fdfc.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0440\u0438\u0441. 4). \u0421\u0435\u0442\u0438 \u044d\u0442\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0447\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 [15, 16]. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435: \u00ab\u0447\u0438\u0441\u0442\u043e\u0433\u043e\u00bb \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0446\u0438\u043a\u043b\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c, \u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u043b\u0435\u0433\u043a\u0430 \u0437\u0430\u0434\u0435\u0432\u0430\u0435\u0442 \u0441\u043e\u0442\u043d\u0438 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0430\u0436\u0435\u043d \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c Astra \u0441\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0439 \u0436\u0435 \u043d\u043e\u0440\u043c\u044b [4].<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/6e\/c7\/1b\/6ec71bf1756da98d77a652cd2634b1cd.png\" alt=\"\u041a\u043e\u0441\u0438\u043d\u0443\u0441\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/6e\/c7\/1b\/6ec71bf1756da98d77a652cd2634b1cd.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/6e\/c7\/1b\/6ec71bf1756da98d77a652cd2634b1cd.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041a\u043e\u0441\u0438\u043d\u0443\u0441\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 4. \u0421\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044f: \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u044b \u043c\u0435\u0436\u0434\u0443 2 000 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"d=64, 1024, 4096\" alt=\"d=64, 1024, 4096\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/832\/832572cab93e1ecac726197f34aa1edd.svg\" width=\"140\" height=\"16\" data-width=\"17.518\" data-height=\"2.009\" data-vertical-align=\"-0.439\" style=\"width: 17.518ex; height: 2.009ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/832\/832572cab93e1ecac726197f34aa1edd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/832\/832572cab93e1ecac726197f34aa1edd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/em> <\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 4. \u041a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0435\u0441\u0430: Qwen, Gemma, Llama, MoE<\/h3>\n<p>\u042d\u0442\u043e \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430.<\/p>\n<h4>4.1. \u0413\u0434\u0435 \u043b\u0435\u0436\u0430\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b<\/h4>\n<p><strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong> \u042f \u043d\u0435 \u0441\u0442\u0430\u043b \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c, \u0430 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 safetensors \u0432\u0441\u0435\u0445 \u0448\u0430\u0440\u0434\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 HTTP Range-\u0437\u0430\u043f\u0440\u043e\u0441\u044b (<code>code\/param_census.py<\/code>). \u042d\u0442\u043e \u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u044b \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u0431\u0435\u0437 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u0441\u0430\u043c\u0438\u0445 \u0432\u0435\u0441\u043e\u0432. Gemma 3 \u0438 Llama \u0443 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u044b \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0432\u0437\u044f\u0442\u044b \u0438\u0437 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0435\u0440\u043a\u0430\u043b <code>unsloth\/gemma-3-270m<\/code>, <code>unsloth\/Llama-3.2-1B<\/code>, <code>NousResearch\/Meta-Llama-3.1-8B<\/code>. \u041a\u043e\u043d\u0444\u0438\u0433\u0438 \u0432 \u044d\u0442\u0438\u0445 \u0437\u0435\u0440\u043a\u0430\u043b\u0430\u0445 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430\u043c, \u043d\u043e \u043f\u043e\u0431\u0438\u0442\u043e\u0432\u0443\u044e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u0441\u0435\u0433\u043e (\u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f)<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438\/lm_head<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435<\/p>\n<\/th>\n<th>\n<p align=\"left\">MLP<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Gemma 3 270M<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.268B<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>62.6 %<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">11.0 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.4 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen2.5-0.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.494B<\/p>\n<\/td>\n<td>\n<p align=\"left\">27.6 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.9 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.5 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3-0.6B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.752B*<\/p>\n<\/td>\n<td>\n<p align=\"left\">41.4 %*<\/p>\n<\/td>\n<td>\n<p align=\"left\">23.4 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">35.2 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3.5-0.8B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.873B<\/p>\n<\/td>\n<td>\n<p align=\"left\">29.1 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">26.8 % (\u0432\u043a\u043b. \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435)<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.3 % (+13.9 % vision\/MTP)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Llama 3.2 1B<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.236B<\/p>\n<\/td>\n<td>\n<p align=\"left\">21.3 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.6 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">65.2 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3-8B<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.191B<\/p>\n<\/td>\n<td>\n<p align=\"left\">15.2 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">18.4 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">66.4 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Llama 3.1 8B<\/p>\n<\/td>\n<td>\n<p align=\"left\">8.030B<\/p>\n<\/td>\n<td>\n<p align=\"left\">13.1 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">16.7 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">70.2 %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Mixtral 8x7B<\/p>\n<\/td>\n<td>\n<p align=\"left\">46.7B<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.9 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">96.6 % (\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Qwen3-30B-A3B<\/p>\n<\/td>\n<td>\n<p align=\"left\">30.5B<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.0 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.0 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">95.0 % (\u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">DeepSeek-V3<\/p>\n<\/td>\n<td>\n<p align=\"left\">684.5B**<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.4 %<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.7 % (MLA)<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.2 % routed + 0.4 % shared + 0.2 % dense<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>* \u0412 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442\u0435 Qwen3-0.6B \u043b\u0435\u0436\u0430\u0442 \u0438 <code>embed_tokens<\/code>, \u0438 <code>lm_head<\/code>, \u0445\u043e\u0442\u044f \u0432 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 <code>tie_word_embeddings: true<\/code>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0443\u0447\u0442\u0435\u043d\u044b \u0434\u0432\u0430\u0436\u0434\u044b. ** \u0412\u043a\u043b\u044e\u0447\u0430\u044f MTP-\u043c\u043e\u0434\u0443\u043b\u044c. \u0411\u0435\u0437 \u043d\u0435\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f 671B, \u043a\u0430\u043a \u0432 \u0442\u0435\u0445\u043e\u0442\u0447\u0451\u0442\u0435 [17].<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/42\/bc\/8f\/42bc8f7b91cce49a0a80d9d5bdbda67a.png\" alt=\"\u0414\u043e\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/42\/bc\/8f\/42bc8f7b91cce49a0a80d9d5bdbda67a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/42\/bc\/8f\/42bc8f7b91cce49a0a80d9d5bdbda67a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0414\u043e\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 5. \u0414\u043e\u043b\u044f \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430\u043c, \u043f\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c safetensors.<\/em> <\/p>\n<p>\u0427\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u0442\u0430\u0431\u043b\u0438\u0446\u044b:<\/p>\n<ul>\n<li>\n<p><strong>Gemma 3 270M \u2014 \u044d\u0442\u043e \u043d\u0430\u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u0441\u043b\u043e\u0432\u0430\u0440\u044c.<\/strong> <img decoding=\"async\" class=\"formula inline\" source=\"262\\,144\\times640 = 167.8\" alt=\"262\\,144\\times640 = 167.8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/704\/70442da9cd2402deaaecf7d8af9977f9.svg\" width=\"172\" height=\"18\" data-width=\"21.495\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 21.495ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/704\/70442da9cd2402deaaecf7d8af9977f9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/704\/70442da9cd2402deaaecf7d8af9977f9.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u041c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0443\u0448\u043b\u0438 \u043d\u0430 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433, \u0438 \u043d\u0430 18 \u0441\u043b\u043e\u0451\u0432 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0435\u0440\u0430 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e 100 \u041c. \u0414\u043b\u044f \u043f\u0440\u0430\u0432\u043a\u0438 \u00ab\u0438\u0437\u043d\u0443\u0442\u0440\u0438\u00bb \u044d\u0442\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u00ab\u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u044f\u0441\u0430\u00bb, \u0430 \u043f\u0440\u0430\u0432\u043a\u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0431\u044b\u043b\u0438 \u0437\u0430\u043f\u0440\u0435\u0449\u0435\u043d\u044b. <strong>[\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong> \u042d\u0442\u043e \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u0434\u043e\u0432\u043e\u0434 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0443 Gemma \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0447\u0435\u0433\u043e \u00ab\u0440\u0430\u0437\u0431\u043b\u043e\u043a\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u00bb.<\/p>\n<\/li>\n<li>\n<p><strong>Qwen3.5-0.8B \u2014 \u0433\u0438\u0431\u0440\u0438\u0434.<\/strong> \u041f\u043e <code>layer_types<\/code> \u0438\u0437 \u043a\u043e\u043d\u0444\u0438\u0433\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 \u0441\u043b\u043e\u0439 \u2014 \u043f\u043e\u043b\u043d\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 (<code>full_attention_interval: 4<\/code>), \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u2014 <code>linear_attention<\/code>. \u0412 \u043a\u043e\u043d\u0444\u0438\u0433\u0435 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u044f\u0442 <code>attn_output_gate: true<\/code>, GQA 8 \u0433\u043e\u043b\u043e\u0432 \u0437\u0430\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 2 KV-\u0433\u043e\u043b\u043e\u0432\u044b \u043f\u0440\u0438 <code>head_dim<\/code> 256, \u0441\u043b\u043e\u0432\u0430\u0440\u044c 248 320 \u0438 tied-\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438. \u0411\u043b\u043e\u043a MLP \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 SwiGLU 1024 \u2192 3584 \u2192 1024, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0438 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043a \u043d\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p><strong>\u041f\u043b\u043e\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/strong> (Llama 3.1 8B: <img decoding=\"async\" class=\"formula inline\" source=\"d=4096\" alt=\"d=4096\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0e\/0e6\/0e69c82bb8d03dd7b6e158a2622bf229.svg\" width=\"70\" height=\"14\" data-width=\"8.718\" data-height=\"1.756\" data-vertical-align=\"-0.186\" style=\"width: 8.718ex; height: 1.756ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0e\/0e6\/0e69c82bb8d03dd7b6e158a2622bf229.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0e\/0e6\/0e69c82bb8d03dd7b6e158a2622bf229.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, 32 \u0441\u043b\u043e\u044f, 32 Q-\u0433\u043e\u043b\u043e\u0432\u044b \/ 8 KV, FFN 14 336). \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0441\u043b\u043e\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"2\\cdot4096^2+2\\cdot4096\\cdot1024=41.9\" alt=\"2\\cdot4096^2+2\\cdot4096\\cdot1024=41.9\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c69\/c6968f2320f5955292a79d84af097796.svg\" width=\"252\" height=\"21\" data-width=\"31.534\" data-height=\"2.565\" data-vertical-align=\"-0.717\" style=\"width: 31.534ex; height: 2.565ex; vertical-align: -0.717ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c69\/c6968f2320f5955292a79d84af097796.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c6\/c69\/c6968f2320f5955292a79d84af097796.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u041c, \u00d732 = 1 342 \u041c; MLP <img decoding=\"async\" class=\"formula inline\" source=\"3\\cdot4096\\cdot14336=176.2\" alt=\"3\\cdot4096\\cdot14336=176.2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a47053d866338a247dbf918cd1b21b5.svg\" width=\"182\" height=\"18\" data-width=\"22.752\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 22.752ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a47053d866338a247dbf918cd1b21b5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1a\/1a4\/1a47053d866338a247dbf918cd1b21b5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u041c, \u00d732 = 5 637 \u041c. \u041e\u0431\u0430 \u0447\u0438\u0441\u043b\u0430 \u0442\u043e\u0447\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c\u0438. \u041e\u043a\u043e\u043b\u043e 70 % \u0432\u0435\u0441\u043e\u0432 \u2014 \u0432 MLP, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0432 \u00ab\u043a\u043b\u044e\u0447\u0430\u0445 \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445\u00bb \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 (3.2).<\/p>\n<\/li>\n<\/ul>\n<h4>4.2. \u041a\u0430\u043a MoE \u043c\u0435\u043d\u044f\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u0443<\/h4>\n<p>\u0412 MoE \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e MLP \u0441\u0442\u043e\u0438\u0442 \u043d\u0430\u0431\u043e\u0440 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"E_j\" alt=\"E_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3d\/b3d4f52d241a1831b815b5568d7101f5.svg\" width=\"20\" height=\"18\" data-width=\"2.517\" data-height=\"2.204\" data-vertical-align=\"-0.666\" style=\"width: 2.517ex; height: 2.204ex; vertical-align: -0.666ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3d\/b3d4f52d241a1831b815b5568d7101f5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3d\/b3d4f52d241a1831b815b5568d7101f5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u0440\u043e\u0443\u0442\u0435\u0440:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathrm{MoE}(x)=\\sum_{j\\in\\mathrm{TopK}(Rx)} \\pi_j(x)\\,E_j(x)=\\sum_j\\pi_j(x)\\sum_i h^{(j)}_i(x)\\,w^{(j)}_i .\" alt=\"\\mathrm{MoE}(x)=\\sum_{j\\in\\mathrm{TopK}(Rx)} \\pi_j(x)\\,E_j(x)=\\sum_j\\pi_j(x)\\sum_i h^{(j)}_i(x)\\,w^{(j)}_i .\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/27\/274\/274b3a44fc58868bb1879922e3ba4e92.svg\" width=\"469\" height=\"45\" data-width=\"58.564\" data-height=\"5.622\" data-vertical-align=\"-2.245\" style=\"width: 58.564ex; height: 5.622ex; vertical-align: -2.245ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/27\/274\/274b3a44fc58868bb1879922e3ba4e92.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/27\/274\/274b3a44fc58868bb1879922e3ba4e92.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 3.2 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f, \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0442\u0435\u043f\u0435\u0440\u044c \u0435\u0449\u0451 \u0438 \u0433\u0435\u0439\u0442\u044f\u0442\u0441\u044f \u0440\u043e\u0443\u0442\u0435\u0440\u043e\u043c. \u041f\u043e \u043a\u043e\u043d\u0444\u0438\u0433\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>Mixtral: 8 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, top-2 [18];<\/p>\n<\/li>\n<li>\n<p>Qwen3-30B-A3B: 128 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432, 8 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445, <code>moe_intermediate_size<\/code> 768;<\/p>\n<\/li>\n<li>\n<p>DeepSeek-V3: 256 routed + 1 shared \u044d\u043a\u0441\u043f\u0435\u0440\u0442, 8 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0445, \u043f\u0435\u0440\u0432\u044b\u0435 3 \u0441\u043b\u043e\u044f \u043f\u043b\u043e\u0442\u043d\u044b\u0435, MLA-\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441 <code>kv_lora_rank<\/code> 512 [17].<\/p>\n<\/li>\n<\/ul>\n<p><strong>[\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong> \u0414\u043b\u044f \u00ab\u043f\u0440\u0430\u0432\u043e\u043a \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u0435\u0441\u043e\u0432\u00bb MoE \u0434\u0432\u043e\u044f\u043a. \u0421 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, 97 % \u0432\u0435\u0441\u043e\u0432 \u043b\u0435\u0436\u0430\u0442 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u0445, \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0442 \u0432\u0438\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u0442\u043e\u043a\u0435\u043d\u043e\u0432, \u0442\u0430\u043a \u0447\u0442\u043e \u043f\u0440\u0430\u0432\u043a\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 \u043f\u043e\u0442\u043e\u043a\u0435 \u043f\u0438\u0448\u0443\u0442 \u0434\u0435\u0441\u044f\u0442\u043a\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043e\u0432. \u0427\u0442\u043e\u0431\u044b \u0443\u0431\u0440\u0430\u0442\u044c \u0435\u0433\u043e \u0438\u0437 \u043f\u043e\u0442\u043e\u043a\u0430, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u0445: <img decoding=\"async\" class=\"formula inline\" source=\"256\\times 58\" alt=\"256\\times 58\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a85\/a8576cfc6848be330ef26fbaa82371d5.svg\" width=\"67\" height=\"18\" data-width=\"8.422\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 8.422ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a85\/a8576cfc6848be330ef26fbaa82371d5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a85\/a8576cfc6848be330ef26fbaa82371d5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u0430\u0442\u0440\u0438\u0446 down \u0443 DeepSeek-V3. \u0418\u043d\u0430\u0447\u0435 \u0440\u043e\u0443\u0442\u0435\u0440 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u0438\u0442 \u0442\u043e\u043a\u0435\u043d \u0432 \u043d\u0435\u0442\u0440\u043e\u043d\u0443\u0442\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430.<\/p>\n<h4>4.3. \u041a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0441\u0430\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u044b<\/h4>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/cf\/75\/53\/cf7553a13947c1cf34196b46bebc1221.png\" alt=\"\u0421\u043f\u0435\u043a\u0442\u0440\u044b down_proj\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/cf\/75\/53\/cf7553a13947c1cf34196b46bebc1221.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/cf\/75\/53\/cf7553a13947c1cf34196b46bebc1221.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0421\u043f\u0435\u043a\u0442\u0440\u044b down_proj<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 6. \u0421\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 <\/em><code><em>down_proj<\/em><\/code><em> \u043f\u043e \u0432\u0441\u0435\u043c \u0441\u043b\u043e\u044f\u043c \u0442\u0440\u0451\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0442 \u0441\u0432\u0435\u0442\u043b\u043e\u0433\u043e \u043a \u0442\u0451\u043c\u043d\u043e\u043c\u0443 \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435.<\/em> <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/29\/54\/de\/2954def9a8bc63cc94decb14d2c7cfe0.png\" alt=\"\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0430\u043d\u0433\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/29\/54\/de\/2954def9a8bc63cc94decb14d2c7cfe0.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/29\/54\/de\/2954def9a8bc63cc94decb14d2c7cfe0.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0430\u043d\u0433<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 7. \u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0430\u043d\u0433 <img decoding=\"async\" class=\"formula inline\" source=\"\\exp(H(\\sigma^2\/\\sum\\sigma^2))\" alt=\"\\exp(H(\\sigma^2\/\\sum\\sigma^2))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3dc\/3dc82af3011ce6479687b5cd4c4f9629.svg\" width=\"150\" height=\"25\" data-width=\"18.698\" data-height=\"3.167\" data-vertical-align=\"-1.018\" style=\"width: 18.698ex; height: 3.167ex; vertical-align: -1.018ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3dc\/3dc82af3011ce6479687b5cd4c4f9629.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3d\/3dc\/3dc82af3011ce6479687b5cd4c4f9629.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439.<\/em> <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/42\/31\/90\/4231909f2cdd657cd477a501f12e4579.png\" alt=\"\u041d\u043e\u0440\u043c\u044b\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/42\/31\/90\/4231909f2cdd657cd477a501f12e4579.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/42\/31\/90\/4231909f2cdd657cd477a501f12e4579.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041d\u043e\u0440\u043c\u044b<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 8. \u0424\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u043e\u0432\u0430 \u043d\u043e\u0440\u043c\u0430 <\/em><code><em>down_proj<\/em><\/code><em> \u043f\u043e \u0441\u043b\u043e\u044f\u043c.<\/em> <\/p>\n<p><strong>[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440]<\/strong> \u0423 Qwen3.5-0.8B \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0440\u0430\u043d\u0433 <code>down_proj<\/code> (1024\u00d73584) \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 690\u2013854 \u0438\u0437 1024 \u0438 \u0438\u043c\u0435\u0435\u0442 U-\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0439 \u043f\u0440\u043e\u0444\u0438\u043b\u044c \u0441 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u043c \u043f\u043e\u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 (\u0441\u043b\u043e\u0438 9\u201313). \u0423 Qwen2.5-0.5B \u2014 638\u2013787 \u0438\u0437 896, \u0442\u043e\u0436\u0435 \u0441 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u043c \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435. \u041c\u0430\u0442\u0440\u0438\u0446\u044b \u0434\u0430\u043b\u0435\u043a\u0438 \u043e\u0442 \u043d\u0438\u0437\u043a\u043e\u0440\u0430\u043d\u0433\u043e\u0432\u043e\u0433\u043e \u0432\u0438\u0434\u0430: \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0451 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u043d\u0433\u0430 1 \u043d\u0430 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430\u0445 \u2014 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u043d\u0430 \u0444\u043e\u043d\u0435 \u00ab\u043f\u043b\u043e\u0442\u043d\u043e\u0439\u00bb \u043c\u0430\u0442\u0440\u0438\u0446\u044b: \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0444\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u043e\u0432\u0430 \u043d\u043e\u0440\u043c\u0430 \u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b\u0430 10.6 % \u0438 8.1 % \u043e\u0442 \u0432\u0441\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043d\u043e \u0432\u0441\u044f \u043e\u043d\u0430 \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0435\u043d\u0430 \u0432 \u043e\u0434\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0438\u0437 1024. \u041d\u043e\u0440\u043c\u044b \u0443 Qwen3.5 \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b \u043f\u043e \u0433\u043b\u0443\u0431\u0438\u043d\u0435 (15\u201318). \u0423 Gemma \u043e\u043d\u0438 \u00ab\u043f\u0438\u043b\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435\u00bb (14\u201325), \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u043e\u0438 0, 5, 12: 5 \u0438 11 \u2014 \u0441\u043b\u043e\u0438 \u0441 \u043f\u043e\u043b\u043d\u044b\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435\u043c, \u0430 0 \u0438 12 \u2014 \u043d\u0435\u0442. \u041f\u0440\u044f\u043c\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u044f \u043d\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/2c\/45\/e2\/2c45e2239be4d462f41fa3aac8a6fefe.png\" alt=\"\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/2c\/45\/e2\/2c45e2239be4d462f41fa3aac8a6fefe.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/2c\/45\/e2\/2c45e2239be4d462f41fa3aac8a6fefe.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 9. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 Qwen3.5-0.8B (\u0441\u043b\u043e\u0439 15 \u0438 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433), \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0448\u043a\u0430\u043b\u0430 \u043f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u0438.<\/em> <\/p>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u044f\u0436\u0451\u043b\u043e\u0445\u0432\u043e\u0441\u0442\u044b\u0435. \u042d\u043a\u0441\u0446\u0435\u0441\u0441 \u0440\u0430\u0432\u0435\u043d 4.7 \u0443 <code>down_proj<\/code>, 7.7 \u0443 <code>gate_proj<\/code> \u0438 3.4 \u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430 (\u0443 \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u044b 3). \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c <img decoding=\"async\" class=\"formula inline\" source=\"|w|\" alt=\"|w|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3f7\/3f7b165050239c2b0f38f4ca4a74ee77.svg\" width=\"23\" height=\"18\" data-width=\"2.878\" data-height=\"2.26\" data-vertical-align=\"-0.564\" style=\"width: 2.878ex; height: 2.26ex; vertical-align: -0.564ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3f7\/3f7b165050239c2b0f38f4ca4a74ee77.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3f\/3f7\/3f7b165050239c2b0f38f4ca4a74ee77.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432 <code>down_proj<\/code> \u0441\u043b\u043e\u044f 15 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 0.18 \u043f\u0440\u0438 \u03c3 = 0.0086, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043a\u043e\u043b\u043e 21\u03c3. \u0414\u043b\u044f \u043f\u0440\u0430\u0432\u043e\u043a \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u00ab\u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0432\u0435\u0441\u0430\u00bb \u2014 \u043f\u043b\u043e\u0445\u0430\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430, \u0438 Astra \u0435\u0451 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0430: \u043e\u0442\u0431\u043e\u0440 \u0448\u0451\u043b \u043f\u043e \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u043d\u0435 \u043f\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 (\u0441\u043c. \u043f\u0435\u0440\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c).<\/p>\n<hr\/>\n<h3>\u0427\u0430\u0441\u0442\u044c 5. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f, \u0440\u0438\u0441\u043a\u0438, \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b<\/h3>\n<p><strong>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438.<\/strong> \u042d\u0442\u043e \u0431\u043b\u043e\u0433-\u043f\u043e\u0441\u0442, \u0430 \u043d\u0435 \u0440\u0435\u0446\u0435\u043d\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f. \u041c\u043e\u0434\u0435\u043b\u044c Astra \u0437\u0430\u043a\u0440\u044b\u0442\u0430, \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 <em>\u043f\u0440\u043e\u0446\u0435\u0441\u0441<\/em> \u043f\u043e\u0438\u0441\u043a\u0430 \u043f\u0440\u0430\u0432\u043a\u0438 \u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u043d\u0435\u043b\u044c\u0437\u044f. \u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u0430 \u0442\u043e\u043b\u044c\u043a\u043e <em>\u0441\u0430\u043c\u0430 \u043f\u0440\u0430\u0432\u043a\u0430<\/em>, \u0438 \u0435\u0451 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 [19]. \u0422\u0440\u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0434\u0430\u043b\u0438 \u0442\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u0441 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0437\u043d\u044b\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u043e\u043c (12.3 \/ 14.1 \/ 48.1). \u0412\u044b\u0432\u043e\u0434: \u043e\u0434\u0438\u043d \u0443\u0434\u0430\u0447\u043d\u044b\u0439 \u0437\u0430\u043f\u0443\u0441\u043a \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 \u043d\u0435 \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434. \u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0430\u043c\u0438 \u043f\u0438\u0448\u0443\u0442, \u0447\u0442\u043e \u0441\u0442\u0440\u043e\u044f\u0442 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a \u0438 harness.<\/p>\n<p><strong>\u041c\u043e\u0434\u0435\u043b\u044c, \u043f\u0440\u0430\u0432\u044f\u0449\u0430\u044f \u0441\u0435\u0431\u044f.<\/strong> \u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u044f\u043c\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e\u0435 \u0441\u0430\u043c\u043e\u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u0421 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u043a\u0430 \u0432\u0435\u0441\u043e\u0432 \u2014 \u044d\u0442\u043e <em>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f\u043c\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0432\u0445\u043e\u0434\u043e\u0432<\/em> (\u0441\u043c. 4.2: \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u043e\u043c\u043f\u0442\u0430). \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u043e\u043c\u043f\u0442\u0430, \u0435\u0451 \u043d\u0435\u043b\u044c\u0437\u044f \u00ab\u043e\u0442\u043a\u0430\u0442\u0438\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c\u00bb. \u0417\u043d\u0430\u0447\u0438\u0442, \u043d\u0443\u0436\u0435\u043d \u043f\u043e \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043c\u0435\u0440\u0435 \u0442\u043e\u0442 \u0436\u0435 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f, \u0447\u0442\u043e \u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 eval-\u0441\u0435\u0442\u044b, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0439, \u0440\u0435\u0432\u044c\u044e \u0434\u0438\u0444\u0444\u0430.<\/p>\n<p><strong>\u0410\u0443\u0434\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c.<\/strong> \u0415\u0441\u0442\u044c \u0438 \u0445\u043e\u0440\u043e\u0448\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c: \u043f\u0440\u0430\u0432\u043a\u0430 \u0440\u0430\u043d\u0433\u0430 1 \u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u0444\u0430\u0439\u043d\u0442\u044e\u043d\u0430. \u0414\u0438\u0444 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432, SVD \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0434\u043d\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0430 \u043c\u0430\u043d\u0438\u0444\u0435\u0441\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 sha256 \u0434\u043e \u0438 \u043f\u043e\u0441\u043b\u0435. \u0425\u043e\u0440\u043e\u0448\u043e, \u0447\u0442\u043e \u0430\u0432\u0442\u043e\u0440\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u0443\u0431\u043b\u0438\u043a\u0430\u0446\u0438\u044e \u043f\u043e\u0431\u0438\u0442\u043e\u0432\u043e\u0433\u043e \u0434\u0438\u0444\u0444\u0430 \u043d\u043e\u0440\u043c\u043e\u0439. <strong>[\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]<\/strong> \u041f\u043b\u043e\u0445\u0430\u044f \u043d\u043e\u0432\u043e\u0441\u0442\u044c: \u043f\u0440\u0430\u0432\u043a\u0443 \u0442\u043e\u0439 \u0436\u0435 \u043d\u043e\u0440\u043c\u044b, \u043d\u043e \u00ab\u0440\u0430\u0437\u043c\u0430\u0437\u0430\u043d\u043d\u0443\u044e\u00bb \u043d\u0430 \u043c\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u043d\u0430\u0439\u0442\u0438 \u043f\u043e \u0432\u0435\u0441\u0430\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0442\u0440\u0443\u0434\u043d\u0435\u0435. \u0410\u0440\u0433\u0443\u043c\u0435\u043d\u0442 \u0441\u0443\u043f\u0435\u0440\u043f\u043e\u0437\u0438\u0446\u0438\u0438 (7.4) \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043f\u0440\u043e\u0442\u0438\u0432 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0430.<\/p>\n<p><strong>\u0426\u0435\u043f\u043e\u0447\u043a\u0430 \u043f\u043e\u0441\u0442\u0430\u0432\u043e\u043a \u0432\u0435\u0441\u043e\u0432.<\/strong> \u0427\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u2014 \u044d\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u043d\u044f\u0435\u043c\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430, \u0430 \u043d\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041f\u043e\u0434\u043c\u0435\u043d\u0430 0.016 % \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u0445 \u044d\u0442\u0443 \u043f\u043e\u0434\u043c\u0435\u043d\u0443 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0432\u044b\u044f\u0432\u0438\u0442\u044c: \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u044d\u0442\u043e \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f (\u0445\u044d\u0448\u0438, \u043f\u043e\u0434\u043f\u0438\u0441\u0438, \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0435 \u0441\u0431\u043e\u0440\u043a\u0438). \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0442\u043e\u0440\u043e\u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u0442\u0435\u0437\u0438\u0441 \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0447\u0442\u043e LLM, \u0447\u0438\u0442\u0430\u044e\u0449\u0430\u044f \u0432\u0435\u0441\u0430, \u043c\u043e\u0433\u043b\u0430 \u0431\u044b <em>\u0438\u0441\u043a\u0430\u0442\u044c<\/em> \u0442\u0430\u043a\u0438\u0435 \u0432\u043c\u0435\u0448\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 (\u00abauditing without evaluation\u00bb). \u0412 \u043f\u043e\u0441\u0442\u0435 \u044d\u0442\u043e \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e \u043a\u0430\u043a \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0430, \u0430 \u043d\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 7 \u043f\u043e \u043e\u0434\u043d\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430\u043c \u0441\u0438\u043a\u043e\u0444\u0430\u043d\u0442\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043b\u0438\u0447\u0438\u0442\u044c \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c, \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043f\u0430\u0442\u0442\u0435\u0440\u043d\u0430\u043c\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f.<\/p>\n<p><strong>\u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b (\u0432\u0430\u043c, \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f\u043c):<\/strong><\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\\approx6\" alt=\"\\alpha\\approx6\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa9\/aa95c0c48067f2d6c272b503d9c6b75b.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa9\/aa95c0c48067f2d6c272b503d9c6b75b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa9\/aa95c0c48067f2d6c272b503d9c6b75b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u043d\u0435 1? \u0410\u0431\u043b\u044f\u0446\u0438\u044f (<img decoding=\"async\" class=\"formula inline\" source=\"\\alpha=1\" alt=\"\\alpha=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg\" width=\"45\" height=\"18\" data-width=\"5.596\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 5.596ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/da\/dab\/dab584617b9835b55e336b851126aaf8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>) \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0441\u043b\u043e\u0438 \u0442\u043e\u0436\u0435 \u043f\u0438\u0448\u0443\u0442 \u0432 <img decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg\" width=\"12\" height=\"12\" data-width=\"1.097\" data-height=\"1.027\" data-vertical-align=\"-0.025\" style=\"width: 1.097ex; height: 1.027ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9e\/9e3\/9e3669d19b675bd57058fd4664205d2a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>? \u0418\u043b\u0438 \u043d\u0443\u0436\u0435\u043d \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u00ab\u0432\u044b\u0445\u043e\u0434\u0438 \u0438\u0437 \u0446\u0438\u043a\u043b\u0430\u00bb? \u042d\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0434\u0451\u0448\u0435\u0432\u043e: \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\\in\\{1,2,4,6\\}\" alt=\"\\alpha\\in\\{1,2,4,6\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d92\/d92b48c310b0e28727c50a6e0aa2fe0a.svg\" width=\"112\" height=\"18\" data-width=\"14.019\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 14.019ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d92\/d92b48c310b0e28727c50a6e0aa2fe0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d9\/d92\/d92b48c310b0e28727c50a6e0aa2fe0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 100 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u043b\u0438\u043c\u0438\u0442\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u043d\u0430\u0439\u0442\u0438 \u0442\u043e \u0436\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0431\u0435\u0437 LLM, \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c diff-in-means \u043c\u0435\u0436\u0434\u0443 \u00ab\u0437\u0430\u0446\u0438\u043a\u043b\u0435\u043d\u043d\u044b\u043c\u0438\u00bb \u0438 \u00ab\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438\u00bb \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438, \u043a\u0430\u043a \u0443 Arditi \u0438 \u0434\u0440.? \u0415\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u00ab\u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u00bb Astra?<\/p>\n<\/li>\n<li>\n<p>\u0413\u0434\u0435 \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u00ab\u0441\u043d\u044f\u0442\u044c \u043f\u0440\u0435\u043f\u044f\u0442\u0441\u0442\u0432\u0438\u0435\u00bb \u0438 \u00ab\u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0432\u044b\u043a\u00bb? \u041c\u0430\u0448\u0438\u043d\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u0442\u043e, \u0447\u0442\u043e \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u043e. \u0415\u0441\u0442\u044c \u043b\u0438 \u0434\u043b\u044f LLM \u043d\u0430\u0432\u044b\u043a\u0438 \u0441 \u043a\u043e\u0440\u043e\u0442\u043a\u043e\u0439 \u0441\u0445\u0435\u043c\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u0442?<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u0440\u0438 \u043a\u0432\u0430\u043d\u0442\u0438\u0437\u0430\u0446\u0438\u0438? \u0412 bf16 \u0443\u0436\u0435 884 \u0438\u0437 131 072 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u043b\u0438\u0441\u044c \u0432 \u043d\u043e\u043b\u044c. \u0427\u0442\u043e \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u0432 int4?<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h3>\u041a\u043e\u0434 \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h3>\n<p>\u0412\u0441\u0435 \u0441\u043a\u0440\u0438\u043f\u0442\u044b \u043b\u0435\u0436\u0430\u0442 \u0432 <code>code\/<\/code> \u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043d\u0430 CPU (8 \u044f\u0434\u0435\u0440, 15 \u0413\u0411 RAM):<\/p>\n<ul>\n<li>\n<p><code>analyze_edit.py<\/code> \u2014 \u0434\u0438\u0444\u0444 \u0431\u0430\u0437\u043e\u0432\u043e\u0439 \u0438 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 Qwen3.5-0.8B, SVD \u043f\u0440\u0430\u0432\u043a\u0438, \u043f\u043e\u0434\u0433\u043e\u043d\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg\" width=\"12\" height=\"18\" data-width=\"1.448\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.448ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b7\/7b7f9dbfea05c83784f8b85149852f08.svg 781w\" loading=\"lazy\" decode=\"async\"\/>;<\/p>\n<\/li>\n<li>\n<p><code>param_census.py<\/code> \u2014 \u043f\u043e\u0434\u0441\u0447\u0451\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0430\u043c safetensors;<\/p>\n<\/li>\n<li>\n<p><code>charts.py<\/code> \u2014 \u0440\u0438\u0441\u0443\u043d\u043a\u0438 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438 \u0440\u0438\u0441. 2, 4\u20139 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 (\u0441\u043f\u0435\u043a\u0442\u0440\u044b, \u043d\u043e\u0440\u043c\u044b, \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u044b, \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043a\u0440\u0438\u0432\u0430\u044f, \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044f \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043e\u0432);<\/p>\n<\/li>\n<li>\n<p><code>demo_probe.py<\/code> \u2014 \u0437\u043e\u043d\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"\\langle v, m_l\\rangle\" alt=\"\\langle v, m_l\\rangle\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/975\/9752fe6eabad3188a1fa1c1e3964944b.svg\" width=\"52\" height=\"18\" data-width=\"6.514\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 6.514ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/975\/9752fe6eabad3188a1fa1c1e3964944b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/975\/9752fe6eabad3188a1fa1c1e3964944b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u0440\u0438\u0441. 1) \u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p><code>loop_sim.py<\/code> \u2014 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0430\u044f \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c (\u0440\u0438\u0441. 3).<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u043e\u043d\u0434\u0430:<\/p>\n<pre><code class=\"python\">for L in (15, 19):    lm.layers[L].mlp.register_forward_hook(        lambda mod, i, o, L=L: rec.__setitem__(L, (o[0] @ v[L]).detach()))with torch.no_grad():    model(tok(text, return_tensors='pt').input_ids)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<hr\/>\n<h3>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h3>\n<ol>\n<li>\n<p>Takehi R., Teoh J., Zhang A., Khattab O. <em>Sparks of Weight-Space Programming: LLMs can natively read &amp; write neural network weights.<\/em> MIT CSAIL, 2 Nov 2026. <a href=\"https:\/\/rikiyat.github.io\/blog\/weight-space-programming\/\" rel=\"noopener nofollow\">https:\/\/rikiyat.github.io\/blog\/weight-space-programming\/<\/a><\/p>\n<\/li>\n<li>\n<p>Xu J. et al. <em>Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2206.02369\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2206.02369<\/a><\/p>\n<\/li>\n<li>\n<p>Holtzman A. et al. <em>The Curious Case of Neural Text Degeneration.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/1904.09751\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/1904.09751<\/a><\/p>\n<\/li>\n<li>\n<p>\u041b\u043e\u0433\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432: <a href=\"https:\/\/github.com\/RikiyaT\/lm_understand-logs\" rel=\"noopener nofollow\">https:\/\/github.com\/RikiyaT\/lm_understand-logs<\/a> (\u043a\u0430\u0442\u0430\u043b\u043e\u0433 <code>exp8_math\/<\/code>)<\/p>\n<\/li>\n<li>\n<p>Xu Y. et al. <em>A Theory of Usable Information Under Computational Constraints.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2002.10689\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2002.10689<\/a><\/p>\n<\/li>\n<li>\n<p>Meng K. et al. <em>Locating and Editing Factual Associations in GPT<\/em> (ROME). <a href=\"https:\/\/arxiv.org\/abs\/2202.05262\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2202.05262<\/a><\/p>\n<\/li>\n<li>\n<p>Meng K. et al. <em>Mass-Editing Memory in a Transformer<\/em> (MEMIT). <a href=\"https:\/\/arxiv.org\/abs\/2210.07229\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2210.07229<\/a><\/p>\n<\/li>\n<li>\n<p>Arditi A. et al. <em>Refusal in Language Models Is Mediated by a Single Direction.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2406.11717\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2406.11717<\/a><\/p>\n<\/li>\n<li>\n<p>Ilharco G. et al. <em>Editing Models with Task Arithmetic.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2212.04089\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2212.04089<\/a><\/p>\n<\/li>\n<li>\n<p>Frankle J. et al. <em>Linear Mode Connectivity and the Lottery Ticket Hypothesis.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/1912.05671\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/1912.05671<\/a><\/p>\n<\/li>\n<li>\n<p>Wortsman M. et al. <em>Model soups.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2203.05482\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2203.05482<\/a><\/p>\n<\/li>\n<li>\n<p>Yadav P. et al. <em>TIES-Merging: Resolving Interference When Merging Models.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2306.01708\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2306.01708<\/a><\/p>\n<\/li>\n<li>\n<p>Yu L. et al. <em>Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch<\/em> (DARE). <a href=\"https:\/\/arxiv.org\/abs\/2311.03099\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2311.03099<\/a><\/p>\n<\/li>\n<li>\n<p>Ainsworth S. et al. <em>Git Re-Basin: Merging Models modulo Permutation Symmetries.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2209.04836\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2209.04836<\/a><\/p>\n<\/li>\n<li>\n<p>Elhage N. et al. <em>Toy Models of Superposition.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2209.10652\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2209.10652<\/a><\/p>\n<\/li>\n<li>\n<p>Cunningham H. et al. <em>Sparse Autoencoders Find Highly Interpretable Features in Language Models.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2309.08600\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2309.08600<\/a><\/p>\n<\/li>\n<li>\n<p>DeepSeek-AI. <em>DeepSeek-V3 Technical Report.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2412.19437\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2412.19437<\/a><\/p>\n<\/li>\n<li>\n<p>Jiang A. Q. et al. <em>Mixtral of Experts.<\/em> <a href=\"https:\/\/arxiv.org\/abs\/2401.04088\" rel=\"noopener nofollow\">https:\/\/arxiv.org\/abs\/2401.04088<\/a><\/p>\n<\/li>\n<li>\n<p>\u041e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442 \u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u0430\u044f \u043f\u0435\u0440\u0435\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430: <a href=\"https:\/\/huggingface.co\/RikiyaT\/Qwen3.5-0.8B-weight-space-programming\" rel=\"noopener nofollow\">https:\/\/huggingface.co\/RikiyaT\/Qwen3.5-0.8B-weight-space-programming<\/a><\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1103804\/\">https:\/\/habr.com\/ru\/articles\/1103804\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041e\u0431\u043b\u043e\u0436\u043a\u0430 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0418\u0418\u0421\u0442\u0430\u0442\u044c\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u044f \u0440\u0430\u0437\u0431\u0438\u043b \u0435\u0451 \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438. \u042d\u0442\u043e \u0447\u0430\u0441\u0442\u044c 2 \u0438\u0437 2. \u041f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u2014 \u043f\u0440\u043e \u0441\u0430\u043c\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b MIT, \u0434\u0438\u0444\u0444 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 Qwen \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u043f\u0440\u043e\u0435\u043a\u0446\u0438\u0438; \u0437\u0434\u0435\u0441\u044c \u2014 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u0435\u0442\u0435\u043b\u044c, \u043f\u0440\u0435\u0434\u0435\u043b\u044b \u043c\u0435\u0442\u043e\u0434\u0430, \u0440\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0440\u0430\u0431\u043e\u0442\u044b, \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0432\u0435\u0441\u043e\u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u0440\u0438\u0441\u043a\u0438.\u041a\u043e\u0440\u043e\u0442\u043a\u043e \u043e \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438\u0412 \u043f\u043e\u0441\u0442\u0435 MIT CSAIL [1] \u043c\u043e\u0434\u0435\u043b\u044c GPT-6 Astra \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0432\u0435\u0441\u0430 \u0447\u0443\u0436\u0438\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e, \u0431\u0435\u0437 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432. \u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u2014 Qwen3.5-0.8B, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430 \u043e\u043b\u0438\u043c\u043f\u0438\u0430\u0434\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0432 93 % \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0443\u0445\u043e\u0434\u0438\u043b\u0430 \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043f\u043e\u0432\u0442\u043e\u0440.\u042f \u043f\u043e\u0431\u0438\u0442\u043e\u0432\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u043b \u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u0438 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043e\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0447\u0435\u043a\u043f\u043e\u0439\u043d\u0442: \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u044b 131 072 \u0432\u0435\u0441\u0430 \u0432 down_proj \u0434\u0432\u0443\u0445 \u0441\u043b\u043e\u0451\u0432 (15 \u0438 19), \u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434  \u2014 \u0440\u0430\u043d\u0433 1, 99.999 % \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 .\u042d\u0442\u043e \u043d\u0435 \u00ab\u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435\u00bb \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0430 \u0435\u0433\u043e \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442: \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0432\u0434\u043e\u043b\u044c  \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f  \u043e\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439. \u0421\u0440\u0435\u0434\u0438 \u043f\u0440\u0430\u0432\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u0430\u043a \u043c\u0435\u043d\u044f\u044e\u0442 \u043e\u0434\u043d\u0443 \u043e\u0441\u044c, \u044d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e \u043d\u043e\u0440\u043c\u0435 \u0424\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u0430.\u041f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442: \u0432\u0441\u0435 \u0441\u043b\u043e\u0438 \u043f\u0438\u0448\u0443\u0442 \u0432 \u043e\u0431\u0449\u0438\u0439 residual stream, \u0430 MLP \u2014 \u044d\u0442\u043e \u0441\u0443\u043c\u043c\u0430 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 down_proj, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0445 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u044f\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432. \u0417\u043d\u0430\u0447\u0438\u0442, \u043f\u043e\u0432\u0435\u0440\u043d\u0443\u0432 \u043e\u0434\u043d\u0443 \u043e\u0441\u044c \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 MLP, \u043c\u044b \u043c\u0435\u043d\u044f\u0435\u043c \u0442\u043e, \u0447\u0442\u043e \u0432\u0441\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u00ab\u0447\u0438\u0442\u0430\u044e\u0442\u00bb \u0432\u0434\u043e\u043b\u044c \u043d\u0435\u0451.\u041c\u0435\u0442\u043a\u0438 \u0442\u0435 \u0436\u0435: [\u0421\u0442\u0430\u0442\u044c\u044f], [\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e], [\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440], [\u041c\u043e\u0434\u0435\u043b\u044c\/\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f].\u0427\u0430\u0441\u0442\u044c 1. \u041f\u043e\u0447\u0435\u043c\u0443 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043b\u0435\u0447\u0438\u0442 \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u043d\u0438\u04351.1. \u041e\u0442 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u00ab\u0432\u044b\u0439\u0442\u0438 \u0438\u0437 \u0446\u0438\u043a\u043b\u0430\u00bb[\u041c\u043e\u0434\u0435\u043b\u044c] \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043c\u0435\u0436\u0434\u0443 \u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u043f\u0435\u0442\u043b\u044e\u00bb \u0438 \u00ab\u0441\u043b\u043e\u043c\u0430\u0442\u044c \u0435\u0451\u00bb (\u0437\u0430\u043a\u0440\u044b\u0442\u044c &lt;\/think&gt;, \u043d\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442, \u0441\u043c\u0435\u043d\u0438\u0442\u044c \u043c\u044b\u0441\u043b\u044c). \u0412\u044b\u0431\u043e\u0440 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c\u044e \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0434\u0432\u0443\u0445 \u0442\u043e\u043a\u0435\u043d\u043e\u0432. \u041b\u043e\u0433\u0438\u0442\u044b \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f: , \u0433\u0434\u0435  \u2014 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u043e\u043a \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b. \u041f\u043e \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0443 \u0441\u0443\u043c\u043c\u044b residual stream (\u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c, 3.1) \u0432\u043a\u043b\u0430\u0434\u044b \u0441\u043b\u043e\u0451\u0432 15 \u0438 19 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432  \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c\u0438, \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438 . \u0415\u0441\u043b\u0438  \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0439\u00bb (), \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442 \u0437\u043d\u0430\u043a\u0430 \u0443 \u044d\u0442\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432 \u0441\u0434\u0432\u0438\u0433\u0430\u0435\u0442  \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435, \u0433\u0434\u0435 \u043e\u043d\u0438 \u0430\u043a\u0442\u0438\u0432\u043d\u044b. \u042d\u0442\u043e \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0438\u0435:  \u043c\u044b \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u043b\u0438, \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043b\u043e\u0438 \u043c\u043e\u0433\u0443\u0442 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u043a\u043e\u043c\u043f\u0435\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0434\u0432\u0438\u0433.\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443: \u0433\u0434\u0435-\u0442\u043e \u0432 \u043a\u043e\u043d\u0446\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u00ab\u0433\u043e\u043b\u043e\u0441\u0443\u0435\u0442\u00bb, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c \u043b\u0438 \u0442\u043e\u0442 \u0436\u0435 \u043a\u0443\u0441\u043e\u043a \u0442\u0435\u043a\u0441\u0442\u0430. \u0421\u043b\u043e\u0438 15 \u0438 19 \u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u043e\u0434\u0431\u0440\u0430\u0441\u044b\u0432\u0430\u043b\u0438 \u0433\u043e\u043b\u043e\u0441 \u00ab\u0437\u0430\u00bb. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u043e\u043d\u0438 \u0433\u043e\u043b\u043e\u0441\u0443\u044e\u0442 \u00ab\u043f\u0440\u043e\u0442\u0438\u0432\u00bb, \u0438 \u0447\u0430\u0448\u0430 \u0432\u0435\u0441\u043e\u0432 \u0447\u0430\u0449\u0435 \u043f\u0435\u0440\u0435\u0432\u0435\u0448\u0438\u0432\u0430\u0435\u0442 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0432\u044b\u0445\u043e\u0434\u0430.1.2. \u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440: \u043d\u0430 \u043f\u0435\u0442\u043b\u0435 \u044d\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u043f\u0440\u0430\u0432\u0434\u0430 \u043f\u0438\u0448\u0443\u0442 \u0432 v \u0441\u0438\u043b\u044c\u043d\u0435\u0435[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440] \u042f \u043f\u0440\u043e\u0433\u043d\u0430\u043b \u043e\u0431\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 CPU \u043d\u0430 \u0434\u0432\u0443\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445. \u041f\u0435\u0440\u0432\u044b\u0439 \u2014 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f (220 \u0442\u043e\u043a\u0435\u043d\u043e\u0432). \u0412\u0442\u043e\u0440\u043e\u0439 \u2014 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u043f\u0435\u0442\u043b\u044f \u00abWait, let me check again\u2026\u00bb \u00d712 (397 \u0442\u043e\u043a\u0435\u043d\u043e\u0432). \u0425\u0443\u043a\u043e\u043c \u0441\u043d\u0438\u043c\u0430\u043b, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0445\u043e\u0434 MLP \u043f\u0438\u0448\u0435\u0442 \u0432\u0434\u043e\u043b\u044c  (code\/demo_probe.py):\u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u043e\u0440\u043c. \u0442\u0435\u043a\u0441\u0442, L15\u043f\u0435\u0442\u043b\u044f, L15\u043d\u043e\u0440\u043c. \u0442\u0435\u043a\u0441\u0442, L19\u043f\u0435\u0442\u043b\u044f, L19\u0431\u0430\u0437\u04300.2730.3850.2800.520\u043f\u0440\u0430\u0432\u043a\u0430\u22120.816\u22121.518\u22120.014\u22120.246\u041f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u0432\u044b\u0445\u043e\u0434\u0430 MLP \u043d\u0430 v \u043f\u043e \u0442\u043e\u043a\u0435\u043d\u0430\u043c\u0420\u0438\u0441. 1.  \u043f\u043e \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u043c: \u0431\u0430\u0437\u0430 \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u0440\u0430\u0432\u043a\u0438 \u043d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0438 \u0437\u0430\u0446\u0438\u043a\u043b\u0435\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435. \u041d\u0430 \u043f\u0435\u0442\u043b\u0435 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 MLP \u043f\u0438\u0448\u0443\u0442 \u0432  \u0441\u0438\u043b\u044c\u043d\u0435\u0435: \u0432 1.4 \u0440\u0430\u0437\u0430 \u0432 \u0441\u043b\u043e\u0435 15 \u0438 \u0432 1.9 \u0440\u0430\u0437\u0430 \u0432 \u0441\u043b\u043e\u0435 19. \u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0430\u0432\u043a\u0438 \u0437\u043d\u0430\u043a \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0439. \u042d\u0442\u043e \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f, \u0430 \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430. \u041a\u043e\u0440\u043e\u0442\u043a\u0430\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f (400 \u0442\u043e\u043a\u0435\u043d\u043e\u0432) \u0437\u0430 \u043e\u0442\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0435 \u0434\u043e\u0448\u043b\u0430 \u043d\u0438 \u0443 \u043e\u0434\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0432\u043e\u0434\u043e\u0432 \u0438\u0437 \u043d\u0435\u0451 \u044f \u043d\u0435 \u0434\u0435\u043b\u0430\u044e.1.3. \u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c: (1\u2212p)^T[\u041c\u043e\u0434\u0435\u043b\u044c] \u041f\u0443\u0441\u0442\u044c, \u043f\u043e\u043f\u0430\u0432 \u0432 \u043f\u0435\u0442\u043b\u044e, \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0442\u043e\u043a\u0435\u043d\u0435 \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0438\u0437 \u043d\u0435\u0451 \u0441 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e . \u0422\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0432\u044b\u0439\u0442\u0438 \u0437\u0430  \u0442\u043e\u043a\u0435\u043d\u043e\u0432 \u2014 \u044d\u0442\u043e  \u00ab\u043d\u0435\u0443\u0434\u0430\u0447\u00bb \u043f\u043e\u0434\u0440\u044f\u0434:\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0446\u0438\u0444\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 (). 93 % \u043e\u0431\u0440\u044b\u0432\u043e\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 , 33.1 % \u2014 . \u0428\u0430\u043d\u0441 \u0432\u044b\u0445\u043e\u0434\u0430 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d \u0432\u044b\u0440\u043e\u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 15 \u0440\u0430\u0437. \u0414\u043b\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445  \u043b\u043e\u0433\u0438\u0442 \u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043f\u043e\u0447\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u0434\u0432\u0438\u0433 \u043b\u043e\u0433\u0438\u0442\u0430 \u0432\u044b\u0445\u043e\u0434\u0430 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 . \u042d\u0442\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435, \u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0446\u0438\u0444\u0440 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u044f\u0437\u044b\u043a \u043c\u043e\u0434\u0435\u043b\u0438.\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443: \u0435\u0441\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0434\u0430\u0451\u0442 \u043a\u0440\u043e\u0448\u0435\u0447\u043d\u044b\u0439 \u0448\u0430\u043d\u0441 \u0432\u044b\u0440\u0432\u0430\u0442\u044c\u0441\u044f, \u0442\u043e \u043f\u0440\u0438 32 \u0442\u044b\u0441\u044f\u0447\u0430\u0445 \u0448\u0430\u0433\u043e\u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a \u0438 \u043d\u0435 \u0432\u044b\u0440\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430 \u043a \u044d\u0442\u043e\u043c\u0443 \u0448\u0430\u043d\u0441\u0443. \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u0433\u043e \u0432 15 \u0440\u0430\u0437 \u2014 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445, \u043d\u043e \u0434\u043e\u043b\u044f \u00ab\u0437\u0430\u0441\u0442\u0440\u044f\u0432\u0448\u0438\u0445\u00bb \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043f\u0430\u0434\u0430\u0435\u0442 \u0441 93 % \u0434\u043e \u0442\u0440\u0435\u0442\u0438.\u0413\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u0420\u0438\u0441. 2.  \u0434\u043b\u044f  \u0438 ; \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 \u2014 93 %, 33.1 % \u0438 8.5 % \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438. \u0410\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043a\u0440\u0438\u0432\u0430\u044f, \u043d\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0435  \u2014 \u0433\u0440\u0443\u0431\u043e\u0435 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0435. Xu \u0438 \u0434\u0440. [2] \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u0447\u0442\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044b \u0441\u0430\u043c\u043e\u0443\u0441\u0438\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u0437 \u0444\u0440\u0430\u0437\u0430 \u0443\u0436\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b\u0430\u0441\u044c, \u0442\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043f\u043e\u0432\u0442\u043e\u0440. \u041f\u0435\u0442\u043b\u044f \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043b\u043e\u0432\u0443\u0448\u043a\u043e\u0439, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0448\u0430\u0433\u043e\u043c \u0432\u044b\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u0435\u0435; \u043e \u0442\u043e\u0439 \u0436\u0435 \u0434\u0435\u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u043f\u0440\u0438 \u0436\u0430\u0434\u043d\u043e\u043c \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0438\u0441\u0430\u043b\u0438 Holtzman \u0438 \u0434\u0440. [3]. \u042f \u0441\u043e\u0431\u0440\u0430\u043b \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0443\u044e \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0442\u0430\u043a\u0438\u043c \u0441\u0430\u043c\u043e\u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435\u043c (code\/loop_sim.py). \u0412\u0438\u0434\u043d\u043e \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435: \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u0434\u0432\u0438\u0433 \u043b\u043e\u0433\u0438\u0442\u0430 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0438\u0437 \u0440\u0435\u0436\u0438\u043c\u0430 \u00ab\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0435\u0442\u00bb \u0432 \u0440\u0435\u0436\u0438\u043c \u00ab\u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430\u00bb.\u0418\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u0430\u044f \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u0420\u0438\u0441. 3. \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435, \u043d\u0435 \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043d\u044b \u043f\u043e\u0434 \u0434\u0430\u043d\u043d\u044b\u0435): \u0434\u043e\u043b\u044f \u043e\u0431\u0440\u044b\u0432\u043e\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0441\u0434\u0432\u0438\u0433\u0430 \u043b\u043e\u0433\u0438\u0442\u0430 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u0439 \u0441\u0438\u043b\u0435 \u0441\u0430\u043c\u043e\u0443\u0441\u0438\u043b\u0435\u043d\u0438\u044f \u03b2. [\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f] 93 % \u043f\u0440\u043e\u0442\u0438\u0432 8.5 %. \u0423 Qwen \u043b\u043e\u0432\u0443\u0448\u043a\u0430 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430, \u0438 \u0435\u0451 \u043e\u0441\u043b\u0430\u0431\u043b\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0442\u0430\u043a \u0443\u043c\u0435\u043b\u0430 \u0434\u043e\u0432\u0435\u0441\u0442\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430. \u0421\u0430\u043c\u043e\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 Astra \u044d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442: 576 \u0438\u0437 579 \u00ab\u0441\u043f\u0430\u0441\u0451\u043d\u043d\u044b\u0445\u00bb \u0437\u0430\u0434\u0430\u0447 \u2014 \u0431\u044b\u0432\u0448\u0438\u0435 \u043e\u0431\u0440\u044b\u0432\u044b, \u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0440\u0430\u043d\u044c\u0448\u0435 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c [4]. \u0423 Gemma \u043b\u043e\u0432\u0443\u0448\u043a\u0438 \u043f\u043e\u0447\u0442\u0438 \u043d\u0435\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u0441\u0434\u0432\u0438\u0433\u0430\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e.\u0427\u0430\u0441\u0442\u044c 2. \u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0432\u044b\u043a, \u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0441\u0445\u0435\u043c\u0443 \u043c\u0430\u0448\u0438\u043d\u043a\u04352.1. \u041f\u0440\u043e\u0435\u043a\u0446\u0438\u044f \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e] \u0415\u0441\u043b\u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u2014 \u043f\u0440\u043e\u0435\u043a\u0442\u043e\u0440 , \u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435  \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0437 \u0441\u0442\u0430\u0440\u043e\u0433\u043e . \u041f\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0443 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435  \u0432 \u043d\u0451\u043c \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0431\u044b\u043b\u043e: . \u0420\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0436\u0435 \u043d\u0435 \u0440\u0430\u0441\u0442\u0451\u0442 ().\u0427\u0435\u0441\u0442\u043d\u0430\u044f \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430. \u0421\u0442\u0440\u043e\u0433\u043e\u0433\u043e \u0437\u0430\u043f\u0440\u0435\u0442\u0430 \u044d\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442. \u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u0440\u0430\u0432\u043a\u0430 \u0441  \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0430. \u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0432\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0438 \u0442\u0430\u043a \u0435\u0441\u0442\u044c \u0432 \u043f\u0440\u043e\u043c\u043f\u0442\u0435, \u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f, \u0430 \u043d\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u2014 \u00abusable information\u00bb \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438 [5], \u0438 \u0442\u0430\u043c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0443 \u043c\u0435\u043d\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 [\u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f]: \u043e\u0434\u043d\u0430 \u043e\u0441\u044c \u0441 \u043e\u0434\u043d\u0438\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u043e\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u043a\u043b\u044e\u0447\u0438\u0442\u044c \u0440\u0435\u0436\u0438\u043c (\u00ab\u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0442\u044c\u00bb \/ \u00ab\u0432\u044b\u0445\u043e\u0434\u0438\u0442\u044c\u00bb), \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0443\u044e \u043c\u043d\u043e\u0433\u043e\u0437\u043d\u0430\u0447\u043d\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443. \u0423 Gemma \u043e\u0448\u0438\u0431\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435, \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0443\u0437\u043a\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u043d\u0435\u0442, \u0438 \u044d\u0442\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0441 \u0435\u0451 \u043f\u0440\u043e\u0432\u0430\u043b\u043e\u043c.\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443: \u0432\u044b\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0433\u0430\u0441\u0438\u0442\u044c \u043c\u0435\u0448\u0430\u044e\u0449\u0438\u0439 \u0448\u0443\u043c, \u043d\u043e \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0443\u0447\u0438\u0442\u044c. Qwen \u0443\u043c\u0435\u043b\u0430 \u0440\u0435\u0448\u0430\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435 \u043c\u043e\u0433\u043b\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0438 \u043f\u0440\u0430\u0432\u043a\u0430 \u0443\u0431\u0440\u0430\u043b\u0430 \u043f\u043e\u043c\u0435\u0445\u0443. Gemma \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0430\u043c\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445, \u0430 \u00ab\u0433\u0434\u0435 \u0432\u044b\u043a\u043b\u044e\u0447\u0430\u0442\u0435\u043b\u044c \u0443 \u043d\u0435\u0443\u043c\u0435\u043d\u0438\u044f \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u00bb, \u043d\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442.2.2. \u041c\u0430\u0448\u0438\u043d\u043a\u0430: \u0442\u0443\u0442 \u043f\u0440\u0430\u0432\u043a\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0445\u0435\u043c\u0443[\u0414\u043e\u043a\u0430\u0437\u0430\u043d\u043e: \u044f\u0432\u043d\u0430\u044f \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u044f] \u0423 \u043c\u0430\u0448\u0438\u043d\u043a\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f: \u043d\u0443\u0436\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043a\u0443\u0441\u043e\u043a, \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e. \u0415\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0440\u0443\u0447\u043d\u0443\u044e. \u041f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u00ab\u0435\u0441\u043b\u0438 \u2014 \u0442\u043e\u00bb \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0438\u0437 \u0434\u0432\u0443\u0445 ReLU: \u043f\u0440\u0438 \u0413\u0435\u0439\u0442  \u0440\u0430\u0432\u0435\u043d 0 \u043f\u043e \u043e\u0434\u043d\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043f\u043e\u0440\u043e\u0433\u0430 \u0438 1 \u043f\u043e \u0434\u0440\u0443\u0433\u0443\u044e. \u0417\u0430\u0442\u0435\u043c \u043a \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f  \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c . \u041f\u043e\u043a\u0430 \u0433\u0435\u0439\u0442 \u043e\u0442\u043a\u0440\u044b\u0442, \u043f\u043e\u0431\u0435\u0436\u0434\u0430\u0435\u0442 \u043d\u043e\u0432\u0430\u044f \u043a\u043e\u043c\u0430\u043d\u0434\u0430, \u0430 \u043a\u043e\u0433\u0434\u0430 \u0437\u0430\u043a\u0440\u044b\u0442, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u041f\u044f\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 tanh-\u0441\u043b\u043e\u0451\u0432 \u0441\u0438\u0433\u043d\u0430\u043b \u0433\u0435\u0439\u0442\u0430 \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u044f\u0442: \u043d\u0430 \u043c\u0430\u043b\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 tanh \u043f\u043e\u0447\u0442\u0438 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e, \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043f\u043e\u0447\u0442\u0438 \u0437\u043d\u0430\u043a, \u0438 \u0434\u043b\u044f \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u00ab\u0434\u0430\/\u043d\u0435\u0442\u00bb \u0433\u043e\u0434\u0438\u0442\u0441\u044f \u0438 \u0442\u043e, \u0438 \u0434\u0440\u0443\u0433\u043e\u0435. \u041f\u043e \u0441\u043b\u043e\u0432\u0430\u043c \u0430\u0432\u0442\u043e\u0440\u043e\u0432, Astra \u0441\u0434\u0435\u043b\u0430\u043b\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044e\u043d\u0438\u0442\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u043e\u0435.[\u041c\u043e\u044f \u043e\u0446\u0435\u043d\u043a\u0430] \u0422\u0440\u0438 \u044e\u043d\u0438\u0442\u0430 \u043d\u0430 \u0441\u043b\u043e\u0439 \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 680 \u0432\u0435\u0441\u043e\u0432 \u043d\u0430 \u0432\u0445\u043e\u0434\u043d\u043e\u043c \u0441\u043b\u043e\u0435 \u043d\u0430 \u044e\u043d\u0438\u0442, \u043e\u043a\u043e\u043b\u043e 256 \u043d\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0438 16 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434. \u0418\u0442\u043e\u0433\u043e \u2248 5 900 \u0432\u0435\u0441\u043e\u0432, \u0438\u043b\u0438 ~3.4 % \u043e\u0442 171 664. \u042d\u0442\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0441 3.5 % \u0438\u0437 \u043f\u043e\u0441\u0442\u0430; \u0442\u043e\u0447\u043d\u044b\u0439 \u0441\u043e\u0441\u0442\u0430\u0432 \u043f\u0440\u0430\u0432\u043a\u0438 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443: \u043c\u0430\u0448\u0438\u043d\u043a\u0435 \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043e\u0434\u043d\u043e \u043d\u043e\u0432\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u2014 \u00ab\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0434\u0430\u0439 \u043d\u0430\u0437\u0430\u0434, \u043f\u043e\u0442\u043e\u043c \u0433\u0430\u0437\u00bb. \u0422\u0430\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0443\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u0430\u0440\u0443 \u00ab\u0435\u0441\u043b\u0438 \u2014 \u0442\u043e\u00bb \u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u044b\u0441\u044f\u0447 \u0447\u0438\u0441\u0435\u043b, \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0432\u043f\u0438\u0441\u0430\u0442\u044c \u0440\u0443\u043a\u0430\u043c\u0438. \u041c\u043d\u043e\u0433\u043e\u0448\u0430\u0433\u043e\u0432\u0443\u044e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0443 \u0442\u0430\u043a \u043d\u0435 \u0432\u043f\u0438\u0448\u0435\u0448\u044c: \u044d\u0442\u043e \u043d\u0435 \u043e\u0434\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0430.\u0427\u0430\u0441\u0442\u044c 3. \u0420\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0438 \u0438\u0437 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u044b \u2014 \u043a\u043e\u0440\u043e\u0442\u043a\u043eROME [6] \u2014 \u0442\u043e\u0436\u0435 \u043f\u0440\u0430\u0432\u043a\u0430 \u0440\u0430\u043d\u0433\u0430 1, \u043d\u043e \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e. ROME \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0439 \u0444\u0430\u043a\u0442: \u0438\u0449\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 MLP-\u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043a\u043b\u044e\u0447  (\u00ab\u042d\u0439\u0444\u0435\u043b\u0435\u0432\u0430 \u0431\u0430\u0448\u043d\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u2026\u00bb) \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0430\u0435\u0442\u0441\u044f \u0432 \u043d\u043e\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 , \u0430 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043b\u044e\u0447\u0438 \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e. \u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0441 \u043e\u0434\u043d\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435\u043c \u0434\u0430\u0451\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0443\u0433\u0434\u0435  \u2014 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u00ab\u043e\u0431\u044b\u0447\u043d\u044b\u0445\u00bb \u043a\u043b\u044e\u0447\u0435\u0439. \u0427\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u2014 \u00ab\u0447\u0435\u0433\u043e \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442\u00bb \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0433\u043e \u0444\u0430\u043a\u0442\u0430, \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u2014 \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430, \u0430  \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0430\u0432\u043a\u0443 \u0442\u0443\u0434\u0430, \u0433\u0434\u0435 \u043e\u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u0435\u0448\u0430\u0435\u0442 \u0441\u0442\u0430\u0440\u044b\u043c \u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u044f\u043c. MEMIT [7] \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442 \u0442\u043e \u0436\u0435 \u043d\u0430 \u0442\u044b\u0441\u044f\u0447\u0438 \u0444\u0430\u043a\u0442\u043e\u0432. \u041e\u0431\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0438 \u044d\u0442\u043e \u0435\u0449\u0451 \u043e\u0434\u043d\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043a \u0447\u0430\u0441\u0442\u0438 2.\u0415\u0441\u043b\u0438 \u043f\u043e-\u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443: \u0430\u0431\u043b\u044f\u0446\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0441\u043b\u043e\u044e \u00ab\u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u0438\u0448\u0438 \u0432 \u044d\u0442\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443\u00bb, ROME \u2014 \u00ab\u043d\u0430 \u044d\u0442\u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043e\u0442\u0432\u0435\u0447\u0430\u0439 \u0432\u043e\u0442 \u0442\u0430\u043a\u00bb. \u042d\u0442\u043e \u0434\u0432\u0430 \u0437\u0435\u0440\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u0445\u0438\u0440\u0443\u0440\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u0438\u0451\u043c\u0430 \u043d\u0430\u0434 \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439.\u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u0430\u0437\u0430 [8]. Arditi \u0438 \u0434\u0440. \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u0438\u0437\u0443\u044e\u0442 \u0432\u0441\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043f\u0438\u0448\u0443\u0449\u0438\u0435 \u0432 \u043f\u043e\u0442\u043e\u043a, \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 . \u041f\u0440\u0430\u0432\u043a\u0430 Astra \u0438\u0437 50 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0435\u0435 (2 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, 64 \u0441\u0442\u043e\u043b\u0431\u0446\u0430, ). \u041f\u0440\u0430\u0432\u043a\u0430 \u0438\u0437 10 \u043f\u0440\u043e\u0433\u043e\u043d\u043e\u0432 \u0431\u043b\u0438\u0436\u0435 \u043a Arditi: 30 \u043c\u0430\u0442\u0440\u0438\u0446, .Task arithmetic \u0438 \u0441\u043b\u0438\u044f\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0412\u0435\u043a\u0442\u043e\u0440 \u0437\u0430\u0434\u0430\u0447\u0438  \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0442\u044c [9]. \u042d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0441\u0442\u0430\u0440\u0442\u0430 \u043b\u0435\u0436\u0430\u0442 \u0432 \u043e\u0434\u043d\u043e\u0439 \u00ab\u0434\u043e\u043b\u0438\u043d\u0435\u00bb \u043b\u043e\u0441\u0441\u0430 (linear mode connectivity [10]). \u0420\u0430\u0437\u0432\u0438\u0442\u0438\u0435 \u044d\u0442\u043e\u0439 \u043b\u0438\u043d\u0438\u0438 \u2014 model soups [11], TIES [12], DARE [13], Git Re-Basin [14]. \u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 Astra: \u0442\u0430\u043c \u043f\u0440\u0430\u0432\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c, \u0437\u0434\u0435\u0441\u044c \u2014 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0435\u043c.\u0421\u0443\u043f\u0435\u0440\u043f\u043e\u0437\u0438\u0446\u0438\u044f. \u0412 -\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u043e\u0447\u0442\u0438 \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c : \u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043a\u043e\u0441\u0438\u043d\u0443\u0441 \u043f\u043e\u0440\u044f\u0434\u043a\u0430  (\u0440\u0438\u0441. 4). \u0421\u0435\u0442\u0438 \u044d\u0442\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0438 \u0445\u0440\u0430\u043d\u044f\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0447\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 [15, 16]. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435: \u00ab\u0447\u0438\u0441\u0442\u043e\u0433\u043e\u00bb \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0446\u0438\u043a\u043b\u0430 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0431\u044b\u0442\u044c, \u0438 \u0440\u0430\u0437\u0432\u043e\u0440\u043e\u0442  \u0441\u043b\u0435\u0433\u043a\u0430 \u0437\u0430\u0434\u0435\u0432\u0430\u0435\u0442 \u0441\u043e\u0442\u043d\u0438 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0430\u0436\u0435\u043d \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c Astra \u0441\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0439 \u0436\u0435 \u043d\u043e\u0440\u043c\u044b [4].\u041a\u043e\u0441\u0438\u043d\u0443\u0441\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432\u0420\u0438\u0441. 4. \u0421\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044f: \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u044b \u043c\u0435\u0436\u0434\u0443 2 000 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0435\u0434\u0438\u043d\u0438\u0447\u043d\u044b\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u0440\u0438 . \u0427\u0430\u0441\u0442\u044c 4. \u041a\u0430\u043a \u0432\u043e\u043e\u0431\u0449\u0435 \u0443\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u0435\u0441\u0430: Qwen, Gemma, Llama, MoE\u042d\u0442\u043e \u0441\u043f\u0440\u0430\u0432\u043e\u0447\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c, \u0440\u0430\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430.4.1. \u0413\u0434\u0435 \u043b\u0435\u0436\u0430\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b[\u041c\u043e\u0439 \u0437\u0430\u043c\u0435\u0440] \u042f \u043d\u0435 \u0441\u0442\u0430\u043b \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c, \u0430 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u043b \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 safetensors \u0432\u0441\u0435\u0445 \u0448\u0430\u0440\u0434\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 HTTP Range-\u0437\u0430\u043f\u0440\u043e\u0441\u044b (code\/param_census.py). \u042d\u0442\u043e \u0442\u043e\u0447\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u044b \u0442\u0435\u043d\u0437\u043e\u0440\u043e\u0432 \u0431\u0435\u0437 \u0441\u043a\u0430\u0447\u0438\u0432\u0430\u043d\u0438\u044f \u0441\u0430\u043c\u0438\u0445 \u0432\u0435\u0441\u043e\u0432. Gemma 3 \u0438 Llama \u0443 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0435\u0432 \u0437\u0430\u043a\u0440\u044b\u0442\u044b \u0430\u0432\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u0430\u0433\u043e\u043b\u043e\u0432\u043a\u0438 \u0432\u0437\u044f\u0442\u044b \u0438\u0437 \u043f\u0443\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u0437\u0435\u0440\u043a\u0430\u043b unsloth\/gemma-3-270m, unsloth\/Llama-3.2-1B, NousResearch\/Meta-Llama-3.1-8B. \u041a\u043e\u043d\u0444\u0438\u0433\u0438 \u0432 \u044d\u0442\u0438\u0445 \u0437\u0435\u0440\u043a\u0430\u043b\u0430\u0445 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u0430\u043c, \u043d\u043e \u043f\u043e\u0431\u0438\u0442\u043e\u0432\u0443\u044e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0441\u043e\u0432 \u044f \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u043b.\u041c\u043e\u0434\u0435\u043b\u044c\u0432\u0441\u0435\u0433\u043e (\u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f)\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438\/lm_head\u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435MLPGemma 3 270M0.268B62.6 %11.0 %26.4 %Qwen2.5-0.5B0.494B27.6 %8.9&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-501727","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/501727","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=501727"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/501727\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=501727"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=501727"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=501727"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}