{"id":500615,"date":"2026-10-28T10:29:01","date_gmt":"2026-10-28T07:29:01","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=500615"},"modified":"2026-10-28T10:29:01","modified_gmt":"2026-10-28T07:29:01","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=500615","title":{"rendered":"\u041f\u043e\u0447\u0435\u043c\u0443 softmax \u0442\u0435\u0440\u044f\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u2014 \u0438 \u043a\u0430\u043a \u0448\u043a\u043e\u043b\u044c\u043d\u0430\u044f \u0430\u043b\u0433\u0435\u0431\u0440\u0430 7-\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0445 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/5a\/40\/2c\/5a402c37bd3738623282c2f493646aef.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/5a\/40\/2c\/5a402c37bd3738623282c2f493646aef.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/5a\/40\/2c\/5a402c37bd3738623282c2f493646aef.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435: \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u041e\u0448\u0438\u0431\u043a\u0430 \u0435\u0449\u0451 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0443\u0436\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043d\u043e\u043b\u044c. \u0410 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443\u0447\u0435\u043d\u0438\u043a \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u2014 \u0438 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043e\u0448\u0438\u0431\u043a\u0438.<\/p>\n<p>\u041e\u0431\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u043c\u0438 softmax \u0438 cross-entropy.<\/p>\n<p>22 \u043e\u043a\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 \u0414\u0436\u043e\u043d\u0430\u0442\u0430\u043d \u0411\u0430\u0440\u0440\u043e\u043d (Jonathan T. Barron), \u0414\u044d\u043d \u0413\u043d\u0430\u043d\u0430\u043f\u0440\u0430\u0433\u0430\u0441\u0430\u043c (Dan Gnanapragasam) \u0438 \u041c\u0430\u0439\u043a\u043b \u0422\u0448\u0430\u043d\u043d\u0435\u043d (Michael Tschannen) \u0438\u0437 Google DeepMind \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u0435\u043f\u0440\u0438\u043d\u0442 <a href=\"https:\/\/arxiv.org\/abs\/2610.31642\" rel=\"noopener nofollow\">A Fix for Softmax and Cross-Entropy<\/a>. \u0410\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u0434\u0432\u0430 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u0444\u0435\u043a\u0442\u0430 (\u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043d\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u044b Softmax Collapse \u0438 Softmax Cancellation) \u0432 \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445, \u043a\u0430\u043a PyTorch \u0438 JAX, \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0449\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443.<\/p>\n<p>\u041d\u0435\u0443\u0436\u0435\u043b\u0438 \u0432\u0441\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e? \u041d\u0435\u0442, \u0442\u0430\u043a\u043e\u0439 \u0432\u044b\u0432\u043e\u0434 \u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442. \u041d\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f: \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u043d\u0430\u0447\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0448\u043a\u043e\u043b\u044c\u043d\u0443\u044e \u0434\u0440\u043e\u0431\u044c. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0447\u0438\u0441\u043b\u0430, \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0438 \u043a\u043e\u0434.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0442\u0443\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u043b\u044c \u0436\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c, \u0447\u0442\u043e \u0437\u0430\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u0432 \u0443\u0447\u0435\u0431\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u0430\u0445, \u043a\u0430\u043a\u043e\u0433\u043e \u0443\u0434\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438\u043b\u0438 \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e softmax.<\/p>\n<p><strong>\u0427\u0442\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c:<\/strong><\/p>\n<ul>\n<li>\n<p><a href=\"#experiment\" rel=\"noopener nofollow\">\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u043f\u044b\u0442: \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u0438\u0433\u043d\u0430\u043b\u0430<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#collapse\" rel=\"noopener nofollow\">\u041f\u0435\u0440\u0432\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: \u043e\u0431\u0440\u044b\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0440\u043e\u0431\u0438<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#cancellation\" rel=\"noopener nofollow\">\u0412\u0442\u043e\u0440\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: \u0443\u0447\u0435\u043d\u0438\u043a \u0441\u043e\u0432\u043f\u0430\u043b \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0441\u0442\u0430\u043b\u0441\u044f<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#training\" rel=\"noopener nofollow\">\u041f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432 \u0441\u0432\u043e\u0451\u043c \u043a\u043e\u0434\u0435<\/a>.<\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"experiment\" id=\"experiment\"><\/a><\/p>\n<h2>\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u043f\u044b\u0442: \u043a\u0443\u0434\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442<\/h2>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c\u0441\u044f \u043e \u0442\u0440\u0451\u0445 \u0441\u043b\u043e\u0432\u0430\u0445. <strong>\u041b\u043e\u0433\u0438\u0442\u044b<\/strong> \u2014 \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u044b \u0434\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. <strong>Loss<\/strong>, \u0438\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u2014 \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u043e\u0442\u0432\u0435\u0442. <strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u044d\u0442\u043e\u0442 \u0448\u0442\u0440\u0430\u0444 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430.<\/p>\n<p>Softmax \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043b\u043e\u0433\u0438\u0442\u044b \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. \u0414\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 cross-entropy \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 \u043d\u0438\u0437\u043a\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430. \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0435\u0433\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u0438\u043d\u0443\u0441 \u0435\u0434\u0438\u043d\u0438\u0446\u0430; \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c.<\/p>\n<p>\u0412 \u0442\u043e\u0447\u043d\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0435 \u0441\u0443\u043c\u043c\u0430 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e. \u041f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u043a\u043e \u0432\u0441\u0435\u043c \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0448\u0442\u0440\u0430\u0444, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e \u0432\u0441\u0435\u043c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c loss.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u044d\u0442\u043e \u043d\u0430 Python \u0441 NumPy. \u041f\u0435\u0440\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442:<\/p>\n<pre><code class=\"python\">import numpy as nplogits = np.array([20.0, 0.0], dtype=np.float32)# \u041e\u0431\u044b\u0447\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 softmax \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f.shifted = logits - logits.max()e = np.exp(shifted)probs = e \/ e.sum()# \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 cross-entropy \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0430\u043c, target = 0.grad = probs.copy()grad[0] -= np.float32(1.0)print(f\"\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: {probs}\")print(f\"\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442:    {grad}\")print(f\"\u0421\u0443\u043c\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432: {grad.sum():.6e}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper\"><\/span><\/a><\/div><\/pre>\n<pre><code>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [1.0000000e+00 2.0611537e-09]\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442:    [0.0000000e+00 2.0611537e-09]\u0421\u0443\u043c\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432: 2.061154e-09<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/b6\/e0\/ba\/b6e0ba2c381e87b191a04098d9d46219.png\" alt=\"\u0411\u0430\u043b\u0430\u043d\u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432: \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u044b\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/b6\/e0\/ba\/b6e0ba2c381e87b191a04098d9d46219.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/b6\/e0\/ba\/b6e0ba2c381e87b191a04098d9d46219.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0411\u0430\u043b\u0430\u043d\u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432: \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u044b<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 1. \u0414\u043b\u044f \u043b\u043e\u0433\u0438\u0442\u043e\u0432 [20, 0] \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u0432\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 float32 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442, \u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439.<\/em><\/p>\n<p>\u0423 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u22122,06\u00b710\u207b\u2079, \u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0440\u043e\u0432\u043d\u043e 0. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 <strong>\u043d\u0435 \u043e\u0431\u043d\u0443\u043b\u0438\u043b\u0430\u0441\u044c<\/strong>: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 <code>float32<\/code>.<\/p>\n<p>\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0447\u0438\u0441\u043b\u0430 \u043e\u043a\u043e\u043b\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b. \u0423 <code>float32<\/code> \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u0435\u043c\u044c \u0437\u043d\u0430\u0447\u0430\u0449\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u0438\u0447\u043d\u044b\u0445 \u0446\u0438\u0444\u0440. \u041a\u0440\u043e\u0448\u0435\u0447\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0435\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0435\u0451 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a \u0435\u0434\u0438\u043d\u0438\u0446\u0435 \u0443\u0436\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0430\u0435\u0442 \u043e\u0441\u0442\u0430\u0432\u0448\u0443\u044e\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0445\u0435\u043c\u0443 NumPy. \u042d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u0448\u0438\u0431\u043a\u0438; \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0430\u0448\u0435\u0433\u043e \u044f\u0434\u0440\u0430 PyTorch \u0438\u043b\u0438 JAX \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u0432 \u0432\u0430\u0448\u0435\u0439 \u0441\u0440\u0435\u0434\u0435.<\/p>\n<h3>\u041d\u043e \u0432\u0435\u0434\u044c \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0439 softmax \u0434\u0430\u0432\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442?<\/h3>\n<p>\u0414\u0430. \u0412 \u043a\u043e\u0434\u0435 \u043c\u044b \u0443\u0436\u0435 \u0432\u044b\u0447\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0433\u0438\u0442 \u043f\u0435\u0440\u0435\u0434 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435\u043c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041e\u0442 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f, \u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"q_k=\\frac{e^{z_k-z_{\\max}}}{\\sum_j e^{z_j-z_{\\max}}}.\" alt=\"q_k=\\frac{e^{z_k-z_{\\max}}}{\\sum_j e^{z_j-z_{\\max}}}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5db92c9f26b6aab59d1c80002ee7ce0b.svg\" width=\"137\" height=\"47\" data-width=\"17.096\" data-height=\"5.862\" data-vertical-align=\"-2.365\" style=\"width: 17.096ex; height: 5.862ex; vertical-align: -2.365ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5db92c9f26b6aab59d1c80002ee7ce0b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5db\/5db92c9f26b6aab59d1c80002ee7ce0b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0431\u0449\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0443\u0436\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 <a href=\"https:\/\/habr.com\/ru\/companies\/otus\/articles\/1044824\/\" rel=\"noopener nofollow\">\u00ab\u041e\u0442\u043a\u0443\u0434\u0430 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0431\u0435\u0440\u0451\u0442\u0441\u044f nan: \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0430\u044f \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 ML \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0451 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430\u0445\u00bb<\/a> \u0432 \u0431\u043b\u043e\u0433\u0435 OTUS. \u0422\u0430\u043c \u0440\u0435\u0447\u044c \u043e \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f\u0445, <code>NaN<\/code> \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445 \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430\u0445.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0435\u0449\u0451 \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c\u0441\u044f \u0442\u043e\u0447\u043d\u043e. \u0418\u043c\u0435\u043d\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438\u0437 \u043d\u043e\u0432\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.<\/p>\n<p><a class=\"anchor\" name=\"collapse\" id=\"collapse\"><\/a><\/p>\n<h2>\u041f\u0435\u0440\u0432\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: Softmax Collapse<\/h2>\n<p>\u041f\u0443\u0441\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0438\u043c\u0435\u0435\u0442 \u043d\u043e\u043c\u0435\u0440 <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg\" width=\"12\" height=\"12\" data-width=\"0.817\" data-height=\"1.441\" data-vertical-align=\"-0.025\" style=\"width: 0.817ex; height: 1.441ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0433\u043e \u043b\u043e\u0433\u0438\u0442 \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"z_t\" alt=\"z_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0bc\/0bcd91fb6432f991d5b4cbb079e562c7.svg\" width=\"15\" height=\"12\" data-width=\"1.817\" data-height=\"1.357\" data-vertical-align=\"-0.357\" style=\"width: 1.817ex; height: 1.357ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0bc\/0bcd91fb6432f991d5b4cbb079e562c7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0b\/0bc\/0bcd91fb6432f991d5b4cbb079e562c7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"q_t\" alt=\"q_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db0\/db038f01db1d6ee8dea5f25727619cc1.svg\" width=\"14\" height=\"12\" data-width=\"1.774\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 1.774ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db0\/db038f01db1d6ee8dea5f25727619cc1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/db\/db0\/db038f01db1d6ee8dea5f25727619cc1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043b\u043e\u0433\u0438\u0442\u0443 \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"g_t\" alt=\"g_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f7\/f75\/f752008a78c8519e9f8f178faf0b87ed.svg\" width=\"15\" height=\"12\" data-width=\"1.844\" data-height=\"1.464\" data-vertical-align=\"-0.464\" style=\"width: 1.844ex; height: 1.464ex; vertical-align: -0.464ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f7\/f75\/f752008a78c8519e9f8f178faf0b87ed.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f7\/f75\/f752008a78c8519e9f8f178faf0b87ed.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043d\u043e\u0441\u0438\u0442\u044c \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443, \u0432\u0432\u0435\u0434\u0451\u043c <strong>\u043e\u0442\u0440\u044b\u0432<\/strong> <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430\u0434 \u0432\u0441\u0435\u043c\u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u043c\u0435\u0441\u0442\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"m=z_t-\\log\\sum_{j\\ne t}e^{z_j}.\" alt=\"m=z_t-\\log\\sum_{j\\ne t}e^{z_j}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/29\/29d\/29d6a8ba65b3a413b48314563f40ecff.svg\" width=\"158\" height=\"42\" data-width=\"19.713\" data-height=\"5.261\" data-vertical-align=\"-2.065\" style=\"width: 19.713ex; height: 5.261ex; vertical-align: -2.065ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/29\/29d\/29d6a8ba65b3a413b48314563f40ecff.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/29\/29d\/29d6a8ba65b3a413b48314563f40ecff.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0434\u0432\u0443\u0445 \u043b\u043e\u0433\u0438\u0442\u043e\u0432. \u0415\u0441\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432: \u043e\u0442\u0440\u044b\u0432 \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430 \u0443\u0436\u0435 \u043d\u0435 \u0440\u0430\u0432\u0435\u043d <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u0447\u0435\u0440\u0435\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"r\" alt=\"r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg\" width=\"12\" height=\"12\" data-width=\"1.02\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.02ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"r=e^{-m}=\\sum_{j\\ne t}e^{z_j-z_t}.\" alt=\"r=e^{-m}=\\sum_{j\\ne t}e^{z_j-z_t}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb9\/cb9dd9572410cf7e272746c5c80f074d.svg\" width=\"163\" height=\"42\" data-width=\"20.333\" data-height=\"5.261\" data-vertical-align=\"-2.065\" style=\"width: 20.333ex; height: 5.261ex; vertical-align: -2.065ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb9\/cb9dd9572410cf7e272746c5c80f074d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb9\/cb9dd9572410cf7e272746c5c80f074d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0435\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg\" width=\"16\" height=\"12\" data-width=\"1.986\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.986ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6f\/6f8\/6f8f57715090da2632453988d9a1501b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"r\" alt=\"r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg\" width=\"12\" height=\"12\" data-width=\"1.02\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.02ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u0440\u0430\u0432\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"q_t=1\/(1+r)\" alt=\"q_t=1\/(1+r)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce9\/ce9fcee8e920b3cc1c4c0da2e2a8d060.svg\" width=\"110\" height=\"18\" data-width=\"13.731\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 13.731ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce9\/ce9fcee8e920b3cc1c4c0da2e2a8d060.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ce\/ce9\/ce9fcee8e920b3cc1c4c0da2e2a8d060.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p><strong>\u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430:<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g_t=\\frac{1}{1+r}-1.\" alt=\"g_t=\\frac{1}{1+r}-1.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a2\/4a26dd4e1b915debc96779553151e65a.svg\" width=\"122\" height=\"38\" data-width=\"15.3\" data-height=\"4.774\" data-vertical-align=\"-1.821\" style=\"width: 15.3ex; height: 4.774ex; vertical-align: -1.821ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a2\/4a26dd4e1b915debc96779553151e65a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a2\/4a26dd4e1b915debc96779553151e65a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"r\" alt=\"r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg\" width=\"12\" height=\"12\" data-width=\"1.02\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.02ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4b\/4b4\/4b43b0aee35624cd95b910189b3dc231.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e, \u0441\u0443\u043c\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"1+r\" alt=\"1+r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/38\/389\/389dfdfa22c5136323fb92b2f369e034.svg\" width=\"39\" height=\"14\" data-width=\"4.917\" data-height=\"1.692\" data-vertical-align=\"-0.186\" style=\"width: 4.917ex; height: 1.692ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/38\/389\/389dfdfa22c5136323fb92b2f369e034.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/38\/389\/389dfdfa22c5136323fb92b2f369e034.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b. \u0417\u0430\u0442\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0439 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043d\u0443\u043b\u0451\u043c. \u0425\u043e\u0442\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043d \u0435\u0449\u0451 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u0435\u043d!<\/p>\n<h3>\u0413\u0434\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u0440\u044b\u0432<\/h3>\n<p>\u0423 <code>float32<\/code> 23 \u044f\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u0431\u0438\u0442\u0430 \u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438 \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043d\u0435\u044f\u0432\u043d\u044b\u0439 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0431\u0438\u0442 \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b. \u0428\u0430\u0433 \u043c\u0435\u0436\u0434\u0443 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439 \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0440\u0430\u0432\u0435\u043d <img decoding=\"async\" class=\"formula inline\" source=\"2^{-23}\" alt=\"2^{-23}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/957\/95706289486f987ae705b8be2dca5825.svg\" width=\"33\" height=\"16\" data-width=\"4.163\" data-height=\"2\" style=\"width: 4.163ex; height: 2ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/957\/95706289486f987ae705b8be2dca5825.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/95\/957\/95706289486f987ae705b8be2dca5825.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u043c\u0443 \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"2^{-24}\" alt=\"2^{-24}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd8\/cd839af837df644a188d0f5c27418d92.svg\" width=\"33\" height=\"16\" data-width=\"4.163\" data-height=\"2.017\" style=\"width: 4.163ex; height: 2.017ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd8\/cd839af837df644a188d0f5c27418d92.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cd\/cd8\/cd839af837df644a188d0f5c27418d92.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0443\u0436\u0435 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"m_{\\text{cliff}}\\approx(b+1)\\ln 2,\" alt=\"m_{\\text{cliff}}\\approx(b+1)\\ln 2,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5e\/d5e54318e03c15ebe8d91cb67804bb0c.svg\" width=\"150\" height=\"18\" data-width=\"18.799\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 18.799ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5e\/d5e54318e03c15ebe8d91cb67804bb0c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d5\/d5e\/d5e54318e03c15ebe8d91cb67804bb0c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"b\" alt=\"b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/92e\/92eb5ffee6ae2fec3ad71c777531578f.svg\" width=\"12\" height=\"13\" data-width=\"0.971\" data-height=\"1.595\" data-vertical-align=\"-0.025\" style=\"width: 0.971ex; height: 1.595ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/92e\/92eb5ffee6ae2fec3ad71c777531578f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/92e\/92eb5ffee6ae2fec3ad71c777531578f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0447\u0438\u0441\u043b\u043e \u044f\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u0431\u0438\u0442\u043e\u0432 \u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0424\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0411\u0438\u0442\u043e\u0432 \u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041f\u043e\u0440\u043e\u0433 \u043e\u0442\u0440\u044b\u0432\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">bfloat16<\/p>\n<\/td>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2248 5,54<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">float16<\/p>\n<\/td>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2248 7,62<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">float32<\/p>\n<\/td>\n<td>\n<p align=\"left\">23<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2248 16,63<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">float64<\/p>\n<\/td>\n<td>\n<p align=\"left\">52<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u2248 36,74<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u042d\u0442\u043e \u043f\u043e\u0440\u043e\u0433\u0438 <strong>\u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438<\/strong>. \u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432 <code>bfloat16<\/code> \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0447\u0442\u043e softmax \u0438 loss \u0442\u043e\u0436\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043d\u0451\u043c: \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 <code>float32<\/code>. \u0418 \u0441\u0430\u043c\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u043e\u0433\u043e \u044f\u0434\u0440\u0430.<\/p>\n<h3>\u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435: \u0448\u043a\u043e\u043b\u044c\u043d\u0430\u044f \u0430\u043b\u0433\u0435\u0431\u0440\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e<\/h3>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u0434\u0440\u043e\u0431\u0438 \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044e. \u0412 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"1-(1+r)=-r\" alt=\"1-(1+r)=-r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f2\/9f23c44874d24bfa6b7b7e9382031d6b.svg\" width=\"131\" height=\"18\" data-width=\"16.372\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 16.372ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f2\/9f23c44874d24bfa6b7b7e9382031d6b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f2\/9f23c44874d24bfa6b7b7e9382031d6b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0442\u0430 \u0436\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u0438\u043d\u0430\u0447\u0435.<\/p>\n<p><strong>\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430:<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"g_t=-\\frac{r}{1+r}.\" alt=\"g_t=-\\frac{r}{1+r}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/88c\/88cfd51c57c6515bfc6f50cfd5528131.svg\" width=\"105\" height=\"34\" data-width=\"13.163\" data-height=\"4.267\" data-vertical-align=\"-1.568\" style=\"width: 13.163ex; height: 4.267ex; vertical-align: -1.568ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/88c\/88cfd51c57c6515bfc6f50cfd5528131.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/88c\/88cfd51c57c6515bfc6f50cfd5528131.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u0442\u0441\u044f \u0434\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d <img decoding=\"async\" class=\"formula inline\" source=\"-r\" alt=\"-r\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dca\/dca90348d03e2bdb52ad4cc669a23ebd.svg\" width=\"22\" height=\"12\" data-width=\"2.781\" data-height=\"1.505\" data-vertical-align=\"-0.186\" style=\"width: 2.781ex; height: 1.505ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dca\/dca90348d03e2bdb52ad4cc669a23ebd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/dc\/dca\/dca90348d03e2bdb52ad4cc669a23ebd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412\u043c\u0435\u0441\u0442\u043e \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u043c\u044b \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043c\u0430\u043b\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/a3\/34\/24\/a334249c87cb51cd3d7a6175428b60fb.png\" alt=\"\u041e\u0431\u0440\u044b\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 float32 \u043e\u043a\u043e\u043b\u043e \u043e\u0442\u0440\u044b\u0432\u0430 16,6 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/a3\/34\/24\/a334249c87cb51cd3d7a6175428b60fb.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/a3\/34\/24\/a334249c87cb51cd3d7a6175428b60fb.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041e\u0431\u0440\u044b\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 float32 \u043e\u043a\u043e\u043b\u043e \u043e\u0442\u0440\u044b\u0432\u0430 16,6 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 2. \u041c\u043e\u0434\u0443\u043b\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0442\u0440\u044b\u0432\u0430 m. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 float32 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e m = 16,6. \u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c. \u041c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043d\u043e\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e: \u043d\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0441\u0438 \u043e\u043d \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b.<\/em><\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0447\u0435\u043a \u0441 \u0433\u0440\u0430\u0444\u0438\u043a\u0430:<\/p>\n<pre><code class=\"python\">import numpy as npm = np.array([10, 15, 16, 17, 20, 30], dtype=np.float32)one = np.float32(1.0)r = np.exp(-m)usual = one \/ (one + r) - onefixed = -r \/ (one + r)for margin, a, b in zip(m, usual, fixed):    print(f\"m={margin:2.0f}: usual={a: .6e}, fixed={b: .6e}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<pre><code>m=10: usual=-4.541874e-05, fixed=-4.539786e-05m=15: usual=-3.576279e-07, fixed=-3.059022e-07m=16: usual=-1.192093e-07, fixed=-1.125352e-07m=17: usual= 0.000000e+00, fixed=-4.139937e-08m=20: usual= 0.000000e+00, fixed=-2.061154e-09m=30: usual= 0.000000e+00, fixed=-9.357623e-14<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442. \u0415\u0441\u043b\u0438 \u0443\u0436\u0435 \u0441\u0430\u043c\u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0441\u0442\u0430\u043d\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0430 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430, \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0435\u0442 <strong>underflow<\/strong> \u2014 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u043a \u043d\u0443\u043b\u044e \u0443 \u043d\u0438\u0436\u043d\u0435\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u0435\u0436\u0434\u0435\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043a \u0435\u0434\u0438\u043d\u0438\u0446\u0435, \u043d\u043e \u043d\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0447\u0438\u0441\u0435\u043b \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430.<\/p>\n<p><a class=\"anchor\" name=\"cancellation\" id=\"cancellation\"><\/a><\/p>\n<h2>\u0412\u0442\u043e\u0440\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: Softmax Cancellation<\/h2>\n<p>\u041f\u0440\u0438 <strong>\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438<\/strong> \u0441\u0435\u0442\u044c-\u0443\u0447\u0435\u043d\u0438\u043a \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438-\u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_k\" alt=\"p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/377\/37776ef04e8a6a01d5ffe1dcf1322214.svg\" width=\"17\" height=\"12\" data-width=\"2.159\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 2.159ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/377\/37776ef04e8a6a01d5ffe1dcf1322214.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/37\/377\/37776ef04e8a6a01d5ffe1dcf1322214.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0430 \u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u044f, <img decoding=\"async\" class=\"formula inline\" source=\"q_k\" alt=\"q_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1fc\/1fcf841ba6cb2c8ae44b2ca642079582.svg\" width=\"16\" height=\"12\" data-width=\"2.03\" data-height=\"1.439\" data-vertical-align=\"-0.439\" style=\"width: 2.03ex; height: 1.439ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1fc\/1fcf841ba6cb2c8ae44b2ca642079582.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1fc\/1fcf841ba6cb2c8ae44b2ca642079582.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0443 \u0443\u0447\u0435\u043d\u0438\u043a\u0430, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"z_{S,k}\" alt=\"z_{S,k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c73\/c73ec109a8b50f7741e6389a4e934e9d.svg\" width=\"28\" height=\"13\" data-width=\"3.55\" data-height=\"1.65\" data-vertical-align=\"-0.65\" style=\"width: 3.55ex; height: 1.65ex; vertical-align: -0.65ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c73\/c73ec109a8b50f7741e6389a4e934e9d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c7\/c73\/c73ec109a8b50f7741e6389a4e934e9d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043b\u043e\u0433\u0438\u0442 \u0443\u0447\u0435\u043d\u0438\u043a\u0430.<\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u00ab\u043c\u044f\u0433\u043a\u0438\u043c\u0438\u00bb \u043c\u0435\u0442\u043a\u0430\u043c\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L}=-\\sum_k p_k\\log q_k.\" alt=\"\\mathcal{L}=-\\sum_k p_k\\log q_k.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/50a\/50a040e64fed1d78f537bd71653699d2.svg\" width=\"151\" height=\"39\" data-width=\"18.824\" data-height=\"4.899\" data-vertical-align=\"-1.884\" style=\"width: 18.824ex; height: 4.899ex; vertical-align: -1.884ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/50a\/50a040e64fed1d78f537bd71653699d2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/50\/50a\/50a040e64fed1d78f537bd71653699d2.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0451 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u0443\u0447\u0435\u043d\u0438\u043a\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{\\partial\\mathcal{L}}{\\partial z_{S,k}}=q_k-p_k.\" alt=\"\\frac{\\partial\\mathcal{L}}{\\partial z_{S,k}}=q_k-p_k.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/964\/964eb2a5d9a698bb317ad254081146f3.svg\" width=\"131\" height=\"43\" data-width=\"16.427\" data-height=\"5.349\" data-vertical-align=\"-2.109\" style=\"width: 16.427ex; height: 5.349ex; vertical-align: -2.109ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/964\/964eb2a5d9a698bb317ad254081146f3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/964\/964eb2a5d9a698bb317ad254081146f3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0443\u0447\u0435\u043d\u0438\u043a \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u0442\u0430\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u044b\u043c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0430\u043c\u0430 cross-entropy \u043e\u0431\u044b\u0447\u043d\u043e <strong>\u043d\u0435 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e<\/strong>: \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041d\u0443\u043b\u0435\u0432\u044b\u043c\u0438 \u043f\u0440\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0438 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u2014 \u043c\u0435\u0440\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0434\u0432\u0443\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041d\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043f\u0443\u0442\u044f\u043c\u0438: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0447\u0435\u0440\u0435\u0437 \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442, \u0430 \u0434\u043b\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u2014 \u0447\u0435\u0440\u0435\u0437 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u043e\u0442 <code>log_softmax<\/code>. \u0412 \u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b; \u043f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u043c\u043b\u0430\u0434\u0448\u0438\u0435 \u0440\u0430\u0437\u0440\u044f\u0434\u044b \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.<\/p>\n<pre><code class=\"python\">import numpy as npz = np.array([2.0, 1.0, 0.0], dtype=np.float32)shifted = z - z.max()e = np.exp(shifted)p = e \/ e.sum()                         # \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 softmaxq = np.exp(shifted - np.log(e.sum()))   # \u0447\u0435\u0440\u0435\u0437 log_softmaxnoise = q - pprint(noise)print(f\"\u041d\u043e\u0440\u043c\u0430: {np.linalg.norm(noise):.6e}\")<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<pre><code>[ 0.0000000e+00  1.4901161e-08 -1.4901161e-08]\u041d\u043e\u0440\u043c\u0430: 2.107342e-08<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u041b\u043e\u0433\u0438\u0442\u044b \u0441\u043e\u0432\u043f\u0430\u043b\u0438, \u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u043d\u0435\u0442. \u042d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0437 <code>x - x<\/code>: \u0437\u0434\u0435\u0441\u044c \u0432\u044b\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0443\u0442\u0435\u0439.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/94\/24\/22\/942422b71247a702a8598a266e03bca6.png\" alt=\"\u041f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/94\/24\/22\/942422b71247a702a8598a266e03bca6.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/94\/24\/22\/942422b71247a702a8598a266e03bca6.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 3. \u0423\u0447\u0438\u0442\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u043b\u043e\u0433\u0438\u0442\u044b [2, 1, 0], \u0443\u0447\u0435\u043d\u0438\u043a \u2014 [2, 1, \u03b4]. \u041f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 \u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 float32; \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 \u2014 \u043d\u043e\u0440\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u041f\u0440\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0422\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445, \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/em><\/p>\n<h3>\u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043b\u043e\u0433\u0438\u0442\u044b<\/h3>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043b\u043e\u0433\u0438\u0442\u043e\u0432. \u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043f\u043e \u0448\u0430\u0433\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0438\u0441\u044c \u0432 \u0441\u0442\u0435\u043d\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<\/p>\n<p><strong>\u0428\u0430\u0433 1. \u041d\u0430\u0445\u043e\u0434\u0438\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\delta_k=z_{S,k}-z_{T,k}.\" alt=\"\\delta_k=z_{S,k}-z_{T,k}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/398\/398b3bf93a237f0cfe9bac0ed0485985.svg\" width=\"125\" height=\"19\" data-width=\"15.632\" data-height=\"2.347\" data-vertical-align=\"-0.608\" style=\"width: 15.632ex; height: 2.347ex; vertical-align: -0.608ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/398\/398b3bf93a237f0cfe9bac0ed0485985.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/39\/398\/398b3bf93a237f0cfe9bac0ed0485985.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u0428\u0430\u0433 2. \u0412\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.<\/strong> \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c <img decoding=\"async\" class=\"formula inline\" source=\"d_k\" alt=\"d_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/751\/7516b96678349ed002f1931a294f577c.svg\" width=\"18\" height=\"15\" data-width=\"2.198\" data-height=\"1.927\" data-vertical-align=\"-0.357\" style=\"width: 2.198ex; height: 1.927ex; vertical-align: -0.357ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/751\/7516b96678349ed002f1931a294f577c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/751\/7516b96678349ed002f1931a294f577c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"d_k=\\delta_k-\\sum_i p_i\\delta_i.\" alt=\"d_k=\\delta_k-\\sum_i p_i\\delta_i.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/244\/24471f2001d11bd869caec7fc8e66ca6.svg\" width=\"143\" height=\"39\" data-width=\"17.901\" data-height=\"4.847\" data-vertical-align=\"-1.858\" style=\"width: 17.901ex; height: 4.847ex; vertical-align: -1.858ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/244\/24471f2001d11bd869caec7fc8e66ca6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/24\/244\/24471f2001d11bd869caec7fc8e66ca6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u0428\u0430\u0433 3. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043c\u0430\u043b\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/strong> \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043e\u0431\u0449\u0438\u0439 \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0447\u043b\u0435\u043d \u0447\u0435\u0440\u0435\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a8\/4a8a08f09d37b73795649038408b5f33.svg\" width=\"12\" height=\"12\" data-width=\"0.98\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 0.98ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a8\/4a8a08f09d37b73795649038408b5f33.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a8\/4a8a08f09d37b73795649038408b5f33.svg 781w\" loading=\"lazy\" decode=\"async\"\/>:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"c=\\operatorname{log1p}\\left(\\sum_i p_i\\operatorname{expm1}(d_i)\\right),\" alt=\"c=\\operatorname{log1p}\\left(\\sum_i p_i\\operatorname{expm1}(d_i)\\right),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/06\/06f\/06fa699e0da482428792ce6cd40bbc05.svg\" width=\"245\" height=\"54\" data-width=\"30.669\" data-height=\"6.785\" data-vertical-align=\"-2.827\" style=\"width: 30.669ex; height: 6.785ex; vertical-align: -2.827ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/06\/06f\/06fa699e0da482428792ce6cd40bbc05.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/06\/06f\/06fa699e0da482428792ce6cd40bbc05.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"q_k-p_k=p_k\\operatorname{expm1}(d_k-c).\" alt=\"q_k-p_k=p_k\\operatorname{expm1}(d_k-c).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/6547ec3d3603d603195a4b87e35ae057.svg\" width=\"222\" height=\"18\" data-width=\"27.691\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 27.691ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/6547ec3d3603d603195a4b87e35ae057.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/6547ec3d3603d603195a4b87e35ae057.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><code>expm1(x)<\/code> \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"e^x-1\" alt=\"e^x-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9e\/a9e009f44cbf64d947347d8e0665f431.svg\" width=\"48\" height=\"15\" data-width=\"6.054\" data-height=\"1.827\" data-vertical-align=\"-0.186\" style=\"width: 6.054ex; height: 1.827ex; vertical-align: -0.186ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9e\/a9e009f44cbf64d947347d8e0665f431.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a9e\/a9e009f44cbf64d947347d8e0665f431.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 <code>log1p(x)<\/code> \u2014 <img decoding=\"async\" class=\"formula inline\" source=\"\\log(1+x)\" alt=\"\\log(1+x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/833\/833bd5301ccbf2ba0e68006b947652e9.svg\" width=\"79\" height=\"18\" data-width=\"9.843\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 9.843ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/833\/833bd5301ccbf2ba0e68006b947652e9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/833\/833bd5301ccbf2ba0e68006b947652e9.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0418\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c <code>x<\/code>, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u044f\u043c\u043e\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0435\u0451 \u0442\u0435\u0440\u044f\u0435\u0442.<\/p>\n<p>\u0412 \u0442\u043e\u0447\u043d\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0435 \u0437\u0434\u0435\u0441\u044c \u0441\u043d\u043e\u0432\u0430 \u0442\u0430 \u0436\u0435 \u0441\u0430\u043c\u0430\u044f \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"q_k-p_k\" alt=\"q_k-p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fd\/fda\/fdabcba3855e1ac1a2b97f66e9112664.svg\" width=\"56\" height=\"14\" data-width=\"6.955\" data-height=\"1.758\" data-vertical-align=\"-0.439\" style=\"width: 6.955ex; height: 1.758ex; vertical-align: -0.439ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fd\/fda\/fdabcba3855e1ac1a2b97f66e9112664.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fd\/fda\/fdabcba3855e1ac1a2b97f66e9112664.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u0440\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0443\u043b\u0435\u0432\u044b\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\delta\" alt=\"\\delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/77a\/77a3b715842b45e440a5bee15357ad29.svg\" width=\"12\" height=\"18\" data-width=\"1.005\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.005ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/77a\/77a3b715842b45e440a5bee15357ad29.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/77\/77a\/77a3b715842b45e440a5bee15357ad29.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0437\u0430\u0442\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg\" width=\"12\" height=\"13\" data-width=\"1.176\" data-height=\"1.593\" data-vertical-align=\"-0.023\" style=\"width: 1.176ex; height: 1.593ex; vertical-align: -0.023ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/82\/827\/8277e0910d750195b448797616e091ad.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a8\/4a8a08f09d37b73795649038408b5f33.svg\" width=\"12\" height=\"12\" data-width=\"0.98\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 0.98ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a8\/4a8a08f09d37b73795649038408b5f33.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4a\/4a8\/4a8a08f09d37b73795649038408b5f33.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u2014 <code>expm1(0)<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043d\u043e\u043b\u044c.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u0430\u0445: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 NumPy-\u043a\u043e\u0434<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import numpy as npteacher = np.array([2.0, 1.0, 0.0], dtype=np.float32)student = teacher.copy()e = np.exp(teacher - teacher.max())p = e \/ e.sum()delta = student - teacherd = delta - np.sum(p * delta)c = np.log1p(np.sum(p * np.expm1(d)))gradient = p * np.expm1(d - c)print(gradient)  # [0. 0. 0.]<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p>\u042d\u0442\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0434\u043b\u044f \u0431\u043b\u0438\u0437\u043a\u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u043e\u0432, \u0430 \u043d\u0435 \u0433\u043e\u0442\u043e\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u043d\u0443\u0436\u043d\u044b \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0440\u044b \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u0438; \u043f\u043e\u043b\u043d\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0443 \u0430\u0432\u0442\u043e\u0440\u043e\u0432.<\/p>\n<\/div>\n<\/details>\n<p><a class=\"anchor\" name=\"training\" id=\"training\"><\/a><\/p>\n<h2>\u041f\u043e\u0447\u0435\u043c\u0443 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043d\u043e\u0439 \u2014 \u043a\u043e\u043c\u0443 \u043a\u0430\u043a\u043e\u0435 \u0434\u0435\u043b\u043e? \u041d\u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0448\u0430\u0433\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0441\u0430\u043c\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043d\u043e \u0438 \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Adam \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0443 \u0435\u0433\u043e \u043d\u0435\u0434\u0430\u0432\u043d\u0435\u0433\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\theta_{n+1}=\\theta_n-\\eta\\frac{\\widehat m_n}{\\sqrt{\\widehat v_n}+\\epsilon}.\" alt=\"\\theta_{n+1}=\\theta_n-\\eta\\frac{\\widehat m_n}{\\sqrt{\\widehat v_n}+\\epsilon}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c03\/c03244f0cc17c4e24929c0ec3e94c0f4.svg\" width=\"186\" height=\"50\" data-width=\"23.231\" data-height=\"6.19\" data-vertical-align=\"-2.529\" style=\"width: 23.231ex; height: 6.19ex; vertical-align: -2.529ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c03\/c03244f0cc17c4e24929c0ec3e94c0f4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c0\/c03\/c03244f0cc17c4e24929c0ec3e94c0f4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg\" width=\"12\" height=\"18\" data-width=\"1.061\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.061ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, <img decoding=\"async\" class=\"formula inline\" source=\"\\eta\" alt=\"\\eta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg\" width=\"12\" height=\"18\" data-width=\"1.124\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 1.124ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/ff\/ffe\/ffe9f913124f345732e9f00fa258552e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, <img decoding=\"async\" class=\"formula inline\" source=\"\\widehat m_n\" alt=\"\\widehat m_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/ada\/ada35da95f6a674db5f7d8bc50b459d3.svg\" width=\"25\" height=\"20\" data-width=\"3.134\" data-height=\"2.466\" data-vertical-align=\"-0.667\" style=\"width: 3.134ex; height: 2.466ex; vertical-align: -0.667ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/ada\/ada35da95f6a674db5f7d8bc50b459d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/ada\/ada35da95f6a674db5f7d8bc50b459d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\widehat v_n\" alt=\"\\widehat v_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/361\/361034fcff08da5b3d7ae52ecdf40a84.svg\" width=\"18\" height=\"19\" data-width=\"2.245\" data-height=\"2.4\" data-vertical-align=\"-0.635\" style=\"width: 2.245ex; height: 2.4ex; vertical-align: -0.635ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/361\/361034fcff08da5b3d7ae52ecdf40a84.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/361\/361034fcff08da5b3d7ae52ecdf40a84.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0435\u0433\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430 \u0441 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435. \u041c\u0430\u043b\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/92e\/92e4da341fe8f4cd46192f21b6ff3aa7.svg\" width=\"12\" height=\"18\" data-width=\"0.919\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 0.919ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/92e\/92e4da341fe8f4cd46192f21b6ff3aa7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/92e\/92e4da341fe8f4cd46192f21b6ff3aa7.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044f. \u0418\u043d\u0434\u0435\u043a\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg\" width=\"12\" height=\"12\" data-width=\"1.357\" data-height=\"1.025\" data-vertical-align=\"-0.025\" style=\"width: 1.357ex; height: 1.025ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7b\/7b8\/7b8b965ad4bca0e41ab51de7b31363a1.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0448\u0430\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f; \u043e\u043d \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d \u0441 \u043d\u043e\u043c\u0435\u0440\u043e\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<p>\u0423 Softmax Collapse \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044f: \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043b\u043e\u0433\u0438\u0442\u0430 \u0438\u0441\u0447\u0435\u0437, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0441\u044c. \u0414\u0430\u043b\u044c\u0448\u0435 \u044d\u0442\u043e\u0442 \u0438\u0441\u043a\u0430\u0436\u0451\u043d\u043d\u044b\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 \u0441\u0435\u0442\u044c \u0438 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442 \u0432 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440. <strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u0432\u0435\u0441\u0430\u043c \u2014 \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0435\u0449\u0438:<\/strong> \u043d\u0435\u043b\u044c\u0437\u044f \u0431\u0443\u043a\u0432\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0441\u0447\u0435\u0437\u043d\u043e\u0432\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043d\u0435\u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u043e\u0431\u043d\u0443\u043b\u0438\u043b\u043e \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432\u0435\u0441\u043e\u0432.<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u044e\u0442 \u0442\u0430\u043a\u0443\u044e \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044e \u0441 <strong>Slingshot<\/strong>, \u0438\u043b\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u043e\u043c \u00ab\u0420\u043e\u0433\u0430\u0442\u043a\u0438\u00bb: \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0438\u043e\u0434\u0430 \u043d\u0438\u0437\u043a\u043e\u0433\u043e loss \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0442 \u0440\u0435\u0437\u043a\u0438\u0435 \u0432\u0441\u043f\u043b\u0435\u0441\u043a\u0438. \u0412 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0440\u0430\u0431\u043e\u0442\u044b \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u0443\u0431\u0438\u0440\u0430\u0435\u0442 \u044d\u0442\u0438 \u0432\u0441\u043f\u043b\u0435\u0441\u043a\u0438 \u0438 \u043c\u0435\u043d\u044f\u0435\u0442 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u043d\u0438\u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0430 \u0440\u0435\u0436\u0438\u043c\u0430. <strong>Weight decay<\/strong> \u2014 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043d\u0435\u043c\u043d\u043e\u0433\u0443 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438; \u0432 \u0432\u0435\u0440\u0445\u043d\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043e\u043d\u0430 \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0430, \u0432 \u043d\u0438\u0436\u043d\u0435\u043c \u2014 \u043d\u0435\u0442.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/extt\/5d\/ab\/f4\/5dabf449463fb738350c83a3d9742ee2.png\" alt=\"\u041f\u043e\u0442\u0435\u0440\u0438 \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 DeepMind: \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u043d\u0435\u043b\u0438 Figure 2b,c\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/extt\/5d\/ab\/f4\/5dabf449463fb738350c83a3d9742ee2.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/extt\/5d\/ab\/f4\/5dabf449463fb738350c83a3d9742ee2.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041f\u043e\u0442\u0435\u0440\u0438 \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 DeepMind: \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u043d\u0435\u043b\u0438 Figure 2b,c<\/figcaption><\/div>\n<\/figure>\n<p><em>\u0420\u0438\u0441. 4. \u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u043d\u0435\u043b\u0438 Figure 2b,c \u0440\u0430\u0431\u043e\u0442\u044b Barron, Gnanapragasam \u0438 Tschannen; \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u044b \u0440\u0443\u0441\u0441\u043a\u0438\u0435 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u044f. \u0421\u043b\u0435\u0432\u0430 \u2014 loss, \u0441\u043f\u0440\u0430\u0432\u0430 \u2014 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c. \u0421\u0432\u0435\u0440\u0445\u0443: \u0441\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e 31, weight decay \u03bb = 1, Adam \u03b5 = 10\u207b\u2078. \u0421\u043d\u0438\u0437\u0443: (a\u00b2 + b\u00b2) mod 97, \u03bb = 0, \u03b5 = 10\u207b\u00b9\u2076. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f float32, \u043f\u044f\u0442\u044c \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b (seed). Epoch \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u044d\u043f\u043e\u0445\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, Step \u2014 \u0448\u0430\u0433\u0438, c\u2083\u2082 \u2248 16,6 \u2014 \u043f\u043e\u0440\u043e\u0433 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438. \u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: <\/em><a href=\"https:\/\/arxiv.org\/html\/2610.31642v1#S4\" rel=\"noopener nofollow\"><em>\u0440\u0430\u0437\u0434\u0435\u043b 4 \u043f\u0440\u0435\u043f\u0440\u0438\u043d\u0442\u0430<\/em><\/a><em>, CC BY 4.0. \u042d\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u043e\u0432, \u0430 \u043d\u0435 \u043d\u0430\u0448\u0430 \u0440\u0435\u043f\u0440\u043e\u0434\u0443\u043a\u0446\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/em><\/p>\n<p>\u042d\u0442\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0447\u0435\u043c \u043e\u0434\u0438\u043d \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u0434\u0432\u0443\u043c\u044f \u0447\u0438\u0441\u043b\u0430\u043c\u0438. \u041d\u043e \u043e\u043d \u043d\u0435 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u044e\u0431\u043e\u0439 \u0432\u0441\u043f\u043b\u0435\u0441\u043a loss \u0443 \u043b\u044e\u0431\u043e\u0439 LLM \u0432\u044b\u0437\u0432\u0430\u043d \u0438\u043c\u0435\u043d\u043d\u043e softmax. \u0412 \u0440\u0430\u0431\u043e\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0437\u0430\u0434\u0430\u0447\u0438; \u043f\u0435\u0440\u0435\u043d\u043e\u0441 \u0432\u044b\u0432\u043e\u0434\u0430 \u043d\u0430 \u0432\u0430\u0448\u0443 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<h2>\u041a\u0430\u043a \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c loss, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443<\/h2>\n<p>\u0414\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg\" width=\"12\" height=\"12\" data-width=\"0.817\" data-height=\"1.441\" data-vertical-align=\"-0.025\" style=\"width: 0.817ex; height: 1.441ex; vertical-align: -0.025ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e3\/e35\/e358efa489f58062f10dd7316b65649e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> cross-entropy \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"a=\\operatorname{logsumexp}_{j\\ne t}(z_j-z_t).\" alt=\"a=\\operatorname{logsumexp}_{j\\ne t}(z_j-z_t).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8df\/8dfcab03e7520c98581174839d924874.svg\" width=\"209\" height=\"21\" data-width=\"26.136\" data-height=\"2.587\" data-vertical-align=\"-0.728\" style=\"width: 26.136ex; height: 2.587ex; vertical-align: -0.728ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8df\/8dfcab03e7520c98581174839d924874.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8df\/8dfcab03e7520c98581174839d924874.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <code>logsumexp<\/code> \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u00ab\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0441\u0443\u043c\u043c\u044b \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u00bb, \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c. \u0417\u0430\u0442\u0435\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L} = \\operatorname{softplus}(a)\" alt=\"\\mathcal{L} = \\operatorname{softplus}(a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa7\/aa7b145052cfa42958c5d4e284d99031.svg\" width=\"121\" height=\"18\" data-width=\"15.166\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 15.166ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa7\/aa7b145052cfa42958c5d4e284d99031.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/aa\/aa7\/aa7b145052cfa42958c5d4e284d99031.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f <code>softplus(a)<\/code> \u2014 \u044d\u0442\u043e \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\log(1+e^a)\" alt=\"\\log(1+e^a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/697\/69703f959ab4c78a37c89ddfe3a901e6.svg\" width=\"85\" height=\"18\" data-width=\"10.637\" data-height=\"2.262\" data-vertical-align=\"-0.566\" style=\"width: 10.637ex; height: 2.262ex; vertical-align: -0.566ex\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/697\/69703f959ab4c78a37c89ddfe3a901e6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/69\/697\/69703f959ab4c78a37c89ddfe3a901e6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041c\u0430\u043b\u0443\u044e \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0443 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0441 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0435\u0439, \u0442\u0435\u0440\u044f\u044f \u0435\u0451 \u0434\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u2014 \u0443\u0447\u0435\u0431\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c: <strong>\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0438\u043c\u0435\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0433\u0438\u0442<\/strong>. \u041e\u043d\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 loss \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u044f\u0432\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c. \u042d\u0442\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u043e\u043c\u0443 autograd, \u043d\u0435 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u0432\u0441\u0435\u0445 \u0440\u0435\u0436\u0438\u043c\u043e\u0432 cross-entropy \u0438 \u043d\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 NumPy-\u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">import numpy as npdef confident_hard_ce(z, target):    z = np.asarray(z)    if z.ndim != 1 or z.size &lt; 2 or z.dtype not in (np.float32, np.float64):        raise ValueError(\"\u041d\u0443\u0436\u0435\u043d 1D-\u043c\u0430\u0441\u0441\u0438\u0432 float32\/float64, K &gt;= 2\")    if not np.isfinite(z).all():        raise ValueError(\"\u0412\u0441\u0435 \u043b\u043e\u0433\u0438\u0442\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u043c\u0438\")    if not isinstance(target, (int, np.integer)) or not 0 &lt;= target &lt; z.size:        raise ValueError(\"target \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0446\u0435\u043b\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u043e\u0442 0 \u0434\u043e K - 1\")    target = int(target)    if z[target] != z.max():        raise ValueError(\"\u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043b\u0438\u0434\u0435\u0440\u043e\u043c\")    other = np.arange(z.size) != target    d = z[other] - z[target]    if not np.isfinite(d).all():        raise ValueError(\"\u0420\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0448\u043b\u0438 \u0437\u0430 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0444\u043e\u0440\u043c\u0430\u0442\u0430\")    log_r = np.logaddexp.reduce(d)       # log(sum(exp(d)))    zero = np.zeros((), dtype=z.dtype)    loss = np.logaddexp(zero, log_r)    # softplus(log_r)    grad = np.zeros_like(z)    grad[other] = np.exp(d - loss)    grad[target] = -grad[other].sum()  # \u043d\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c q_t - 1    return loss, gradz = np.array([20.0, 0.0], dtype=np.float32)loss, grad = confident_hard_ce(z, target=0)print(loss)        # 2.0611537e-09print(grad)        # [-2.0611537e-09  2.0611537e-09]print(grad.sum())  # 0.0<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><span class=\"sc-logo-wrapper icon-only\"><\/span><\/a><\/div><\/pre>\n<p><code>np.logaddexp(a, b)<\/code> \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0441\u0443\u043c\u043c\u044b \u0434\u0432\u0443\u0445 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442. \u041c\u0435\u0442\u043e\u0434 <code>reduce<\/code> \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0432\u0435\u0441\u044c \u043c\u0430\u0441\u0441\u0438\u0432 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432. \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u043c\u0430\u043b\u044b\u0445 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u2014 \u043a\u0430\u043a \u0438\u0445 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u0443\u043c\u043c\u0430.<\/p>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043b\u043e\u0433\u0438\u0442 \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e\u0435. \u042d\u0442\u043e\u0442 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c; \u0434\u043b\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0431\u0430\u0442\u0447\u0435\u0439, \u0432\u0435\u0441\u043e\u0432 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0443\u0436\u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f.<\/p>\n<\/div>\n<\/details>\n<p>\u0423 \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 <a href=\"https:\/\/jonbarron.info\/softmaxfix\/\" rel=\"noopener nofollow\">\u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0430<\/a> \u0435\u0441\u0442\u044c \u043a\u043e\u0434 JAX \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f. \u0414\u043b\u044f \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u044f \u044f \u0431\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u043b \u0438\u043c\u0435\u043d\u043d\u043e \u0441 \u043f\u043e\u043b\u043d\u043e\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0435\u0451 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432 \u043d\u0443\u0436\u043d\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435, \u0430 \u043d\u0435 \u0441 \u043a\u043e\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0434\u0440\u043e\u0431\u0438 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u0434.<\/p>\n<h2>\u041d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043b \u0440\u0430\u043d\u044c\u0448\u0435?<\/h2>\n<p>\u0417\u0430\u043c\u0435\u0447\u0430\u043b\u0438. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0440\u0430\u0431\u043e\u0442\u0430 DeepMind \u0441\u0441\u044b\u043b\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2501.04697\" rel=\"noopener nofollow\">Prieto \u0438 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u044b, ICLR 2025<\/a> \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u0438 Softmax Collapse \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 StableMax. \u041e\u043d \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0430\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0437\u0430\u043c\u0435\u043d\u044f\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0440\u0443\u0433\u0438\u043c. \u0417\u0434\u0435\u0441\u044c \u0436\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 softmax \u0438 cross-entropy, \u043c\u0435\u043d\u044f\u044f \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/2605.06152\" rel=\"noopener nofollow\">Liu \u0438 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u044b \u0432 \u043c\u0430\u0435 2026 \u0433\u043e\u0434\u0430<\/a> \u0443\u0436\u0435 \u0438\u0437\u0443\u0447\u0430\u043b\u0438 \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435 \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u0435\u0433\u043e \u0441\u0432\u044f\u0437\u044c \u0441\u043e Slingshot. \u0415\u0449\u0451 \u0440\u0430\u043d\u044c\u0448\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c softmax \u0438 log-sum-exp \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438 <a href=\"https:\/\/academic.oup.com\/imajna\/article\/41\/4\/2311\/5893596\" rel=\"noopener nofollow\">Blanchard \u0438 Higham<\/a>.<\/p>\n<p>\u041d\u043e\u0432\u043e\u0441\u0442\u044c \u2014 \u0432 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445 \u0434\u0432\u0443\u0445 \u0434\u0435\u0444\u0435\u043a\u0442\u043e\u0432 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438 \u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0439 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043d\u0435 \u043f\u0435\u0440\u0432\u043e\u0435 \u043e\u0442\u043a\u0440\u044b\u0442\u0438\u0435 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u0430\u044f \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0430 \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u0430.<\/p>\n<h2>\u0411\u0435\u0436\u0430\u0442\u044c \u043b\u0438 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0434?<\/h2>\n<p>\u042f \u0431\u044b \u043d\u0430\u0447\u0430\u043b \u0441 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439. \u041e\u0441\u043e\u0431\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0443\u0434\u0435\u043b\u0438\u0442\u044c \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0441 \u043f\u043e\u0447\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0449\u0438\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438, \u043e\u0447\u0435\u043d\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u0438 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c\u0441\u044f <strong>grokking<\/strong>: \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043f\u043e\u0437\u0436\u0435, \u0447\u0435\u043c \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u041d\u043e \u043d\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u043b\u043e\u0432\u0430\u0440\u044c LLM, \u043d\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0432\u0435\u0441\u043e\u0432 \u0441\u0430\u043c\u0438 \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0434\u0430\u044e\u0442 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b. \u041d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u0440\u044b\u0432\u043e\u0432 \u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439.<\/p>\n<p><strong>Label smoothing<\/strong>, \u0438\u043b\u0438 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438: \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043d\u0438\u0436\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043d\u044b\u0439 \u0440\u0435\u0436\u0438\u043c, \u043d\u043e \u043d\u0435 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443. \u0422\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0442\u043e\u0436\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c: \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043b\u043e\u0433\u0438\u0442\u0430\u0445 \u0432\u044b\u0441\u043e\u043a\u0430\u044f \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0441\u043c\u044f\u0433\u0447\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u043d\u0438\u0437\u043a\u0430\u044f \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u043e\u0441\u0442\u0440\u0435\u0435. \u0423\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0449\u0438\u0442\u044b \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u044f \u0431\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b \u0442\u0430\u043a:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e\u0434\u0430\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <code>[20, 0]<\/code> \u0432 <code>float32<\/code>. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 loss, \u0432\u0441\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0438 \u0438\u0445 \u0441\u0443\u043c\u043c\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0434\u0430\u0442\u044c \u0443\u0447\u0435\u043d\u0438\u043a\u0443 \u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u044e \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043b\u043e\u0433\u0438\u0442\u044b. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442, \u0430 \u043d\u0435 \u043d\u0443\u043b\u0435\u0432\u0443\u044e cross-entropy.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u0438\u0442\u044c \u043e\u043f\u044b\u0442 \u0434\u043b\u044f \u043f\u043e\u0447\u0442\u0438 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u043e\u0432. \u0421\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0432\u044b\u0448\u0435\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043c\u0430\u043b\u0430\u044f \u0434\u043e\u0431\u0430\u0432\u043a\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0430\u0441\u044c \u0443\u0436\u0435 \u0432 \u0441\u0430\u043c\u0438\u0445 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u0435\u0440\u0441\u0438\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438, \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 dtype \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043d\u0443\u0436\u043d\u044b\u0435 \u0440\u0435\u0436\u0438\u043c\u044b \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438 \u0437\u0430\u043c\u0435\u043d\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u0438 \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u043e\u0433\u043e \u044f\u0434\u0440\u0430.<\/p>\n<\/li>\n<\/ol>\n<h2>\u0412\u044b\u0432\u043e\u0434\u044b<\/h2>\n<p>\u041c\u043d\u0435 \u0432 \u044d\u0442\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f \u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u0435 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b. \u041c\u044b \u043e\u0431\u0441\u0443\u0436\u0434\u0430\u0435\u043c \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0430 \u043a\u043b\u044e\u0447 \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0438\u0437 \u0434\u0435\u0444\u0435\u043a\u0442\u043e\u0432 \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0448\u043a\u043e\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0434\u0440\u043e\u0431\u0438.<\/p>\n<p><strong>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/strong> \u0412 \u043e\u0434\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0440\u044f\u0434\u043e\u043c \u0441 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439, \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u2014 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435. \u0414\u043b\u044f \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u0449\u0438\u0439 \u043f\u043e\u0434\u0445\u043e\u0434: \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u043c\u0430\u043b\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u043e\u043a\u0430 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u043d\u0435 \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0438\u043b\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>\u042d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043f\u043e\u0432\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u0438\u043d\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0440\u0435\u0434\u0435. \u0418 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434, \u0447\u0435\u043c \u00ab\u0432\u0441\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u00bb.<\/p>\n<p>\u0410 \u0432\u044b \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u043b\u0438 \u043d\u0435\u043e\u0431\u044a\u044f\u0441\u043d\u0438\u043c\u044b\u0435 \u0432\u0441\u043f\u043b\u0435\u0441\u043a\u0438 loss \u0438\u043b\u0438 \u0434\u0440\u0435\u0439\u0444 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u043f\u0440\u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438? \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u0441 \u0432\u0435\u0440\u0441\u0438\u044f\u043c\u0438 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a, \u0443\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e\u043c \u0438 \u0444\u043e\u0440\u043c\u0430\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<h3>\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438 \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c<\/h3>\n<ul>\n<li>\n<p>Barron, Gnanapragasam, Tschannen. <a href=\"https:\/\/arxiv.org\/html\/2610.31642v1\" rel=\"noopener nofollow\">A Fix for Softmax and Cross-Entropy, arXiv v1<\/a>, 22 \u043e\u043a\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430, CC BY 4.0.<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/jonbarron.info\/softmaxfix\/\" rel=\"noopener nofollow\">\u0421\u0442\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u0440\u043e\u0435\u043a\u0442\u0430: \u0444\u043e\u0440\u043c\u0443\u043b\u044b, JAX-\u043a\u043e\u0434 \u0438 \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f<\/a>. \u041a\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442 arXiv v1.<\/p>\n<\/li>\n<li>\n<p>Prieto \u0438 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u044b. <a href=\"https:\/\/arxiv.org\/abs\/2501.04697\" rel=\"noopener nofollow\">Grokking at the Edge of Numerical Stability<\/a>, ICLR 2025.<\/p>\n<\/li>\n<li>\n<p>Liu \u0438 \u0441\u043e\u0430\u0432\u0442\u043e\u0440\u044b. <a href=\"https:\/\/arxiv.org\/abs\/2605.06152\" rel=\"noopener nofollow\">\u0420\u0430\u0431\u043e\u0442\u0430 \u043e Slingshot \u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0441\u0443\u043c\u043c\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432<\/a>, 2026.<\/p>\n<\/li>\n<li>\n<p>Blanchard, D. J. Higham, N. J. Higham. <a href=\"https:\/\/academic.oup.com\/imajna\/article\/41\/4\/2311\/5893596\" rel=\"noopener nofollow\">Accurately computing the log-sum-exp and softmax functions<\/a>.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0441\u0435 \u043f\u044f\u0442\u044c NumPy-\u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u044b \u043d\u0430 CPU: Python 3.12.1, NumPy 2.5.1, \u044f\u0432\u043d\u044b\u0439 <code>float32<\/code>. \u041f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u0440\u0438\u0441\u0443\u043d\u043a\u0430 \u2014 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438, \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u044b\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0430\u0432\u0442\u043e\u0440\u043e\u0432 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0441 \u0443\u043a\u0430\u0437\u0430\u043d\u0438\u0435\u043c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1100314\/\">https:\/\/habr.com\/ru\/articles\/1100314\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435: \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043f\u043e\u0447\u0442\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0443\u0447\u0438\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442. \u041e\u0448\u0438\u0431\u043a\u0430 \u0435\u0449\u0451 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0443\u0436\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043d\u043e\u043b\u044c. \u0410 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443\u0447\u0435\u043d\u0438\u043a \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u2014 \u0438 \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0441\u0438\u0433\u043d\u0430\u043b \u043e\u0448\u0438\u0431\u043a\u0438.\u041e\u0431\u0435 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u0441 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u043c\u0438 softmax \u0438 cross-entropy.22 \u043e\u043a\u0442\u044f\u0431\u0440\u044f 2026 \u0433\u043e\u0434\u0430 \u0414\u0436\u043e\u043d\u0430\u0442\u0430\u043d \u0411\u0430\u0440\u0440\u043e\u043d (Jonathan T. Barron), \u0414\u044d\u043d \u0413\u043d\u0430\u043d\u0430\u043f\u0440\u0430\u0433\u0430\u0441\u0430\u043c (Dan Gnanapragasam) \u0438 \u041c\u0430\u0439\u043a\u043b \u0422\u0448\u0430\u043d\u043d\u0435\u043d (Michael Tschannen) \u0438\u0437 Google DeepMind \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b\u0438 \u043f\u0440\u0435\u043f\u0440\u0438\u043d\u0442 A Fix for Softmax and Cross-Entropy. \u0410\u0432\u0442\u043e\u0440\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u0434\u0432\u0430 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0435\u0444\u0435\u043a\u0442\u0430 (\u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043d\u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u044b Softmax Collapse \u0438 Softmax Cancellation) \u0432 \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445, \u043a\u0430\u043a PyTorch \u0438 JAX, \u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0449\u0438\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443.\u041d\u0435\u0443\u0436\u0435\u043b\u0438 \u0432\u0441\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0432\u0441\u0451 \u044d\u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e? \u041d\u0435\u0442, \u0442\u0430\u043a\u043e\u0439 \u0432\u044b\u0432\u043e\u0434 \u0438\u0437 \u0440\u0430\u0431\u043e\u0442\u044b \u043d\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442. \u041d\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u0430\u044f: \u0438\u043d\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u043d\u0430\u0447\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0448\u043a\u043e\u043b\u044c\u043d\u0443\u044e \u0434\u0440\u043e\u0431\u044c. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0447\u0438\u0441\u043b\u0430, \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0438 \u043a\u043e\u0434.\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0435 \u0442\u0443\u0442 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u043e\u043b\u044c \u0436\u0435 \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c, \u0447\u0442\u043e \u0437\u0430\u0441\u043b\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u0432 \u0443\u0447\u0435\u0431\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u0430\u0445, \u043a\u0430\u043a\u043e\u0433\u043e \u0443\u0434\u043e\u0441\u0442\u0430\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438\u043b\u0438 \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0433\u043e softmax.\u0427\u0442\u043e \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c:\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u043f\u044b\u0442: \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0441\u0438\u0433\u043d\u0430\u043b\u0430.\u041f\u0435\u0440\u0432\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: \u043e\u0431\u0440\u044b\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0438 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0440\u043e\u0431\u0438.\u0412\u0442\u043e\u0440\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: \u0443\u0447\u0435\u043d\u0438\u043a \u0441\u043e\u0432\u043f\u0430\u043b \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0441\u0442\u0430\u043b\u0441\u044f.\u041f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0447\u0442\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432 \u0441\u0432\u043e\u0451\u043c \u043a\u043e\u0434\u0435.\u041a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043e\u043f\u044b\u0442: \u043a\u0443\u0434\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c\u0441\u044f \u043e \u0442\u0440\u0451\u0445 \u0441\u043b\u043e\u0432\u0430\u0445. \u041b\u043e\u0433\u0438\u0442\u044b \u2014 \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441\u044b \u0434\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. Loss, \u0438\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u2014 \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u043e\u0442\u0432\u0435\u0442. \u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a \u044d\u0442\u043e\u0442 \u0448\u0442\u0440\u0430\u0444 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430.Softmax \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043b\u043e\u0433\u0438\u0442\u044b \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. \u0414\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 cross-entropy \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 \u043d\u0438\u0437\u043a\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430. \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u0435\u0433\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u0438\u043d\u0443\u0441 \u0435\u0434\u0438\u043d\u0438\u0446\u0430; \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c.\u0412 \u0442\u043e\u0447\u043d\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0435 \u0441\u0443\u043c\u043c\u0430 \u044d\u0442\u0438\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e. \u041f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u043a\u043e \u0432\u0441\u0435\u043c \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0448\u0442\u0440\u0430\u0444, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e \u0432\u0441\u0435\u043c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c loss.\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u044d\u0442\u043e \u043d\u0430 Python \u0441 NumPy. \u041f\u0435\u0440\u0432\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0438 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e \u043b\u0438\u0434\u0438\u0440\u0443\u0435\u0442:import numpy as nplogits = np.array([20.0, 0.0], dtype=np.float32)# \u041e\u0431\u044b\u0447\u043d\u0430\u044f \u0441\u0445\u0435\u043c\u0430 softmax \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f.shifted = logits &#8212; logits.max()e = np.exp(shifted)probs = e \/ e.sum()# \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 cross-entropy \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0430\u043c, target = 0.grad = probs.copy()grad[0] -= np.float32(1.0)print(f&#187;\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: {probs}&#187;)print(f&#187;\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442:    {grad}&#187;)print(f&#187;\u0421\u0443\u043c\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432: {grad.sum():.6e}&#187;)\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [1.0000000e+00 2.0611537e-09]\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442:    [0.0000000e+00 2.0611537e-09]\u0421\u0443\u043c\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432: 2.061154e-09\u0411\u0430\u043b\u0430\u043d\u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432: \u043e\u0431\u044b\u0447\u043d\u0430\u044f \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u044b\u0420\u0438\u0441. 1. \u0414\u043b\u044f \u043b\u043e\u0433\u0438\u0442\u043e\u0432 [20, 0] \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0434\u0432\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 float32 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442, \u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u0434\u043f\u0438\u0441\u0435\u0439.\u0423 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u22122,06\u00b710\u207b\u2079, \u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0440\u043e\u0432\u043d\u043e 0. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u043d\u0435 \u043e\u0431\u043d\u0443\u043b\u0438\u043b\u0430\u0441\u044c: \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u043f\u043e\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0432 float32.\u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0447\u0438\u0441\u043b\u0430 \u043e\u043a\u043e\u043b\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b. \u0423 float32 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u0435\u043c\u044c \u0437\u043d\u0430\u0447\u0430\u0449\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u0438\u0447\u043d\u044b\u0445 \u0446\u0438\u0444\u0440. \u041a\u0440\u043e\u0448\u0435\u0447\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0435\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e, \u043d\u043e \u0435\u0451 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a \u0435\u0434\u0438\u043d\u0438\u0446\u0435 \u0443\u0436\u0435 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0430\u0435\u0442 \u043e\u0441\u0442\u0430\u0432\u0448\u0443\u044e\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u0443\u044e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0445\u0435\u043c\u0443 NumPy. \u042d\u0442\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u0442 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u043e\u0448\u0438\u0431\u043a\u0438; \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0430\u0448\u0435\u0433\u043e \u044f\u0434\u0440\u0430 PyTorch \u0438\u043b\u0438 JAX \u043d\u0443\u0436\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u0432 \u0432\u0430\u0448\u0435\u0439 \u0441\u0440\u0435\u0434\u0435.\u041d\u043e \u0432\u0435\u0434\u044c \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u0439 softmax \u0434\u0430\u0432\u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442?\u0414\u0430. \u0412 \u043a\u043e\u0434\u0435 \u043c\u044b \u0443\u0436\u0435 \u0432\u044b\u0447\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043b\u043e\u0433\u0438\u0442 \u043f\u0435\u0440\u0435\u0434 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435\u043c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041e\u0442 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f, \u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043d\u0435 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f:\u041e\u0431\u0449\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0443\u0436\u0435 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440\u0435 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u00ab\u041e\u0442\u043a\u0443\u0434\u0430 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0431\u0435\u0440\u0451\u0442\u0441\u044f nan: \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0430\u044f \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432 ML \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0451 \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430\u0445\u00bb \u0432 \u0431\u043b\u043e\u0433\u0435 OTUS. \u0422\u0430\u043c \u0440\u0435\u0447\u044c \u043e \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f\u0445, NaN \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0445 \u0432 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430\u0445.\u041e\u0434\u043d\u0430\u043a\u043e \u0437\u0430\u0449\u0438\u0442\u0430 \u043e\u0442 \u043f\u0435\u0440\u0435\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0435\u0449\u0451 \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c\u0441\u044f \u0442\u043e\u0447\u043d\u043e. \u0418\u043c\u0435\u043d\u043d\u043e \u0437\u0434\u0435\u0441\u044c \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438\u0437 \u043d\u043e\u0432\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b.\u041f\u0435\u0440\u0432\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: Softmax Collapse\u041f\u0443\u0441\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0438\u043c\u0435\u0435\u0442 \u043d\u043e\u043c\u0435\u0440 . \u0415\u0433\u043e \u043b\u043e\u0433\u0438\u0442 \u2014 , \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u2014 , \u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043b\u043e\u0433\u0438\u0442\u0443 \u2014 .\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043d\u043e\u0441\u0438\u0442\u044c \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0434\u043b\u0438\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443, \u0432\u0432\u0435\u0434\u0451\u043c \u043e\u0442\u0440\u044b\u0432  \u2014 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430\u0434 \u0432\u0441\u0435\u043c\u0438 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u0430\u043c\u0438 \u0432\u043c\u0435\u0441\u0442\u0435:\u0414\u043b\u044f \u0434\u0432\u0443\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0434\u0432\u0443\u0445 \u043b\u043e\u0433\u0438\u0442\u043e\u0432. \u0415\u0441\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043c\u043d\u043e\u0433\u043e, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u0432\u0441\u0435\u0445 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432: \u043e\u0442\u0440\u044b\u0432 \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0435\u0434\u0430 \u0443\u0436\u0435 \u043d\u0435 \u0440\u0430\u0432\u0435\u043d .\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0435\u0441 \u0447\u0435\u0440\u0435\u0437 :\u0427\u0435\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435  \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 . \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0430 \u0440\u0430\u0432\u043d\u0430 .\u041e\u0431\u044b\u0447\u043d\u043e\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430:\u0415\u0441\u043b\u0438  \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e, \u0441\u0443\u043c\u043c\u0430  \u043e\u043a\u0440\u0443\u0433\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b. \u0417\u0430\u0442\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0439 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439, \u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u043c \u043d\u0443\u043b\u0451\u043c. \u0425\u043e\u0442\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u043d \u0435\u0449\u0451 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u0435\u043d!\u0413\u0434\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u0440\u044b\u0432\u0423 float32 23 \u044f\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u0431\u0438\u0442\u0430 \u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438 \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043d\u0435\u044f\u0432\u043d\u044b\u0439 \u0432\u0435\u0434\u0443\u0449\u0438\u0439 \u0431\u0438\u0442 \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b. \u0428\u0430\u0433 \u043c\u0435\u0436\u0434\u0443 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439 \u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0440\u0430\u0432\u0435\u043d . \u041f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u043a \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u043c\u0443 \u043f\u0440\u0438\u0431\u0430\u0432\u043a\u0430 \u043c\u0435\u043d\u044c\u0448\u0435  \u0443\u0436\u0435 \u0442\u0435\u0440\u044f\u0435\u0442\u0441\u044f.\u0414\u043b\u044f \u044d\u0442\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0440\u043e\u0433 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a:\u0433\u0434\u0435  \u2014 \u0447\u0438\u0441\u043b\u043e \u044f\u0432\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u043c\u044b\u0445 \u0431\u0438\u0442\u043e\u0432 \u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438.\u0424\u043e\u0440\u043c\u0430\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0411\u0438\u0442\u043e\u0432 \u0434\u0440\u043e\u0431\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u0438\u041f\u043e\u0440\u043e\u0433 \u043e\u0442\u0440\u044b\u0432\u0430bfloat167\u2248 5,54float1610\u2248 7,62float3223\u2248 16,63float6452\u2248 36,74\u042d\u0442\u043e \u043f\u043e\u0440\u043e\u0433\u0438 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438. \u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432 bfloat16 \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0447\u0442\u043e softmax \u0438 loss \u0442\u043e\u0436\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043d\u0451\u043c: \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432 float32. \u0418 \u0441\u0430\u043c\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u043d\u0435 \u0437\u0430\u043c\u0435\u043d\u044f\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u0447\u043d\u043e\u0433\u043e \u044f\u0434\u0440\u0430.\u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435: \u0448\u043a\u043e\u043b\u044c\u043d\u0430\u044f \u0430\u043b\u0433\u0435\u0431\u0440\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0435 \u0447\u0438\u0441\u043b\u043e\u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u0434\u0440\u043e\u0431\u0438 \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044e. \u0412 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f . \u041f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0442\u0430 \u0436\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u0438\u043d\u0430\u0447\u0435.\u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430:\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u043e\u043a\u0440\u0443\u0433\u043b\u0438\u0442\u0441\u044f \u0434\u043e \u0435\u0434\u0438\u043d\u0438\u0446\u044b, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0441\u0442\u0430\u043d\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u0435\u043d . \u0412\u043c\u0435\u0441\u0442\u043e \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u044f \u043f\u043e\u0447\u0442\u0438 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u043c\u044b \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043c\u0430\u043b\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443.\u041e\u0431\u0440\u044b\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 float32 \u043e\u043a\u043e\u043b\u043e \u043e\u0442\u0440\u044b\u0432\u0430 16,6 \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u0420\u0438\u0441. 2. \u041c\u043e\u0434\u0443\u043b\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0442\u0440\u044b\u0432\u0430 m. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u0435 float32 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u043a\u043e\u043b\u043e m = 16,6. \u0423\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c. \u041c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043d\u043e\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e: \u043d\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0441\u0438 \u043e\u043d \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b.\u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0447\u0435\u043a \u0441 \u0433\u0440\u0430\u0444\u0438\u043a\u0430:import numpy as npm = np.array([10, 15, 16, 17, 20, 30], dtype=np.float32)one = np.float32(1.0)r = np.exp(-m)usual = one \/ (one + r) &#8212; onefixed = -r \/ (one + r)for margin, a, b in zip(m, usual, fixed):    print(f&#187;m={margin:2.0f}: usual={a: .6e}, fixed={b: .6e}&#187;)m=10: usual=-4.541874e-05, fixed=-4.539786e-05m=15: usual=-3.576279e-07, fixed=-3.059022e-07m=16: usual=-1.192093e-07, fixed=-1.125352e-07m=17: usual= 0.000000e+00, fixed=-4.139937e-08m=20: usual= 0.000000e+00, fixed=-2.061154e-09m=30: usual= 0.000000e+00, fixed=-9.357623e-14\u0411\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442. \u0415\u0441\u043b\u0438 \u0443\u0436\u0435 \u0441\u0430\u043c\u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0441\u0442\u0430\u043d\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0430 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0430\u0442\u0430, \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0435\u0442 underflow \u2014 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0435 \u043a \u043d\u0443\u043b\u044e \u0443 \u043d\u0438\u0436\u043d\u0435\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0443\u0431\u0438\u0440\u0430\u0435\u0442 \u043f\u0440\u0435\u0436\u0434\u0435\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u043f\u043e\u0442\u0435\u0440\u044e \u0441\u0438\u0433\u043d\u0430\u043b\u0430 \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043a \u0435\u0434\u0438\u043d\u0438\u0446\u0435, \u043d\u043e \u043d\u0435 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u0435\u0442 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0447\u0438\u0441\u0435\u043b \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u0430.\u0412\u0442\u043e\u0440\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430: Softmax Cancellation\u041f\u0440\u0438 \u0434\u0438\u0441\u0442\u0438\u043b\u043b\u044f\u0446\u0438\u0438 \u0441\u0435\u0442\u044c-\u0443\u0447\u0435\u043d\u0438\u043a \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438-\u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u0417\u0434\u0435\u0441\u044c  \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0430 \u0443 \u0443\u0447\u0438\u0442\u0435\u043b\u044f,  \u2014 \u0443 \u0443\u0447\u0435\u043d\u0438\u043a\u0430, \u0430  \u2014 \u043b\u043e\u0433\u0438\u0442 \u0443\u0447\u0435\u043d\u0438\u043a\u0430.\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u00ab\u043c\u044f\u0433\u043a\u0438\u043c\u0438\u00bb \u043c\u0435\u0442\u043a\u0430\u043c\u0438:\u0415\u0451 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043f\u043e \u043b\u043e\u0433\u0438\u0442\u0443 \u0443\u0447\u0435\u043d\u0438\u043a\u0430:\u0415\u0441\u043b\u0438 \u0443\u0447\u0435\u043d\u0438\u043a \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043b \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u0442\u0430\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u044b\u043c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0430\u043c\u0430 cross-entropy \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e: \u043e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041d\u0443\u043b\u0435\u0432\u044b\u043c\u0438 \u043f\u0440\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0438 KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u2014 \u043c\u0435\u0440\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0434\u0432\u0443\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439.\u041d\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043f\u0443\u0442\u044f\u043c\u0438: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0443\u0447\u0438\u0442\u0435\u043b\u044f \u0447\u0435\u0440\u0435\u0437 \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442, \u0430 \u0434\u043b\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u2014 \u0447\u0435\u0440\u0435\u0437 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u0443 \u043e\u0442 log_softmax. \u0412 \u0442\u043e\u0447\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b; \u043f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u043c\u043b\u0430\u0434\u0448\u0438\u0435 \u0440\u0430\u0437\u0440\u044f\u0434\u044b \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f.import numpy as npz = np.array([2.0, 1.0, 0.0], dtype=np.float32)shifted = z &#8212; z.max()e = np.exp(shifted)p = e \/ e.sum()                         # \u043f\u0443\u0442\u044c \u0447\u0435\u0440\u0435\u0437 softmaxq = np.exp(shifted &#8212; np.log(e.sum()))   # \u0447\u0435\u0440\u0435\u0437 log_softmaxnoise = q &#8212; pprint(noise)print(f&#187;\u041d\u043e\u0440\u043c\u0430: {np.linalg.norm(noise):.6e}&#187;)[ 0.0000000e+00  1.4901161e-08 -1.4901161e-08]\u041d\u043e\u0440\u043c\u0430: 2.107342e-08\u041b\u043e\u0433\u0438\u0442\u044b \u0441\u043e\u0432\u043f\u0430\u043b\u0438, \u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u043d\u0435\u0442. \u042d\u0442\u043e \u043d\u0435 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438\u0437 x &#8212; x: \u0437\u0434\u0435\u0441\u044c \u0432\u044b\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0443\u0442\u0435\u0439.\u041f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u0440\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f\u0420\u0438\u0441. 3. \u0423\u0447\u0438\u0442\u0435\u043b\u044c \u0438\u043c\u0435\u0435\u0442 \u043b\u043e\u0433\u0438\u0442\u044b [2, 1, 0], \u0443\u0447\u0435\u043d\u0438\u043a \u2014 [2, 1, \u03b4]. \u041f\u043e \u0433\u043e\u0440\u0438\u0437\u043e\u043d\u0442\u0430\u043b\u0438 \u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c\u043e\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 float32; \u043f\u043e \u0432\u0435\u0440\u0442\u0438\u043a\u0430\u043b\u0438 \u2014 \u043d\u043e\u0440\u043c\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u041f\u0440\u0438 \u0441\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0422\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445, \u0444\u043e\u0440\u043c\u0430\u0442\u0430 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.\u0418\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043b\u043e\u0433\u0438\u0442\u044b\u0410\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0447\u0435\u0440\u0435\u0437 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u043b\u043e\u0433\u0438\u0442\u043e\u0432. \u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043f\u043e \u0448\u0430\u0433\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u0440\u0435\u0432\u0440\u0430\u0442\u0438\u043b\u0438\u0441\u044c \u0432 \u0441\u0442\u0435\u043d\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.\u0428\u0430\u0433 1. \u041d\u0430\u0445\u043e\u0434\u0438\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u0443\u0447\u0435\u043d\u0438\u043a\u0430 \u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f.\u0428\u0430\u0433 2. \u0412\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0443\u0447\u0438\u0442\u0435\u043b\u044f. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c :\u0428\u0430\u0433 3. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043c\u0430\u043b\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043e\u0431\u0449\u0438\u0439 \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0447\u043b\u0435\u043d \u0447\u0435\u0440\u0435\u0437 :expm1(x) \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 , \u0430 log1p(x) \u2014 . \u0418\u0445 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u044e\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043c\u0430\u043b\u043e\u043c x, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u044f\u043c\u043e\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435 \u0435\u0434\u0438\u043d\u0438\u0446\u044b \u0435\u0451 \u0442\u0435\u0440\u044f\u0435\u0442.\u0412 \u0442\u043e\u0447\u043d\u043e\u0439 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0435 \u0437\u0434\u0435\u0441\u044c \u0441\u043d\u043e\u0432\u0430 \u0442\u0430 \u0436\u0435 \u0441\u0430\u043c\u0430\u044f \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c . \u041f\u0440\u0438 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0438 \u043b\u043e\u0433\u0438\u0442\u043e\u0432 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u0443\u043b\u0435\u0432\u044b\u0435 , \u0437\u0430\u0442\u0435\u043c  \u0438 . \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f \u2014 expm1(0), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043d\u043e\u043b\u044c.\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 \u043b\u043e\u0433\u0438\u0442\u0430\u0445: \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 NumPy-\u043a\u043e\u0434import numpy as npteacher = np.array([2.0, 1.0, 0.0],&#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-500615","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500615","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=500615"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/500615\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=500615"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=500615"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=500615"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}