{"id":375758,"date":"2024-05-21T06:32:38","date_gmt":"2024-05-21T06:32:38","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=375758"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=375758","title":{"rendered":"<span>\u041c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u041e\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u043a \u0441\u043b\u043e\u0436\u043d\u043e\u043c\u0443<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<div class=\"floating-image\">\n<figure class=\"float full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9cd\/e53\/d9e\/9cde53d9e7196db8b95f8cd12ff0d2c3.png\" width=\"764\" height=\"435\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cd\/e53\/d9e\/9cde53d9e7196db8b95f8cd12ff0d2c3.png\"\/><\/figure>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u043e\u0431\u0437\u043e\u0440 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 (\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0438\u0434\u0435\u044e \u0438 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u044f \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043a \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f\u043c. \u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u0441 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. <\/p>\n<\/div>\n<blockquote>\n<p><em>\u041d\u043e\u0443\u0442\u0431\u0443\u043a \u0441 \u0434\u0430\u043d\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043d\u0430 <\/em><a href=\"https:\/\/www.kaggle.com\/code\/egazakharenko\/optimization-methods-in-deep-learning\" rel=\"noopener noreferrer nofollow\"><strong><em>Kaggle<\/em><\/strong><\/a><em>\u00a0(eng) \u0438\u00a0<\/em><a href=\"https:\/\/github.com\/egaoharu-kensei\/ML-algorithms-from-scratch.-Course-for-beginners\/blob\/main\/Notebooks%20%5Brus%5D\/09%29%20%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B%20%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8%20%D0%B2%20ML%20%D0%B8%20DL.ipynb\" rel=\"noopener noreferrer nofollow\"><strong><em>GitHub<\/em><\/strong><\/a><em>\u00a0(rus).<\/em>  <\/p>\n<\/blockquote>\n<h3>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h3>\n<ul>\n<li>\n<p><a href=\"#loss_functions\" rel=\"noopener noreferrer nofollow\">\u041f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#classic_gradient_descent\" rel=\"noopener noreferrer nofollow\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#faster_optimizers\" rel=\"noopener noreferrer nofollow\">\u0411\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#optimizers_visualization\" rel=\"noopener noreferrer nofollow\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#work_disruption\" rel=\"noopener noreferrer nofollow\">\u041d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0441\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#learning_rate_changing\" rel=\"noopener noreferrer nofollow\">\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#big_mini-batches\" rel=\"noopener noreferrer nofollow\">\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#proximal_methods\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#second-order_methods\" rel=\"noopener noreferrer nofollow\">\u041c\u0435\u0442\u043e\u0434\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#additional_sources\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/a><\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"loss_functions\" id=\"loss_functions\"><\/a><\/p>\n<h3>\u041f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/h3>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0435 \u0438 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0435. \u041f\u0435\u0440\u0432\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u0437-\u0437\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0443 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u043c (\u043d\u043e \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c). \u041d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u0438\u0437-\u0437\u0430 \u0438\u0445 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0438\u0441\u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u044f \u0441 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0438\u0437-\u0437\u0430 \u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u043c\u043e\u0433\u0443\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0435 \u0434\u043b\u044f \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u0437\u0430 \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u043c\u0443.<\/p>\n<p><a class=\"anchor\" name=\"classic_gradient_descent\" id=\"classic_gradient_descent\"><\/a><\/p>\n<h3>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0438\u0431\u044b\u0441\u0442\u0440\u0435\u0439\u0448\u0435\u0433\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0442\u043e \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0438\u0431\u044b\u0441\u0442\u0440\u0435\u0439\u0448\u0435\u0433\u043e \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438 \u0432 \u0434\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u043a \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 (\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432) \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0443\u0442\u0451\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0435\u0451 \u043e\u0448\u0438\u0431\u043a\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0439 \u0441 \u043d\u0443\u043b\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c <a href=\"https:\/\/habr.com\/ru\/articles\/804135\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a> \u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/803397\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/bec\/607\/9ab\/bec6079ab5f639b4486ab5af7edc44ef.png\" alt=\"\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0438 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f\" title=\"\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0438 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f\" width=\"1391\" height=\"701\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bec\/607\/9ab\/bec6079ab5f639b4486ab5af7edc44ef.png\"\/><\/p>\n<div><figcaption><strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0438 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f<\/strong><\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/strong><\/p>\n<ul>\n<li>\n<p>1) \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>2) \u0434\u0430\u043b\u0435\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437;<\/p>\n<\/li>\n<li>\n<p>3) \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c;<\/p>\n<\/li>\n<li>\n<p>4) \u0448\u0430\u0433\u0438 2-3 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0442\u0441\u044f \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043a\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 \u0441\u043e\u0439\u0434\u0451\u0442\u0441\u044f \u0432 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435 (\u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043a\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f).<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043d\u0430\u0431\u043e\u0440, \u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u00a0<strong>\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u043c<\/strong>. \u041d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a (batch gradient descent) \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442 \u0432 \u0432\u0438\u0434\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f 2 \u043f\u043e\u0434\u0445\u043e\u0434\u0430:<\/p>\n<ul>\n<li>\n<p>1)\u00a0<strong>\u041c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439<\/strong>\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a (mini-batch gradient descent), \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u043e\u0434\u043d\u0430\u0431\u043e\u0440\u0430\u0445 (\u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u0445). \u041e\u0431\u044b\u0447\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"2^n\" alt=\"2^n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/599\/976\/8b2\/5999768b2618a72e79523aff1d8da65a.svg\" width=\"20\" height=\"18\"\/> \u0438 \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0442\u044b\u0441\u044f\u0447 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432: \u0432\u044b\u0431\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>2)\u00a0<strong>\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439<\/strong>\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a (stochastic gradient descent), \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043e\u0434\u0438\u043d \u043e\u0431\u0440\u0430\u0437\u0435\u0446. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e, \u043d\u043e \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0438\u0437-\u0437\u0430 \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0434\u043b\u044f \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 mini-batch \u0434\u0430\u0435\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437-\u0437\u0430 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 GPU. \u0421\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u0434 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a\u043e\u043c \u043e\u0447\u0435\u043d\u044c \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f mini-batch.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u043d\u0438\u0436\u0430\u0442\u044c\u0441\u044f \u0441\u043a\u0430\u0447\u043a\u0430\u043c\u0438 \u0432\u0432\u0435\u0440\u0445-\u0432\u043d\u0438\u0437, \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u044f\u0441\u044c \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443, \u043d\u043e \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0432 \u0435\u0433\u043e. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0447\u0443\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0437\u0430 \u0441\u0447\u0451\u0442 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043a\u0430\u0447\u043a\u043e\u0432. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0435\u043c\u0443 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u0435\u0435 \u043f\u0440\u043e\u0439\u0442\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b \u0432 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ae4\/f62\/1ad\/ae4f621adc3ed5b1c915cf31fa304169.png\" width=\"874\" height=\"512\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae4\/f62\/1ad\/ae4f621adc3ed5b1c915cf31fa304169.png\"\/><\/figure>\n<p><a class=\"anchor\" name=\"faster_optimizers\" id=\"faster_optimizers\"><\/a><\/p>\n<h3>\u0411\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b<\/h3>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0432 \u0441\u0432\u043e\u0451\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0438\u0437-\u0437\u0430 \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043c\u043e\u0436\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 &#171;\u0441\u0435\u0434\u043b\u043e\u0432\u044b\u043c\u0438 \u0442\u043e\u0447\u043a\u0430\u043c\u0438&#187;, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0432\u0438\u0434\u0435 \u0441\u0435\u0434\u043b\u0430 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u043e\u0434\u043d\u0438\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u0434\u0440\u0443\u0433\u0438\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u043e\u043d\u0438 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043d\u044f\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0437\u0430 \u043e\u043f\u0442\u0438\u043c\u0443\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 (mini-batch) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0440\u043e \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0435\u0439\u0447\u0430\u0441 \u0438 \u043f\u043e\u0439\u0434\u0451\u0442 \u0440\u0435\u0447\u044c.<\/p>\n<h4>Momentum<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0441\u043e \u0441\u043a\u043b\u043e\u043d\u0430 \u0441 \u043a\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u0430\u0442\u0438\u0442\u0441\u044f \u043c\u044f\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0431\u0443\u0434\u0435\u0442 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u043a\u0438\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0435\u0433\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0442\u0438, \u0447\u0442\u043e \u0435\u043c\u0443 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u0447\u043a\u0438 \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0451 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0432 \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439. \u0418\u043c\u0435\u043d\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. Momentum \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t\" alt=\"v_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b6\/c02\/ade\/1b6c02ade95db30b652947ff7533d98c.svg\" width=\"16\" height=\"15\"\/> (\u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u0430\u0441\u0441\u0430 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0432\u043d\u0430 1), \u0430 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0435\u0451 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043e\u0441\u043b\u0430\u0431\u043b\u0435\u043d\u0438\u044f \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3a\/181\/d8e\/d3a181d8e91ba50c0c5966bd3082b399.svg\" width=\"11\" height=\"20\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0441\u0438\u043b\u0443 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0442\u0440\u0435\u043d\u0438\u044f \u043c\u044f\u0447\u0430 \u043e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c: \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 0 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u0442\u0440\u0435\u043d\u0438\u0435, \u0430 1 \u0435\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435. \u041e\u0431\u044b\u0447\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab3\/fda\/4c0\/ab3fda4c07fc1e66a1ce744f3c75a7ab.svg\" width=\"11\" height=\"20\"\/> \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f 0.9.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u043c\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/strong><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t \\leftarrow \\beta v_{t-1} - \\alpha dw_{t-1}\" alt=\"v_t \\leftarrow \\beta v_{t-1} - \\alpha dw_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3c\/511\/811\/a3c5118113216cc39c77e82083cc119b.svg\" width=\"175\" height=\"21\"\/> <\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_t \\leftarrow w_{t-1} + v_t\" alt=\"w_t \\leftarrow w_{t-1} + v_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cd\/fc9\/9f3\/2cdfc99f35c3c5d9ec83a58ca58c7623.svg\" width=\"129\" height=\"19\"\/> <\/p>\n<p>Momentum \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u043f\u043b\u043e\u0445\u0443\u044e \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0413\u0435\u0441\u0441\u0435 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0438\u0437-\u0437\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043b\u0435\u0431\u0430\u0442\u044c\u0441\u044f \u0432\u043e\u043a\u0440\u0443\u0433 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432, \u0447\u0442\u043e \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f.  <\/p>\n<blockquote>\n<p><em>\u0425\u043e\u0442\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t\" alt=\"v_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b8c\/9b9\/238\/b8c9b9238234abb553b67fd0797f9621.svg\" width=\"16\" height=\"15\"\/>\u00a0\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m_t\" alt=\"m_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca9\/7b0\/60c\/ca97b060cee4355e676d5a1316beb48d.svg\" width=\"24\" height=\"15\"\/>, \u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/051\/57d\/376\/05157d37639b2dfe44939de357b27d61.svg\" width=\"16\" height=\"15\"\/> \u043a\u0430\u043a\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t\" alt=\"v_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed8\/f8b\/415\/ed8f8b41530835e86bb68ceb6e69436c.svg\" width=\"16\" height=\"15\"\/>, \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430 \u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u043e \u0434\u043b\u044f \u0443\u043d\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t\" alt=\"v_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b4\/131\/119\/1b4131119fce6e03297f9e09a7bdca3e.svg\" width=\"16\" height=\"15\"\/> \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u0435\u0449\u0451 \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/962\/a31\/6a3\/962a316a35d03d3efebef250745fe2e5.svg\" width=\"16\" height=\"15\"\/>\u00a0\u2014 \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 AdaGrad \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.  <\/em><\/p>\n<\/blockquote>\n<h4>Nesterov momentum<\/h4>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f, \u0441\u0443\u0442\u044c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0435 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0430 \u0447\u0443\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043c\u043e\u043c\u0435\u043d\u0442\u0430. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u043d\u0438\u0436\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0430 \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u043a\u043e\u0431\u044b \u0434\u043e\u043b\u0436\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c, \u0441\u043b\u0435\u0434\u0443\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u043c\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430<\/strong><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t \\leftarrow \\beta v_{t-1} - \\alpha d(w_{t-1} + \\beta v_{t-1} )\" alt=\"v_t \\leftarrow \\beta v_{t-1} - \\alpha d(w_{t-1} + \\beta v_{t-1} )\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/56b\/d43\/251\/56bd43251f4a427faccd0805bd157ac5.svg\" width=\"258\" height=\"22\"\/> <\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_t \\leftarrow w_{t-1} + v_t\" alt=\"w_t \\leftarrow w_{t-1} + v_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45a\/45b\/d28\/45a45bd28c12045c020d75e6fc4383b7.svg\" width=\"129\" height=\"19\"\/> <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/035\/63b\/a65\/03563ba65815c6dfec968c891330e812.png\" alt=\"\u0421\u0445\u0435\u043c\u0430 Momentum vs Nesterov momentum\" title=\"\u0421\u0445\u0435\u043c\u0430 Momentum vs Nesterov momentum\" width=\"1785\" height=\"779\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/035\/63b\/a65\/03563ba65815c6dfec968c891330e812.png\"\/><\/p>\n<div><figcaption><strong>\u0421\u0445\u0435\u043c\u0430 Momentum vs Nesterov momentum<\/strong><\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0439\u0442\u0438\u0441\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0447\u0443\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u043d \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043e\u0434\u043d\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043d\u0435\u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u0437-\u0437\u0430 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u0438\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0441 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. <\/p>\n<h4>AdaGrad<\/h4>\n<p>Adaptive Gradient \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0441 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u043c \u0448\u0430\u0433\u043e\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0432\u0434\u043e\u043b\u044c \u0441\u0430\u043c\u044b\u0445 \u043a\u0440\u0443\u0442\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0442\u0430\u043a \u0438 \u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 AdaGrad<\/strong><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t \\leftarrow s_{t-1} + dw_{t-1}^2\" alt=\"s_t \\leftarrow s_{t-1} + dw_{t-1}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4bd\/97f\/bc2\/4bd97fbc25b75fefd329c1ce09b8126e.svg\" width=\"151\" height=\"26\"\/> <\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_t \\leftarrow w_{t-1} - \\frac{\\alpha}{\\sqrt{s_t + \\epsilon}} dw_{t-1}\" alt=\"w_t \\leftarrow w_{t-1} - \\frac{\\alpha}{\\sqrt{s_t + \\epsilon}} dw_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e2\/ec7\/462\/9e2ec7462d500efd2670433729c5a095.svg\" width=\"231\" height=\"44\"\/> <\/p>\n<p>\u0413\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon = 1e-8\" alt=\"\\epsilon = 1e-8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aaf\/58c\/0f8\/aaf58c0f82223a093ef0059c7f17a78a.svg\" width=\"85\" height=\"17\"\/> \u2014 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043b\u044f \u0438\u0437\u0431\u0435\u0433\u0430\u043d\u0438\u044f \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u043e\u043b\u044c.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u0437\u0430\u0442\u0435\u043c \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u0442\u044c \u0435\u0433\u043e, \u043a\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u044f\u0435\u0442 \u0437\u043d\u0430\u043a. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 AdaGrad \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u043c\u0438 \u0441\u043b\u0443\u0447\u0430\u044f\u043c\u0438, \u0430 \u0432\u043e\u0442 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0440\u0430\u043d\u043e \u0438\u0437-\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430.<\/p>\n<h4>RMSProp<\/h4>\n<p>RMSProp (Root Mean Square Propagation) \u2014 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f AdaGrad, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0432 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043d\u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0441 \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 RMSProp<\/strong><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t \\leftarrow \\beta s_{t-1} + (1 - \\beta) dw_{t-1}^2\" alt=\"s_t \\leftarrow \\beta s_{t-1} + (1 - \\beta) dw_{t-1}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f3a\/006\/0c8\/f3a0060c8217d2d97898defbe68bb24f.svg\" width=\"221\" height=\"26\"\/> <\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_t \\leftarrow w_{t-1} - \\frac{\\alpha}{\\sqrt s_t + \\epsilon} dw_{t-1}\" alt=\"w_t \\leftarrow w_{t-1} - \\frac{\\alpha}{\\sqrt s_t + \\epsilon} dw_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fa\/815\/0a9\/5fa8150a95be84bded970bdcd39e8609.svg\" width=\"231\" height=\"45\"\/> <\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c, RMSProp \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043d\u043e \u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445 \u0438\u0437-\u0437\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445.<\/p>\n<h4>Adam \u0438 \u0435\u0433\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/h4>\n<p>Adam (Adaptive Moment Estimation) \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 Momentum \u0438 RMSProp, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044f\u0432\u043b\u044f\u044f\u0441\u044c \u0441\u0435\u0440\u0435\u0431\u0440\u044f\u043d\u043e\u0439 \u043f\u0443\u043b\u0435\u0439 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0440\u0430\u0441\u0447\u0451\u0442 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 Adam \u043e\u0447\u0435\u043d\u044c \u0441\u0445\u043e\u0436 \u0441 Momentum \u0438 RMSProp \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043a \u043d\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u043d\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435. \u0412 \u0446\u0435\u043b\u043e\u043c, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0430\u043a\u0438\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c Adam \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432 \u043a \u043f\u043e\u0434\u0431\u043e\u0440\u0443 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 Adam<\/strong><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t \\leftarrow \\beta_1 v_{t-1} + (1 - \\beta_1) dw_{t-1}\" alt=\"v_t \\leftarrow \\beta_1 v_{t-1} + (1 - \\beta_1) dw_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/525\/f29\/3ff\/525f293ffb71f760d0ea730e686f5053.svg\" width=\"239\" height=\"22\"\/><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t \\leftarrow \\beta_2 s_{t-1} + (1 - \\beta_2) dw_{t-1}^2\" alt=\"s_t \\leftarrow \\beta_2 s_{t-1} + (1 - \\beta_2) dw_{t-1}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b5\/1a9\/fc4\/7b51a9fc4fdd3a4a4b0b56f32f437d82.svg\" width=\"239\" height=\"26\"\/> <\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_t \\leftarrow w_{t-1}  - \\alpha \\frac{v_t}{\\sqrt s_t + \\epsilon}\" alt=\"w_t \\leftarrow w_{t-1}  - \\alpha \\frac{v_t}{\\sqrt s_t + \\epsilon}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1bf\/1b5\/3c8\/1bf1b53c80e71e7de646d2a816b4a888.svg\" width=\"195\" height=\"45\"\/> <\/p>\n<p>\u041f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u043d\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435:<\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v_t \\leftarrow \\frac{v_t}{1 - \\beta_1^t}\" alt=\"v_t \\leftarrow \\frac{v_t}{1 - \\beta_1^t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf4\/e48\/b29\/bf4e48b29a6988392622e9b41ffe7ade.svg\" width=\"106\" height=\"45\"\/> <\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t \\leftarrow \\frac{s_t}{1 - \\beta_2^t}\" alt=\"s_t \\leftarrow \\frac{s_t}{1 - \\beta_2^t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ff\/e1f\/be4\/4ffe1fbe4936c003276f7e567320fdff.svg\" width=\"106\" height=\"45\"\/> <\/p>\n<p>\u0413\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_1 = 0.9, \\ \\ \\beta_2 = 0.99\" alt=\"\\beta_1 = 0.9, \\ \\ \\beta_2 = 0.99\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dde\/e2b\/b68\/ddee2bb6836cf055849042210cad9b5c.svg\" width=\"168\" height=\"20\"\/> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e.<\/p>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u0435\u043d \u0432 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u0448\u0443\u043c\u0443, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c \u0441\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043e\u0431\u044a\u0435\u043c\u043e\u0432 \u043f\u0430\u043c\u044f\u0442\u0438, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0445\u0440\u0430\u043d\u0438\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u043e \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u0445 \u0438 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u043c \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0435. \u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0443 Adam \u0438 \u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a: \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u0435\u0440\u044b\u0432\u0430\u043d\u0438\u044f \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u043e\u0447\u043a\u0435, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0437 \u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u043d\u043e \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438 \u0432\u0441\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043d\u0430 \u043c\u0435\u0441\u0442\u0435 \u0438 \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 Adam, \u043f\u0440\u0438\u0437\u0432\u0430\u043d\u043d\u044b\u0435 \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u044c \u0432 \u0442\u043e\u0439 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432\u044b\u0448\u0435. \u041a \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435:<\/p>\n<ul>\n<li>\n<p><strong>AdaMax<\/strong>\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0443\u044e \u043d\u043e\u0440\u043c\u0443 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f, \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u0438:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"s_t \\leftarrow max(\\beta_2 s_{t-1} |dw_{t-1}|)\" alt=\"s_t \\leftarrow max(\\beta_2 s_{t-1} |dw_{t-1}|)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/95c\/fe5\/bcd\/95cfe5bcd8c2ac5ed372b5d85863cf75.svg\" width=\"211\" height=\"22\"\/><\/p>\n<ul>\n<li>\n<p><strong>Nadam<\/strong>\u00a0(Nesterov-accelerated Adaptive Moment Estimation) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0440\u0443\u0433\u0443\u044e \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u043d\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat v_t \\leftarrow \\frac{(1 - \\beta_1^t) dw_{t-1}}{1 - \\Pi_{i=1}^{t} \\beta_1^i} + \\frac{\\beta_1^{t+1} v_t}{1 - \\Pi_{i=1}^{t+1} \\beta_1^i}\" alt=\"\\hat v_t \\leftarrow \\frac{(1 - \\beta_1^t) dw_{t-1}}{1 - \\Pi_{i=1}^{t} \\beta_1^i} + \\frac{\\beta_1^{t+1} v_t}{1 - \\Pi_{i=1}^{t+1} \\beta_1^i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53a\/814\/ff8\/53a814ff833d43733e8dec05e3185c42.svg\" width=\"292\" height=\"57\"\/><\/p>\n<ul>\n<li>\n<p><strong>AdamW<\/strong>\u00a0\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 L2-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043f\u0440\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0438 \u0432\u0435\u0441\u043e\u0432:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_t \\leftarrow w_{t-1}  - \\frac{\\alpha v_t}{\\sqrt s_t + \\epsilon} + \\lambda w_{t-1}\" alt=\"w_t \\leftarrow w_{t-1}  - \\frac{\\alpha v_t}{\\sqrt s_t + \\epsilon} + \\lambda w_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b5\/2ae\/38b\/5b52ae38b25a4a4ac968f3387d771a8e.svg\" width=\"255\" height=\"45\"\/><\/p>\n<ul>\n<li>\n<p><strong>Yogi<\/strong>\u00a0\u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"s_t \\leftarrow  s_{t-1} - (1 - \\beta_2) sign(s_{t-1} - dw_{t-1}^2) dw_{t-1}^2\" alt=\"s_t \\leftarrow  s_{t-1} - (1 - \\beta_2) sign(s_{t-1} - dw_{t-1}^2) dw_{t-1}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e84\/44d\/eab\/e8444deab22df912d5cca43d3ceefb69.svg\" width=\"375\" height=\"26\"\/><\/p>\n<ul>\n<li>\n<p><strong>Adan<\/strong>\u00a0(Adaptive Nesterov Momentum) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 New Nesterov Momentum (NME \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442 \u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0432 \u0442\u043e\u0447\u043a\u0435 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438) \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e\u00a0\u03f5. \u0421\u0445\u0435\u043c\u0430 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a71\/f3f\/93f\/a71f3f93f9ae182cb2378caf175c6b36.png\" width=\"620\" height=\"316\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a71\/f3f\/93f\/a71f3f93f9ae182cb2378caf175c6b36.png\"\/><\/figure>\n<p><a class=\"anchor\" name=\"optimizers_visualization\" id=\"optimizers_visualization\"><\/a><\/p>\n<h4>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432<\/h4>\n<p>\u0414\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445\u00a0<a href=\"https:\/\/www.kaggle.com\/datasets\/arunjangir245\/boston-housing-dataset\" rel=\"noopener noreferrer nofollow\">Boston Housing<\/a>. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0432 Pytorch \u0438 \u043e\u0431\u0443\u0447\u0438\u043c \u0435\u0451 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0441\u043b\u0435 \u0436\u0435 \u043e\u0446\u0435\u043d\u0438\u043c \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u0440\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. \u0422\u0430\u043a\u0436\u0435 \u0434\u043b\u044f \u043b\u044e\u0431\u0438\u0442\u0435\u043b\u0435\u0439 Keras \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u043d\u0430 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u0445, \u043d\u043e \u0443\u0436\u0435 \u043e\u0446\u0435\u043d\u0438\u043c \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435.<\/p>\n<p><strong>\u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/strong><\/p>\n<pre><code class=\"python\">import pandas as pd import matplotlib.pyplot as plt from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split  df_path = \"\/content\/drive\/MyDrive\/BostonHousing.csv\" boston = pd.read_csv(df_path) print(boston)           crim    zn  indus  chas    nox     rm   age     dis  rad  tax  \\ 0    0.00632  18.0   2.31     0  0.538  6.575  65.2  4.0900    1  296    1    0.02731   0.0   7.07     0  0.469  6.421  78.9  4.9671    2  242    2    0.02729   0.0   7.07     0  0.469  7.185  61.1  4.9671    2  242    3    0.03237   0.0   2.18     0  0.458  6.998  45.8  6.0622    3  222    4    0.06905   0.0   2.18     0  0.458  7.147  54.2  6.0622    3  222    ..       ...   ...    ...   ...    ...    ...   ...     ...  ...  ...    501  0.06263   0.0  11.93     0  0.573  6.593  69.1  2.4786    1  273    502  0.04527   0.0  11.93     0  0.573  6.120  76.7  2.2875    1  273    503  0.06076   0.0  11.93     0  0.573  6.976  91.0  2.1675    1  273    504  0.10959   0.0  11.93     0  0.573  6.794  89.3  2.3889    1  273    505  0.04741   0.0  11.93     0  0.573  6.030  80.8  2.5050    1  273          ptratio       b  lstat  medv   0       15.3  396.90   4.98  24.0   1       17.8  396.90   9.14  21.6   2       17.8  392.83   4.03  34.7   3       18.7  394.63   2.94  33.4   4       18.7  396.90   5.33  36.2   ..       ...     ...    ...   ...   501     21.0  391.99   9.67  22.4   502     21.0  396.90   9.08  20.6   503     21.0  396.90   5.64  23.9   504     21.0  393.45   6.48  22.0   505     21.0  396.90   7.88  11.9    [506 rows x 14 columns]<\/code><\/pre>\n<pre><code class=\"python\">print(boston.isna().sum())   crim       0 zn         0 indus      0 chas       0 nox        0 rm         5 age        0 dis        0 rad        0 tax        0 ptratio    0 b          0 lstat      0 medv       0 dtype: int64<\/code><\/pre>\n<pre><code class=\"python\">boston.dropna(inplace=True)  X, y = boston.iloc[:, :-1].values, boston.iloc[:, -1].values X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)  X_train_s = StandardScaler().fit_transform(X_train) X_test_s = StandardScaler().fit_transform(X_test)<\/code><\/pre>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438<\/strong> <\/p>\n<pre><code class=\"python\">nn_params = {'in_features': X.shape[1], 'h1': 16, 'h2': 8, 'out': 1}<\/code><\/pre>\n<p><strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 Pytorch \u043d\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong>  <\/p>\n<pre><code class=\"python\">from torch import nn, optim, FloatTensor, relu, manual_seed   class TorchNN(nn.Module):     def __init__(self, in_features, h1, h2, out):         super(TorchNN, self).__init__()         self.fc1 = nn.Linear(in_features, h1)         self.fc2 = nn.Linear(h1, h2)         self.fc3 = nn.Linear(h2, out)      def forward(self, x):         x = relu(self.fc1(x))         x = relu(self.fc2(x))         x = self.fc3(x)          return x   def torch_losses(data, model, optim_cls, optim_params, num_epochs=100):     losses = []     X_train, y_train = data     criterion = nn.MSELoss()     optimizer = optim_cls(model.parameters(), **optim_params)      for epoch in range(num_epochs):         y_pred = model.forward(X_train)         loss = criterion(y_pred, y_train)         losses.append(loss.item())          optimizer.zero_grad()         loss.backward()         optimizer.step()      return losses   manual_seed(0) X_train_s_tensor = FloatTensor(X_train_s) y_train_tensor = FloatTensor(y_train).view(-1, 1)  torch_optimizers = [     (optim.SGD, 'SGD', {'lr': 0.001}),     (optim.SGD, 'Momentum', {'lr': 0.001, 'momentum': 0.9}),     (optim.SGD, 'Nesterov Momentum', {'lr': 0.001, 'momentum': 0.9, 'nesterov': True}),     (optim.Adagrad, 'Adagrad', {'lr': 0.01}),     (optim.RMSprop, 'RMSprop', {'lr': 0.01}),     (optim.Adam, 'Adam', {'lr': 0.01}),     (optim.Adamax, 'Adamax', {'lr': 0.01}),     (optim.AdamW, 'AdamW', {'lr': 0.01}),     (optim.NAdam, 'NAdam', {'lr': 0.01})     ]  # Visualization plt.figure(figsize=(14, 6))  for optim_cls, optim_name, optim_params in torch_optimizers:     nn_model = TorchNN(**nn_params)     t_losses = torch_losses((X_train_s_tensor, y_train_tensor), nn_model, optim_cls, optim_params)     plt.plot(range(len(t_losses)), t_losses, label=f'{optim_name}')  plt.title('Pytorch optimizers comparison on train data') plt.xlabel('Epoch') plt.ylabel('Loss') plt.legend() plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/117\/91a\/8d3\/11791a8d3b5afc26b7f62d02cd62f169.png\" width=\"1160\" height=\"547\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/117\/91a\/8d3\/11791a8d3b5afc26b7f62d02cd62f169.png\"\/><\/figure>\n<p><strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 Keras \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong> <\/p>\n<pre><code class=\"python\">from keras import optimizers from keras.layers import Dense from keras.models import Sequential from keras.utils import set_random_seed   def create_keras_nn(optimizer, in_features, h1, h2, out):     model = Sequential()     model.add(Dense(input_shape=(in_features,), units=h1, activation='relu'))     model.add(Dense(input_shape=(h1,), units=h2, activation='relu'))     model.add(Dense(units=out))     model.compile(optimizer=optimizer, loss='mse', metrics=['mse'])      return model   def keras_losses(train_data, test_data, optimizers, nn_params, num_epochs=10):     losses = []     X_train, y_train = train_data     X_test, y_test = test_data      for name, optimizer in optimizers:         model = create_keras_nn(optimizer, **nn_params)         model_history = model.fit(X_train, y_train, batch_size=32, epochs=num_epochs,                                   verbose=0, validation_data=(X_test, y_test))         losses.append((name, model_history.history['val_loss']))      return losses   set_random_seed(0)  keras_optimizers = [     ('SGD', optimizers.SGD(learning_rate=0.001)),     ('Momentum', optimizers.SGD(learning_rate=0.001, momentum=0.9)),     ('Nesterov Momentum', optimizers.SGD(learning_rate=0.001, momentum=0.9, nesterov=True)),     ('Adagrad', optimizers.Adagrad(learning_rate=0.01)),     ('RMSprop', optimizers.RMSprop(learning_rate=0.01)),     ('Adam', optimizers.Adam(learning_rate=0.01)),     ('Adamax', optimizers.Adamax(learning_rate=0.01)),     ('AdamW', optimizers.AdamW(learning_rate=0.01)),     ('Nadam', optimizers.Nadam(learning_rate=0.01))     ]   plt.figure(figsize=(14, 6))  k_losses = keras_losses((X_train_s, y_train), (X_test_s, y_test), keras_optimizers, nn_params)  for name, k_loss in k_losses:     plt.plot(k_loss, label=name + ' test Loss')  plt.title('Keras optimizers comparison on test data') plt.xlabel('Epoch') plt.ylabel('Loss') plt.legend() plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/059\/770\/9bb\/0597709bb5c7475a8b62bf698d60c6fc.png\" width=\"1160\" height=\"547\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/059\/770\/9bb\/0597709bb5c7475a8b62bf698d60c6fc.png\"\/><\/figure>\n<h4>\u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b<\/h4>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 SDG, Momentum \u0438 Nesterov momentum \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 learning rate, \u0434\u043b\u044f \u043d\u0438\u0445 \u0431\u044b\u043b\u0430 \u0437\u0430\u0434\u0430\u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0447\u0435\u043c \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432. \u041d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0434\u0430\u0436\u0435 \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u044b \u043a\u043e\u043b\u0435\u0431\u0430\u043d\u0438\u044f\u043c, \u0445\u043e\u0442\u044f \u0438 \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u043e\u0448\u043b\u0438\u0441\u044c. \u0412\u0442\u043e\u0440\u043e\u0439 \u0436\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u0445\u043e\u0440\u043e\u0448\u043e \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u0445 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 AdaGrad \u0432\u043e\u0437\u043d\u0438\u043a\u043b\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0440\u0435\u0437\u043a\u043e\u0433\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u0440\u0435\u0448\u0438\u0442\u044c, \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0432 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0410 \u0432\u043e\u0442 RMSprop \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0438 \u0434\u0430\u0436\u0435 \u043b\u0443\u0447\u0448\u0435 Adam-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0433\u0443\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043d\u043e \u0437\u0430\u0442\u043e \u043e\u043d\u0438 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0435\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c. \u041a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f learning rate \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432, \u0442\u043e \u043d\u0435\u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u0431\u0443\u0434\u0443\u0442 \u0441\u043d\u0438\u0436\u0430\u0442\u044c\u0441\u044f \u0441 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0440\u044b\u0432\u043a\u0430\u043c\u0438 \u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0435 \u0441\u043e\u0439\u0442\u0438\u0441\u044c \u0432\u043e\u043e\u0431\u0449\u0435, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0431\u0443\u0434\u0443\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0432\u043d\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f, \u0445\u043e\u0442\u044c \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0421\u0442\u043e\u0438\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043b\u0438\u0448\u044c \u0432 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u0440\u0430\u0437 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0435\u0442 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u043b\u0441\u044f \u0431\u044b \u043b\u0443\u0447\u0448\u0438\u043c \u0432\u044b\u0431\u043e\u0440\u043e\u043c \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0437\u0430\u0434\u0430\u0447 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u043d\u043e\u0433\u043e\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043f\u0440\u0438\u0440\u043e\u0434\u0443 \u0434\u0430\u043d\u043d\u044b\u0445, \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0446\u0435\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e \u043d\u0435 \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442 \u0442\u043e\u0442 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0430\u043c\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0435\u0432\u043e\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043f\u043b\u0430\u043d\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439 RMSprop \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 Adam \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n<p><a class=\"anchor\" name=\"work_disruption\" id=\"work_disruption\"><\/a><\/p>\n<h3>\u041d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0441\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c<\/h3>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0440\u0430\u0431\u043e\u0442\u0430 \u0432\u0441\u0435\u0445 \u0434\u0438\u0430\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432 \u0442\u043e\u0439 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u043e\u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u043d\u043e\u0433\u043e learning rate, \u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u00a0 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2f\/fbb\/a31\/c2ffbba31630980ccc6a2959a71caee7.svg\" width=\"16\" height=\"15\"\/> \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u0451\u0442 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e \u043d\u0435 \u0443\u0431\u044b\u0432\u0430\u0442\u044c, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0439\u0442\u0438\u0441\u044c \u043a \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430\u043c. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0442\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u043a \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0442\u043e\u0447\u043a\u0430\u043c \u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0440\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"dw_{t-1}^2\" alt=\"dw_{t-1}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6c\/949\/a7f\/e6c949a7f72551fad8ec6d5de5ba298a.svg\" width=\"48\" height=\"26\"\/> \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b.<\/p>\n<p>\u0414\u0430\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u0443\u0442\u0451\u043c \u043d\u0430\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0434\u043e\u043b\u0433\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u044c\u044e \u043e \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u0445 \u0434\u043b\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u043f\u043e\u0434\u043e\u0431\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043e \u0432\u00a0<strong>AMSGrad<\/strong>. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u00a0<img class=\"formula inline\" source=\"s_t >= s_{t-1}&#187; alt=&#187;s_t >= s_{t-1}&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/077\/1ce\/a2b\/0771cea2bb4324673c84da3ebac3c4a6.svg&#187; width=&#187;90&#8243; height=&#187;18&#8243;\/>, \u0447\u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u043c\u0443 \u0442\u0440\u044e\u043a\u0443: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat s_0 = 0, \\ \\hat s_t = max(\\hat s_{t-1}, s_t) \\ and \\ \\hat S_t = \\ diag(\\hat s_t)\" alt=\"\\hat s_0 = 0, \\ \\hat s_t = max(\\hat s_{t-1}, s_t) \\ and \\ \\hat S_t = \\ diag(\\hat s_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eec\/ab7\/ef4\/eecab7ef4605d0f144ac7f873dbf1fd7.svg\" width=\"385\" height=\"26\"\/><\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043f\u0430\u043c\u044f\u0442\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u0442\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0420\u0435\u0448\u0438\u0442\u044c \u0434\u0430\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0437\u0430 \u0441\u0447\u0451\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u044b\u0445\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_1^t\" alt=\"\\beta_1^t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f3\/64e\/bbf\/7f364ebbf4a90774e28ff390147be806.svg\" width=\"20\" height=\"24\"\/> \u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_2^t\" alt=\"\\beta_2^t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/abc\/111\/dfb\/abc111dfb78d60c080ca82a8ae6e69c9.svg\" width=\"20\" height=\"24\"\/>, \u0447\u0442\u043e \u0431\u044b\u043b\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043e \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435\u00a0<strong>AdamNC<\/strong>: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"v_t \\leftarrow \\beta_1^t v_{t-1} + (1 - \\beta_1^t) dw_{t-1} \\\\  s_t \\leftarrow \\beta_2^t s_{t-1} + (1 - \\beta_2^t) dw_{t-1}^2\" alt=\"v_t \\leftarrow \\beta_1^t v_{t-1} + (1 - \\beta_1^t) dw_{t-1} \\\\  s_t \\leftarrow \\beta_2^t s_{t-1} + (1 - \\beta_2^t) dw_{t-1}^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/23b\/272\/afe\/23b272afef72055552c2d5e6f04e023c.svg\" width=\"697\" height=\"56\"\/><\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u044b \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e Adam, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 Tran Thi Phuong \u0438 Le Trieu Phong \u0431\u044b\u043b\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 AMSGrad \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044f \u0438\u0445 \u043a\u0430\u043a \u0440\u0430\u0432\u043d\u044b\u0435, \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u044d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0432\u0435\u0440\u043d\u043e. \u0422\u0430\u043a \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438 \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u043a\u043e\u043d\u0442\u0440\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043b\u0435\u043c\u043c\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"R(T) \\leq \\sum_{i=1}^{d} \\sum_{t=1}^{T} \\frac{\\sqrt{\\hat{s}_{t,i}}}{2\\alpha_t(1 - \\beta_1^t)} ((w_{t,i} - w^*_{i})^2 - (w_{t+1,i} - w^*_{i})^2) + \\\\ + \\sum_{i=1}^{d} \\sum_{t=1}^{T} \\frac{\\alpha_t}{1 - \\beta_1} \\frac{v^2_{t,i}}{\\sqrt{\\hat{s}_{t,i}}} + \\sum_{i=1}^{d} \\sum_{t=2}^{T} \\frac{\\beta_1^t \\sqrt{\\hat{s}_{t-1,i}}}{2\\alpha_{t-1}(1 - \\beta_1)} (w_{t,i} - w^*_{i})^2\" alt=\"R(T) \\leq \\sum_{i=1}^{d} \\sum_{t=1}^{T} \\frac{\\sqrt{\\hat{s}_{t,i}}}{2\\alpha_t(1 - \\beta_1^t)} ((w_{t,i} - w^*_{i})^2 - (w_{t+1,i} - w^*_{i})^2) + \\\\ + \\sum_{i=1}^{d} \\sum_{t=1}^{T} \\frac{\\alpha_t}{1 - \\beta_1} \\frac{v^2_{t,i}}{\\sqrt{\\hat{s}_{t,i}}} + \\sum_{i=1}^{d} \\sum_{t=2}^{T} \\frac{\\beta_1^t \\sqrt{\\hat{s}_{t-1,i}}}{2\\alpha_{t-1}(1 - \\beta_1)} (w_{t,i} - w^*_{i})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a7\/575\/83b\/4a757583bf2b02799d476269ca6986d0.svg\" width=\"697\" height=\"125\"\/><\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c, \u0442\u0430\u043a \u0438 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"(w_{t,i} - w^*_{i})^2 - (w_{t+1,i} - w^*_{i})^2\" alt=\"(w_{t,i} - w^*_{i})^2 - (w_{t+1,i} - w^*_{i})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e6\/463\/8af\/3e64638af1529702fc469239d5fddf91.svg\" width=\"239\" height=\"27\"\/><\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0430\u0432\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0438 \u043d\u043e\u0432\u043e\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f AMSGrad, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u00a0<strong>AdamX<\/strong>\u00a0\u043d\u0430 \u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u044b\u0448\u0435. \u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat s_1 = s_1, \\ \\hat s_t = max \\left(\\frac{(1 - \\beta_1^t)^2}{(1 - \\beta_1^{t-1})^2} \\hat s_{t-1}, s_t \\right) \\ \\ if \\ \\ t \\geq 2, \\ and \\ \\hat S_t = diag(\\hat s_t)\" alt=\"\\hat s_1 = s_1, \\ \\hat s_t = max \\left(\\frac{(1 - \\beta_1^t)^2}{(1 - \\beta_1^{t-1})^2} \\hat s_{t-1}, s_t \\right) \\ \\ if \\ \\ t \\geq 2, \\ and \\ \\hat S_t = diag(\\hat s_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/469\/173\/019\/469173019a68c5bf45c9b48d4fd97e21.svg\" width=\"597\" height=\"61\"\/><\/p>\n<p>\u041d\u043e \u0441\u0442\u043e\u0438\u0442 \u0438\u043c\u0435\u0442\u044c \u0432 \u0432\u0438\u0434\u0443, \u0447\u0442\u043e \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 AMSGrad, AdamX \u0442\u0430\u043a\u0436\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0440\u0430\u0441\u0445\u043e\u0434\u043e\u0432 \u043f\u0430\u043c\u044f\u0442\u0438. <\/p>\n<p><a class=\"anchor\" name=\"learning_rate_changing\" id=\"learning_rate_changing\"><\/a><\/p>\n<h3>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043c\u043e\u0434\u0435\u043b\u0438. \u041f\u043e\u043c\u0438\u043c\u043e \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0439 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0435\u0449\u0451 \u043e\u0434\u043d\u0438\u043c\u0438 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>1)\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha = \\frac{1}{1 + decay \\_ rate * t} \\alpha_0 \\ - \\ \" alt=\"\\alpha = \\frac{1}{1 + decay \\_ rate * t} \\alpha_0 \\ - \\ \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f11\/2cf\/7be\/f112cf7be4f43faf825ea6495a83d4ae.svg\" width=\"249\" height=\"46\"\/>\u043f\u043b\u0430\u0432\u043d\u043e\u0435 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435;<\/p>\n<\/li>\n<li>\n<p>2)\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha = k^t \\alpha_0 \\ - \\ \" alt=\"\\alpha = k^t \\alpha_0 \\ - \\ \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/306\/87f\/753\/30687f753c3c004f298738ccfb80fe15.svg\" width=\"109\" height=\"23\"\/>\u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435;<\/p>\n<\/li>\n<li>\n<p>3)\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha = \\frac{k}{\\sqrt{t}} \\alpha_0\" alt=\"\\alpha = \\frac{k}{\\sqrt{t}} \\alpha_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/765\/b6c\/fde\/765b6cfde9a11d53d7b1b54c9530af8e.svg\" width=\"89\" height=\"49\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k \\ - \" alt=\"k \\ - \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a3\/39e\/d33\/1a339ed33be378d2394468396624db38.svg\" width=\"30\" height=\"18\"\/> \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t \\ - \" alt=\"t \\ - \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac0\/85c\/47e\/ac085c47ee8ff49cdb7c6ade37c5ff61.svg\" width=\"27\" height=\"17\"\/> \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439;<\/p>\n<\/li>\n<li>\n<p>4) \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0448\u0430\u0433 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u043a \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 sckit-learn, \u0442\u0430\u043a \u0438 \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0434\u0431\u043e\u0440 learning rate \u0432\u0441\u0451 \u0435\u0449\u0451 \u043d\u0443\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e: \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u0436\u0434\u0435\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0432\u044b\u0439\u0442\u0438 \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043b\u0438\u0431\u043e \u0432\u043e\u0432\u0441\u0435 \u0440\u0430\u0437\u043e\u0439\u0442\u0438\u0441\u044c. \u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u043d\u0438\u0436\u0435.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c9f\/b83\/26c\/c9fb8326c6192505e6d9f344215a36f8.png\" width=\"558\" height=\"442\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9f\/b83\/26c\/c9fb8326c6192505e6d9f344215a36f8.png\"\/><\/figure>\n<p>\u0414\u0440\u0443\u0433\u0438\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u043c \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0451 \u0440\u0435\u0437\u043a\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b &#171;\u0432\u044b\u0442\u043e\u043b\u043a\u043d\u0443\u0442\u044c&#187; \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0441\u0442\u0440\u044f\u0442\u044c \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u00a0<strong>Warm Restart<\/strong>\u00a0\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f: \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0441\u043b\u0435 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u043d\u0430 \u0441\u043d\u043e\u0432\u0430 \u043f\u043e\u0432\u044b\u0448\u0430\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0438\u0437-\u0437\u0430 \u043f\u043b\u043e\u0445\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u043b\u0438 \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432.<\/p>\n<p>\u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0439 \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\u00a0<a href=\"https:\/\/pytorch.org\/docs\/stable\/generated\/torch.optim.lr_scheduler.CosineAnnealingWarmRestarts.html#torch.optim.lr_scheduler.CosineAnnealingWarmRestarts\" rel=\"noopener noreferrer nofollow\">CosineAnnealingWarmRestarts<\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 &#171;\u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0433\u043e \u043e\u0442\u0436\u0438\u0433\u0430&#187; \u0441 \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438, \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043a \u0441\u0432\u043e\u0435\u043c\u0443 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\u03b7_t = \u03b7_{min} + \\frac{1}{2}(\u03b7_{max} - \u03b7_{min})(1 + \\cos(\\frac{T_{cur}}{T_{i}}\\pi))\" alt=\"\u03b7_t = \u03b7_{min} + \\frac{1}{2}(\u03b7_{max} - \u03b7_{min})(1 + \\cos(\\frac{T_{cur}}{T_{i}}\\pi))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c7\/754\/784\/4c7754784aa2cc7e494618be9a4f1bec.svg\" width=\"372\" height=\"46\"\/><\/p>\n<p>\u0413\u0434\u0435:<\/p>\n<ul>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\eta_t\" alt=\"\\eta_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de7\/6c6\/6b9\/de76c66b9524c5184c8956e3b61d4b00.svg\" width=\"16\" height=\"16\"\/>\u00a0\u2014 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d77\/bef\/c36\/d77befc36bf8863129d7fabe48720fe8.svg\" width=\"7\" height=\"16\"\/>;<\/p>\n<\/li>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\eta_{\\text{max}}\" alt=\"\\eta_{\\text{max}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/649\/069\/94c\/64906994c20869d5ac238132b020f807.svg\" width=\"37\" height=\"16\"\/> \u2014 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\eta_{\\text{min}}\" alt=\"\\eta_{\\text{min}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f8\/9a6\/0ce\/0f89a60cea7f63d186f4cbac5e596838.svg\" width=\"34\" height=\"16\"\/> \u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T_{\\text{cur}}\" alt=\"T_{\\text{cur}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f9d\/76d\/e28\/f9d76de28af7fd3ca276dddd542ba8fc.svg\" width=\"32\" height=\"20\"\/>\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043f\u043e\u0445 \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430;<\/p>\n<\/li>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T_i\" alt=\"T_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/596\/204\/0d5\/5962040d5f486d90da8795c6bb0ad156.svg\" width=\"18\" height=\"20\"\/>\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043f\u043e\u0445 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0435\u0440\u0435\u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421 \u043f\u043e\u043b\u043d\u044b\u043c \u0441\u043f\u0438\u0441\u043a\u043e\u043c &#171;\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0449\u0438\u043a\u043e\u0432&#187; \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f\u00a0<a href=\"https:\/\/pytorch.org\/docs\/stable\/optim.html#how-to-adjust-learning-rate\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>\u00a0\u0438\u00a0<a href=\"https:\/\/(https:\/\/www.tensorflow.org\/api_docs\/python\/tfm\/optimization\/lr_schedule\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<p><a class=\"anchor\" name=\"big_mini-batches\" id=\"big_mini-batches\"><\/a><\/p>\n<h3>\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438<\/h3>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0440\u043e\u0432 (GPU). \u041e\u0434\u043d\u043e \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0431\u0430\u0442\u0447\u0430 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 GPU \u0441 \u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u0432\u0441\u0435\u043c GPU \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u044d\u0442\u0430\u043f\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u041f\u043e \u0441\u0443\u0442\u0438, \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0432\u043d\u043e\u0441\u0438\u043b\u0435\u043d \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441 \u043e\u0434\u043d\u0438\u043c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c \u0431\u0430\u0442\u0447\u0435\u043c \u0438 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u043d\u0435 \u0432\u0441\u0451 \u0442\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u043e, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u0430\u043a\u043e\u043c\u0443 \u044f\u0432\u043b\u0435\u043d\u0438\u044e \u043a\u0430\u043a generalization gap, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u0435 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0438\u043d\u043e\u0433\u0434\u0430 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435). \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442? \u041f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0431\u0430\u0442\u0447\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u0442\u044c \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0447\u0442\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0448\u0430\u043d\u0441\u044b \u0441\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u0432 \u0443\u0437\u043a\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b \u0441 \u043d\u0438\u0437\u043a\u043e\u0439 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e. \u0422\u043e\u0433\u0434\u0430 \u0434\u0430\u0436\u0435 \u043f\u0440\u0438 \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0441\u0434\u0432\u0438\u0433\u0435 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0430 (\u043f\u0440\u0438 \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u043e\u043c distributional shift, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043a \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439) \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u0442 \u0440\u0435\u0437\u043a\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c\u0441\u044f. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0431\u0430\u0442\u0447\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e.<\/p>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0448\u0438\u0440\u043e\u043a\u0438\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c \u0432 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u043b\u0443\u0447\u0448\u0443\u044e \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0443\u044e \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c, \u0430 \u0434\u043b\u044f \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u0432 \u043d\u0438\u0445 \u043f\u043e\u043f\u0430\u0434\u0430\u0442\u044c \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0441 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u043e\u0434\u0431\u043e\u0440\u043e\u043c learning rate, \u043f\u0440\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u043b\u0435\u0435 \u043f\u043e\u0439\u0434\u0451\u0442 \u0440\u0435\u0447\u044c. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0435\u0440\u0435\u0434 \u044d\u0442\u0438\u043c \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 \u0431\u0430\u0442\u0447\u0435\u0439 \u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0442\u0430\u043a\u0436\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u0438\u0434\u0435\u0435\u0439, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0431\u043e\u043b\u0435\u0435 \u0448\u0443\u043c\u043d\u044b\u043c \u043e\u0446\u0435\u043d\u043a\u0430\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0438 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0441\u0447\u0451\u0442\u0435 \u043a \u043d\u0435\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<h4>LARS<\/h4>\n<p>\u041f\u0435\u0440\u0432\u044b\u043c \u043d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u0431\u0443\u0434\u0435\u0442 Layer-wise Adaptive Rate Scaling (LARS), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0439 momentum \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0431\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u0415\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u0430 \u0438\u043b\u0438 \u0432\u0441\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e learning rate, \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0433\u043e \u043a\u0430\u043a \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043d\u043e\u0440\u043c\u044b \u0432\u0435\u0441\u043e\u0432 \u043a \u0441\u0443\u043c\u043c\u0435 \u043d\u043e\u0440\u043c\u044b \u0432\u0435\u0441\u043e\u0432 \u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432. \u0420\u0430\u0431\u043e\u0442\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u043d\u0438\u0436\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c94\/e51\/941\/c94e51941728de845a0b097bbc1946d3.png\" width=\"590\" height=\"202\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c94\/e51\/941\/c94e51941728de845a0b097bbc1946d3.png\"\/><\/figure>\n<p>\u041d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0430\u0442\u0447\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430, \u043e\u043d \u043f\u043b\u043e\u0445\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u0438\u043c\u0435\u0435\u0442 \u0432\u0430\u0436\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0431\u0449\u0435\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a BERT. \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0441\u043b\u043e\u0451\u0432 \u0441\u0435\u0442\u0438 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0442\u043e \u043a \u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u044e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 LARS \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0441\u043b\u043e\u044f\u043c, \u0442\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 &#171;\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0445&#187; \u0441\u043b\u043e\u0451\u0432 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u0441\u043d\u0438\u0436\u0435\u043d\u044b \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0431\u043e\u043b\u0435\u0435 &#171;\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u0435&#187; \u0441\u043b\u043e\u0438 \u0431\u0443\u0434\u0443\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043d\u0435 \u0442\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e, \u043a\u0430\u043a \u043c\u043e\u0433\u043b\u0438 \u0431\u044b, \u0447\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u0442 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043e\u043a\u0430\u0436\u0435\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.  <\/p>\n<h4>LAMB<\/h4>\n<p>\u0412 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e \u0431\u044b\u043b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440, \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0439 \u043a\u0430\u043a Layer-wise Adaptive Moments Based optimizer (LAMB), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 LARS \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443 Adam. \u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0434\u0432\u043e\u0439\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>1) \u041d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f (\u0438\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438) \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043a\u043e\u0440\u043d\u044f \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0433\u043e \u0432 Adam. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0447\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>2) \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u043e\u0439\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u044f\u0442 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u042d\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0442\u0438\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u0435\u0441\u0430\u0445 \u0441\u043b\u043e\u0451\u0432 \u0438 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/db7\/2b0\/188\/db72b0188b811ea37cf4067348c8f00a.png\" width=\"348\" height=\"286\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db7\/2b0\/188\/db72b0188b811ea37cf4067348c8f00a.png\"\/><\/figure>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 BERT \u0434\u0430\u0436\u0435 \u043d\u0430 \u0431\u0430\u0442\u0447\u0430\u0445 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0431\u0435\u0437 \u043f\u043e\u0442\u0435\u0440\u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438. \u0422\u0430\u043a \u043a\u043e\u043c\u0430\u043d\u0434\u0435 Google Brain \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 3 \u0434\u043d\u0435\u0439 \u0434\u043e \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c 76 \u043c\u0438\u043d\u0443\u0442, \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u0430\u043a\u0435\u0442\u0430 \u0434\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430 \u043f\u0430\u043c\u044f\u0442\u0438 \u043c\u043e\u0434\u0443\u043b\u044f TPUv3. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b, LAMB \u0438\u043c\u0435\u0435\u0442 \u0440\u044f\u0434 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0445 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (\u043a\u0430\u043a \u0432 NVLAMB \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432), \u043d\u043e \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0433\u043e \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c \u0432 \u043f\u043b\u0430\u043d\u0435 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 (\u043a\u0430\u043a \u0432 N-LAMB \u0438 NN-LAMB). <\/p>\n<p><a class=\"anchor\" name=\"proximal_methods\" id=\"proximal_methods\"><\/a><\/p>\n<h3>\u041f\u0440\u043e\u043ac\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b<\/h3>\n<p>\u041f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u2014 \u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0441 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u0433\u043b\u0430\u0434\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0442\u0430\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u043c\u0435\u043d\u0435 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u0441\u0435\u0440\u0438\u044e \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043f\u043e\u0434\u0437\u0430\u0434\u0430\u0447, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044f \u043d\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043a \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0434\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432.<\/p>\n<h4>\u041c\u0435\u0442\u043e\u0434 \u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/h4>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432 \u0442\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0442\u0440\u0443\u0434\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/475\/40e\/544\/47540e544cc172cacd1c421d77b5948e.svg\" width=\"11\" height=\"20\"\/>, \u043d\u043e \u043b\u0435\u0433\u043a\u043e (\u0438\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043f\u0440\u043e\u0449\u0435) \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0451 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u0441\u0438\u044e, \u0442\u043e \u0435\u0441\u0442\u044c\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ab\/c86\/db8\/6abc86db88baac23d128329c7fef3988.svg\" width=\"11\" height=\"20\"\/>\u00a0\u043f\u043b\u044e\u0441 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430. \u0414\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u043c\u0435\u0435\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0439 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0446\u0435\u043b\u0435\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u041d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>1)\u00a0<strong>\u0420\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0422\u0438\u0445\u043e\u043d\u043e\u0432\u0430<\/strong>\u00a0\u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{k+1}\" alt=\"w_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/81b\/082\/902\/81b0829025afb8b0ff49c43e89c581db.svg\" width=\"40\" height=\"16\"\/>\u00a0\u043d\u0435\u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_k\" alt=\"w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c8\/2d4\/2ad\/8c82d42add1baecab74bdfd2fd7202f8.svg\" width=\"23\" height=\"15\"\/>\u00a0\u0438 \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043e \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u0443\u044e \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = \\text{argmin} \\left\\{ f(w) + \\frac{1}{2\\alpha_k} \\| w - w_k \\|^2 \\right\\} = prox_{\\alpha_k f}(w_k)\" alt=\"w_{k+1} = \\text{argmin} \\left\\{ f(w) + \\frac{1}{2\\alpha_k} \\| w - w_k \\|^2 \\right\\} = prox_{\\alpha_k f}(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e59\/6e5\/1a4\/e596e51a4cf47be87a1365e236f8fe59.svg\" width=\"473\" height=\"49\"\/><\/p>\n<ul>\n<li>\n<p>2)\u00a0<strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043f\u043e\u0442\u043e\u043a<\/strong>\u00a0\u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u0442\u043e\u0447\u043a\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0438\u0437 \u043b\u044e\u0431\u043e\u0439 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u043f\u0440\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t \\to \\infty\" alt=\"t \\to \\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8d4\/0b9\/5eb\/8d40b95eb7d2722937472380124715b5.svg\" width=\"56\" height=\"16\"\/>:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac {d}{dt} w(t) = - \\nabla f(w(t))\" alt=\"\\frac {d}{dt} w(t) = - \\nabla f(w(t))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ba\/24e\/eee\/3ba24eeee911e45df5508537eb4130cb.svg\" width=\"178\" height=\"43\"\/><\/p>\n<p>\u0420\u0435\u0448\u0438\u0432 \u0434\u0430\u043d\u043d\u043e\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u044f\u043c\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u042d\u0439\u043b\u0435\u0440\u0430, \u043f\u043e\u043b\u0443\u0447\u0438\u043c:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = w_k - \\alpha \\nabla f(w_k)\" alt=\"w_{k+1} = w_k - \\alpha \\nabla f(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67b\/dce\/307\/67bdce307095fabd631cffc43bb17ace.svg\" width=\"189\" height=\"22\"\/><\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e, \u0447\u0435\u043c \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0445\u0435\u043c\u044b \u042d\u0439\u043b\u0435\u0440\u0430. \u0422\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u0432\u0438\u0434:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{w_{k+1} - w_k}{\\alpha} = - \\nabla f(w_{k+1})\" alt=\"\\frac{w_{k+1} - w_k}{\\alpha} = - \\nabla f(w_{k+1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/26c\/a81\/50e\/26ca8150e3403458f7eb64be38d0ffcc.svg\" width=\"216\" height=\"41\"\/><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432 \u043d\u0435\u044f\u0432\u043d\u043e\u043c \u0432\u0438\u0434\u0435, \u0430 \u0435\u0433\u043e \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u0443\u0442\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g(w^*)\" alt=\"g(w^*)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce1\/a39\/753\/ce1a39753aad0dcf500043f42caa1970.svg\" width=\"47\" height=\"22\"\/>\u00a0\u0432 \u0442\u043e\u0447\u043a\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{k+1}\" alt=\"w_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aaa\/5f8\/cb3\/aaa5f8cb30b0ee730f6fff13961e049c.svg\" width=\"40\" height=\"16\"\/>, \u0442\u043e\u0433\u0434\u0430 \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla (f(w^*) + g(w^*))(w_{k+1}) = 0 \\Rightarrow \\\\ \\Rightarrow w_{k+1} = \\text{argmin} \\left\\{ f(w^*) + \\frac{1}{2\\alpha_k} \\| w^* - w_k \\|^2 \\right\\} = prox_{\\alpha_k f}(w_k)\" alt=\"\\nabla (f(w^*) + g(w^*))(w_{k+1}) = 0 \\Rightarrow \\\\ \\Rightarrow w_{k+1} = \\text{argmin} \\left\\{ f(w^*) + \\frac{1}{2\\alpha_k} \\| w^* - w_k \\|^2 \\right\\} = prox_{\\alpha_k f}(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b39\/707\/30a\/b3970730a6e75ef5c79545cd288c2356.svg\" width=\"697\" height=\"77\"\/><\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u0434\u0435\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0430 \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0438, \u043a\u043e\u0433\u0434\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1c\/836\/812\/b1c8368121da4362c2f644ebd4f0166b.svg\" width=\"11\" height=\"20\"\/>\u00a0\u043d\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0443\u0431\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac {d}{dt} w(t) \\in - \\partial f(w(t))\" alt=\"\\frac {d}{dt} w(t) \\in - \\partial f(w(t))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/568\/f72\/bb5\/568f72bb56e405e9d1f750b59d8c4bb5.svg\" width=\"171\" height=\"43\"\/><\/p>\n<ul>\n<li>\n<p>3)\u00a0<strong>\u0418\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0435 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435<\/strong>\u00a0\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043e \u043d\u0430 \u0438\u0434\u0435\u0435 \u0430\u0441\u0438\u043c\u043f\u0442\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0441\u0447\u0435\u0437\u0430\u044e\u0449\u0435\u0439 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0422\u0438\u0445\u043e\u043d\u043e\u0432\u0430 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0432\u0438\u0434\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Xw = y\" alt=\"Xw = y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/662\/ba0\/5c7\/662ba05c713ee5e10f144554850e828e.svg\" width=\"66\" height=\"20\"\/>\u00a0\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0425\u043e\u043b\u0435\u0446\u043a\u043e\u0433\u043e \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X + \\frac{1}{\\alpha} I\" alt=\"X + \\frac{1}{\\alpha} I\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3a\/dcd\/e03\/a3adcde0347917f87482e8624b9f2a6d.svg\" width=\"69\" height=\"42\"\/>.<\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"f(w) = \\frac{1}{2} w^T X w - y^T w\" alt=\"f(w) = \\frac{1}{2} w^T X w - y^T w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/444\/b24\/45f\/444b2445f813c15d28e2c6088ff33f6f.svg\" width=\"196\" height=\"42\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X \\in S_+^n\" alt=\"X \\in S_+^n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a6\/168\/b4b\/8a6168b4be073e4fcde148d035c3d5ee.svg\" width=\"64\" height=\"22\"\/>\u00a0(\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u0443\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4eb\/ef8\/719\/4ebef8719b05e4a9ab5bbf518f0239c5.svg\" width=\"12\" height=\"12\"\/>\u00a0x\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e2\/6f9\/e38\/7e26f9e381b25f095fc61770aba51bf2.svg\" width=\"12\" height=\"12\"\/>\u00a0\u043c\u0430\u0442\u0440\u0438\u0446). \u0422\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Xw = y\" alt=\"Xw = y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/805\/630\/c8b\/805630c8b6616af9a23a18f68d15da2c.svg\" width=\"66\" height=\"20\"\/>. \u041a\u043e\u0433\u0434\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X\" alt=\"X\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/255\/4b6\/443\/2554b644315d992a91c973cb4efaa2b2.svg\" width=\"16\" height=\"17\"\/>\u00a0\u043d\u0435\u0441\u0438\u043d\u0433\u0443\u043b\u044f\u0440\u043d\u043e, \u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w = X^{-1} y\" alt=\"w = X^{-1} y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efd\/c1f\/dac\/efdc1fdacc5c96b668c3479dde851c45.svg\" width=\"85\" height=\"24\"\/> . \u0422\u0430\u043a\u0443\u044e \u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432. \u041f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0434\u043b\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/56f\/413\/6a1\/56f4136a19cc2a741c158046b8a72d0b.svg\" width=\"11\" height=\"20\"\/>\u00a0\u043f\u0440\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_k\" alt=\"w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/989\/d78\/ab8\/989d78ab8c2f7672b226eaf71de9461d.svg\" width=\"23\" height=\"15\"\/>\u00a0\u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"prox_{\\alpha_k f}(w_k) = \\text{argmin} \\left\\{ \\frac{1}{2} w^T X w - y^T w + \\frac{1}{2} \\| w - w_k \\|^2   \\right\\} = \\\\ = \\left(X + \\frac{1}{\\alpha} I \\right)^{-1} \\left(y + \\frac{1}{\\alpha} w_k \\right)\" alt=\"prox_{\\alpha_k f}(w_k) = \\text{argmin} \\left\\{ \\frac{1}{2} w^T X w - y^T w + \\frac{1}{2} \\| w - w_k \\|^2   \\right\\} = \\\\ = \\left(X + \\frac{1}{\\alpha} I \\right)^{-1} \\left(y + \\frac{1}{\\alpha} w_k \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d0\/d58\/1a1\/3d0d581a1fb98c89c0158d2e39d57156.svg\" width=\"697\" height=\"107\"\/><\/p>\n<p>\u041f\u0435\u0440\u0435\u043f\u0438\u0441\u0430\u0432 \u0434\u0430\u043d\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435, \u043f\u043e\u043b\u0443\u0447\u0438\u043c:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = w_k + \\left(X + \\frac{1}{\\alpha} I \\right)^{-1} (y - X w_k)\" alt=\"w_{k+1} = w_k + \\left(X + \\frac{1}{\\alpha} I \\right)^{-1} (y - X w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be7\/6f5\/94d\/be76f594d10a9702e35fc849adf5a6c7.svg\" width=\"317\" height=\"53\"\/><\/p>\n<h4>\u041f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 (PGM)<\/h4>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u0438\u0434\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"min \\rightarrow f(w) + g(w)\" alt=\"min \\rightarrow f(w) + g(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7de\/93f\/ecd\/7de93fecd951cffbb329753891ee985e.svg\" width=\"166\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\u00a0f\" alt=\"\u00a0f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b59\/0a4\/5a0\/b590a45a05740865e07ccca227562daf.svg\" width=\"11\" height=\"20\"\/>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u043b\u0430\u0434\u043a\u043e\u0439 (\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439), \u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e3\/f4a\/337\/6e3f4a33756283505ab418d8a383a3b6.svg\" width=\"9\" height=\"15\"\/>\u00a0\u043d\u0435\u0433\u043b\u0430\u0434\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440. \u0422\u043e\u0433\u0434\u0430, \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d68\/6d1\/ebc\/d686d1ebc226404d9c6b5250e2d03e4b.svg\" width=\"11\" height=\"20\"\/>\u00a0\u0438 \u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a2\/64c\/2dc\/2a264c2dc4e350b72f01451286b08724.svg\" width=\"9\" height=\"15\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0432\u0438\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = prox_{\\alpha_k g} (w_k - \\alpha_k \\nabla f(w_k))\" alt=\"w_{k+1} = prox_{\\alpha_k g} (w_k - \\alpha_k \\nabla f(w_k))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e54\/63d\/67d\/e5463d67df412553181bee41b28567dc.svg\" width=\"276\" height=\"23\"\/><\/p>\n<p>\u0415\u0449\u0451 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f forward-backward splitting, \u0433\u0434\u0435 forward \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0448\u0430\u0433\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0430 backward \u2014 \u043a \u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0448\u0430\u0433\u0443.<\/p>\n<p>PGM \u0442\u0430\u043a\u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>1)\u00a0<strong>Majorization-minimization<\/strong>\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0432\u0438\u0434\u0430:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"min \\rightarrow q_{\\alpha}(w, w_k) = \\frac{1}{2} \\| w - (w_k \\ - \\alpha_k \\nabla f(w_k)) \\|^2  + \\alpha g(w)\" alt=\"min \\rightarrow q_{\\alpha}(w, w_k) = \\frac{1}{2} \\| w - (w_k \\ - \\alpha_k \\nabla f(w_k)) \\|^2  + \\alpha g(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/207\/442\/e5e\/207442e5e452d941e6169e52cffcce68.svg\" width=\"478\" height=\"42\"\/><\/p>\n<p>\u0410 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{k+1}\" alt=\"w_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8e6\/4d9\/55e\/8e64d955eb82ac60cb4e0b71f491a06c.svg\" width=\"40\" height=\"16\"\/>\u00a0\u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = \\text{argmin} \\ q_{\\alpha}(w, w_k)\" alt=\"w_{k+1} = \\text{argmin} \\ q_{\\alpha}(w, w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad0\/d95\/859\/ad0d9585928b0662e11978b72600504d.svg\" width=\"209\" height=\"22\"\/><\/p>\n<ul>\n<li>\n<p>2)\u00a0<strong>Fixed point iteration<\/strong>\u00a0\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043e \u043d\u0430 \u0438\u0434\u0435\u0435, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w^*\" alt=\"w^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e42\/56e\/df5\/e4256edf595635579825e37cade90904.svg\" width=\"23\" height=\"18\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"min \\rightarrow f(w) + g(w)\" alt=\"min \\rightarrow f(w) + g(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/745\/0cd\/181\/7450cd181b2ff863b112031cddb84cac.svg\" width=\"166\" height=\"22\"\/>\u00a0\u043b\u0438\u0448\u044c \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 forward-backward:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"(I + \\alpha \\partial g)^{-1} (I - \\alpha \\nabla f)\" alt=\"(I + \\alpha \\partial g)^{-1} (I - \\alpha \\nabla f)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac4\/17f\/a39\/ac417fa39f76e6a6126ea2a8e4b5f675.svg\" width=\"188\" height=\"25\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u0432\u0438\u0434:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w^* = (I + \\alpha \\partial g)^{-1} (I - \\alpha \\nabla f) (w^*) = prox_{\\alpha g} (w^* - \\alpha_k \\nabla f(w^*))\" alt=\"w^* = (I + \\alpha \\partial g)^{-1} (I - \\alpha \\nabla f) (w^*) = prox_{\\alpha g} (w^* - \\alpha_k \\nabla f(w^*))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac2\/5ab\/6d9\/ac25ab6d96ae61ca610bfbb792e3ae2e.svg\" width=\"502\" height=\"26\"\/><\/p>\n<ul>\n<li>\n<p>3)\u00a0<strong>Forward-backward \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430<\/strong>\u00a0\u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u044f\u043c\u043e\u0439 \u0428\u0430\u0433 \u042d\u0439\u043b\u0435\u0440\u0430 \u0434\u043b\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0447\u0430\u0441\u0442\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce6\/0f6\/e4d\/ce60f6e4d70e22b5a61d5983bf8d01c0.svg\" width=\"11\" height=\"20\"\/>\u00a0\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0448\u0430\u0433 \u042d\u0439\u043b\u0435\u0440\u0430 \u0434\u043b\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0435\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0447\u0430\u0441\u0442\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/336\/b17\/89a\/336b1789a85814fb76496ba416677eb7.svg\" width=\"9\" height=\"15\"\/>. \u0415\u0441\u043b\u0438 \u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"g\" alt=\"g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c18\/755\/67b\/c1875567b48001db0f6be91ecff98316.svg\" width=\"9\" height=\"15\"\/>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u0436\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u043e\u0439, \u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0442\u043e\u043a\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac {d}{dt} w(t) = - \\nabla f(w(t)) - \\nabla g(w(t))\" alt=\"\\frac {d}{dt} w(t) = - \\nabla f(w(t)) - \\nabla g(w(t))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f26\/616\/a00\/f26616a00a3e6a6766fbb51eea2b50db.svg\" width=\"278\" height=\"43\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 forward-backward splitting:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = (I + \\alpha \\nabla g)^{-1} (I - \\alpha \\nabla f) w_k\" alt=\"w_{k+1} = (I + \\alpha \\nabla g)^{-1} (I - \\alpha \\nabla f) w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0ea\/d5a\/f22\/0ead5af2212074622d4bcc869fe7c082.svg\" width=\"281\" height=\"25\"\/><\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0<strong>\u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430<\/strong>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u044d\u0442\u0430\u043f \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"z_{k+1} = w_k + p_k (w_k - w_{k-1}) \\\\ w_{k+1} = prox_{\\alpha_k g} (z_{k+1} - \\alpha_k \\nabla f(z_{k+1}))\" alt=\"z_{k+1} = w_k + p_k (w_k - w_{k-1}) \\\\ w_{k+1} = prox_{\\alpha_k g} (z_{k+1} - \\alpha_k \\nabla f(z_{k+1}))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f7\/f6f\/f69\/8f7f6ff69d9c4553c127a6225a09e38e.svg\" width=\"697\" height=\"51\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_k\" alt=\"p_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db7\/b20\/f11\/db7b20f1104987abd4482d690802aba5.svg\" width=\"19\" height=\"15\"\/> \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438, \u0430 \u043e\u0434\u043d\u0430 \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0441\u0445\u0435\u043c \u0435\u0433\u043e \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p_k = \\frac {k}{k + 3}\" alt=\"p_k = \\frac {k}{k + 3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/967\/7b1\/3f7\/9677b13f78a745f6e2f97776bf5c8b0b.svg\" width=\"95\" height=\"44\"\/><\/p>\n<h4>ISTA (Iterative Shrinkage(Soft)-Thresholding Algorithm)<\/h4>\n<p>\u0414\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0435 \u043a L1-\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\|Xw - y\\|^2 + \\lambda \\|w\\| \\rightarrow min\" alt=\"\\|Xw - y\\|^2 + \\lambda \\|w\\| \\rightarrow min\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdf\/5a0\/623\/cdf5a062381b4a23b6099128b6f0dca4.svg\" width=\"224\" height=\"25\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u043a\u0441-\u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0434\u043b\u044f l1-\u043d\u043e\u0440\u043c\u044b \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"prox_{\\lambda \\alpha} (w) = argmin \\left\\{\\frac{1}{2 \\alpha} \\|w - w^* \\|^2 + \\lambda \\|w^* \\| \\right\\} = \\\\ = argmin \\left\\{\\sum_{i=1}^d  \\left[ \\frac{1}{2 \\alpha} (w_i - w_i^*) + \\lambda |w_i^*| \\right] \\right\\} = T_{\\lambda \\alpha} (w)\" alt=\"prox_{\\lambda \\alpha} (w) = argmin \\left\\{\\frac{1}{2 \\alpha} \\|w - w^* \\|^2 + \\lambda \\|w^* \\| \\right\\} = \\\\ = argmin \\left\\{\\sum_{i=1}^d  \\left[ \\frac{1}{2 \\alpha} (w_i - w_i^*) + \\lambda |w_i^*| \\right] \\right\\} = T_{\\lambda \\alpha} (w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f57\/b6b\/a56\/f57b6ba562476ce322e3ced847300216.svg\" width=\"697\" height=\"115\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T_{\\lambda \\alpha} (w)\" alt=\"T_{\\lambda \\alpha} (w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b5e\/3a4\/59c\/b5e3a459c92e0f3f1a2151bdfc288c4d.svg\" width=\"59\" height=\"22\"\/>\u00a0\u2014 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0441 \u043f\u043b\u0430\u0432\u043d\u044b\u043c \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0440\u043e\u0433\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0441\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"T_{\\lambda \\alpha} (w_i) = \\begin{cases}     w_i - \\lambda \\alpha, \\ \\ w_i \\geq \\lambda \\alpha \\\\     0, \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\  |w_i| \\leq \\lambda \\alpha \\\\     w_i + \\lambda \\alpha, \\ \\ w_i \\leq - \\lambda \\alpha  \\\\ \\end{cases}\" alt=\"T_{\\lambda \\alpha} (w_i) = \\begin{cases}     w_i - \\lambda \\alpha, \\ \\ w_i \\geq \\lambda \\alpha \\\\     0, \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\ \\  |w_i| \\leq \\lambda \\alpha \\\\     w_i + \\lambda \\alpha, \\ \\ w_i \\leq - \\lambda \\alpha  \\\\ \\end{cases}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef8\/54b\/935\/ef854b93592c1417bf081770fc34eafe.svg\" width=\"285\" height=\"70\"\/><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0448\u0430\u0433 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = T_{\\lambda \\alpha_k} (w_k - \\alpha_k X^T (Xw_k- y))\" alt=\"w_{k+1} = T_{\\lambda \\alpha_k} (w_k - \\alpha_k X^T (Xw_k- y))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/698\/1a3\/b28\/6981a3b28ba23c4fe80219340bbdeec9.svg\" width=\"301\" height=\"26\"\/><\/p>\n<p>\u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043d\u0443\u043b\u044f\u0442\u044c\u0441\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"|w_i| \\leq \\alpha\" alt=\"|w_i| \\leq \\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/772\/132\/38e\/77213238eb83ad1688c4a4122236430a.svg\" width=\"69\" height=\"22\"\/>, \u0447\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043e\u043c\u043f\u044c\u044e\u0442\u0435\u0440\u043d\u043e\u0433\u043e \u0437\u0440\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e ISTA \u0432 \u0447\u0438\u0441\u0442\u043e\u043c \u0432\u0438\u0434\u0435 \u0438\u043c\u0435\u0435\u0442 \u043d\u0438\u0437\u043a\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0435\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <strong>FISTA<\/strong> (\u043e\u0442 \u0441\u043b\u043e\u0432\u0430 Fast), \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u0438 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430, \u0433\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0448\u0430\u0433 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u0438:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"t_{k+1} = \\frac{1 + \\sqrt{1 + 4t_k^2}}{2} \\\\ z_{k+1} = w_k + \\frac{t_k - 1}{t_{k+1}} (w_k - w_{k-1}) \\\\ w_{k+1} = prox_{\\lambda \\alpha} (z_{k+1}) = T_{\\lambda \\alpha_k}(z_{k+1} - \\alpha_k \\nabla f(z_{k+1}))\" alt=\"t_{k+1} = \\frac{1 + \\sqrt{1 + 4t_k^2}}{2} \\\\ z_{k+1} = w_k + \\frac{t_k - 1}{t_{k+1}} (w_k - w_{k-1}) \\\\ w_{k+1} = prox_{\\lambda \\alpha} (z_{k+1}) = T_{\\lambda \\alpha_k}(z_{k+1} - \\alpha_k \\nabla f(z_{k+1}))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55a\/5a2\/0cf\/55a5a20cfc05c96f7cbeba66cf080342.svg\" width=\"697\" height=\"140\"\/><\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(1\/k^2)\" alt=\"O(1\/k^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4af\/581\/8d2\/4af5818d2301fbf3d79b3d7d23b34dca.svg\" width=\"68\" height=\"25\"\/> \u0432\u043c\u0435\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(1\/k)\" alt=\"O(1\/k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e4\/0e8\/891\/9e40e88915b3106f1d2e6d57297c9925.svg\" width=\"59\" height=\"22\"\/> \u043a\u0430\u043a \u0432 ISTA. \u041a \u0441\u043b\u043e\u0432\u0443, \u043d\u0430 \u0441\u0435\u0433\u043e\u0434\u043d\u044f\u0448\u043d\u0438\u0439 \u0434\u0435\u043d\u044c FISTA \u0442\u0430\u043a\u0436\u0435 \u0438\u043c\u0435\u0435\u0442 \u0440\u044f\u0434 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439, \u0434\u0435\u043b\u0430\u044e\u0449\u0438\u0445 \u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0443 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0439 \u0438 \u0431\u044b\u0441\u0442\u0440\u043e\u0439 \u0432 \u0440\u044f\u0434\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432.<\/p>\n<p><a class=\"anchor\" name=\"second-order_methods\" id=\"second-order_methods\"><\/a><\/p>\n<h3>\u041c\u0435\u0442\u043e\u0434\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u2014 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0432\u0442\u043e\u0440\u044b\u0445 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 (\u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0435) \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0438 \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u0435\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0441 \u043e\u0447\u0435\u043d\u044c \u043d\u0435\u0440\u043e\u0432\u043d\u044b\u043c \u0438 \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u043e\u043c \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u0412\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0437\u0443\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0437\u0430 \u0441\u0447\u0451\u0442 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0435\u0451 \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 \u043e\u0442 \u0448\u0430\u0433\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430. \u041d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:<\/p>\n<ul>\n<li>\n<p>1) \u0415\u0441\u043b\u0438 \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0430 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f (\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439), \u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u0447\u0435\u043c \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0431\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u043e\u043c\u0443 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u0438\u0441\u043a \u0435\u0433\u043e \u043f\u0435\u0440\u0435\u043f\u0440\u044b\u0433\u043d\u0443\u0442\u044c \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0448\u0430\u0433\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>2) \u0415\u0441\u043b\u0438 \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0430 \u043d\u0443\u043b\u0435\u0432\u0430\u044f (\u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439), \u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0442\u043e\u0447\u043d\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0431\u0443\u0434\u0435\u0442 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0435\u0442 \u043d\u0438 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u0438\u044f, \u043d\u0438 \u0437\u0430\u043c\u0435\u0434\u043b\u0435\u043d\u0438\u044f \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0435\u0451 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>3) \u0415\u0441\u043b\u0438 \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f (\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439), \u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0447\u0435\u043c \u043e\u0436\u0438\u0434\u0430\u043b\u043e\u0441\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0448\u0430\u0433\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043d\u043e \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043e\u0442\u0434\u0430\u043b\u044f\u044f\u0441\u044c \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<h4>\u041c\u0435\u0442\u043e\u0434 \u041d\u044c\u044e\u0442\u043e\u043d\u0430<\/h4>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0432 \u0440\u044f\u0434 \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u043b\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(w)\" alt=\"f(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fbe\/a68\/350\/fbea68350da479a8de4a3926b2441161.svg\" width=\"39\" height=\"22\"\/> \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u044f\u0445 \u0442\u043e\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b0\/c46\/a0a\/8b0c46a0adc91b343e342938c9c517e4.svg\" width=\"7\" height=\"16\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"f(w + t) \\approx f(w) + \\nabla f(w)t + \\frac{1}{2} \\nabla ^ 2 (w) t^2\" alt=\"f(w + t) \\approx f(w) + \\nabla f(w)t + \\frac{1}{2} \\nabla ^ 2 (w) t^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2b\/8f0\/04c\/d2b8f004c0c318db5350b050bc9f4b84.svg\" width=\"331\" height=\"42\"\/><\/p>\n<p>\u041f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0432 \u043a \u043d\u0443\u043b\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nabla f(w + t)\" alt=\"\\nabla f(w + t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/501\/d92\/3e8\/501d923e80a881243fb98ab7ee12d2fa.svg\" width=\"86\" height=\"22\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0443\u0441\u043a\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"0 = \\frac{d f(w + t)}{dt} = \\nabla f(w) + \\nabla ^ 2 f(w) \\Rightarrow \\\\ \\Rightarrow t = - \\frac {\\nabla f(w)}{\\nabla ^ 2 f(w)} = - H^{-1}(w) \\nabla f(w)\" alt=\"0 = \\frac{d f(w + t)}{dt} = \\nabla f(w) + \\nabla ^ 2 f(w) \\Rightarrow \\\\ \\Rightarrow t = - \\frac {\\nabla f(w)}{\\nabla ^ 2 f(w)} = - H^{-1}(w) \\nabla f(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/035\/b07\/b3b\/035b07b3b81147c0ad1f8a6ce04df583.svg\" width=\"697\" height=\"101\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = w_k + t_k = w_k - \\alpha_k H^{-1} (w_k) \\nabla f (w_k)\" alt=\"w_{k+1} = w_k + t_k = w_k - \\alpha_k H^{-1} (w_k) \\nabla f (w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/477\/a5a\/3a5\/477a5a3a57b20cc30126dc4e8d3e63ec.svg\" width=\"361\" height=\"25\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0448\u0430\u0433 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha_k = 1\" alt=\"\\alpha_k = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61d\/33f\/8f5\/61d33f8f50c04d87b338746cf0c7dfd8.svg\" width=\"57\" height=\"19\"\/>, \u0442\u043e \u044d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u041d\u044c\u044e\u0442\u043e\u043d\u0430, \u0430 \u043f\u0440\u0438 \u0434\u0440\u0443\u0433\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0448\u0430\u0433\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha_k \\in (0, 1)\" alt=\"\\alpha_k \\in (0, 1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f9\/177\/9c7\/5f91779c7d251dc91a08dbd6e669e28c.svg\" width=\"88\" height=\"22\"\/> \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0434\u044d\u043c\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 (damped) \u043c\u0435\u0442\u043e\u0434 \u041d\u044c\u044e\u0442\u043e\u043d\u0430.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0443\u044e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 \u043e\u043a\u0440\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u044f\u0445 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u044b \u043b\u0438\u043d\u0438\u0439 \u0443\u0440\u043e\u0432\u043d\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u0442\u0430\u043a\u0436\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u044b\u043c \u043a \u043f\u043b\u043e\u0445\u043e \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u0437\u0430\u0434\u0430\u0447\u0430\u043c (\u0437\u0430\u0434\u0430\u0447\u0430\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0448\u0438\u0431\u043a\u0430\u043c \u0432 \u0440\u0435\u0448\u0435\u043d\u0438\u0438).<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043c\u0435\u0442\u043e\u0434 \u041d\u044c\u044e\u0442\u043e\u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H\" alt=\"H\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/879\/6ed\/fd6\/8796edfd6c7c7875a9151643d3fffd52.svg\" width=\"17\" height=\"17\"\/> , \u0438\u043d\u0430\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0432\u0441\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b \u0432\u0431\u043b\u0438\u0437\u0438 \u0441\u0435\u0434\u043b\u043e\u0432\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u0432 \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438. \u041e\u0434\u043d\u043e \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/862\/5dd\/733\/8625dd733f67c9117351083f723792bb.svg\" width=\"11\" height=\"17\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = w_k + t = w_k - \\alpha_k [H^{-1} (w_k) + \\lambda I] \\nabla f (w_k)\" alt=\"w_{k+1} = w_k + t = w_k - \\alpha_k [H^{-1} (w_k) + \\lambda I] \\nabla f (w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/68b\/fbe\/466\/68bfbe466e0ec3eac1f8919da47afaca.svg\" width=\"407\" height=\"25\"\/><\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0443 \u043c\u0435\u0442\u043e\u0434\u0430 \u041d\u044c\u044e\u0442\u043e\u043d\u0430 \u0435\u0441\u0442\u044c \u0435\u0449\u0451 2 \u0441\u0435\u0440\u044c\u0451\u0437\u043d\u044b\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u043b\u0430\u044e\u0442 \u0435\u0433\u043e \u043d\u0435\u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u044b\u043c \u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c \u0441\u0435\u0442\u044f\u043c \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>1) \u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0432\u044b\u0431\u043e\u0440\u0443 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438. \u041a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u0432 \u0431\u043b\u0438\u0437\u0438 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0434\u0430\u043b\u0435\u043a\u043e \u043e\u0442 \u043d\u0435\u0433\u043e, \u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0439 \u0438 \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0441\u043e\u0439\u0442\u0438\u0441\u044c \u0432\u043e\u043e\u0431\u0449\u0435. \u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u0448\u0430\u0433\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha_k\" alt=\"\\alpha_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a99\/553\/67c\/a9955367cb502de280f49de3ea4930cb.svg\" width=\"21\" height=\"15\"\/>\u00a0\u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c. \u0427\u0430\u0441\u0442\u0438\u0447\u043d\u043e \u0434\u0430\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043a \u043a\u0443\u0431\u0438\u0447\u0435\u0441\u043a\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p>2) \u0412\u044b\u0441\u043e\u043a\u0430\u044f \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u043c. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0447\u0438\u0441\u043b\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u0440\u0430\u0432\u043d\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0443 \u0447\u0438\u0441\u043b\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/419\/38b\/5cb\/41938b5cbe8b67f8dc1a8ad3a49de25a.svg\" width=\"10\" height=\"17\"\/>, \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f \u0438\u0445 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u044f\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(d^2)\" alt=\"O(d^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d7\/164\/8d9\/2d71648d9c1be471672cf488c626a7d2.svg\" width=\"49\" height=\"25\"\/>, \u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0431\u0443\u0434\u0435\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(d^3)\" alt=\"O(d^3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cea\/a55\/255\/ceaa552550704b77100f79fe985fe22e.svg\" width=\"49\" height=\"25\"\/>.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u041d\u044c\u044e\u0442\u043e\u043d\u0430, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0438\u0435 \u0442\u0430\u043a\u0438\u0445 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442.<\/p>\n<h4>\u041c\u0435\u0442\u043e\u0434 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432<\/h4>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0430\u0438\u0441\u043a\u043e\u0440\u0435\u0439\u0448\u0435\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043f\u0443\u0441\u043a \u0432 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0430\u0438\u0441\u043a\u043e\u0440\u0435\u0439\u0448\u0435\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0433\u0434\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0443\u0441\u043a\u0430 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0442\u043e\u0447\u043a\u0438 \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0437\u0438\u0433\u0437\u0430\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u043c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043f\u0443\u0441\u043a\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df9\/795\/891\/df97958915353c250e51997a75fa7f64.svg\" width=\"10\" height=\"17\"\/>\u00a0\u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u0431\u044b\u043b\u0438 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u043c\u0438 (\u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438) \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"d_k = \\nabla f(w) + \\beta_k d_{t-1}\" alt=\"d_k = \\nabla f(w) + \\beta_k d_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f8\/9ed\/4e2\/6f89ed4e28f0b3b731fc8f082bba8fc1.svg\" width=\"178\" height=\"22\"\/><\/p>\n<p>\u041d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d_k\" alt=\"d_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fb1\/ce5\/882\/fb1ce5882ca3bfb1c981c2bba5e77d08.svg\" width=\"19\" height=\"20\"\/>\u00a0\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d_{k-1}\" alt=\"d_{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65e\/7ba\/b25\/65e7bab25a444cf4bafb8655b900f280.svg\" width=\"36\" height=\"21\"\/>\u00a0\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u043c\u0438, \u0435\u0441\u043b\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d_k^T H d_{k-1}=0\" alt=\"d_k^T H d_{k-1}=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e51\/b40\/21c\/e51b4021c704680789238a7e9b6b461f.svg\" width=\"111\" height=\"25\"\/>, \u0430 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_k\" alt=\"\\beta_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/617\/6fb\/231\/6176fb231bd9b0b9be28dd76e9710a7a.svg\" width=\"20\" height=\"20\"\/>\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043a\u0430\u043a\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d_{k-1}\" alt=\"d_{k-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/198\/46d\/8b0\/19846d8b0560c3ad72e84e6c0d6bd77a.svg\" width=\"36\" height=\"21\"\/>\u00a0\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043f\u0440\u0438\u0431\u0430\u0432\u0438\u0442\u044c \u043a \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u0438\u0441\u043a\u0430.  <\/p>\n<p>\u041d\u0430\u0439\u0442\u0438 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e, \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0432 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H\" alt=\"H\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac2\/9f2\/702\/ac29f270219adabcf3b731dbc0d6de2e.svg\" width=\"17\" height=\"17\"\/>\u00a0\u0434\u043b\u044f\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_k\" alt=\"\\beta_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71f\/a65\/bc9\/71fa65bc94bb5aea0965bf8f3fc754ae.svg\" width=\"20\" height=\"20\"\/>, \u043e\u0434\u043d\u0430\u043a\u043e \u044d\u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_k\" alt=\"\\beta_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b7\/a49\/d3d\/1b7a49d3d3f114e943684c1a4cb0fd2b.svg\" width=\"20\" height=\"20\"\/>\u00a0\u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b:  <\/p>\n<ul>\n<li>\n<p>1) \u041c\u0435\u0442\u043e\u0434 \u0424\u043b\u0435\u0442\u0447\u0435\u0440\u0430-\u0420\u0438\u0432\u0441\u0430:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\beta_k = \\frac{\\nabla f(w_k)^T \\nabla f(w_k)}{\\nabla f(w_{k-1})^T \\nabla f(w_{k-1})}\" alt=\"\\beta_k = \\frac{\\nabla f(w_k)^T \\nabla f(w_k)}{\\nabla f(w_{k-1})^T \\nabla f(w_{k-1})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/59d\/ea6\/fef\/59dea6fef97e9e5b948f38baead3d6c6.svg\" width=\"228\" height=\"53\"\/><\/p>\n<ul>\n<li>\n<p>2) \u041c\u0435\u0442\u043e\u0434 \u041f\u043e\u043b\u0430\u043a\u0430-\u0420\u0438\u0431\u044c\u0435\u0440\u0430:<\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\beta_k = \\frac{(\\nabla f(w_k) - \\nabla f(w_{k-1}))^T \\nabla f(w_k)}{\\nabla f(w_{k-1})^T \\nabla f(w_{k-1})}\" alt=\"\\beta_k = \\frac{(\\nabla f(w_k) - \\nabla f(w_{k-1}))^T \\nabla f(w_k)}{\\nabla f(w_{k-1})^T \\nabla f(w_{k-1})}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/659\/8ca\/8bc\/6598ca8bc05f67e09db5ca2c31ec64b6.svg\" width=\"314\" height=\"53\"\/><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/63a\/ecd\/d10\/63aecdd101de3e8a2320e48ca88ae0b0.svg\" width=\"10\" height=\"17\"\/> \u043f\u043e\u0438\u0441\u043a\u043e\u0432 \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/90e\/497\/7c9\/90e4977c909f5e34d8976b9c39518542.svg\" width=\"10\" height=\"17\"\/>-\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435. \u0415\u0441\u043b\u0438 \u0436\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0432\u044b\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0440\u0430\u043c\u043a\u0438 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u044b \u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0439, \u0442\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0432\u0434\u043e\u043b\u044c \u0440\u0430\u043d\u0435\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0430 \u0440\u0435\u0441\u0442\u0430\u0440\u0442\u0430, \u043a\u043e\u0433\u0434\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0437\u0430\u043d\u043e\u0432\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u043e\u0438\u0441\u043a \u0432\u0434\u043e\u043b\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u0451\u043d\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0447\u0442\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c \u0432 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0442\u043e\u0447\u043a\u0438 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430.<\/p>\n<h4>BFGS (Broyden\u2013Fletcher\u2013Goldfarb\u2013Shanno)<\/h4>\n<p>\u042f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u043a\u0432\u0430\u0437\u0438\u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef8\/c2f\/8d5\/ef8c2f8d5e288581a2afc7cc29f12bb4.svg\" width=\"20\" height=\"17\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0445\u043e\u0434\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0438\u0437\u043a\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u0432 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0439 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_k\" alt=\"B_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a7\/256\/5fc\/2a72565fc7ce2317a99cda56a5cd30b6.svg\" width=\"24\" height=\"20\"\/> \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d \\ \\text{x} \\ d\" alt=\"d \\ \\text{x} \\ d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27a\/2a2\/b32\/27a2a2b320c661aa82d902d57a401848.svg\" width=\"40\" height=\"17\"\/>, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 \u041d\u044c\u044e\u0442\u043e\u043d\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"m(w_{k+1}) \\approx f(w_{k+1}) + \\nabla f(w_{k+1})t + \\frac{1}{2} \\nabla ^ 2 (w_{k+1}) t^2\" alt=\"m(w_{k+1}) \\approx f(w_{k+1}) + \\nabla f(w_{k+1})t + \\frac{1}{2} \\nabla ^ 2 (w_{k+1}) t^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e2\/70c\/29b\/6e270c29bf4355ab2ef596942e354453.svg\" width=\"412\" height=\"42\"\/><\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0448\u0430\u0433\u0430,\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_{k+1}\" alt=\"B_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7d\/e53\/4dc\/d7de534dc3249e7eb5d6d425bc990aac.svg\" width=\"41\" height=\"21\"\/>\u00a0\u0434\u043e\u043b\u0436\u0435\u043d \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u044e, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m(w_{k+1})\" alt=\"m(w_{k+1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d0a\/680\/1ce\/d0a6801ce691d6cc00aecf7639e6ccf2.svg\" width=\"72\" height=\"22\"\/>\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d8b\/0ce\/e93\/d8b0cee93f67bac77ea91bd1d13fab3a.svg\" width=\"11\" height=\"20\"\/>\u00a0\u043d\u0430 \u0434\u0432\u0443\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u0445\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_k\" alt=\"w_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/626\/580\/6fe\/6265806fe098be6ba5334080129108d2.svg\" width=\"23\" height=\"15\"\/>\u00a0\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{k+1}\" alt=\"w_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ce\/208\/4f1\/1ce2084f110418059cfa1813be08ad73.svg\" width=\"40\" height=\"16\"\/>:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla m(w_k - w_{k+1}) = \\nabla m(- \\alpha_k d_k) = \\nabla f(w_{k+1}) - B_{k+1} \\alpha_k  d_k = \\nabla f(w_k)\" alt=\"\\nabla m(w_k - w_{k+1}) = \\nabla m(- \\alpha_k d_k) = \\nabla f(w_{k+1}) - B_{k+1} \\alpha_k  d_k = \\nabla f(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04a\/d9e\/fa1\/04ad9efa1129f56a7fc6c89e0891632a.svg\" width=\"567\" height=\"22\"\/><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u0435\u043a\u0443\u0449\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0435\u0449\u0451 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043a\u0430\u043a \u043a\u0432\u0430\u0437\u0438\u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B_{k+1} \\alpha_k  d_k = \\nabla f(w_{k+1}) - \\nabla f(w_k)\" alt=\"B_{k+1} \\alpha_k  d_k = \\nabla f(w_{k+1}) - \\nabla f(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03e\/7be\/d08\/03e7bed08eb46063abb219f6f1d81773.svg\" width=\"277\" height=\"22\"\/><\/p>\n<p>\u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0434\u0430\u043d\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0432 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0435, \u0441\u0434\u0435\u043b\u0430\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B_{k+1} s_k = y_k \\\\ s_k = (w_{k+1} - w_k) = \\alpha_k d_k \\\\ y_k = \\nabla f(w_{k+1}) - \\nabla f(w_k)\" alt=\"B_{k+1} s_k = y_k \\\\ s_k = (w_{k+1} - w_k) = \\alpha_k d_k \\\\ y_k = \\nabla f(w_{k+1}) - \\nabla f(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd6\/9eb\/9f7\/cd69eb9f7c43ad70704b59bb3b7c820d.svg\" width=\"697\" height=\"76\"\/><\/p>\n<p>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e, \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_{k+1}\" alt=\"B_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61a\/f7e\/703\/61af7e703525c249f2a2b89a66d2462c.svg\" width=\"41\" height=\"21\"\/> \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_k\" alt=\"s_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6e\/e2f\/2d4\/d6ee2f2d4ff17fd630fada97b6c6d80d.svg\" width=\"18\" height=\"15\"\/> \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y_k\" alt=\"y_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/539\/c1c\/fdb\/539c1cfdbc8f51b0eca151ce7f83ed55.svg\" width=\"18\" height=\"15\"\/> \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u044e \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u044b:<\/p>\n<p><img class=\"formula\" source=\"s_k^T y_k > 0&#8243; alt=&#187;s_k^T y_k > 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d80\/144\/c4f\/d80144c4f9e5d979cac1c24b5cbc29a9.svg&#187; width=&#187;74&#8243; height=&#187;25&#8243;\/><\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435, \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u0441\u0435\u0433\u0434\u0430 \u0438\u043c\u0435\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0430 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_{k+1}\" alt=\"B_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/483\/2ff\/162\/4832ff162f58649c0d17e76d982e8dc4.svg\" width=\"41\" height=\"21\"\/> \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446, \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u044e\u0449\u0438\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u0435\u043a\u0443\u0449\u0435\u0439, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_{k+1}\" alt=\"B_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76e\/455\/191\/76e45519137ba1d07887c49249de8b7c.svg\" width=\"41\" height=\"21\"\/> \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_k\" alt=\"B_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/653\/b66\/451\/653b66451b80e457ea62b078b43f0797.svg\" width=\"24\" height=\"20\"\/>. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u0438\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"min \\rightarrow \\|B - B_k \\|\" alt=\"min \\rightarrow \\|B - B_k \\|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a1\/22a\/889\/0a122a8890c4a5ca23581e252f6e1099.svg\" width=\"146\" height=\"22\"\/><\/p>\n<p>\u041a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0436\u043d\u043e \u0440\u0435\u0448\u0438\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u044b \u0424\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\|A \\|_W = \\|W^{1\/2} A W^{1\/2} \\|_F\" alt=\"\\|A \\|_W = \\|W^{1\/2} A W^{1\/2} \\|_F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f37\/28f\/d44\/f3728fd440528fd8ad1d0dd118340436.svg\" width=\"208\" height=\"26\"\/><\/p>\n<p>\u0413\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\|\\cdot \\|_F\" alt=\"\\|\\cdot \\|_F\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9e\/5e1\/08c\/c9e5e108c037933aef5c2c39287c5a51.svg\" width=\"45\" height=\"22\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\|C \\|^2_F = \\sum_{i=1}^n \\sum_{j=1}^n c^2_{ij}\" alt=\"\\|C \\|^2_F = \\sum_{i=1}^n \\sum_{j=1}^n c^2_{ij}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/776\/842\/c8f\/776842c8fc45a80932602c2c80ecd34d.svg\" width=\"154\" height=\"59\"\/>, \u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0432\u0435\u0441\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f92\/69b\/058\/f9269b058da5834e5d4f01594ceba5b0.svg\" width=\"20\" height=\"17\"\/> \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043b\u044e\u0431\u043e\u0439 \u043f\u0440\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W y_k = s_k\" alt=\"W y_k = s_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d3\/5b9\/3fb\/6d35b93fb87e177d0073edbd7498af5e.svg\" width=\"82\" height=\"20\"\/>. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b84\/301\/9b9\/b843019b98f533d3d66197f989467e78.svg\" width=\"20\" height=\"17\"\/> \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u044b\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\overline G_k^{-1}\" alt=\"\\overline G_k^{-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5d\/f75\/682\/a5df75682adaae498a6175d2a3214611.svg\" width=\"35\" height=\"31\"\/>, \u0433\u0434\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\overline G_k = \\int_{0}^{1} \\nabla^2 f(w_k + \\alpha_k d_k) d \\lambda\" alt=\"\\overline G_k = \\int_{0}^{1} \\nabla^2 f(w_k + \\alpha_k d_k) d \\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d57\/225\/b69\/d57225b692e2b277d9b206ec7a8b5ee1.svg\" width=\"242\" height=\"51\"\/><\/p>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u0422\u0435\u0439\u043b\u043e\u0440\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"y_k = \\overline G_k \\alpha_k d_k = \\overline G_k s_k\" alt=\"y_k = \\overline G_k \\alpha_k d_k = \\overline G_k s_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d07\/c45\/aad\/d07c45aad0f35069bfde995c86f6f78f.svg\" width=\"179\" height=\"27\"\/><\/p>\n<p>\u041f\u0440\u0438 \u0442\u0430\u043a\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W\" alt=\"W\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/838\/f00\/0b1\/838f000b1c5ca959f61cfbb4e1033580.svg\" width=\"20\" height=\"17\"\/>\u00a0\u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u043d\u043e\u0440\u043c\u0430 \u0424\u0440\u043e\u0431\u0435\u043d\u0438\u0443\u0441\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0431\u0435\u0437\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0439, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0435\u0434\u0438\u043d\u0438\u0446 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043c\u00a0<strong>DFP (Davidon-Fletcher-Powell)<\/strong>:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B_{k+1} = (I - \\frac{y_k s_k^T}{y_k^T s_k}) B_k (I - \\frac{s_k y_k^T}{y_k^T s_k}) + \\frac{y_k y_k^T}{y_k^T s_k}\" alt=\"B_{k+1} = (I - \\frac{y_k s_k^T}{y_k^T s_k}) B_k (I - \\frac{s_k y_k^T}{y_k^T s_k}) + \\frac{y_k y_k^T}{y_k^T s_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6cf\/7b4\/087\/6cf7b40876086ccac411a41f221182f4.svg\" width=\"350\" height=\"56\"\/><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432 \u043a\u0432\u0430\u0437\u0438\u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u043d\u0430\u0441 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d, \u043f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0434\u0430\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u043e\u043c \u0432\u0438\u0434\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M=B_k^{-1}\" alt=\"M=B_k^{-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1c3\/175\/5c9\/1c31755c913f18f06ca1b4613d4a4ea9.svg\" width=\"80\" height=\"26\"\/> \u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0428\u0435\u0440\u043c\u0430\u043d\u0430\u2013\u041c\u043e\u0440\u0440\u0438\u0441\u043e\u043d\u0430\u2013\u0412\u0443\u0434\u0431\u0435\u0440\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B^{-1} = A^{-1} - A^{-1} U (I + V^T A^{-1} U) V^T A^{-1}\" alt=\"B^{-1} = A^{-1} - A^{-1} U (I + V^T A^{-1} U) V^T A^{-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf3\/fd3\/c04\/cf3fd3c0466416edb1448ab66434eb51.svg\" width=\"351\" height=\"25\"\/><\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 DFP \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u0438\u0434:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"M_{k+1} = M_k - \\frac{M_k y_k y_k^T M_k}{y_k^T M_k y_k} + \\frac{s_k s_k^T}{y_k^T s_k}\" alt=\"M_{k+1} = M_k - \\frac{M_k y_k y_k^T M_k}{y_k^T M_k y_k} + \\frac{s_k s_k^T}{y_k^T s_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af4\/089\/602\/af40896025c2373b0d3c9630b69eef59.svg\" width=\"294\" height=\"56\"\/><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u0434\u0430\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043a\u0432\u0430\u0437\u0438\u043d\u044c\u044e\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f: \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u044b\u0435 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u044b (\u0438\u043b\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0435 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u044b) \u0441 \u043d\u0443\u043b\u044f \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0441\u0430\u043c\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044e\u044e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u00a0\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0441 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 DFP \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439, \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0432 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k\" alt=\"M_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/136\/257\/5ee\/1362575ee5e83a3a553032482cd152f8.svg\" width=\"28\" height=\"20\"\/> \u0432\u043c\u0435\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_k\" alt=\"B_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af2\/0d6\/2cc\/af20d62cc7e10a54352f1d114fa376c7.svg\" width=\"24\" height=\"20\"\/>. \u0412 \u0438\u0442\u043e\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 <strong>BFGS<\/strong>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"M_{k+1} = (I - \\frac{s_k y_k^T}{y_k^T s_k}) M_k (I - \\frac{y_k s_k^T}{y_k^T s_k}) + \\frac{s_k s_k^T}{y_k^T s_k}\" alt=\"M_{k+1} = (I - \\frac{s_k y_k^T}{y_k^T s_k}) M_k (I - \\frac{y_k s_k^T}{y_k^T s_k}) + \\frac{s_k s_k^T}{y_k^T s_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ace\/a56\/4dd\/acea564dd3c3be16a9f5b17bd26fcf3a.svg\" width=\"357\" height=\"56\"\/><\/p>\n<p>\u041c\u044b \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0432\u0435\u0440\u0441\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 BFGS, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0441 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0435\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_k\" alt=\"B_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d14\/bce\/24c\/d14bce24c4667b5b7d008bc6a9a180d5.svg\" width=\"24\" height=\"20\"\/>, \u0430 \u043d\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k\" alt=\"M_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a7\/904\/7bf\/5a79047bf3c983308eac91ef90d27232.svg\" width=\"28\" height=\"20\"\/>, \u0435\u0441\u043b\u0438 \u0441\u043d\u043e\u0432\u0430 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0428\u0435\u0440\u043c\u0430\u043d\u0430\u2013\u041c\u043e\u0440\u0440\u0438\u0441\u043e\u043d\u0430\u2013\u0412\u0443\u0434\u0431\u0435\u0440\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B_{k+1} = B_k - \\frac{B_k s_k s_k^T B_k}{s_k^T B_k s_k} + \\frac{y_k y_k^T}{y_k^T s_k}\" alt=\"B_{k+1} = B_k - \\frac{B_k s_k s_k^T B_k}{s_k^T B_k s_k} + \\frac{y_k y_k^T}{y_k^T s_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c43\/88d\/e64\/c4388de649ad8deaf91981652749ece3.svg\" width=\"277\" height=\"56\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u043f\u0443\u0441\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"d_k = - M_k \\nabla f(w_k)\" alt=\"d_k = - M_k \\nabla f(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b81\/a8f\/6ec\/b81a8f6ecab6c4e5bdb49ddcfbfb314a.svg\" width=\"152\" height=\"22\"\/><\/p>\n<p>\u0410 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0431\u0443\u0434\u0443\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u043f\u0440\u0430\u0432\u0438\u043b\u0443:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = w_k + \\alpha_k d_k\" alt=\"w_{k+1} = w_k + \\alpha_k d_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc7\/92d\/549\/bc792d549ae35a2c5bef05be027e47e8.svg\" width=\"153\" height=\"21\"\/><\/p>\n<p>\u041f\u043e\u0434\u043e\u0431\u043d\u043e \u043c\u0435\u0442\u043e\u0434\u0443 \u0441\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 BFGS \u0441\u043e\u0437\u0434\u0430\u0451\u0442\u0441\u044f \u0441\u0435\u0440\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043f\u043e\u0438\u0441\u043a\u043e\u0432 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043e\u0434\u043d\u0430\u043a\u043e \u0432\u0430\u0436\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043a\u0438, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u043e\u0439 \u043a \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0432\u0434\u043e\u043b\u044c \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u0435 \u0442\u0430\u043a \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u043e\u043b\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430, \u043e\u0434\u043d\u0430\u043a\u043e \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/468\/ca0\/6f5\/468ca06f50077e8f2c2a1de3d72b46be.svg\" width=\"20\" height=\"17\"\/> \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(d^2)\" alt=\"O(d^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/09e\/791\/1b6\/09e7911b6b61234360c0b86123b3e0a3.svg\" width=\"49\" height=\"25\"\/> \u043f\u0430\u043c\u044f\u0442\u0438 \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u0430\u043a\u0436\u0435 \u043c\u0430\u043b\u043e\u043f\u0440\u0438\u0433\u043e\u0434\u0435\u043d \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n<h4>SR1 (Symmetric Rank-1)<\/h4>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u043d\u0433\u0430 1, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0438 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u0435\u043a\u0443\u0449\u0435\u0439, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0438\u0441\u0447\u0435\u0437\u0430\u044e\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438, \u0447\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_k\" alt=\"B_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ccc\/ca7\/4b1\/cccca74b1c23d155c66f2ad698720c02.svg\" width=\"24\" height=\"20\"\/> (\u0438\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k\" alt=\"M_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b3e\/045\/71c\/b3e04571c8ec7505c8d43eb4c48a9104.svg\" width=\"28\" height=\"20\"\/>) \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d, \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f BFGS \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0438\u043b\u0438 \u043a\u043e\u0433\u0434\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438.<\/p>\n<p>\u0421\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u043d\u0433\u0430 1, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043a\u0430\u043a \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0411\u0440\u043e\u0439\u0434\u0435\u043d\u0430, \u0438\u043c\u0435\u0435\u0442 \u043e\u0431\u0449\u0438\u0439 \u0432\u0438\u0434:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B_{k+1} = B_k + \\sigma v v^T\" alt=\"B_{k+1} = B_k + \\sigma v v^T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ddd\/c23\/bdc\/dddc23bdcb950628be10184e108050e6.svg\" width=\"155\" height=\"25\"\/><\/p>\n<p>\u0413\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma \\in \\{-1, 1 \\}\" alt=\"\\sigma \\in \\{-1, 1 \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e7\/421\/e28\/7e7421e2812871645be211a07592663c.svg\" width=\"97\" height=\"22\"\/>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_{k+1}\" alt=\"B_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a90\/998\/19a\/a9099819ab7ad658c38f57abd54a6583.svg\" width=\"41\" height=\"21\"\/> \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u0435\u043a\u0443\u0449\u0435\u0439. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0448\u0435 \u0432 \u0434\u0430\u043d\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435, \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"y_k = B_k s_k + [\\sigma v v^T] s_k\" alt=\"y_k = B_k s_k + [\\sigma v v^T] s_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/410\/d00\/a90\/410d00a90074321937fa456731ef418e.svg\" width=\"180\" height=\"25\"\/><\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0447\u043b\u0435\u043d \u0432 \u0441\u043a\u043e\u0431\u043a\u0430\u0445 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u044b\u043c, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"v\" alt=\"v\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5f\/df1\/b46\/a5fdf1b46fb783b8a8a06eab3a45a921.svg\" width=\"9\" height=\"12\"\/> \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043a\u0440\u0430\u0442\u043d\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y_k - B_k s_k\" alt=\"y_k - B_k s_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b4\/f30\/824\/0b4f30824bd6c7334adca642e61a3a81.svg\" width=\"84\" height=\"20\"\/> \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta\" alt=\"\\delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d5a\/bac\/91a\/d5abac91a3fc3bd4dac1f7bd4cd21caf.svg\" width=\"9\" height=\"17\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"y_k - B_k s_k = \\sigma \\delta^2 [s_k^T (y_k - B_k s_k)] (y_k - B_k s_k)\" alt=\"y_k - B_k s_k = \\sigma \\delta^2 [s_k^T (y_k - B_k s_k)] (y_k - B_k s_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/565\/af5\/3c8\/565af53c82e4ed708e797ee4d866e10e.svg\" width=\"367\" height=\"27\"\/><\/p>\n<p>\u0414\u0430\u043d\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\sigma = sign [s_k^T (y_k - B_k s_k)] \\\\ \\delta = \\pm |s_k^T (y_k - B_k s_k)|^{-1\/2}\" alt=\"\\sigma = sign [s_k^T (y_k - B_k s_k)] \\\\ \\delta = \\pm |s_k^T (y_k - B_k s_k)|^{-1\/2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/357\/f73\/d0c\/357f73d0ce59f21b16b44edfd48ce35d.svg\" width=\"697\" height=\"59\"\/><\/p>\n<p>\u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B_k\" alt=\"B_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e41\/bc4\/d98\/e41bc4d98564eb7cfeac03d1b1d5f58a.svg\" width=\"24\" height=\"20\"\/> \u043f\u0440\u0438\u043e\u0431\u0440\u0435\u0442\u0430\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0432\u0438\u0434:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"B_{k+1} = B_k + \\frac{(y_k - B_k s_k) (y_k - B_k s_k)^T}{(y_k - B_k s_k)^T s_k}\" alt=\"B_{k+1} = B_k + \\frac{(y_k - B_k s_k) (y_k - B_k s_k)^T}{(y_k - B_k s_k)^T s_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a95\/c5e\/a9d\/a95c5ea9d7fa3d13161ac34024264bc0.svg\" width=\"330\" height=\"53\"\/><\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0432 \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0428\u0435\u0440\u043c\u0430\u043d\u0430\u2013\u041c\u043e\u0440\u0440\u0438\u0441\u043e\u043d\u0430\u2013\u0412\u0443\u0434\u0431\u0435\u0440\u0438, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k\" alt=\"M_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37f\/5fa\/ee1\/37f5faee12ea156261bdce5b96a94912.svg\" width=\"28\" height=\"20\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"M_{k+1} = M_k + \\frac{(s_k - M_k y_k) (s_k - M_k y_k)^T}{(s_k - M_k y_k)^T y_k}\" alt=\"M_{k+1} = M_k + \\frac{(s_k - M_k y_k) (s_k - M_k y_k)^T}{(s_k - M_k y_k)^T y_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d9\/ecb\/595\/3d9ecb5952696345eaddae603c6d9a61.svg\" width=\"346\" height=\"53\"\/><\/p>\n<p>\u041d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0443\u044e \u0440\u0430\u0431\u043e\u0442\u0443 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 DFP \u0438 BFGS, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e SR1 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0439 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u043b\u0443\u0447\u0448\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043b\u0443\u0447\u0448\u0435\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e.<\/p>\n<h4>L-BFGS (Limited-memory BFGS)<\/h4>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e5f\/936\/9c3\/e5f9369c3fc2e9b9c432265a43dbdf70.svg\" width=\"17\" height=\"12\"\/> (\u043e\u0431\u044b\u0447\u043d\u043e \u043e\u0442 3 \u0434\u043e 20) \u043f\u0430\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{s_i, y_i \\}\" alt=\"\\{s_i, y_i \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/889\/cc8\/666\/889cc86661fdf0a7c0dd8d7ed996c8d1.svg\" width=\"60\" height=\"22\"\/> \u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/369\/59e\/42f\/36959e42f50a8f2a95985d99890806f1.svg\" width=\"27\" height=\"20\"\/> \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k\" alt=\"M_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/09c\/117\/8af\/09c1178af773a3caf6c41bb4800e42b4.svg\" width=\"28\" height=\"20\"\/>, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(md)\" alt=\"O(md)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b0\/b6a\/86a\/4b0b6a86aa5dac296c9b69d3846bedc3.svg\" width=\"57\" height=\"22\"\/> \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u0430\u043c\u044f\u0442\u044c, \u043d\u043e \u0438 \u043d\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e. \u0427\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f BFGS \u0432 \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"w_{k+1} = w_k + \\alpha_k M_k \\nabla f (w_k) \\\\ M_{k+1} = V_k^T M_k V_k + \\rho_k s_k s_k^T \\\\ V_k = I - \\rho_k y_k s_k^T, \\ \\rho_k = \\frac{1}{y_k^T s_k}\" alt=\"w_{k+1} = w_k + \\alpha_k M_k \\nabla f (w_k) \\\\ M_{k+1} = V_k^T M_k V_k + \\rho_k s_k s_k^T \\\\ V_k = I - \\rho_k y_k s_k^T, \\ \\rho_k = \\frac{1}{y_k^T s_k}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71e\/3c2\/35b\/71e3c235bb0a69f59bc0e222c2bf39db.svg\" width=\"697\" height=\"109\"\/><\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k\" alt=\"M_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/464\/a7b\/749\/464a7b749f080249980712dc80f0dbcc.svg\" width=\"28\" height=\"20\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0432\u0438\u0434\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{align} M_k &amp;= (V_{k-1}^{T} ... V_{k-m}^{T}) M_0 (V_{k-m} ... V_{k-1}) + \\\\ &amp;+ \\rho_{k-m} (V_{k-1}^T ... V_{k-m+1}^{T}) s_{k-m} s_{k-m}^T (V_{k-m+1} ... V_{k-1}) + \\\\ &amp;+ \\ ... \\\\ &amp;+ \\rho_{k-1} s_{k-1} s_{k-1}^T \\end{align}\" alt=\"\\begin{align} M_k &amp;= (V_{k-1}^{T} ... V_{k-m}^{T}) M_0 (V_{k-m} ... V_{k-1}) + \\\\ &amp;+ \\rho_{k-m} (V_{k-1}^T ... V_{k-m+1}^{T}) s_{k-m} s_{k-m}^T (V_{k-m+1} ... V_{k-1}) + \\\\ &amp;+ \\ ... \\\\ &amp;+ \\rho_{k-1} s_{k-1} s_{k-1}^T \\end{align}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88d\/524\/7b2\/88d5247b21a7e33aff250e3561c5f64d.svg\" width=\"473\" height=\"110\"\/><\/p>\n<p>\u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_k \\nabla f(w_k)\" alt=\"M_k \\nabla f(w_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46e\/17c\/a0f\/46e17ca0fcee2cc88c94f6d2c621574a.svg\" width=\"92\" height=\"22\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>L-BFGS two-loop recursion<\/strong>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\begin{align*} &amp; q \\leftarrow \\nabla f(w_k) \\\\ &amp; \\textbf{for } i \\ = \\ k - 1, \\ k - 2, ..., \\ k - m \\\\ &amp; \\hspace{1.3cm} \\alpha_i \\leftarrow \\rho_i s_i^T q \\\\ &amp; \\hspace{1.3cm} q \\leftarrow q - \\alpha_i y_i \\\\ \\\\ &amp; r \\leftarrow M_0 q \\\\ &amp; \\textbf{for } i \\ = \\ k - m, \\ k - m + 1, ..., \\ k - 1 \\\\ &amp; \\hspace{1.3cm} \\beta \\leftarrow \\rho_i y_i^T r \\\\ &amp; \\hspace{1.3cm} r \\leftarrow r + s_i (\\alpha_i - \\beta) \\\\ \\\\ &amp; M_k \\nabla f(w_k) = r \\end{align*}\" alt=\"\\begin{align*} &amp; q \\leftarrow \\nabla f(w_k) \\\\ &amp; \\textbf{for } i \\ = \\ k - 1, \\ k - 2, ..., \\ k - m \\\\ &amp; \\hspace{1.3cm} \\alpha_i \\leftarrow \\rho_i s_i^T q \\\\ &amp; \\hspace{1.3cm} q \\leftarrow q - \\alpha_i y_i \\\\ \\\\ &amp; r \\leftarrow M_0 q \\\\ &amp; \\textbf{for } i \\ = \\ k - m, \\ k - m + 1, ..., \\ k - 1 \\\\ &amp; \\hspace{1.3cm} \\beta \\leftarrow \\rho_i y_i^T r \\\\ &amp; \\hspace{1.3cm} r \\leftarrow r + s_i (\\alpha_i - \\beta) \\\\ \\\\ &amp; M_k \\nabla f(w_k) = r \\end{align*}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af1\/bba\/6c3\/af1bba6c36c1d2a05d0bae0e2e336249.svg\" width=\"319\" height=\"281\"\/><\/p>\n<p>\u041f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u043e\u0439 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1d\/5f8\/456\/e1d5f845614bb794d2ad32f3ec406e12.svg\" width=\"27\" height=\"20\"\/> \u0438\u0437\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u043e\u0442 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u044d\u0442\u0443 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0438 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0435\u0451 \u043c\u0435\u0436\u0434\u0443 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u043c\u0438. \u041c\u0435\u0442\u043e\u0434\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_0\" alt=\"M_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9d4\/71f\/13a\/9d471f13a5281fb8e67543adb27e273b.svg\" width=\"27\" height=\"20\"\/>, \u043f\u043e\u043a\u0430\u0437\u0430\u0432\u0448\u0438\u043c \u0441\u0435\u0431\u044f \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_0 = \\gamma_k I\" alt=\"M_0 = \\gamma_k I\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/022\/606\/b4a\/022606b4a1c1b0d419e8e26bea35f731.svg\" width=\"82\" height=\"21\"\/>, \u0433\u0434\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\gamma_k = \\frac{s_{k-1}^T y_{k-1}}{y_{k-1}^T y_{k-1}}\" alt=\"\\gamma_k = \\frac{s_{k-1}^T y_{k-1}}{y_{k-1}^T y_{k-1}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/676\/08b\/b1e67608b8b2282745ea7317d181cf6b.svg\" width=\"123\" height=\"58\"\/><\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\gamma_k\" alt=\"\\gamma_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/28d\/ccc\/514\/28dccc5143886a97dea30ca4555fe9c9.svg\" width=\"19\" height=\"16\"\/> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043e\u0446\u0435\u043d\u043a\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u043f\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c\u0443 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u0438\u0441\u043a\u0430. \u042d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u043c\u043e\u0441\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0438\u0441\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d_k\" alt=\"d_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/61a\/44f\/431\/61a44f431e70a3cf53e70e7881111218.svg\" width=\"19\" height=\"20\"\/>, \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0447\u0435\u0433\u043e \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha_k = 1\" alt=\"\\alpha_k = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/487\/55d\/bab\/48755dbabdd64bc6f0e3b270e41b0fd9.svg\" width=\"57\" height=\"19\"\/>. \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 <strong>L-BFGS<\/strong> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img class=\"formula\" source=\"\\begin{align*} &amp; \\text{Choose starting point } w_0 \\\\ &amp; m > 0, \\ k \\leftarrow 0 \\\\ &amp; \\textbf{repeat until convergence} \\\\ &amp; \\hspace{1.3cm} M_0 = \\gamma_k I \\\\ &amp; \\hspace{1.3cm} d_k = &#8212; M_k \\nabla f(w_k) \\hspace{0.4cm} \\text{from algorithm above} \\\\ \\\\ &amp; \\hspace{1.3cm} w_{k+1} = w_k + \\alpha_k d_k, \\hspace{0.3cm} \\text{where} \\ \\alpha_k \\ \\text{satisfies the Wolfe&#8217;s conditions} \\\\ &amp; \\hspace{1.3cm} r \\leftarrow r + s_i (\\alpha_i &#8212; \\beta) \\\\ &amp; \\hspace{1.3cm} \\textbf{if } k > m: \\\\ &amp; \\hspace{2.6cm} \\text{Discard the vector pair } \\{s_{k-m}, y_{k-m} \\} \\ \\text{from storage} \\\\ &amp; \\hspace{1.3cm} s_k \\leftarrow w_{k+1} &#8212; w_k \\\\ &amp; \\hspace{1.3cm} y_k = \\nabla f(w_{k+1}) &#8212; \\nabla f(w_k) \\\\ &amp; \\hspace{1.3cm} k \\leftarrow k + 1 \\end{align*}&#187; alt=&#187;\\begin{align*} &amp; \\text{Choose starting point } w_0 \\\\ &amp; m > 0, \\ k \\leftarrow 0 \\\\ &amp; \\textbf{repeat until convergence} \\\\ &amp; \\hspace{1.3cm} M_0 = \\gamma_k I \\\\ &amp; \\hspace{1.3cm} d_k = &#8212; M_k \\nabla f(w_k) \\hspace{0.4cm} \\text{from algorithm above} \\\\ \\\\ &amp; \\hspace{1.3cm} w_{k+1} = w_k + \\alpha_k d_k, \\hspace{0.3cm} \\text{where} \\ \\alpha_k \\ \\text{satisfies the Wolfe&#8217;s conditions} \\\\ &amp; \\hspace{1.3cm} r \\leftarrow r + s_i (\\alpha_i &#8212; \\beta) \\\\ &amp; \\hspace{1.3cm} \\textbf{if } k > m: \\\\ &amp; \\hspace{2.6cm} \\text{Discard the vector pair } \\{s_{k-m}, y_{k-m} \\} \\ \\text{from storage} \\\\ &amp; \\hspace{1.3cm} s_k \\leftarrow w_{k+1} &#8212; w_k \\\\ &amp; \\hspace{1.3cm} y_k = \\nabla f(w_{k+1}) &#8212; \\nabla f(w_k) \\\\ &amp; \\hspace{1.3cm} k \\leftarrow k + 1 \\end{align*}&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d41\/712\/e78\/d41712e7846b37e10a21f15b60050ba9.svg&#187; width=&#187;563&#8243; height=&#187;328&#8243;\/><\/p>\n<h4>Shampoo<\/h4>\n<p>\u0412\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u0441\u0451 \u0435\u0449\u0451 \u0443\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0438 \u043f\u0430\u043c\u044f\u0442\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u0430\u043c, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u041e\u0442\u0447\u0430\u0441\u0442\u0438 \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0442\u043e\u0447\u043d\u043e\u0433\u043e, \u0430 \u043d\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432. \u0412 \u0438\u0434\u0435\u0430\u043b\u0435 \u043d\u0430\u043c \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0438\u043c\u0435\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u0432\u043c\u0435\u0449\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u0412 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c\u0441\u044f \u043a \u044d\u0442\u043e\u0439 \u0446\u0435\u043b\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Shampoo, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0445, \u043d\u043e \u0438 \u0432 \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0435\u0433\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0438\u0434\u0435\u044e.<\/p>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u043c \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u0430\u043c (\u0432 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043d\u0435\u0439 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e). \u0412\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u0430 \u044f\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432 Shampoo \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442 \u0440\u043e\u043b\u044c, \u0441\u0445\u043e\u0436\u0443\u044e \u0441 \u0433\u0435\u0441\u0441\u0438\u0430\u043d\u043e\u043c, \u0445\u0440\u0430\u043d\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043a\u0440\u0438\u0432\u0438\u0437\u043d\u0435 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u041f\u043e \u0441\u0443\u0442\u0438, \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u043e\u0433 AdaGrad, \u0430 \u0434\u043b\u044f \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u0435\u0433\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/02b\/408\/f1c\/02b408f1ce89cc1fa1f382e0992adbed.png\" width=\"382\" height=\"194\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/02b\/408\/f1c\/02b408f1ce89cc1fa1f382e0992adbed.png\"\/><\/figure>\n<p>\u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0437 \u043c\u0430\u0442\u0440\u0438\u0446 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_t\" alt=\"L_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/85b\/0ec\/3ba\/85b0ec3ba01ac541fbe69b879bb2dafb.svg\" width=\"20\" height=\"20\"\/> \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0ea\/a6f\/3b1\/0eaa6f3b12257ce34162d5e3d2523ff5.svg\" width=\"17\" height=\"12\"\/> x <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/078\/f5a\/194\/078f5a194d898be7166752f79eb8e930.svg\" width=\"17\" height=\"12\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_t\" alt=\"R_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0bb\/7fb\/28d\/0bb7fb28d13b8d753dcefaf4a9959be3.svg\" width=\"21\" height=\"20\"\/> \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f3\/aef\/1b9\/0f3aef1b974984f4fc7600d4a3706472.svg\" width=\"12\" height=\"12\"\/> x <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/44f\/819\/eb9\/44f819eb961329dcffb151d6e4852739.svg\" width=\"12\" height=\"12\"\/> , \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u0435 \u0438\u0437 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0442\u043e\u043c \u0443\u043c\u043d\u043e\u0436\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u0443\u044e \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043b\u0435\u0432\u0430 \u043d\u0430\u043f\u0440\u0430\u0432\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u041a\u0430\u0436\u0434\u0430\u044f \u0438\u0437 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043e\u0434\u043d\u0438\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u043f\u043e \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0435\u043f\u043b\u043e\u0445\u043e \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0431\u044a\u0451\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 Shampoo \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(m^2 + n^2)\" alt=\"O(m^2 + n^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4f\/942\/784\/a4f9427844ffddff4c9526cb10f2685a.svg\" width=\"99\" height=\"25\"\/> \u0432\u043c\u0435\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(m^2 n^2)\" alt=\"O(m^2 n^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1c4\/d5c\/31f\/1c4d5c31f318dd750067d7e5b846e00e.svg\" width=\"76\" height=\"25\"\/> \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043f\u043e\u043b\u043d\u043e\u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u043d\u0438\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b (\u0438 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435), \u043e\u0431\u044a\u0451\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043b\u0435\u0432\u043e\u0433\u043e \u0438 \u043f\u0440\u0430\u0432\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0442\u0430\u043a\u0436\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(m^3 n^3)\" alt=\"O(m^3 n^3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd9\/5cf\/5db\/bd95cf5dba0be797a8b1c5d3630bd7dd.svg\" width=\"76\" height=\"25\"\/> \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"O(m^3 + n^3)\" alt=\"O(m^3 + n^3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5be\/62c\/fff\/5be62cfff9de9f6e60a82f93c264fb9f.svg\" width=\"99\" height=\"25\"\/>.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e shampoo \u0432\u0441\u0451 \u0435\u0449\u0451 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442, \u0447\u0442\u043e \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u043c\u0438 \u0438 \u044d\u043c\u0431\u044d\u0434\u0434\u0438\u043d\u0433 \u0441\u043b\u043e\u044f\u043c\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 p-\u0445 \u043a\u043e\u0440\u043d\u0435\u0439 \u043c\u0430\u0442\u0440\u0438\u0446 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_t^{-1\/4}\" alt=\"L_t^{-1\/4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eec\/237\/675\/eec2376752a3d2b939f649de41191d87.svg\" width=\"46\" height=\"29\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_t^{-1\/4}\" alt=\"R_t^{-1\/4}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebf\/4e0\/6e9\/ebf4e06e9be44818e5dc77ccf761e53f.svg\" width=\"48\" height=\"29\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0441\u043f\u0435\u043a\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, SVD), \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b Shampoo \u0431\u044b\u043b\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0439:<\/p>\n<ul>\n<li>\n<p>1) \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0440\u0430\u0437 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0442\u0435\u043d \u0448\u0430\u0433\u043e\u0432. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0448\u0430\u0433\u043e\u043c, \u0442\u043e \u0438 \u043e\u0441\u043e\u0431\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u043d\u0430 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0442\u0438 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>2) \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f p-\u0445 \u043a\u043e\u0440\u043d\u0435\u0439 \u0432\u043c\u0435\u0441\u0442\u043e SVD, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 \u0428\u0443\u0440\u0430-\u041d\u044c\u044e\u0442\u043e\u043d\u0430.<\/p>\n<\/li>\n<li>\n<p>3) \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0441\u043b\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u0435\u043b\u0435\u0439\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_t^{-1\/2p}\" alt=\"L_t^{-1\/2p}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1af\/e9c\/434\/1afe9c43459d9e7fdfc3ec04222f7933.svg\" width=\"53\" height=\"29\"\/> \u0438\u043b\u0438\u00a0<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_t^{-1\/2q}\" alt=\"R_t^{-1\/2q}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9b\/d5c\/021\/c9bd5c021eca4c360a8ec8214aaeb000.svg\" width=\"54\" height=\"29\"\/>, \u0433\u0434\u0435\u00a0<img class=\"formula inline\" source=\"p, q > 0&#8243; alt=&#187;p, q > 0&#8243; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/818\/44a\/583\/81844a5833eb3975210e295fe93ad0e9.svg&#187; width=&#187;63&#8243; height=&#187;19&#8243;\/>.<\/p>\n<\/li>\n<li>\n<p>4) \u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430 GPU.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0435 \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f Shampoo \u0432 \u0435\u0433\u043e \u043e\u0431\u0449\u0435\u0439 \u0444\u043e\u0440\u043c\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u043a \u0442\u0435\u043d\u0437\u043e\u0440\u0430\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438. \u0412 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0435\u043d\u0437\u043e\u0440\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0430 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0430 \u0435\u0433\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u0440\u0430\u0431\u043e\u0442\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6d9\/9c3\/969\/6d99c3969b9476565b752d0db86ace5a.png\" width=\"367\" height=\"172\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d9\/9c3\/969\/6d99c3969b9476565b752d0db86ace5a.png\"\/><\/figure>\n<p>\u041f\u0440\u043e\u0441\u043b\u0435\u0434\u0438\u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u044e \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0441 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0442\u0430\u043a\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043a\u0430\u043a Shampoo, \u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0451 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f. \u041d\u0430 \u043c\u043e\u0439 \u0441\u043a\u0440\u043e\u043c\u043d\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0438\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0442\u0438 \u0438 \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0438\u0433\u0440\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u0443\u044e \u0440\u043e\u043b\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043d\u043e \u0438 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u043e\u0431\u043b\u0430\u0441\u0442\u044f\u0445 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u0438\u0438 \u0438 \u043d\u0430\u0443\u043a\u0438.  <\/p>\n<p><a class=\"anchor\" name=\"additional_sources\" id=\"additional_sources\"><\/a><\/p>\n<h3>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h3>\n<p>\u0421\u0442\u0430\u0442\u044c\u0438:<\/p>\n<ul>\n<li>\n<p>\u00abAdam: A Method for Stochastic Optimization\u00bb, Diederik P. Kingma, Jimmy Ba;<\/p>\n<\/li>\n<li>\n<p>\u00abDecoupled Weight Decay Regularization\u00bb, Ilya Loshchilov, Frank Hutter;<\/p>\n<\/li>\n<li>\n<p>\u00abIncorporating Nesterov Momentum into Adam\u00bb, Timothy Dozat;<\/p>\n<\/li>\n<li>\n<p>\u00abAdaptive Methods for Nonconvex Optimization\u00bb, Manzil Zaheer, Sashank J. Reddi, Devendra Sachan, Satyen Kale, Sanjiv Kumar;<\/p>\n<\/li>\n<li>\n<p>\u00abAdan: Adaptive Nesterov Momentum Algorithm for Faster Optimizing Deep Models\u00bb, Xingyu Xie, Pan Zhou, Huan Li, Zhouchen Lin, Shuicheng Yan;<\/p>\n<\/li>\n<li>\n<p>\u00abOn the Convergence of Adam and Beyond\u00bb, Sashank J. Reddi, Satyen Kale, Sanjiv Kumar;<\/p>\n<\/li>\n<li>\n<p>\u00abOn the Convergence Proof of AMSGrad and a New Version\u00bb, Tran Thi Phuong, Le Trieu Phong;<\/p>\n<\/li>\n<li>\n<p>\u00abSGDR: Stochastic Gradient Descent with Warm Restarts\u00bb, Ilya Loshchilov, Frank Hutter;<\/p>\n<\/li>\n<li>\n<p>\u00abOptimization for deep learning: theory and algorithms\u00bb, Ruoyu Sun;<\/p>\n<\/li>\n<li>\n<p>\u00abLarge Batch Training of Convolutional Networks\u00bb, Yang You, Igor Gitman, Boris Ginsburg;<\/p>\n<\/li>\n<li>\n<p>\u00abLarge Batch Optimization for Deep Learning: Training BERT in 76 minutes\u00bb, Yang You, Jing Li, Sashank Reddi, Jonathan Hseu, Sanjiv Kumar, Srinadh Bhojanapalli, Xiaodan Song, James Demmel, Kurt Keutzer, Cho-Jui Hsieh;<\/p>\n<\/li>\n<li>\n<p>\u00abProximal Algorithms\u00bb, Neal Parikh, Stephen Boyd;<\/p>\n<\/li>\n<li>\n<p>\u00abA Fast Iterative Shrinkage-Thresholding Algorithm\u00bb, for Linear Inverse Problems, Amir Beck, and Marc Teboulle;<\/p>\n<\/li>\n<li>\n<p>\u00abImproving Fast Iterative Shrinkage-Thresholding Algorithm: Faster, Smarter and Greedier\u00bb, Jingwei Liang, Tao Luo, Carola-Bibiane Sch\u00f6nlieb;<\/p>\n<\/li>\n<li>\n<p>\u00abResurrecting the sigmoid in deep learning through dynamical isometry: theory and practice\u00bb, Jeffrey Pennington, Samuel S. Schoenholz, Surya Ganguli;<\/p>\n<\/li>\n<li>\n<p>\u00abNumerical Optimization\u00bb, Jorge Nocedal, Stephen J. Wright;<\/p>\n<\/li>\n<li>\n<p>\u00abA regularized limited-memory BFGS method for unconstrained minimization problems\u00bb, Shinji SUGIMOTO and Nobuo YAMASHITA;<\/p>\n<\/li>\n<li>\n<p>\u00abShampoo: Preconditioned Stochastic Tensor Optimization\u00bb, Vineet Gupta, Tomer Koren, Yoram Singer;<\/p>\n<\/li>\n<li>\n<p>\u00abScalable Second Order Optimization for Deep Learning\u00bb, Rohan Anil, Vineet Gupta, Tomer Koren, Kevin Regan, Yoram Singer;<\/p>\n<\/li>\n<li>\n<p>\u00abA Schur-Newton method for the matrix p&#8217;th root and its inverse\u00bb, C.-H. Guo and N. J. Higham.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0438\u0434\u0435\u043e:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/www.youtube.com\/watch?v=sDv4f4s2SB8\" rel=\"noopener noreferrer nofollow\">\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/a>;<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.youtube.com\/watch?v=vMh0zPT0tLI\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0438 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u0441\u043f\u0443\u0441\u043a\u0438<\/a>;<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.youtube.com\/playlist?list=PLRznHSqUb86uuNA4eT96lk9_Y_CTwJlkK\" rel=\"noopener noreferrer nofollow\">\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430<\/a>.<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<p><a href=\"https:\/\/habr.com\/ru\/articles\/804605\/\" rel=\"noopener noreferrer nofollow\"><strong>\u041e\u0431\u0437\u043e\u0440 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 ML-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 ?<\/strong><\/a><\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/813221\/\"> https:\/\/habr.com\/ru\/articles\/813221\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<div class=\"floating-image\">\n<figure class=\"float full-width\"><\/figure>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d \u043e\u0431\u0437\u043e\u0440 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 (\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0438\u0434\u0435\u044e \u0438 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u044f \u043e\u0442 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043a \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f\u043c. \u041f\u043e\u043c\u0438\u043c\u043e \u044d\u0442\u043e\u0433\u043e, \u0432 \u0441\u0430\u043c\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u043b\u0435\u043d\u0438\u044f \u0441 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c. <\/p>\n<\/div>\n<blockquote>\n<p><em>\u041d\u043e\u0443\u0442\u0431\u0443\u043a \u0441 \u0434\u0430\u043d\u043d\u044b\u043c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0433\u0440\u0443\u0437\u0438\u0442\u044c \u043d\u0430 <\/em><a href=\"https:\/\/www.kaggle.com\/code\/egazakharenko\/optimization-methods-in-deep-learning\" rel=\"noopener noreferrer nofollow\"><strong><em>Kaggle<\/em><\/strong><\/a><em>\u00a0(eng) \u0438\u00a0<\/em><a href=\"https:\/\/github.com\/egaoharu-kensei\/ML-algorithms-from-scratch.-Course-for-beginners\/blob\/main\/Notebooks%20%5Brus%5D\/09%29%20%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D1%8B%20%D0%BE%D0%BF%D1%82%D0%B8%D0%BC%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8%20%D0%B2%20ML%20%D0%B8%20DL.ipynb\" rel=\"noopener noreferrer nofollow\"><strong><em>GitHub<\/em><\/strong><\/a><em>\u00a0(rus).<\/em>  <\/p>\n<\/blockquote>\n<h3>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435<\/h3>\n<ul>\n<li>\n<p><a href=\"#loss_functions\" rel=\"noopener noreferrer nofollow\">\u041f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#classic_gradient_descent\" rel=\"noopener noreferrer nofollow\">\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#faster_optimizers\" rel=\"noopener noreferrer nofollow\">\u0411\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#optimizers_visualization\" rel=\"noopener noreferrer nofollow\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#work_disruption\" rel=\"noopener noreferrer nofollow\">\u041d\u0430\u0440\u0443\u0448\u0435\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0441\u043e \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#learning_rate_changing\" rel=\"noopener noreferrer nofollow\">\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#big_mini-batches\" rel=\"noopener noreferrer nofollow\">\u0420\u0430\u0431\u043e\u0442\u0430 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u043c\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#proximal_methods\" rel=\"noopener noreferrer nofollow\">\u041f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#second-order_methods\" rel=\"noopener noreferrer nofollow\">\u041c\u0435\u0442\u043e\u0434\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"#additional_sources\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/a><\/p>\n<\/li>\n<\/ul>\n<p><a class=\"anchor\" name=\"loss_functions\" id=\"loss_functions\"><\/a><\/p>\n<h3>\u041f\u0430\u0440\u0443 \u0441\u043b\u043e\u0432 \u043f\u0440\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/h3>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0435 \u0438 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0435. \u041f\u0435\u0440\u0432\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0438\u0437-\u0437\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0443 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u043c (\u043d\u043e \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c). \u041d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u0438\u0437-\u0437\u0430 \u0438\u0445 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0438\u0441\u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0440\u0443\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u044b \u0438\u0437 \u0441\u043b\u0443\u0447\u0430\u044f \u0441 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438 \u0438\u0437-\u0437\u0430 \u0438\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u0435 \u0442\u043e\u0447\u043a\u0438 \u0432 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043c\u0435\u0442\u043e\u0434\u044b \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u043c\u043e\u0433\u0443\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0435 \u0434\u043b\u044f \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f \u0437\u0430 \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u043c\u0443.<\/p>\n<p><a class=\"anchor\" name=\"classic_gradient_descent\" id=\"classic_gradient_descent\"><\/a><\/p>\n<h3>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0438\u0431\u044b\u0441\u0442\u0440\u0435\u0439\u0448\u0435\u0433\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0442\u043e \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0438\u0431\u044b\u0441\u0442\u0440\u0435\u0439\u0448\u0435\u0433\u043e \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f, \u0438 \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438 \u0432 \u0434\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u043a \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 (\u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432) \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0443\u0442\u0451\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0435\u0451 \u043e\u0448\u0438\u0431\u043a\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0432 \u0432\u0438\u0434\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u041f\u0440\u0438\u043c\u0435\u0440 \u0440\u0430\u0431\u043e\u0442\u044b \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0439 \u0441 \u043d\u0443\u043b\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c <a href=\"https:\/\/habr.com\/ru\/articles\/804135\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a> \u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/803397\/\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>.<\/p>\n<figure class=\"full-width\">\n<div><figcaption><strong>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0434\u043b\u044f \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0438 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f<\/strong><\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/strong><\/p>\n<ul>\n<li>\n<p>1) \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438;<\/p>\n<\/li>\n<li>\n<p>2) \u0434\u0430\u043b\u0435\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u0435\u043b\u0430\u0435\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437;<\/p>\n<\/li>\n<li>\n<p>3) \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0430\u043d\u0442\u0438\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c;<\/p>\n<\/li>\n<li>\n<p>4) \u0448\u0430\u0433\u0438 2-3 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0442\u0441\u044f \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043a\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 \u0441\u043e\u0439\u0434\u0451\u0442\u0441\u044f \u0432 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435 (\u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043a\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u043e\u0432\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f).<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043d\u044b\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043d\u0430\u0431\u043e\u0440, \u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f\u00a0<strong>\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u043c<\/strong>. \u041d\u0435 \u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a (batch gradient descent) \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043d\u0430\u0431\u043e\u0440\u0430\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442 \u0432 \u0432\u0438\u0434\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f 2 \u043f\u043e\u0434\u0445\u043e\u0434\u0430:<\/p>\n<ul>\n<li>\n<p>1)\u00a0<strong>\u041c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439<\/strong>\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a (mini-batch gradient descent), \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u043e\u0434\u043d\u0430\u0431\u043e\u0440\u0430\u0445 (\u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430\u0445). \u041e\u0431\u044b\u0447\u043d\u043e \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0435  \u0438 \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0434\u0435\u0441\u044f\u0442\u043a\u043e\u0432 \u0442\u044b\u0441\u044f\u0447 \u043e\u0431\u0440\u0430\u0437\u0446\u043e\u0432: \u0432\u044b\u0431\u043e\u0440 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>2)\u00a0<strong>\u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439<\/strong>\u00a0\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a (stochastic gradient descent), \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043b\u0438\u0448\u044c \u043e\u0434\u0438\u043d \u043e\u0431\u0440\u0430\u0437\u0435\u0446. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e, \u043d\u043e \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0438\u0437-\u0437\u0430 \u0435\u0449\u0451 \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u0434\u0430\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u0435\u043d\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u0438 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0434\u043b\u044f \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 mini-batch \u0434\u0430\u0435\u0442 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u0437-\u0437\u0430 \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 GPU. \u0421\u0442\u043e\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u0434 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a\u043e\u043c \u043e\u0447\u0435\u043d\u044c \u0447\u0430\u0441\u0442\u043e \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f mini-batch.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0430\u043a\u0435\u0442\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u043d\u0438\u0436\u0430\u0442\u044c\u0441\u044f \u0441\u043a\u0430\u0447\u043a\u0430\u043c\u0438 \u0432\u0432\u0435\u0440\u0445-\u0432\u043d\u0438\u0437, \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u044f\u0441\u044c \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443, \u043d\u043e \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0432 \u0435\u0433\u043e. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043c\u0438\u043d\u0438-\u043f\u0430\u043a\u0435\u0442\u043d\u044b\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0430 \u0447\u0443\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0437\u0430 \u0441\u0447\u0451\u0442 \u043c\u0435\u043d\u044c\u0448\u0435\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043a\u0430\u0447\u043a\u043e\u0432. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430, \u0435\u043c\u0443 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u0435\u0435 \u043f\u0440\u043e\u0439\u0442\u0438 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b \u0432 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435.<\/p>\n<figure class=\"full-width\"><\/figure>\n<p><a class=\"anchor\" name=\"faster_optimizers\" id=\"faster_optimizers\"><\/a><\/p>\n<h3>\u0411\u043e\u043b\u0435\u0435 \u0431\u044b\u0441\u0442\u0440\u044b\u0435 \u0438 \u0442\u043e\u0447\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b<\/h3>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0432 \u0441\u0432\u043e\u0451\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043f\u043b\u043e\u0445\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0438\u0437-\u0437\u0430 \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u043f\u0440\u043e\u0431\u043b\u0435\u043c, \u043c\u043e\u0436\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 &#171;\u0441\u0435\u0434\u043b\u043e\u0432\u044b\u043c\u0438 \u0442\u043e\u0447\u043a\u0430\u043c\u0438&#187;, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0432\u0438\u0434\u0435 \u0441\u0435\u0434\u043b\u0430 \u0438\u043c\u0435\u044e\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u043e\u0434\u043d\u0438\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u043e \u0434\u0440\u0443\u0433\u0438\u043c, \u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0438 \u043e\u043d\u0438 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043d\u044f\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0437\u0430 \u043e\u043f\u0442\u0438\u043c\u0443\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 (mini-batch) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043f\u0440\u043e \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0435\u0439\u0447\u0430\u0441 \u0438 \u043f\u043e\u0439\u0434\u0451\u0442 \u0440\u0435\u0447\u044c.<\/p>\n<h4>Momentum<\/h4>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0441\u043e \u0441\u043a\u043b\u043e\u043d\u0430 \u0441 \u043a\u043e\u0447\u043a\u0430\u043c\u0438 \u043a\u0430\u0442\u0438\u0442\u0441\u044f \u043c\u044f\u0447, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0431\u0443\u0434\u0435\u0442 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u043a\u0438\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u044d\u043d\u0435\u0440\u0433\u0438\u0438 \u0435\u0433\u043e \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0442\u0438, \u0447\u0442\u043e \u0435\u043c\u0443 \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u043a\u043e\u0447\u043a\u0438 \u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0441\u0432\u043e\u0451 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0432 \u0431\u043e\u043b\u0435\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439. \u0418\u043c\u0435\u043d\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. Momentum \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0 (\u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043c\u0430\u0441\u0441\u0430 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0432\u043d\u0430 1), \u0430 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043e\u0442\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0435\u0451 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043e\u0441\u043b\u0430\u0431\u043b\u0435\u043d\u0438\u044f \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430 , \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0441\u0438\u043b\u0443 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0442\u0440\u0435\u043d\u0438\u044f \u043c\u044f\u0447\u0430 \u043e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044c: \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 0 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0435 \u0442\u0440\u0435\u043d\u0438\u0435, \u0430 1 \u0435\u0433\u043e \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435. \u041e\u0431\u044b\u0447\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00a0 \u0443\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f 0.9.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u043c\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/strong><\/p>\n<\/p>\n<p>Momentum \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0440\u0435\u0448\u0438\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b: \u043f\u043b\u043e\u0445\u0443\u044e \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0413\u0435\u0441\u0441\u0435 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0438\u0437-\u0437\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043a\u043e\u043b\u0435\u0431\u0430\u0442\u044c\u0441\u044f \u0432\u043e\u043a\u0440\u0443\u0433 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432, \u0447\u0442\u043e \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f.  <\/p>\n<blockquote>\n<p><em>\u0425\u043e\u0442\u044f \u0432\u043e \u043c\u043d\u043e\u0433\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445\u00a0\u00a0\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a\u00a0, \u0430\u00a0 \u043a\u0430\u043a\u00a0, \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435\u0442 \u0435\u0434\u0438\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0430 \u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0434\u043b\u044f \u043d\u0438\u0445 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u043e \u0434\u043b\u044f \u0443\u043d\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:\u00a0 \u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0432\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u0435\u0449\u0451 \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0430\u00a0\u00a0\u2014 \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043e\u0434\u043d\u0430\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 AdaGrad \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432.  <\/em><\/p>\n<\/blockquote>\n<h4>Nesterov momentum<\/h4>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u044b\u0448\u0435\u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f, \u0441\u0443\u0442\u044c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043d\u0435 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0430 \u0447\u0443\u0442\u044c \u0434\u0430\u043b\u044c\u0448\u0435 \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043c\u043e\u043c\u0435\u043d\u0442\u0430. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u043d\u0438\u0436\u0430\u0442\u044c\u0441\u044f \u043d\u0435 \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438, \u0430 \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u044f\u043a\u043e\u0431\u044b \u0434\u043e\u043b\u0436\u043d\u0430 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c, \u0441\u043b\u0435\u0434\u0443\u044f \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u043c\u0435\u043d\u0442\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430<\/strong><\/p>\n<\/p>\n<figure class=\"full-width\">\n<div><figcaption><strong>\u0421\u0445\u0435\u043c\u0430 Momentum vs Nesterov momentum<\/strong><\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u0439\u0442\u0438\u0441\u044c \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u0447\u0443\u0442\u044c \u0431\u043b\u0438\u0436\u0435 \u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443, \u043e\u0434\u043d\u0430\u043a\u043e \u043e\u043d \u0432\u0441\u0451 \u0435\u0449\u0451 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0432 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u043e\u0434\u043d\u0438\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438 \u043d\u0435\u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u0437-\u0437\u0430 \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u0438\u0436\u0435 \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0441 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. <\/p>\n<h4>AdaGrad<\/h4>\n<p>Adaptive Gradient \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043f\u0435\u0440\u0432\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0441 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u043c \u0448\u0430\u0433\u043e\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043d\u0438\u0436\u0430\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0432\u0434\u043e\u043b\u044c \u0441\u0430\u043c\u044b\u0445 \u043a\u0440\u0443\u0442\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0439. \u041f\u0440\u043e\u0449\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0442\u0430\u043a \u0438 \u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 AdaGrad<\/strong><\/p>\n<\/p>\n<p>\u0413\u0434\u0435  \u2014 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043b\u044f \u0438\u0437\u0431\u0435\u0433\u0430\u043d\u0438\u044f \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u043e\u043b\u044c.<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u0447\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, \u0430 \u0437\u0430\u0442\u0435\u043c \u0437\u0430\u043c\u0435\u0434\u043b\u0438\u0442\u044c \u0435\u0433\u043e, \u043a\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u044f\u0435\u0442 \u0437\u043d\u0430\u043a. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 AdaGrad \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0432\u044b\u043f\u0443\u043a\u043b\u044b\u043c\u0438 \u0441\u043b\u0443\u0447\u0430\u044f\u043c\u0438, \u0430 \u0432\u043e\u0442 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0440\u0430\u043d\u043e \u0438\u0437-\u0437\u0430 \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0432 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430.<\/p>\n<h4>RMSProp<\/h4>\n<p>RMSProp (Root Mean Square Propagation) \u2014 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f AdaGrad, \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0432 \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043d\u0430 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0441 \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 RMSProp<\/strong><\/p>\n<\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c, RMSProp \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0430\u0439\u043d\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043d\u043e \u043d\u0435 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0433\u0443\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445 \u0438\u0437-\u0437\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c \u0441 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f\u0445.<\/p>\n<h4>Adam \u0438 \u0435\u0433\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/h4>\n<p>Adam (Adaptive Moment Estimation) \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 Momentum \u0438 RMSProp, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u044f\u0432\u043b\u044f\u044f\u0441\u044c \u0441\u0435\u0440\u0435\u0431\u0440\u044f\u043d\u043e\u0439 \u043f\u0443\u043b\u0435\u0439 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0440\u0430\u0441\u0447\u0451\u0442 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 Adam \u043e\u0447\u0435\u043d\u044c \u0441\u0445\u043e\u0436 \u0441 Momentum \u0438 RMSProp \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043a \u043d\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u043d\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435. \u0412 \u0446\u0435\u043b\u043e\u043c, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0430\u043a\u0438\u043c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f\u043c Adam \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0438 \u043b\u0443\u0447\u0448\u0435 \u043f\u0440\u0435\u0434\u0448\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u043e\u0432, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432 \u043a \u043f\u043e\u0434\u0431\u043e\u0440\u0443 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0433\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 Adam<\/strong><\/p>\n<\/p>\n<\/p>\n<p>\u041f\u043e\u043f\u0440\u0430\u0432\u043a\u0430 \u043d\u0430 \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435:<\/p>\n<\/p>\n<p>\u0413\u0434\u0435  \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e.<\/p>\n<p>\u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0434\u0430\u043d\u043d\u044b\u0439<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-375758","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/375758","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=375758"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/375758\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=375758"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=375758"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=375758"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}