{"id":283391,"date":"2017-01-04T14:20:04","date_gmt":"2017-01-04T11:20:04","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=283391"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=283391","title":{"rendered":"\u041c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439"},"content":{"rendered":"<p>\u0412 \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u043f\u043e\u0434 \u00ab\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0431\u0443\u0447\u0438\u043c \u043d\u0430\u0448\u0443 \u0441\u0435\u0442\u044c\u00bb \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u00ab\u0441\u043a\u043e\u0440\u043c\u0438\u043c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443\u00bb \u043b\u0438\u0448\u044c \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0418\u043d\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c, \u043d\u043e \u0431\u0435\u0437\u043e \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u0447\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b \u0434\u0440\u0443\u0433\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0438 \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u0437\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u044b\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta\" alt=\"\\inline \\beta\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u0432 \u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445. \u0414\u0430\u0436\u0435 \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u0438 \u043d\u0430 \u043a\u0443\u0440\u0441\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043d\u0435 \u0437\u0430\u043e\u0441\u0442\u0440\u044f\u044e\u0442 \u043d\u0430 \u044d\u0442\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u042f \u0431\u044b \u0445\u043e\u0442\u0435\u043b \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u0440\u0443\u043d\u0435\u0442\u0435 \u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c\u0441\u044f \u0432\u0430\u043c \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <a href=\"http:\/\/lasagne.readthedocs.io\/en\/latest\/modules\/updates.html\">\u043f\u0430\u043a\u0435\u0442\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a>. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043c\u043e\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u043b\u044e\u0434\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0442\u044f\u0442 \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c \u0441\u0432\u043e\u0451 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0438\u0437\u043e\u0431\u0440\u0435\u0441\u0442\u0438 \u0447\u0442\u043e-\u0442\u043e \u0441\u0432\u043e\u0451.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/93c\/2ee\/e3f\/93c2eee3fad440a8b8204befec4b06bf.jpg\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0430\u043d\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 gif.<\/p>\n<p><a name=\"habracut\"><\/a>  <\/p>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0437\u043d\u0430\u043a\u043e\u043c\u043e\u0433\u043e \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044f. \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0432\u044b \u0443\u0436\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435 \u0441\u0443\u0442\u044c <a href=\"https:\/\/habrahabr.ru\/post\/271563\/\">backpropagation<\/a> \u0438 <a href=\"https:\/\/habrahabr.ru\/post\/272679\/\">SGD<\/a>. \u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u0432\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0441\u0442\u0440\u043e\u0433\u043e\u0435 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u043d\u0438\u0436\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u0430 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0434\u043e\u043d\u0435\u0441\u0442\u0438 \u0438\u0445 \u0438\u0434\u0435\u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u043e\u0442\u043a\u0440\u044b\u0442\u044b \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u0430\u043b\u0435\u043a\u043e \u043d\u0435 \u0432\u0441\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0438\u0445 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0432\u0430\u0442\u044c.<\/p>\n<p>  <\/p>\n<h2>\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u043d\u044b \u0443\u0445\u0438\u0449\u0440\u0435\u043d\u0438\u044f<\/h2>\n<p>  <\/p>\n<p>\u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(1)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%5CDelta%20%5Ctheta%20%3D%20-%5Ceta%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta)\" alt=\"\\Delta \\theta = -\\eta \\nabla_\\theta J( \\theta)\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(2)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%5Ctheta%20%3D%20%5Ctheta%20%2B%20%5CDelta%20%5Ctheta%20%3D%20%5Ctheta%20-%20%5Ceta%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta)\" alt=\"\\theta = \\theta + \\Delta \\theta = \\theta - \\eta \\nabla_\\theta J( \\theta)\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ctheta\" alt=\"\\inline \\theta\"\/> \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u0435\u0442\u0438, <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20J(%20%5Ctheta)\" alt=\"\\inline J( \\theta)\"\/> \u2014 \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ceta\" alt=\"\\inline \\eta\"\/> \u2014 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e, \u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043c\u0430\u0433\u0438\u0438 \u0441\u043e\u043a\u0440\u044b\u0442\u043e \u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta)\" alt=\"\\inline \\nabla_\\theta J( \\theta)\"\/> \u2014 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u044b\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e, \u043d\u043e \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u043b\u043e\u0451\u0432 \u0437\u0430 \u043d\u0438\u043c, \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043e\u0442 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u043d\u043e\u0441\u044f\u0442 \u0441\u0432\u043e\u0439 \u0432\u043a\u043b\u0430\u0434. \u042d\u0442\u043e \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0439 \u0432\u0430\u043c \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u2014 backpropagation.<\/p>\n<p>  <\/p>\n<p>\u042f\u0432\u043d\u043e \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0433\u0434\u0435-\u043d\u0438\u0431\u0434\u0443\u044c \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u0441\u0435\u0442\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0441\u0442\u0440\u0430\u0448\u043d\u0435\u043d\u044c\u043a\u043e, \u0432\u0435\u0434\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043d\u0435\u0439\u0440\u043e\u043d \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442\u043e \u0432\u0441\u0435\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438\u0438 \u043e\u043d \u0441\u0432\u044f\u0437\u0430\u043d, \u0430 \u0442\u0435 \u2014 \u043e\u0442\u043e \u0432\u0441\u0435\u0445 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u044b \u043e\u043d\u0438, \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0434\u0430\u0436\u0435 \u0432 \u00ab\u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u044b\u0445\u00bb \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u0440\u044f\u0434\u043a\u0430 10 \u0441\u043b\u043e\u0451\u0432, \u0430 \u0441\u0440\u0435\u0434\u0438 <a href=\"http:\/\/image-net.org\/challenges\/LSVRC\/2016\/results\">\u0441\u0435\u0442\u0435\u0439<\/a>, \u0443\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0445 \u043e\u043b\u0438\u043c\u043f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u2014 \u043d\u0430\u043c\u043d\u043e\u0433\u043e, \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435. \u041a\u0430\u0436\u0434\u044b\u0439 \u0432\u0435\u0441 \u2014 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20J(%20%5Ctheta)\" alt=\"\\inline J( \\theta)\"\/>. \u0422\u0430\u043a\u043e\u0435 \u043d\u0435\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u0435\u0439 \u0441\u0432\u043e\u0431\u043e\u0434\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u043d\u043e \u043f\u0440\u0438\u043d\u043e\u0441\u0438\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0433\u043e\u043b\u043e\u0432\u043d\u0443\u044e \u0431\u043e\u043b\u044c:<\/p>\n<p>  <\/p>\n<ul>\n<li>\u0417\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u043d\u0438\u0435 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430\u0445 \u0438\u043b\u0438 \u0441\u0435\u0434\u043b\u043e\u0432\u044b\u0445 \u0442\u043e\u0447\u043a\u0430\u0445, \u043a\u043e\u0438\u0445 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u0442 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%3E%2010%5E6\" alt=\"\\inline&amp;gt; 10^6\"\/> \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e.<\/li>\n<li>\u0421\u043b\u043e\u0436\u043d\u044b\u0439 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438: \u043f\u043b\u0430\u0442\u043e \u0447\u0435\u0440\u0435\u0434\u0443\u044e\u0442\u0441\u044f \u0441 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043c\u0438 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u043d\u0430 \u043f\u043b\u0430\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u0430 \u0432\u043d\u0435\u0437\u0430\u043f\u043d\u044b\u0439 \u043e\u0431\u0440\u044b\u0432, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043c\u043e\u0436\u0435\u0442 \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0430\u0441 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u0430\u043b\u0435\u043a\u043e.<\/li>\n<li>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0436\u0435 \u0434\u0440\u0443\u0433\u0438\u0445, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u0435, \u043d\u043e \u0440\u0435\u0434\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0447\u0442\u043e \u043f\u043b\u043e\u0445\u043e \u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043d\u044e\u0430\u043d\u0441\u0430\u0445 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0441\u0435\u0442\u0438. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043f\u0440\u0438\u0434\u0430\u043d\u0438\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u0432\u0441\u0435\u043c \u0440\u0435\u0434\u043a\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u043c\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e.<\/li>\n<li>\u0421\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u043b\u0433\u043e \u0438 \u0437\u0430\u0441\u0442\u0440\u0435\u0432\u0430\u0442\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430\u0445, \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u2014 \u00ab\u043f\u0440\u043e\u043b\u0435\u0442\u0430\u0442\u044c\u00bb \u0443\u0437\u043a\u0438\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b \u0438\u043b\u0438 \u0432\u043e\u0432\u0441\u0435 \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u0442\u044c\u0441\u044f<\/li>\n<\/ul>\n<p>  <\/p>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043f\u043e\u0434 \u0441\u0438\u043b\u0443 \u043d\u0430\u0439\u0442\u0438 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0438 \u043d\u0430 \u0441\u043b\u043e\u0436\u043d\u043e\u043c \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0435, \u043d\u043e \u0442\u0443\u0442 \u0443\u0434\u0430\u0440 \u0441\u043d\u043e\u0432\u0430 \u043d\u0430\u043d\u043e\u0441\u0438\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0435\u0441\u043e\u0432. \u0427\u0442\u043e\u0431\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0447\u0435\u0441\u0442\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u00ab\u0432 \u043b\u043e\u0431\u00bb, \u043f\u0440\u0438\u0434\u0451\u0442\u0441\u044f \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0435\u0441\u0441\u0438\u0430\u043d <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20J(%20%5Ctheta)\" alt=\"\\inline J( \\theta)\"\/> \u2014 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0445 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u0430\u0440\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0430\u0440\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u0443\u0436\u0435 \u043f\u043b\u043e\u0445\u043e) \u2014 \u0430, \u0441\u043a\u0430\u0436\u0435\u043c, \u0434\u043b\u044f \u043c\u0435\u0442\u043e\u0434\u0430 \u041d\u044c\u044e\u0442\u043e\u043d\u0430, \u0435\u0449\u0451 \u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u043a \u043d\u0435\u0439. \u041f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0438\u0437\u043e\u0431\u0440\u0435\u0442\u0430\u0442\u044c \u0432\u0441\u044f\u0447\u0435\u0441\u043a\u0438\u0435 \u0443\u0445\u0438\u0449\u0440\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430\u043c\u0438, \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u044a\u0451\u043c\u043d\u043e\u0439. \u0420\u0430\u0431\u043e\u0447\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <a href=\"http:\/\/www.machinelearning.ru\/wiki\/index.php?title=%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%9B%D0%B5%D0%B2%D0%B5%D0%BD%D0%B1%D0%B5%D1%80%D0%B3%D0%B0-%D0%9C%D0%B0%D1%80%D0%BA%D0%B2%D0%B0%D1%80%D0%B4%D1%82%D0%B0\">\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442<\/a>, \u043d\u043e \u043f\u043e\u043a\u0430 \u0447\u0442\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043a\u043e\u043d\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u0443\u0435\u043c\u0441\u044f \u043d\u0430 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0441\u0442\u0438\u0433\u043d\u0443\u0442\u044c, \u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044f \u0432\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435.<\/p>\n<p>  <\/p>\n<h2>Nesterov Accelerated Gradient<\/h2>\n<p>  <\/p>\n<p>\u0421\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u0438\u0434\u0435\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0441 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430 \u0434\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0441\u0442\u0430: \u00ab\u0415\u0441\u043b\u0438 \u043c\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u0432\u0438\u0436\u0435\u043c\u0441\u044f \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438, \u0442\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043d\u0430\u043c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0442\u0443\u0434\u0430 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0438 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c\u00bb. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a \u043d\u0435\u0434\u0430\u0432\u043d\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430. \u041c\u043e\u0436\u043d\u043e \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20n\" alt=\"\\inline n\"\/> \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u043e\u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5CDelta%20%5Ctheta\" alt=\"\\inline \\Delta \\theta\"\/> \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u043e-\u0447\u0435\u0441\u0442\u043d\u043e\u043c\u0443 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20n\" alt=\"\\inline n\"\/>. \u041a \u0441\u0447\u0430\u0441\u0442\u044c\u044e, \u043d\u0430\u043c \u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0430 \u043b\u0438\u0448\u044c \u043e\u0446\u0435\u043d\u043a\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(3)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/v_t%20%3D%20%5Cgamma%20v_%7Bt-1%7D%20%2B%20(1-%5Cgamma)%20x\" alt=\"v_t = \\gamma v_{t-1} + (1-\\gamma) x\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u044c \u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c, \u0431\u0443\u0434\u0435\u043c \u0443\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u0443\u0436\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200%20%3C%20%5Cgamma%20%3C%201%20\" alt=\"\\inline 0 &amp;lt; \\gamma &amp;lt; 1\"\/> \u0438 \u043f\u0440\u0438\u0431\u0430\u0432\u043b\u044f\u0442\u044c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u0443\u044e \u043d\u0430 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%201-%5Cgamma\" alt=\"\\inline 1-\\gamma\"\/>. \u0427\u0435\u043c \u0431\u043b\u0438\u0436\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u043a \u0435\u0434\u0438\u043d\u0438\u0446\u0435, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u043a\u043d\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u0438 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u2014 \u0438\u0441\u0442\u043e\u0440\u0438\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20x\" alt=\"\\inline x\"\/> \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u043b\u0438\u044f\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20x\" alt=\"\\inline x\"\/>. \u0415\u0441\u043b\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20x%3D0\" alt=\"\\inline x=0\"\/> c \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430, <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/> \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0442 \u043f\u043e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u043e\u0442\u0441\u044e\u0434\u0430 \u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435. \u041f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0431\u0435\u0433\u0443\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0448\u0435\u0439 \u0441\u0435\u0442\u0438:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(4)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Av_t%20%3D%20%5Cgamma%20v_%7Bt-1%7D%20%2B%20%5Ceta%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta)%0A\" alt=\"v_t = \\gamma v_{t-1} + \\eta \\nabla_\\theta J( \\theta)\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(5)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Ctheta%20%3D%20%5Ctheta%20-%20v_t%0A\" alt=\"\\theta = \\theta - v_t\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0413\u0434\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200.9\" alt=\"\\inline 0.9\"\/>. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%201-%5Cgamma\" alt=\"\\inline 1-\\gamma\"\/> \u043d\u0435 \u043f\u0440\u043e\u043f\u0430\u043b\u043e, \u0430 \u0432\u043a\u043b\u044e\u0447\u0438\u043b\u043e\u0441\u044c \u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ceta\" alt=\"\\inline \\eta\"\/>; \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441 \u044f\u0432\u043d\u044b\u043c \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c. \u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/>, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u043a\u0430\u043a \u043e\u0431\u044b\u0447\u043d\u044b\u0439 SGD. \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u0443\u044e \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u043a\u0430\u043a \u0448\u0430\u0440\u0438\u043a \u043a\u0430\u0442\u0438\u0442\u0441\u044f \u043f\u043e \u0445\u043e\u043b\u043c\u0438\u0441\u0442\u043e\u0439 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u0438. \u0415\u0441\u043b\u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20t\" alt=\"\\inline t\"\/> \u043f\u043e\u0434 \u0448\u0430\u0440\u0438\u043a\u043e\u043c \u0431\u044b\u043b \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u0443\u043a\u043b\u043e\u043d (<img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta)\" alt=\"\\inline \\nabla_\\theta J( \\theta)\"\/>), \u0430 \u0437\u0430\u0442\u0435\u043c \u043e\u043d \u043f\u043e\u043f\u0430\u043b \u043d\u0430 \u043f\u043b\u0430\u0442\u043e, \u043e\u043d \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u043f\u043b\u0430\u0442\u043e. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0448\u0430\u0440\u0438\u043a \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442 \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u043f\u0430\u0440\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u0432 \u0442\u0443 \u0436\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0443\u043a\u043b\u043e\u043d \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0441\u044f \u043d\u0430 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u0439. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u043d\u0430 \u0448\u0430\u0440\u0438\u043a \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0432\u044f\u0437\u043a\u043e\u0435 \u0442\u0440\u0435\u043d\u0438\u0435 \u0438 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0435\u043a\u0443\u043d\u0434\u0443 \u043e\u043d \u0442\u0435\u0440\u044f\u0435\u0442 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%201-%5Cgamma\" alt=\"\\inline 1-\\gamma\"\/> \u0441\u0432\u043e\u0435\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438. \u0412\u043e\u0442 \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u043f\u0443\u043b\u044c\u0441 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> (\u0437\u0434\u0435\u0441\u044c \u0438 \u0434\u0430\u043b\u0435\u0435 \u043f\u043e \u043e\u0441\u0438 X \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u044b \u044d\u043f\u043e\u0445\u0438, \u0430 \u043f\u043e Y \u2014 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>\u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430<\/em> \u0438 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f):<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/1e3\/740\/c6f\/1e3740c6fbe242f58a9c3624d333cb67.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/36e\/8a9\/902\/36e8a99023e84d9abc302cf4f6d36f7a.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/879\/ac0\/be5\/879ac0be573343fca6e97bec91e3a429.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/e2d\/852\/6c8\/e2d8526c8af046fea2c159859e49f90e.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u0435 \u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/> \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ceta%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta)\" alt=\"\\inline \\eta \\nabla_\\theta J( \\theta)\"\/>. \u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430 \u0443\u0436\u0435 \u0434\u0430\u0451\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432 \u0438\u0434\u0451\u0442 \u0434\u0430\u043b\u044c\u0448\u0435 \u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0443\u044e \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0435 \u0438\u0434\u0435\u044e: \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u043d\u0438\u0435 \u0432\u043f\u0435\u0440\u0451\u0434 \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f. \u0420\u0430\u0437 \u0443\u0436 \u043c\u044b \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0441\u043c\u0435\u0441\u0442\u0438\u0442\u044c\u0441\u044f \u043d\u0430 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma%20v_%7Bt-1%7D\" alt=\"\\inline \\gamma v_{t-1}\"\/>, \u0442\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c \u043d\u0435 \u0432 \u0442\u043e\u0447\u043a\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ctheta\" alt=\"\\inline \\theta\"\/>, \u0430 \u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ctheta%20-%20%5Cgamma%20v_%7Bt-1%7D\" alt=\"\\inline \\theta - \\gamma v_{t-1}\"\/>. \u041e\u0442\u0441\u044e\u0434\u0430:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(6)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Av_t%20%3D%20%5Cgamma%20v_%7Bt-1%7D%20%2B%20%5Ceta%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cgamma%20v_%7Bt-1%7D%20)%0A\" alt=\"v_t = \\gamma v_{t-1} + \\eta \\nabla_\\theta J( \\theta - \\gamma v_{t-1} )\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(7)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Ctheta%20%3D%20%5Ctheta%20-%20v_t%0A\" alt=\"\\theta = \\theta - v_t\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u00ab\u043a\u0430\u0442\u0438\u0442\u044c\u0441\u044f\u00bb, \u0435\u0441\u043b\u0438 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0435, \u043a\u0443\u0434\u0430 \u043c\u044b \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u0441\u044f, \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f, \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0435\u0435, \u0435\u0441\u043b\u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442. \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0433\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0432\u0438\u0434\u043d\u043e \u0434\u043b\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma%3D0.975\" alt=\"\\inline \\gamma=0.975\"\/> \u0434\u043b\u044f \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u0441 \u0441\u0438\u043d\u0443\u0441\u043e\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/f89\/b7f\/bd3\/f89b7fbd359f4353a7da3e31658b6406.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/edb\/f80\/571\/edbf80571550485fa690e97b060b643e.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u043d\u0438\u0435 \u0432\u043f\u0435\u0440\u0451\u0434 \u043c\u043e\u0436\u0435\u0442 \u0441\u044b\u0433\u0440\u0430\u0442\u044c \u0441 \u043d\u0430\u043c\u0438 \u0437\u043b\u0443\u044e \u0448\u0443\u0442\u043a\u0443, \u0435\u0441\u043b\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ceta\" alt=\"\\inline \\eta\"\/>: \u043c\u044b \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0435\u043c \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0430\u043b\u0435\u043a\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u043c\u0430\u0445\u0438\u0432\u0430\u0435\u043c\u0441\u044f \u043c\u0438\u043c\u043e \u043e\u0431\u043b\u0430\u0441\u0442\u0435\u0439 \u0441 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u044b\u043c \u0437\u043d\u0430\u043a\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/0e4\/035\/13b\/0e403513bbf94efdb7ef62039a038951.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u0438\u043d\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c. \u0415\u0449\u0451 \u0440\u0430\u0437 \u043e\u0431\u0440\u0430\u0449\u0443 \u0432\u0430\u0448\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0438\u0434\u0435\u044e \u2014 \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u043d\u0438\u0435 \u0432\u043f\u0435\u0440\u0451\u0434 \u2014 \u0430 \u043d\u0435 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435. \u041c\u0435\u0442\u043e\u0434 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430 (6) \u2014 \u0441\u0430\u043c\u044b\u0439 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043d\u043e \u043d\u0435 \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u043e\u0436\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0435\u0449\u0451 \u043e\u0434\u043d\u0438\u043c \u043f\u0440\u0438\u0451\u043c\u043e\u043c \u0438\u0437 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u2014 \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u0442\u043e\u0447\u043a\u0430\u043c \u0432\u0434\u043e\u043b\u044c \u043f\u0440\u044f\u043c\u043e\u0439, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043c\u044b \u0434\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f. \u0421\u043a\u0430\u0436\u0435\u043c, \u0442\u0430\u043a:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(8)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Av_t%20%3D%20%5Cgamma%20v_%7Bt-1%7D%20%2B%20%5Cfrac%7B%5Ceta%7D%7B3%7D%20%5Cbig(%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cfrac%7B%5Cgamma%20v_%7Bt-1%7D%7D%7B3%7D%20)%20%2B%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cfrac%7B2%5Cgamma%20v_%7Bt-1%7D%7D%7B3%7D%20)%20%2B%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cgamma%20v_%7Bt-1%7D%20)%20%5Cbig)%0A\" alt=\"v_t = \\gamma v_{t-1} + \\frac{\\eta}{3} \\big( \\nabla_\\theta J( \\theta - \\frac{\\gamma v_{t-1}}{3} ) + \\nabla_\\theta J( \\theta - \\frac{2\\gamma v_{t-1}}{3} ) + \\nabla_\\theta J( \\theta - \\gamma v_{t-1} ) \\big)\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0418\u043b\u0438 \u0442\u0430\u043a:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(9)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Av_t%20%3D%20%5Cgamma%20v_%7Bt-1%7D%20%2B%20%5Cfrac%7B%5Ceta%7D%7B7%7D%20%5Cbig(%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cfrac%7B%5Cgamma%20v_%7Bt-1%7D%7D%7B2%7D%20)%20%2B%202%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cfrac%7B3%5Cgamma%20v_%7Bt-1%7D%7D%7B4%7D%20)%20%2B%204%5Cnabla_%5Ctheta%20J(%20%5Ctheta%20-%20%5Cgamma%20v_%7Bt-1%7D%20)%20%5Cbig)%0A\" alt=\"v_t = \\gamma v_{t-1} + \\frac{\\eta}{7} \\big( \\nabla_\\theta J( \\theta - \\frac{\\gamma v_{t-1}}{2} ) + 2\\nabla_\\theta J( \\theta - \\frac{3\\gamma v_{t-1}}{4} ) + 4\\nabla_\\theta J( \\theta - \\gamma v_{t-1} ) \\big)\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u0451\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0448\u0443\u043c\u043d\u044b\u0445 \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439.<\/p>\n<p>  <\/p>\n<p>\u041c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 (\u0445\u043e\u0442\u044f \u0432\u0430\u043c, \u0440\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c). \u0414\u0430\u043b\u0435\u0435 \u0434\u043b\u044f \u043a\u0440\u0430\u0442\u043a\u043e\u0441\u0442\u0438<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(10)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Ag_t%20%5Cequiv%20%5Cnabla_%5Ctheta%20J(%20%5Ctheta_t%20)%20%0A\" alt=\"g_t \\equiv \\nabla_\\theta J( \\theta_t )\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<h2>Adagrad<\/h2>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043c\u0435\u0442\u043e\u0434\u044b \u0441 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u0435\u0431\u0435 \u043c\u043d\u043e\u0433\u0438\u0435. \u041f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u0436\u0435 \u043a \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041d\u0430\u0447\u0451\u043c \u0441\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e <a href=\"http:\/\/jmlr.org\/papers\/v12\/duchi11a.html\">Adagrad<\/a> \u2014 adaptive gradient.<\/p>\n<p>  <\/p>\n<p>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043a\u0440\u0430\u0439\u043d\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0442\u044c\u0441\u044f \u0440\u0435\u0434\u043a\u043e. \u042d\u043a\u0437\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0432\u044b\u0441\u043e\u043a\u043e\u043e\u043f\u043b\u0430\u0447\u0438\u0432\u0430\u0435\u043c\u0430\u044f \u043f\u0440\u043e\u0444\u0435\u0441\u0441\u0438\u044f, \u043f\u0440\u0438\u0447\u0443\u0434\u043b\u0438\u0432\u043e\u0435 \u0441\u043b\u043e\u0432\u043e \u0432 \u0441\u043f\u0430\u043c-\u0431\u0430\u0437\u0435 \u2014 \u043e\u043d\u0438 \u0437\u0430\u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0442\u043e\u043d\u0443\u0442 \u0432 \u0448\u0443\u043c\u0435 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439. \u0420\u0435\u0447\u044c \u0438\u0434\u0451\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e \u0440\u0435\u0434\u043a\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0438\u0445\u0441\u044f \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445. \u0421\u043a\u0430\u0436\u0435\u043c, \u0432\u0430\u043c \u0432\u043f\u043e\u043b\u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c\u0441\u044f \u0440\u0435\u0434\u043a\u0438\u0435 \u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0443\u0437\u043e\u0440\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u0432 \u043f\u0440\u0438\u0437\u043d\u0430\u043a-\u0442\u043e \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043b\u043e\u0451\u0432 \u0441\u0432\u0451\u0440\u0442\u043e\u0447\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u0425\u043e\u0440\u043e\u0448\u043e \u0431\u044b \u0443\u043c\u0435\u0442\u044c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441 \u043e\u0433\u043b\u044f\u0434\u043a\u043e\u0439 \u043d\u0430 \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u043e\u043d\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442. \u0414\u043e\u0441\u0442\u0438\u0447\u044c \u044d\u0442\u043e\u0433\u043e \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0441\u0435\u0442\u0438 \u0441\u0443\u043c\u043c\u0443 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0435\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439. \u041e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0442\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u043e\u043a\u0441\u0438 \u0434\u043b\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u043e\u0441\u0442\u0438: \u0435\u0441\u043b\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 \u0446\u0435\u043f\u043e\u0447\u043a\u0435 \u0447\u0430\u0441\u0442\u043e \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u0435\u0433\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0434\u0451\u0440\u0433\u0430\u044e\u0442 \u0442\u0443\u0434\u0430-\u0441\u044e\u0434\u0430, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0441\u0443\u043c\u043c\u0430 \u0431\u044b\u0441\u0442\u0440\u043e \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f. \u041f\u0435\u0440\u0435\u043f\u0438\u0448\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u043e\u0442 \u0442\u0430\u043a:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(11)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0AG_%7Bt%7D%20%3D%20G_%7Bt%7D%20%2B%20g_%7Bt%7D%5E2%0A\" alt=\"G_{t} = G_{t} + g_{t}^2\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(12)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%5Ctheta_%7Bt%2B1%7D%20%3D%20%5Ctheta_%7Bt%7D%20-%20%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7BG_%7Bt%7D%20%2B%20%5Cepsilon%7D%7D%20g_%7Bt%7D%0A\" alt=\"\\theta_{t+1} = \\theta_{t} - \\frac{\\eta}{\\sqrt{G_{t} + \\epsilon}} g_{t}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0413\u0434\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20G_%7Bt%7D\" alt=\"\\inline G_{t}\"\/> \u2014 \u0441\u0443\u043c\u043c\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cepsilon\" alt=\"\\inline \\epsilon\"\/> \u2014 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u044e\u0449\u0438\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0439, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 0. \u0423 \u0447\u0430\u0441\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0432\u0448\u0435\u0433\u043e\u0441\u044f \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20G_t\" alt=\"\\inline G_t\"\/>, \u0437\u043d\u0430\u0447\u0438\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0432 (12). \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0438\u0437\u043c\u0435\u043d\u0438\u0432\u0448\u0438\u0439\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0437 \u0438\u043b\u0438 \u0434\u0432\u0430 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432 \u043f\u043e\u043b\u043d\u0443\u044e \u0441\u0438\u043b\u0443. <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cepsilon\" alt=\"\\inline \\epsilon\"\/> \u0431\u0435\u0440\u0443\u0442 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%2010%5E%7B-6%7D\" alt=\"\\inline 10^{-6}\"\/> \u0438\u043b\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%2010%5E%7B-8%7D\" alt=\"\\inline 10^{-8}\"\/> \u0434\u043b\u044f \u0441\u043e\u0432\u0441\u0435\u043c \u0430\u0433\u0440\u0435\u0441\u0441\u0438\u0432\u043d\u043e\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f, \u043d\u043e, \u043a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432, \u044d\u0442\u043e \u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435, \u0431\u043b\u0438\u0436\u0435 \u043a \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0432\u0435\u0448\u0438\u0432\u0430\u0442\u044c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20G_t\" alt=\"\\inline G_t\"\/>:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/b8f\/4a9\/f7d\/b8f4a9f7d49e481cb5cc185d2f31c877.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/84d\/962\/020\/84d9620206f6481ca12c247407d0b348.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0418\u0442\u0430\u043a, \u0438\u0434\u0435\u044f Adagrad \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <em>\u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c<\/em>, \u0447\u0442\u043e \u0431\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u043b\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0438 \u0442\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c. \u041d\u0438\u043a\u0442\u043e \u043d\u0430\u0441 \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u044d\u0442\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 Adagrad \u0438\u043d\u043e\u0433\u0434\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <em>\u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e\u043c<\/em> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432. \u0421\u043a\u0430\u0436\u0435\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0431\u0440\u0430\u0442\u044c \u043a\u043e\u0440\u0435\u043d\u044c \u0438\u043b\u0438 \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439, \u0430 \u0438\u0445 \u043c\u043e\u0434\u0443\u043b\u0438, \u0438\u043b\u0438 \u0432\u043e\u0432\u0441\u0435 \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043d\u0430 \u0447\u0442\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u0432\u0440\u043e\u0434\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20e%5E%7B-G_%7Bt%7D%7D\" alt=\"\\inline e^{-G_{t}}\"\/>.<\/p>\n<p>  <\/p>\n<p>(\u0414\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u043b\u043e, \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u0415\u0441\u043b\u0438 \u0443\u0431\u0440\u0430\u0442\u044c \u043a\u043e\u0440\u0435\u043d\u044c, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u043d\u0443\u0442 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u044b\u0441\u0442\u0440\u043e, \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u0441\u044f)<\/p>\n<p>  <\/p>\n<p>\u0415\u0449\u0451 \u043e\u0434\u043d\u043e \u0434\u043e\u0441\u0442\u043e\u0438\u043d\u0441\u0442\u0432\u043e Adagrad \u2014 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u044b\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0451 \u0432 \u043c\u0435\u0440\u0443 \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0437\u0430\u043f\u0430\u0441, \u043d\u043e \u043d\u0435 \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u043e\u043c\u0430\u0434\u043d\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u0430\u043b\u0433\u0440\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0441\u0445\u043e\u0434\u0438\u043b\u0441\u044f. \u041f\u043e \u0441\u0443\u0442\u0438 \u043c\u044b \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (learning rate decay).<\/p>\n<p>  <\/p>\n<h2>RMSProp \u0438 Adadelta<\/h2>\n<p>  <\/p>\n<p>\u041d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a Adagrad \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20G_%7Bt%7D\" alt=\"\\inline G_{t}\"\/> \u0432 (12) \u043c\u043e\u0436\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e, \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f\u043c \u0438 \u043f\u0430\u0440\u0430\u043b\u0438\u0447\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. RMSProp \u0438 Adadelta \u043f\u0440\u0438\u0437\u0432\u0430\u043d\u044b \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a.<\/p>\n<p>  <\/p>\n<p>\u041c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u043c \u0438\u0434\u0435\u044e Adagrad: \u043c\u044b \u0432\u0441\u0451 \u0442\u0430\u043a \u0436\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0447\u0430\u0441\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f, \u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439, \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u0441\u0440\u0435\u0434\u043d\u0451\u043d\u043d\u044b\u0439 \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u0421\u043d\u043e\u0432\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0435\u0435 \u0431\u0435\u0433\u0443\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435<br \/>  (4). \u041f\u0443\u0441\u0442\u044c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20E%5Bg%5E2%5D_t\" alt=\"\\inline E[g^2]_t\"\/> \u2014 \u0431\u0435\u0433\u0443\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20t\" alt=\"\\inline t\"\/><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(13)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0AE%5Bg%5E2%5D_t%20%3D%20%5Cgamma%20E%5Bg%5E2%5D_%7Bt-1%7D%20%2B%20(1%20-%20%5Cgamma)%20g%5E2_t%0A\" alt=\"E[g^2]_t = \\gamma E[g^2]_{t-1} + (1 - \\gamma) g^2_t\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0442\u043e\u0433\u0434\u0430 \u0432\u043c\u0435\u0441\u0442\u043e (12) \u043f\u043e\u043b\u0443\u0447\u0438\u043c<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(14)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Ctheta_%7Bt%2B1%7D%20%3D%20%5Ctheta_%7Bt%7D%20-%20%5Cfrac%7B%5Ceta%7D%7B%5Csqrt%7BE%5Bg%5E2%5D_t%20%2B%20%5Cepsilon%7D%7D%20g_%7Bt%7D%0A\" alt=\"\\theta_{t+1} = \\theta_{t} - \\frac{\\eta}{\\sqrt{E[g^2]_t + \\epsilon}} g_{t}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0417\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u043a\u043e\u0440\u0435\u043d\u044c \u0438\u0437 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043e\u0442\u0441\u044e\u0434\u0430 RMSProp \u2014 root mean square propagation<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(15)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0ARMS%5Bg%5D_t%20%3D%20%5Csqrt%7BE%5Bg%5E2%5D_t%20%2B%20%5Cepsilon%7D%0A\" alt=\"RMS[g]_t = \\sqrt{E[g^2]_t + \\epsilon}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/bea\/afe\/eb2\/beaafeeb20314c839aad1c07e0b9a36e.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/ee3\/9a7\/bff\/ee39a7bff76241519ae209f184b6b981.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/afd\/35d\/400\/afd35d400f734de99b52344cfcfedb05.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043a\u0430\u043a \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c\u0438 \u0437\u0443\u0431\u0446\u0430\u043c\u0438 \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/>. \u0422\u0430\u043a\u0436\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0441 \u043c\u0435\u0430\u043d\u0434\u0440\u043e\u043c \u0434\u043b\u044f Adagrad \u0438 RMSProp: \u0432 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442\u0441\u044f \u0434\u043e \u043d\u0443\u043b\u044f, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u2014 \u0432\u044b\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c.<\/p>\n<p>  <\/p>\n<p>\u0412\u043e\u0442 \u0438 \u0432\u0435\u0441\u044c RMSProp. <a href=\"https:\/\/arxiv.org\/abs\/1212.5701\">Adadelta<\/a> \u043e\u0442 \u043d\u0435\u0433\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0442\u043e \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c (14) \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0439 \u0447\u043b\u0435\u043d \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0439 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS\" alt=\"\\inline RMS\"\/> \u043e\u0442 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5CDelta%5Ctheta_t\" alt=\"\\inline \\Delta\\theta_t\"\/>. \u041d\u0430 \u0448\u0430\u0433\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20t\" alt=\"\\inline t\"\/> \u043c\u044b \u0435\u0449\u0451 \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D_%7Bt%7D\" alt=\"\\inline RMS[\\Delta \\theta]_{t}\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u0442\u0440\u0438 \u044d\u0442\u0430\u043f\u0430, \u0430 \u043d\u0435 \u0432 \u0434\u0432\u0430: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u043c \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ctheta\" alt=\"\\inline \\theta\"\/>, \u043f\u043e\u0441\u043b\u0435 \u0447\u0435\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D\" alt=\"\\inline RMS[\\Delta \\theta]\"\/>.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(16)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5CDelta%20%5Ctheta%20%3D%20-%5Cfrac%7BRMS%5B%5CDelta%20%5Ctheta%5D_%7Bt-1%7D%7D%7BRMS%5Bg%5D_%7Bt%7D%7Dg_%7Bt%7D%0A\" alt=\"\\Delta \\theta = -\\frac{RMS[\\Delta \\theta]_{t-1}}{RMS[g]_{t}}g_{t}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(17)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Ctheta_%7Bt%2B1%7D%20%3D%20%5Ctheta_%7Bt%7D%20-%20%5Cfrac%7BRMS%5B%5CDelta%20%5Ctheta%5D_%7Bt-1%7D%7D%7BRMS%5Bg%5D_%7Bt%7D%7Dg_%7Bt%7D%0A\" alt=\"\\theta_{t+1} = \\theta_{t} - \\frac{RMS[\\Delta \\theta]_{t-1}}{RMS[g]_{t}}g_{t}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(18)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0AE%5B%5CDelta%20%5Ctheta%5E2%5D_t%20%3D%20%5Cgamma%20E%5B%5CDelta%20%5Ctheta%5E2%5D_%7Bt-1%7D%20%2B%20(1%20-%20%5Cgamma)%20%5CDelta%20%5Ctheta%5E2_t%0A\" alt=\"E[\\Delta \\theta^2]_t = \\gamma E[\\Delta \\theta^2]_{t-1} + (1 - \\gamma) \\Delta \\theta^2_t\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(19)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0ARMS%5B%5CDelta%20%5Ctheta%5D_%7Bt%7D%20%3D%20%5Csqrt%7BE%5B%5CDelta%20%5Ctheta%5E2%5D_t%20%2B%20%5Cepsilon%7D%0A\" alt=\"RMS[\\Delta \\theta]_{t} = \\sqrt{E[\\Delta \\theta^2]_t + \\epsilon}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0438\u0437 \u0441\u043e\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0439, \u0447\u0442\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ctheta\" alt=\"\\inline \\theta\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5CDelta%20%5Ctheta\" alt=\"\\inline \\Delta \\theta\"\/> \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0442\u044c. \u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e learning rate \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0432\u043e \u0432\u0441\u0435\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0441 \u0431\u0435\u0437\u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0439. \u0424\u0438\u0437\u0438\u043a\u0438 \u0432 \u044d\u0442\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0443\u0436\u0430\u0441\u043d\u0443\u0442\u0441\u044f, \u0430 \u043c\u044b \u043f\u043e\u0436\u043c\u0451\u043c \u043f\u043b\u0435\u0447\u0430\u043c\u0438: \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0436\u0435.<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u043e\u0439 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D_%7B-1%7D\" alt=\"\\inline RMS[\\Delta \\theta]_{-1}\"\/> \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430, \u0438\u043d\u0430\u0447\u0435 \u0432\u0441\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5CDelta%20%5Ctheta\" alt=\"\\inline \\Delta \\theta\"\/>, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D_%7Bt%7D\" alt=\"\\inline RMS[\\Delta \\theta]_{t}\"\/> \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u041d\u043e \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0435\u0449\u0451 \u0440\u0430\u043d\u044c\u0448\u0435, \u0434\u043e\u0431\u0430\u0432\u0438\u0432 \u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS\" alt=\"\\inline RMS\"\/> <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cepsilon\" alt=\"\\inline \\epsilon\"\/>. \u0414\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u043b\u043e, \u0447\u0442\u043e \u0431\u0435\u0437 \u044f\u0432\u043d\u043e\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D_%7B-1%7D\" alt=\"\\inline RMS[\\Delta \\theta]_{-1}\"\/> \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, <em>\u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u043e\u043b\u043e\u0436\u043d\u043e\u0435<\/em> Adagrad \u0438 RMSProp: \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 (\u0434\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0435\u043b\u0430) \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0432\u0435\u0441\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f <em>\u0447\u0430\u0449\u0435<\/em>. \u0412\u0435\u0434\u044c \u0442\u0435\u043f\u0435\u0440\u044c \u0447\u0442\u043e\u0431\u044b <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5CDelta%20%5Ctheta\" alt=\"\\inline \\Delta \\theta\"\/> \u0441\u0442\u0430\u043b \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u043c, \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0434\u043e\u043b\u0436\u0435\u043d \u043d\u0430\u043a\u043e\u043f\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435 \u0434\u0440\u043e\u0431\u0438.<\/p>\n<p>  <\/p>\n<p>\u0412\u043e\u0442 \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0434\u043b\u044f \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D\" alt=\"\\inline RMS[\\Delta \\theta]\"\/>:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/e98\/8d0\/a38\/e988d0a38f974992bfdc0276e61c745e.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/52c\/323\/a75\/52c323a7557840528b899efd0ddf75a3.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0410 \u0432\u043e\u0442 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/eee\/fe2\/280\/eeefe228078e4626894e3c8db731fa62.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/c88\/fc6\/78f\/c88fc678febe4e2a88bae09ac82230ba.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u043f\u043e\u0445\u043e\u0436\u0435, \u0430\u0432\u0442\u043e\u0440\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0438 \u0434\u043e\u0431\u0438\u0432\u0430\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430. \u0414\u043b\u044f RMSProp \u0438 Adadelta, \u043a\u0430\u043a \u0438 \u0434\u043b\u044f Adagrad \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0438\u043a\u0438\u0434\u043e\u0447\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041e\u0431\u044b\u0447\u043d\u043e \u0441\u043e\u0432\u0435\u0442\u0443\u044e\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u0434\u0433\u043e\u043d <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ceta\" alt=\"\\inline \\eta\"\/> c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200.1%20-%201\" alt=\"\\inline 0.1 - 1\"\/>, a <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u0442\u0430\u043a \u0438 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200.9\" alt=\"\\inline 0.9\"\/>. \u0427\u0435\u043c \u0431\u043b\u0438\u0436\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u043a <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%201\" alt=\"\\inline 1\"\/>, \u0442\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 RMSProp \u0438 Adadelta \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D_%7B-1%7D\" alt=\"\\inline RMS[\\Delta \\theta]_{-1}\"\/> \u0431\u0443\u0434\u0443\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043c\u0430\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u0432\u0435\u0441\u0430. \u0415\u0441\u043b\u0438 \u0436\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma%20%5Capprox%201\" alt=\"\\inline \\gamma \\approx 1\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20RMS%5B%5CDelta%20%5Ctheta%5D_%7B-1%7D%20%3D%200\" alt=\"\\inline RMS[\\Delta \\theta]_{-1} = 0\"\/>, \u0442\u043e Adadelta \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043b\u0433\u043e \u00ab\u0441 \u043d\u0435\u0434\u043e\u0432\u0435\u0440\u0438\u0435\u043c\u00bb \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u043a \u0440\u0435\u0434\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u043c \u0432\u0435\u0441\u0430\u043c. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0430\u0440\u0430\u043b\u0438\u0447\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u043d\u0430\u043c\u0435\u0440\u0435\u043d\u043d\u043e \u00ab\u0436\u0430\u0434\u043d\u043e\u0435\u00bb \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u043a\u043e\u0433\u0434\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u044b, \u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u0441\u0430\u043c\u044b\u0435 \u043b\u0443\u0447\u0448\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438.<\/p>\n<p>  <\/p>\n<h2>Adam<\/h2>\n<p>  <\/p>\n<p><a href=\"https:\/\/arxiv.org\/abs\/1412.6980\">Adam<\/a> \u2014 adaptive moment estimation, \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u041e\u043d \u0441\u043e\u0447\u0435\u0442\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0438 \u0438\u0434\u0435\u044e \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0438 \u0438\u0434\u0435\u044e \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u0430\u0431\u043e\u0433\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0434\u043b\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u0421\u043d\u043e\u0432\u0430 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c (4):<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(20)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Am_t%20%3D%20%5Cbeta_1%20m_%7Bt-1%7D%20%2B%20(1%20-%20%5Cbeta_1)%20g_t%0A\" alt=\"m_t = \\beta_1 m_{t-1} + (1 - \\beta_1) g_t\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u041e\u0442 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430 Adam \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043c, \u0447\u0442\u043e \u043c\u044b \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0435\u043c \u043d\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5CDelta%20%5Ctheta\" alt=\"\\inline \\Delta \\theta\"\/>, \u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u0445\u043e\u0442\u044f \u044d\u0442\u043e \u0447\u0438\u0441\u0442\u043e \u043a\u043e\u0441\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0441\u043c. (23). \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u043d\u0430\u0442\u044c, \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0410\u0432\u0442\u043e\u0440\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0435\u0449\u0451 \u0438 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043d\u0435\u0446\u0435\u043d\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(21)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Av_t%20%3D%20%5Cbeta_2%20v_%7Bt-1%7D%20%2B%20(1%20-%20%5Cbeta_2)%20g_t%5E2%0A\" alt=\"v_t = \\beta_2 v_{t-1} + (1 - \\beta_2) g_t^2\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u041b\u0435\u0433\u043a\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0439 \u043d\u0430\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20E%5Bg%5E2%5D_t\" alt=\"\\inline E[g^2]_t\"\/>, \u0442\u0430\u043a \u0447\u0442\u043e \u043f\u043e \u0441\u0443\u0442\u0438 \u0442\u0443\u0442 \u043d\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0438\u0439 \u043e\u0442 RMSProp.<\/p>\n<p>  <\/p>\n<p>\u0412\u0430\u0436\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20m_t\" alt=\"\\inline m_t\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/>: \u043e\u043d\u0438 \u0441\u0442\u0440\u0430\u0434\u0430\u044e\u0442 \u043e\u0442 \u0442\u043e\u0439 \u0436\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0447\u0442\u043e \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20E%5Bg%5E2%5D_t\" alt=\"\\inline E[g^2]_t\"\/> \u0432 RMSProp: \u0435\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u043e\u0435 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u043e \u043e\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0434\u043e\u043b\u0433\u043e \u043d\u0430\u043a\u0430\u043f\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u043a\u043d\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f (<img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200%20%5Cll%20%5Cbeta_1%20%3C%201\" alt=\"\\inline 0 \\ll \\beta_1 &amp;lt; 1\"\/>, <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200%20%5Cll%20%5Cbeta_2%20%3C%201\" alt=\"\\inline 0 \\ll \\beta_2 &amp;lt; 1\"\/>), \u0430 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u2014 \u044d\u0442\u043e \u0435\u0449\u0451 \u0434\u0432\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430. \u041d\u0438\u043a\u0442\u043e \u043d\u0435 \u0445\u043e\u0447\u0435\u0442 \u0435\u0449\u0451 \u0434\u0432\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430, \u0442\u0430\u043a \u0447\u0442\u043e \u043c\u044b \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20m_t\" alt=\"\\inline m_t\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/> \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0448\u0430\u0433\u0430\u0445 (\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200%20%3C%20t%20%3C%2010\" alt=\"\\inline 0 &amp;lt; t &amp;lt; 10\"\/> \u0434\u043b\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20m_t\" alt=\"\\inline m_t\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200%20%3C%20t%20%3C%201000\" alt=\"\\inline 0 &amp;lt; t &amp;lt; 1000\"\/> \u0434\u043b\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/>)<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(22)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Chat%7Bm%7D_t%20%3D%20%5Cfrac%7Bm_t%7D%7B1%20-%20%5Cbeta%5Et_1%7D%2C%20%5C%3B%0A%5Chat%7Bv%7D_t%20%3D%20%5Cfrac%7Bv_t%7D%7B1%20-%20%5Cbeta%5Et_2%7D%0A\" alt=\"\\hat{m}_t = \\frac{m_t}{1 - \\beta^t_1}, \\; \\hat{v}_t = \\frac{v_t}{1 - \\beta^t_2}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435, \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(23)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Ctheta_%7Bt%2B1%7D%20%3D%20%5Ctheta_%7Bt%7D%20-%20%5Cdfrac%7B%5Ceta%7D%7B%5Csqrt%7B%5Chat%7Bv%7D_t%20%2B%20%5Cepsilon%7D%7D%20%5Chat%7Bm%7D_t%0A\" alt=\"\\theta_{t+1} = \\theta_{t} - \\dfrac{\\eta}{\\sqrt{\\hat{v}_t + \\epsilon}} \\hat{m}_t\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/b8d\/f90\/277\/b8df902776274196b466d31f5bf6c198.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/b8a\/3ca\/8e7\/b8a3ca8e7aa54197a8f2aad522c15459.png\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/f8a\/636\/157\/f8a636157aaf40c684ad50fc44d0114e.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a \u0431\u044b\u0441\u0442\u0440\u043e \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0437\u0443\u0431\u0446\u0430\u0445 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0441 \u043f\u0440\u044f\u043c\u043e\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430\u043c\u0438 \u0438 \u043d\u0430 \u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0432\u043e\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441 \u0441\u0438\u043d\u0443\u0441\u043e\u043c \u2014 \u0435\u0451 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u00ab\u0431\u0435\u0441\u043f\u043b\u0430\u0442\u043d\u043e\u00bb. \u041f\u0440\u0438 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u043c\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta_1\" alt=\"\\inline \\beta_1\"\/> \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 \u0441 \u0448\u0438\u043f\u0430\u043c\u0438 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0440\u0435\u0437\u043a\u0438\u0435 \u0432\u0441\u043f\u043b\u0435\u0441\u043a\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043d\u0435 \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u0442 \u043c\u0433\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0432 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0445\u043e\u0440\u043e\u0448\u043e \u043d\u0430\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e\u043c\u0443 Adam \u043d\u0435 \u043d\u0443\u0436\u0435\u043d gradient clipping.<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u044b\u0432\u043e\u0434\u044f\u0442 (22), \u0440\u0430\u0437\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u044f \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u044b\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b (20) \u0438 (21). \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/>:<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0AE%5Bv_t%5D%20%26%3D%20E%5CBigg%5B%20(1%20-%20%5Cbeta_2)%20%5Csum_%7Bi%3D1%7D%5E%7Bt%7D%7B%5Cbeta_2%5E%7Bt-i%7Dg_i%5E2%7D%20%5CBigg%5D%0A\" alt=\"E[v_t] &amp;amp;= E\\Bigg[ (1 - \\beta_2) \\sum_{i=1}^{t}{\\beta_2^{t-i}g_i^2} \\Bigg]\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20E%5Bg_t%5E2%5D%20(1%20-%20%5Cbeta_2)%20%5Csum_%7Bi%3D1%7D%5E%7Bt%7D%5Cbeta_2%5E%7Bt-i%7D%20%2B%20%5Czeta%0A\" alt=\"= E[g_t^2] (1 - \\beta_2) \\sum_{i=1}^{t}\\beta_2^{t-i} + \\zeta\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20E%5Bg_t%5E2%5D%20(1%20-%20%5Cbeta_2)%20%5Cfrac%7B1%20-%20%5Cbeta_2%5Et%7D%7B1%20-%20%5Cbeta_2%7D%20%2B%20%5Czeta%0A\" alt=\"= E[g_t^2] (1 - \\beta_2) \\frac{1 - \\beta_2^t}{1 - \\beta_2} + \\zeta\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(24)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20E%5Bg_t%5E2%5D(1%20-%20%5Cbeta_2%5Et)%20%2B%20%5Czeta%0A\" alt=\"= E[g_t^2](1 - \\beta_2^t) + \\zeta\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0421\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Czeta\" alt=\"\\inline \\zeta\"\/> \u0431\u043b\u0438\u0437\u043a\u043e \u043a <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%200\" alt=\"\\inline 0\"\/> \u043f\u0440\u0438 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20p(g)\" alt=\"\\inline p(g)\"\/>, \u0447\u0442\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0434\u0430 \u0432 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445 \u043d\u0430\u0441 \u0441\u043b\u0443\u0447\u0430\u044f\u0445. \u043d\u043e \u043c\u044b \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c \u0441\u043a\u043e\u0431\u043a\u0443 \u0441 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta_2%5Et\" alt=\"\\inline \\beta_2^t\"\/> \u0432\u043b\u0435\u0432\u043e. \u041d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0447\u0442\u043e \u043f\u0440\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20t%3D0\" alt=\"\\inline t=0\"\/> \u0443 \u043d\u0430\u0441 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(25)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Chat%7Bv%7D_1%20%3D%20v_%7B1%7D%20%2B%20%5Cbeta_2%20v_%7B1%7D%20%2B%20%5Cbeta_2%5E2%20v_%7B1%7D%20%2B%20%5Cldots%20%3D%20%5Cfrac%7Bv_%7B1%7D%7D%7B1%20-%20%5Cbeta_2%7D%0A\" alt=\"\\hat{v}_1 = v_{1} + \\beta_2 v_{1} + \\beta_2^2 v_{1} + \\ldots = \\frac{v_{1}}{1 - \\beta_2}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0436\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v\" alt=\"\\inline v\"\/>, \u043c\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u00ab\u0432\u0438\u0440\u0442\u0443\u0430\u043b\u044c\u043d\u0443\u044e\u00bb \u0447\u0430\u0441\u0442\u044c \u0440\u044f\u0434\u0430 \u0437\u0430\u0442\u0443\u0445\u0430\u0442\u044c \u0431\u044b\u0441\u0442\u0440\u0435\u0435:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(26)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%5Chat%7Bv%7D_2%20%3D%20v_%7B2%7D%20%2B%20%5Cbeta_2%5E2%20v_%7B2%7D%20%2B%20%5Cbeta_2%5E4%20v_%7B2%7D%20%2B%20%5Cldots%20%3D%20%5Cfrac%7Bv_%7B2%7D%7D%7B1%20-%20%5Cbeta_2%5E2%7D%0A\" alt=\"\\hat{v}_2 = v_{2} + \\beta_2^2 v_{2} + \\beta_2^4 v_{2} + \\ldots = \\frac{v_{2}}{1 - \\beta_2^2}\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b Adam \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta_1%20%3D%200.9%2C%20%5Cbeta_2%20%3D%200.999%2C%20%5Cepsilon%20%3D%2010%5E%7B-8%7D\" alt=\"\\inline \\beta_1 = 0.9, \\beta_2 = 0.999, \\epsilon = 10^{-8}\"\/> \u0438 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u044e\u0442, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0438 \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043d\u0430 \u0448\u0438\u0440\u043e\u043a\u043e\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u0437\u0430 \u0441\u0447\u0451\u0442 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438. \u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438, \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f (22) \u043d\u0435 \u0432\u044b\u0441\u0435\u0447\u0435\u043d\u044b \u0432 \u043a\u0430\u043c\u043d\u0435. \u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435, \u043f\u043e\u0447\u0435\u043c\u0443 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a, \u043d\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0437\u0430\u043f\u0440\u0435\u0449\u0430\u0435\u0442 \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438. \u041d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u043f\u0440\u0430\u0448\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u043d\u0438\u0435 \u0432\u043f\u0435\u0440\u0451\u0434, \u043a\u0430\u043a \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430.<\/p>\n<p>  <\/p>\n<h2>Adamax<\/h2>\n<p>  <\/p>\n<p>Adamax \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439 \u0432 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0430\u0442\u044c\u0435. \u0412\u043c\u0435\u0441\u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0432 (21) \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0438\u043d\u0435\u0440\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20p\" alt=\"\\inline p\"\/>. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043a \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u043c. \u041e\u0434\u043d\u0430\u043a\u043e \u0441\u043b\u0443\u0447\u0430\u0439 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20p\" alt=\"\\inline p\"\/>, \u0441\u0442\u0440\u0435\u043c\u044f\u0449\u0435\u0439\u0441\u044f \u043a \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u0438, \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435 \u0445\u043e\u0440\u043e\u0448\u043e.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(27)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Av_t%20%3D%20%5Cbeta_2%5Ep%20v_%7Bt-1%7D%20%2B%20(1%20-%20%5Cbeta_2%5Ep)%20%7Cg_t%7C%5Ep%0A\" alt=\"v_t = \\beta_2^p v_{t-1} + (1 - \\beta_2^p) |g_t|^p\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta_2\" alt=\"\\inline \\beta_2\"\/> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0439 \u043f\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta_2%5Ep\" alt=\"\\inline \\beta_2^p\"\/>. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 Adam \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0432 (27), \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u0438\u0437 \u043d\u0435\u0433\u043e \u043a\u043e\u0440\u0435\u043d\u044c: <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20u_t%20%3D%20v_t%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D\" alt=\"\\inline u_t = v_t^{\\frac{1}{p}}\"\/>. \u0412\u044b\u0432\u0435\u0434\u0435\u043c \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0432\u0437\u0430\u043c\u0435\u043d (21), \u0432\u0437\u044f\u0432 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20p%20%5Crightarrow%20%5Cinfty\" alt=\"\\inline p \\rightarrow \\infty\"\/>, \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0432 \u043f\u043e\u0434 \u043a\u043e\u0440\u043d\u0435\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20v_t\" alt=\"\\inline v_t\"\/> \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 (27):<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0Au_t%20%3D%20%5Clim_%7Bp%20%5Crightarrow%20%5Cinfty%7D%7B%20v_t%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D%20%7D%0A\" alt=\"u_t = \\lim_{p \\rightarrow \\infty}{ v_t^{\\frac{1}{p}} }\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%20%0A%3D%20%5Clim_%7Bp%20%5Crightarrow%20%5Cinfty%7D%7B%20%5CBig%5B%20%5Cbeta_2%5Ep%20v_%7Bt-1%7D%20%2B%20(1%20-%20%5Cbeta_2%5Ep)%20%7Cg_t%7C%5Ep%20%5CBig%5D%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D%20%7D%20%0A\" alt=\"= \\lim_{p \\rightarrow \\infty}{ \\Big[ \\beta_2^p v_{t-1} + (1 - \\beta_2^p) |g_t|^p \\Big]^{\\frac{1}{p}} }\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20%5Clim_%7Bp%20%5Crightarrow%20%5Cinfty%7D%7B%20%5CBig%5B%20(1%20-%20%5Cbeta_2%5Ep)%20%5Csum_%7Bi%3D1%7D%5E%7Bt%7D%5Cbeta_2%5E%7Bp(t-i)%7D%20%7Cg_i%7C%5E%7Bp%7D%20%5CBig%5D%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D%20%7D%20%0A\" alt=\"= \\lim_{p \\rightarrow \\infty}{ \\Big[ (1 - \\beta_2^p) \\sum_{i=1}^{t}\\beta_2^{p(t-i)} |g_i|^{p} \\Big]^{\\frac{1}{p}} }\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20%5Clim_%7Bp%20%5Crightarrow%20%5Cinfty%7D%7B%20(1%20-%20%5Cbeta_2%5Ep)%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D%20%20%5CBig(%20%5Csum_%7Bi%3D1%7D%5E%7Bt%7D%5Cbeta_2%5E%7Bp(t-i)%7D%7Cg_i%7C%5E%7Bp%7D%20%5CBig)%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D%20%7D%20%0A\" alt=\"= \\lim_{p \\rightarrow \\infty}{ (1 - \\beta_2^p)^{\\frac{1}{p}}  \\Big( \\sum_{i=1}^{t}\\beta_2^{p(t-i)}|g_i|^{p} \\Big)^{\\frac{1}{p}} }\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20%5Clim_%7Bp%20%5Crightarrow%20%5Cinfty%7D%7B%20%5CBig(%20%5Csum_%7Bi%3D1%7D%5E%7Bt%7D%5Cbeta_2%5E%7Bp(t-i)%7D%7Cg_i%7C%5E%7Bp%7D%20%5CBig)%5E%7B%5Cfrac%7B1%7D%7Bp%7D%7D%20%7D%20%0A\" alt=\"= \\lim_{p \\rightarrow \\infty}{ \\Big( \\sum_{i=1}^{t}\\beta_2^{p(t-i)}|g_i|^{p} \\Big)^{\\frac{1}{p}} }\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" align=\"right\" src=\"https:\/\/tex.s2cms.ru\/svg\/(28)\"\/><\/p>\n<div style=\"text-align:center;\"><img decoding=\"async\"  src=\"https:\/\/tex.s2cms.ru\/svg\/%0A%3D%20%20max(%5Cbeta_2%5E%7Bt-1%7D%20%7Cg_1%7C%2C%20%5Cbeta_2%5E%7Bt-2%7D%20%7Cg_2%7C%2C%20%5Cldots%20%2C%20%5Cbeta_2%7Cg_%7Bt-1%7D%7C%2C%20%7Cg_t%7C%20)%0A\" alt=\"=  max(\\beta_2^{t-1} |g_1|, \\beta_2^{t-2} |g_2|, \\ldots , \\beta_2|g_{t-1}|, |g_t| )\"\/><\/div>\n<\/p>\n<p>  <\/p>\n<p>\u0422\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u0440\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20p%20%5Crightarrow%20%5Cinfty\" alt=\"\\inline p \\rightarrow \\infty\"\/> \u0432 \u0441\u0443\u043c\u043c\u0435 \u0432 (28) \u0431\u0443\u0434\u0435\u0442 \u0434\u043e\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0447\u043b\u0435\u043d. \u041d\u0435\u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u0432\u0437\u044f\u0432 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0441\u0443\u043c\u043c\u0443 \u0438 \u0431\u043e\u043b\u044c\u0448\u0443\u044e <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20p\" alt=\"\\inline p\"\/>: <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Csqrt%5B100%5D%7B10%5E%7B100%7D%20%2B%209%5E%7B100%7D%7D%20%3D%2010%5Csqrt%5B100%5D%7B1%20%2B%20%5Cfrac%7B9%7D%7B10%7D%5E%7B100%7D%7D%20%3D%2010%5Csqrt%5B10%5D%7B1.00002%7D%20%5Capprox%2010%20\" alt=\"\\inline \\sqrt[100]{10^{100} + 9^{100}} = 10\\sqrt[100]{1 + \\frac{9}{10}^{100}} = 10\\sqrt[10]{1.00002} \\approx 10\"\/>. \u0421\u043e\u0432\u0441\u0435\u043c \u043d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e.<\/p>\n<p>  <\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0448\u0430\u0433\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u043a\u0430\u043a \u0438 \u0432 Adam.<\/p>\n<p>  <\/p>\n<h2>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b<\/h2>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432 \u0434\u0435\u043b\u0435. \u0427\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u0435\u0435, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u0432\u0443\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445. \u041d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u2014 \u044d\u0442\u043e \u043f\u043e \u0441\u0443\u0442\u0438 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u043d\u043e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0442\u0430\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0432\u0443\u0445 \u0438 \u0432\u043c\u0435\u0441\u0442\u043e \u044f\u0432\u043d\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0431\u043e\u0440 \u0442\u043e\u0447\u0435\u043a, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u044d\u0442\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c. \u0412 \u043d\u0430\u0448\u0435\u043c \u0436\u0435 \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u0438 \u0435\u0441\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u0432\u0438\u0433\u0430\u044e\u0442\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u044e \u0441\u0438\u043b\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u0437\u0430\u0442\u043e \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e.<\/p>\n<p>  <\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0443\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/>. \u041f\u043e\u043d\u044f\u0432, \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a, \u043f\u0440\u043e\u0449\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u043f\u0443\u043b\u044c\u0441\u0430, \u0432\u043a\u043b\u044e\u0447\u0430\u044f Adam \u0438 Adamax.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/21d\/c52\/2d1\/21dc522d1bb6424481751fe41bcd911c.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/7b4\/733\/660\/7b4733660d1243b68098a025bc42563b.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0412\u0441\u0435 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043e\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u0431\u0430\u0441\u0441\u0435\u0439\u043d\u0435, \u043d\u043e \u0434\u0435\u043b\u0430\u044e\u0442 \u043e\u043d\u0438 \u044d\u0442\u043e \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443. \u0421 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u0445\u043e\u0436 \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 SGD, \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0441\u043f\u0443\u0441\u043a \u0438\u0434\u0451\u0442 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0443\u0431\u044b\u0432\u0430\u044e\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u0421\u043e \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/>, \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u043b\u0438\u044f\u0442\u044c \u043f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0438 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u00ab\u0433\u0443\u043b\u044f\u0442\u044c\u00bb. \u0418\u043d\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u043f\u0443\u043b\u044c\u0441, \u0442\u0435\u043c \u043f\u0440\u043e\u0449\u0435 \u0432\u044b\u0440\u0432\u0430\u0442\u044c\u0441\u044f \u0438\u0437 \u0432\u043f\u0430\u0434\u0438\u043d \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432 \u043d\u0430 \u043f\u0443\u0442\u0438.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/af7\/816\/b93\/af7816b9324446d28ee7ce97080d7352.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/29b\/fcf\/65a\/29bfcf65ab4442918642334a01f8dc6d.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u043f\u043b\u043e\u0445\u043e: \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0441\u0442\u0435\u0440\u044f\u0442\u044c \u0438\u043c\u043f\u0443\u043b\u044c\u0441, \u043f\u0440\u043e\u0441\u043a\u043e\u0447\u0438\u0432 \u0432\u043f\u0430\u0434\u0438\u043d\u0443 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0438 \u043e\u0441\u0435\u0441\u0442\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u0432\u0438\u0434\u0435\u0442\u044c, \u043a\u0430\u043a \u043f\u043e\u0442\u0435\u0440\u0438 \u043d\u0430 <em>\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439<\/em> \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u044e\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0437\u0430\u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u044e\u0442, \u043f\u043e\u0442\u043e\u043c \u0441\u043d\u043e\u0432\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f, \u043d\u043e \u0442\u0430\u043a \u0438 \u043d\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0448\u0435\u0434\u0448\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/8be\/c1e\/0e1\/8bec1e0e10d3456f8f418e8604069232.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/153\/c86\/002\/153c86002d7348bd9540446c0cc557f9.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0437\u0430\u043f\u0443\u0449\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/7bc\/de8\/670\/7bcde86703484105b581e1137054af07.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/760\/db9\/a95\/760db9a95aba4cbda17b54d87a68667c.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/b42\/5b1\/dd5\/b425b1dd5ae546d7818c5584978648eb.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/070\/539\/d9b\/070539d9bffc4e86ba74f3a5817e3335.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u0432\u0441\u0435 \u043e\u043d\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f (\u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0434\u0431\u043e\u0440\u043e\u043c \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f). \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a\u0438\u0435 \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0448\u0430\u0433\u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044e\u0442 Adam \u0438 RMSProp \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0422\u0430\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0435 \u0431\u044b\u043b\u043e \u043d\u0438\u0430\u043a\u0438\u0445 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043d\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0443 (\u043d\u0438 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0435) \u0438 \u0441\u0443\u043c\u043c\u044b \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044f\u0445 (14) \u0438 (23) \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u0412\u043e\u0442 \u0442\u0443\u0442 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u043e\u0436\u043d\u0435\u0435:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/aab\/459\/d64\/aab459d643cd40679a927a68e414f8e4.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/fb3\/edf\/21a\/fb3edf21a046442cbd1adf3380ef21db.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 Adam, \u0432\u0441\u0435 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0437\u0430\u043f\u0435\u0440\u0442\u044b \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435. \u0421\u0440\u0430\u0432\u043d\u0438\u0442\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430 \u0438, \u0441\u043a\u0430\u0436\u0435\u043c, RMSProp \u043d\u0430 \u044d\u0442\u0438\u0445 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445. \u0423\u0441\u043a\u043e\u0440\u0435\u043d\u043d\u044b\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430, \u0441 \u043b\u044e\u0431\u044b\u043c <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/>, \u043f\u043e\u043f\u0430\u0432 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u043a\u0440\u0443\u0436\u0438\u0442\u0441\u044f \u0432\u043e\u043a\u0440\u0443\u0433, \u0437\u0430\u0442\u0435\u043c \u0442\u0435\u0440\u044f\u0435\u0442 \u0438\u043c\u043f\u0443\u043b\u044c\u0441 \u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u0435\u0442 \u0432 \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u0431\u0434\u0443\u044c \u0442\u043e\u0447\u043a\u0435. RMSProp \u0436\u0435 \u0440\u0438\u0441\u0443\u0435\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b\u0445 \u00ab\u0451\u0436\u0438\u043a\u043e\u0432\u00bb. \u042d\u0442\u043e \u0442\u043e\u0436\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0441\u0443\u043c\u043c\u043e\u0439 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435 (14) \u2014 \u0432 \u043b\u043e\u0432\u0443\u0448\u043a\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435 \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0441\u043d\u043e\u0432\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c. \u041d\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0441\u043a\u0430\u0447\u043a\u043e\u0432 \u0432\u043b\u0438\u044f\u044e\u0442 \u0435\u0449\u0451, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (\u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Ceta\" alt=\"\\inline \\eta\"\/>, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u043a\u0430\u0447\u043a\u0438) \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cepsilon\" alt=\"\\inline \\epsilon\"\/> (\u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435). Adagrad \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u0443 \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0441\u0443\u043c\u043c\u0430 \u043f\u043e \u0432\u0441\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0430 \u043d\u0435 \u043f\u043e \u043e\u043a\u043d\u0443. \u041e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u043e\u043d\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u0441\u043a\u0430\u043a\u0438\u0432\u0430\u0442\u044c \u0438\u0437 \u043b\u043e\u0432\u0443\u0448\u0435\u043a, \u043d\u043e \u0438\u0437\u0440\u0435\u0434\u043a\u0430 \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0431\u0435\u0433\u0430\u0435\u0442 \u0438\u0437 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u0447\u0442\u043e \u043e\u043f\u044f\u0442\u044c-\u0442\u0430\u043a\u0438, \u0432\u0435\u0434\u0451\u0442 \u043a \u043d\u0435\u0432\u043e\u0441\u043f\u043e\u043b\u043d\u0438\u043c\u043e\u043c\u0443 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u044e \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 <em>\u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0439<\/em> \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u0437\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u0447\u0442\u043e \u0445\u043e\u0442\u044c \u0432\u0441\u0435 \u044d\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0438 \u043c\u043e\u0433\u0443\u0442 \u043d\u0430\u0439\u0442\u0438 \u043f\u0443\u0442\u044c \u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0434\u0430\u0436\u0435 \u043f\u043e \u043f\u043b\u0430\u0442\u043e \u0441 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u0443\u043a\u043b\u043e\u043d\u043e\u043c \u0438\u043b\u0438 \u0441\u0431\u0435\u0436\u0430\u0442\u044c \u0438\u0437 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u0435\u0441\u043b\u0438 \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043e\u043d\u0438 \u0443\u0436\u0435 \u043d\u0430\u0431\u0440\u0430\u043b\u0438 \u0438\u043c\u043f\u0443\u043b\u044c\u0441, \u043f\u043b\u043e\u0445\u0430\u044f \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0438\u043c \u0448\u0430\u043d\u0441\u043e\u0432:<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/f9c\/ecc\/c2a\/f9ceccc2a7414226870338c74aebabd9.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/0f4\/718\/e89\/0f4718e894c44193a7a51ed4e19d2fce.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/f37\/324\/104\/f37324104fbd4dfcbff324a1f3ecf704.gif\" alt=\"image\"\/><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/8c6\/c8d\/ba4\/8c6c8dba4c744fb08fcb16d76bab0b1a.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<h2>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>  <\/p>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0438 \u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432\u043e\u043b\u0448\u0435\u0431\u043d\u044b\u043c \u0447\u0451\u0440\u043d\u044b\u043c \u044f\u0449\u0438\u043a\u043e\u043c \u0441 \u043a\u0443\u0447\u0435\u0439 \u0437\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0438 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u043a\u0430\u043a\u043e\u0439 \u0438\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0441\u0432\u043e\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445.<\/p>\n<p>  <\/p>\n<p>\u041d\u0430\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u043a, \u0432\u0441\u0451 \u0436\u0435 \u0443\u0442\u043e\u0447\u043d\u044e \u043e\u0434\u0438\u043d \u0432\u0430\u0436\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442: \u0432\u0440\u044f\u0434 \u043b\u0438 \u0441\u043c\u0435\u043d\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043e\u0434\u043d\u0438\u043c \u0432\u0436\u0443\u0445\u043e\u043c \u0440\u0435\u0448\u0438\u0442 \u0432\u0441\u0435 \u0432\u0430\u0448\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u044c\u044e. \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 SGD \u043a \u0447\u0435\u043c\u0443-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u0432\u0438\u0434\u0435\u043d, \u043d\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0445 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435, \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440 \u0441\u0435\u0442\u0438 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043a\u0430\u043a-\u0442\u043e \u0442\u0430\u043a: <\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/270\/4f7\/4f5\/2704f74f52764a2d83f519c16dd3bc9c.png\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u2026 \u043d\u0435 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u044f\u0435\u0442. \u042f \u0431\u044b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u00ab\u0437\u043e\u043b\u043e\u0442\u043e\u0433\u043e \u043c\u043e\u043b\u043e\u0442\u043a\u0430\u00bb Adam, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d \u0432\u044b\u0434\u0430\u0451\u0442 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u043e\u0434\u0433\u043e\u043d\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041a\u043e\u0433\u0434\u0430 \u0441\u0435\u0442\u044c \u0443\u0436\u0435 \u0431\u043e\u043b\u0435\u0435-\u043c\u0435\u043d\u0435\u0435 \u043e\u0442\u043b\u0430\u0436\u0435\u043d\u0430, \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u043c\u0435\u0442\u043e\u0434 \u041d\u0435\u0441\u0442\u0435\u0440\u043e\u0432\u0430 \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438. \u0418\u043d\u043e\u0433\u0434\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043d\u043e \u043e\u043d \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u0435\u043d \u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u043c \u0432 \u0441\u0435\u0442\u0438. \u041f\u043b\u044e\u0441-\u043c\u0438\u043d\u0443\u0441 \u043f\u0430\u0440\u0430 \u0441\u043b\u043e\u0451\u0432 \u0438 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 learning rate. \u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0439\u0442\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0438 \u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043a\u0430\u043a \u0435\u0449\u0451 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0443\u0447\u0435\u043a \u0438 \u0442\u0443\u043c\u0431\u043b\u0435\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0451\u0440\u0433\u0430\u0442\u044c \u0432 \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445. <\/p>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0441 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435\u0441\u044c \u044d\u0442\u0438\u043c \u0441\u043a\u0440\u0438\u043f\u0442\u043e\u043c \u043d\u0430 \u043f\u0438\u0442\u043e\u043d\u0435 (\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f python &gt; 3.4, numpy \u0438 matplotlib):<\/p>\n<p>  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">from matplotlib import pyplot as plt import numpy as np from math import ceil, floor  def linear_interpolation(X, idx):     idx_min = floor(idx)     idx_max = ceil(idx)     if idx_min == idx_max or idx_max &gt;= len(X):         return X[idx_min]     elif idx_min &lt; 0:         return X[idx_max]     else:         return X[idx_min] + (idx - idx_min)*X[idx_max]  def EDM(X, gamma, lr=0.25):     Y = []     v = 0     for x in X:         v = gamma*v + lr*x         Y.append(v)     return np.asarray(Y)  def NM(X, gamma, lr=0.25):     Y = []     v = 0     for i in range(len(X)):         v = gamma*v + lr*(linear_interpolation(X, i+gamma*v) if i+gamma*v &lt; len(X) else 0)         Y.append(v)     return np.asarray(Y)  def SmoothedNM(X, gamma, lr=0.25):     Y = []     v = 0     for i in range(len(X)):         lookahead4 = linear_interpolation(X, i+gamma*v\/4)   if i+gamma*v\/4      &lt; len(X) else 0         lookahead3 = linear_interpolation(X, i+gamma*v\/2)   if i+gamma*v\/2      &lt; len(X) else 0         lookahead2 = linear_interpolation(X, i+gamma*v*3\/4) if i+gamma*v*3\/4    &lt; len(X) else 0         lookahead1 = linear_interpolation(X, i+gamma*v)     if i+gamma*v        &lt; len(X) else 0         v = gamma*v + lr*(lookahead4 + lookahead3 + lookahead2 + lookahead1)\/4         Y.append(v)     return np.asarray(Y)  def Adagrad(X, eps, lr=2.5):     Y = []     G = 0     for x in X:         G += x*x         v = lr\/np.sqrt(G + eps)*x         Y.append(v)     return np.asarray(Y)  def RMSProp(X, gamma, lr=0.25, eps=0.00001):     Y = []     EG = 0     for x in X:         EG = gamma*EG + (1-gamma)*x*x         v = lr\/np.sqrt(EG + eps)*x         Y.append(v)     return np.asarray(Y)  def Adadelta(X, gamma, lr=50.0, eps=0.001):     Y = []     EG = 0     EDTheta = lr     for x in X:         EG = gamma*EG + (1-gamma)*x*x         v = np.sqrt(EDTheta + eps)\/np.sqrt(EG + eps)*x         Y.append(v)         EDTheta = gamma*EDTheta + (1-gamma)*v*v     return np.asarray(Y)  def AdadeltaZeroStart(X, gamma, eps=0.001):     return Adadelta(X, gamma, lr=0.0, eps=eps)  def AdadeltaBigStart(X, gamma, eps=0.001):     return Adadelta(X, gamma, lr=50.0, eps=eps)  def Adam(X, beta1, beta2=0.999, lr=0.25, eps=0.0000001):     Y = []     m = 0     v = 0     for i, x in enumerate(X):         m = beta1*m + (1-beta1)*x         v = beta2*v + (1-beta2)*x*x         m_hat = m\/(1- pow(beta1, i+1) )         v_hat = v\/(1- pow(beta2, i+1) )         dthetha = lr\/np.sqrt(v_hat + eps)*m_hat         Y.append(dthetha)     return np.asarray(Y)  np.random.seed(413) X = np.arange(0, 300)  D_Thetha_spikes = np.asarray( [int(x%60 == 0) for x in X]) D_Thetha_rectangles = np.asarray( [2*int(x%40 &lt; 20) - 1 for x in X]) D_Thetha_noisy_sin = np.asarray( [np.sin(x\/20) + np.random.random() - 0.5 for x in X]) D_Thetha_very_noisy_sin = np.asarray( [np.sin(x\/20)\/5 + np.random.random() - 0.5 for x in X]) D_Thetha_uneven_sawtooth = np.asarray( [ x%20\/(15*int(x &gt; 80) + 5) for x in X]) D_Thetha_saturation = np.asarray( [ int(x % 80 &lt; 40) for x in X])  for method_label, method, parameter_step in [                 (&quot;GRAD_Simple_Momentum&quot;, EDM, [0.25, 0.9, 0.975]),                 (&quot;GRAD_Nesterov&quot;, NM, [0.25, 0.9, 0.975]),                 (&quot;GRAD_Smoothed_Nesterov&quot;, SmoothedNM, [0.25, 0.9, 0.975]),                 (&quot;GRAD_Adagrad&quot;, Adagrad, [0.0000001, 0.1, 10.0]),                 (&quot;GRAD_RMSProp&quot;, RMSProp, [0.25, 0.9, 0.975]),                 (&quot;GRAD_AdadeltaZeroStart&quot;, AdadeltaZeroStart, [0.25, 0.9, 0.975]),                 (&quot;GRAD_AdadeltaBigStart&quot;, AdadeltaBigStart, [0.25, 0.9, 0.975]),                 (&quot;GRAD_Adam&quot;, Adam, [0.25, 0.9, 0.975]),             ]:     for label, D_Thetha in [(&quot;spikes&quot;, D_Thetha_spikes),                             (&quot;rectangles&quot;, D_Thetha_rectangles),                             (&quot;noisy sin&quot;, D_Thetha_noisy_sin),                             (&quot;very noisy sin&quot;, D_Thetha_very_noisy_sin),                             (&quot;uneven sawtooth&quot;, D_Thetha_uneven_sawtooth),                             (&quot;saturation&quot;, D_Thetha_saturation), ]:         fig = plt.figure(figsize=[16.0, 9.0])         ax = fig.add_subplot(111)          ax.plot(X, D_Thetha, label=&quot;gradient&quot;)         for gamma in parameter_step:             Y = method(D_Thetha, gamma)             ax.plot(X, Y, label=&quot;param=&quot;+str(gamma))          ax.spines['bottom'].set_position('zero')         full_name = method_label + &quot;_&quot; + label          plt.xticks(np.arange(0, 300, 20))         plt.grid(True)         plt.title(full_name)         plt.xlabel('epoch')         plt.ylabel('value')         plt.legend()         # plt.show(block=True) #Uncoomment and comment next line if you just want to watch         plt.savefig(full_name)         plt.close(fig)<\/code><\/pre>\n<\/div>\n<\/div>\n<p>  <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u043e\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u044d\u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u0430\u043d\u0438\u043c\u0430\u0446\u0438\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430 (\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0434\u043e\u0431\u0430\u0432\u043e\u043a theano\/lasagne):<\/p>\n<p>  <\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u0415\u0449\u0451 \u043a\u043e\u0434<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">import numpy as np import matplotlib matplotlib.use(&quot;Agg&quot;) import matplotlib.pyplot as plt import matplotlib.animation as animation import theano import theano.tensor as T from lasagne.updates import nesterov_momentum, rmsprop, adadelta, adagrad, adam  #For reproducibility. Comment it out for randomness np.random.seed(413)  #Uncoomment and comment next line if you want to try random init # clean_random_weights = scipy.random.standard_normal((2, 1)) clean_random_weights = np.asarray([[-2.8], [-2.5]]) W = theano.shared(clean_random_weights) Wprobe = T.matrix('weights')  levels = [x\/4.0 for x in range(-8, 2*12, 1)] + [6.25, 6.5, 6.75, 7] + \\          list(range(8, 20, 1)) levels = np.asarray(levels)  O_simple_quad = (W**2).sum() O_wobbly = (W**2).sum()\/3 + T.abs_(W[0][0])*T.sqrt(T.abs_(W[0][0]) + 0.1) + 3*T.sin(W.sum()) + 3.0 + 8*T.exp(-2*((W[0][0] + 1)**2+(W[1][0] + 2)**2)) O_basins_and_walls = (W**2).sum()\/2 + T.sin(W[0][0]*4)**2 O_ripple = (W**2).sum()\/3 + (T.sin(W[0][0]*20)**2 + T.sin(W[1][0]*20)**2)\/15 O_giant_plateu = 4*(1-T.exp(-((W[0][0])**2+(W[1][0])**2))) O_hills_and_canyon = (W**2).sum()\/3 + \\                      3*T.exp(-((W[0][0] + 1)**2+(W[1][0] + 2)**2)) + \\                        T.exp(-1.5*(2*(W[0][0] + 2)**2+(W[1][0] -0.5)**2)) + \\                      3*T.exp(-1.5*((W[0][0] -1)**2+2*(W[1][0] + 1.5)**2)) + \\                      1.5*T.exp(-((W[0][0] + 1.5)**2+3*(W[1][0] + 0.5)**2)) + \\                      4*(1 - T.exp(-((W[0][0] + W[1][0])**2)))  O_two_minimums = 4-0.5*T.exp(-((W[0][0] + 2.5)**2+(W[1][0] + 2.5)**2))-3*T.exp(-((W[0][0])**2+(W[1][0])**2))  nesterov_testsuit = [                 (nesterov_momentum, &quot;nesterov momentum 0.25&quot;,    {&quot;learning_rate&quot;: 0.01, &quot;momentum&quot;: 0.25}),                 (nesterov_momentum, &quot;nesterov momentum 0.9&quot;,     {&quot;learning_rate&quot;: 0.01, &quot;momentum&quot;: 0.9}),                 (nesterov_momentum, &quot;nesterov momentum 0.975&quot;,   {&quot;learning_rate&quot;: 0.01, &quot;momentum&quot;: 0.975})             ]  cross_method_testsuit = [                 (nesterov_momentum, &quot;nesterov&quot;,     {&quot;learning_rate&quot;: 0.01}),                 (rmsprop,           &quot;rmsprop&quot;,      {&quot;learning_rate&quot;: 0.25}),                 (adadelta,          &quot;adadelta&quot;,     {&quot;learning_rate&quot;: 100.0}),                 (adagrad,           &quot;adagrad&quot;,      {&quot;learning_rate&quot;: 1.0}),                 (adam,              &quot;adam&quot;,         {&quot;learning_rate&quot;: 0.25})             ]  for O, plot_label in [            (O_wobbly, &quot;Wobbly&quot;),            (O_basins_and_walls, &quot;Basins_and_walls&quot;),            (O_giant_plateu, &quot;Giant_plateu&quot;),            (O_hills_and_canyon, &quot;Hills_and_canyon&quot;),            (O_two_minimums, &quot;Bad_init&quot;)         ]:      result_probe = theano.function([Wprobe], O, givens=[(W, Wprobe)])      history = {}     for method, history_mark, kwargs_to_method in cross_method_testsuit:         W.set_value(clean_random_weights)         history[history_mark] = [W.eval().flatten()]          updates = method(O, [W], **kwargs_to_method)         train_fnc = theano.function(inputs=[], outputs=O, updates=updates)          for i in range(125):             result_val = train_fnc()             print(&quot;Iteration &quot; + str(i) + &quot; result: &quot;+ str(result_val))             history[history_mark].append(W.eval().flatten())          print(&quot;-------- DONE {}-------&quot;.format(history_mark))      delta = 0.05     mesh = np.arange(-3.0, 3.0, delta)     X, Y = np.meshgrid(mesh, mesh)      Z = []     for y in mesh:         z = []         for x in mesh:             z.append(result_probe([[x], [y]]))         Z.append(z)     Z = np.asarray(Z)      print(&quot;-------- BUILT MESH -------&quot;)      fig, ax = plt.subplots(figsize=[12.0, 8.0])     CS = ax.contour(X, Y, Z, levels=levels)     plt.clabel(CS, inline=1, fontsize=10)     plt.title(plot_label)      nphistory = []     for key in history:         nphistory.append(                 [np.asarray([h[0] for h in history[key]]),                  np.asarray([h[1] for h in history[key]]),                  key]             )      lines = []     for nph in nphistory:         lines += ax.plot(nph[0], nph[1], label=nph[2])     leg = plt.legend()      plt.savefig(plot_label + '_final.png')      def animate(i):         for line, hist in zip(lines, nphistory):             line.set_xdata(hist[0][:i])             line.set_ydata(hist[1][:i])         return lines      def init():         for line, hist in zip(lines, nphistory):             line.set_ydata(np.ma.array(hist[0], mask=True))         return lines      ani = animation.FuncAnimation(fig, animate, np.arange(1, 120), init_func=init,                                   interval=100, repeat_delay=0, blit=True, repeat=True)      print(&quot;-------- WRITING ANIMATION -------&quot;)      # plt.show(block=True) #Uncoomment and comment next line if you just want to watch     ani.save(plot_label + '.mp4', writer='ffmpeg_file', fps=5)      print(&quot;-------- DONE {} -------&quot;.format(plot_label))<\/code><\/pre>\n<\/div>\n<\/div>\n<p>  <\/p>\n<p>\u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0420\u043e\u043c\u0430\u043d\u0443 \u041f\u0430\u0440\u043f\u0430\u043b\u0430\u043a \u0437\u0430 <a href=\"https:\/\/habrahabr.ru\/post\/264709\/\">\u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442<\/a>, \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438 \u043d\u0430 \u0445\u0430\u0431\u0440\u0435 \u043d\u0435 \u0442\u0430\u043a \u043c\u0443\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u0430. \u041c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c <a href=\"http:\/\/sebastianruder.com\/optimizing-gradient-descent\/\">\u0441\u0442\u0430\u0442\u044c\u044e<\/a>, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0431\u0440\u0430\u043b \u0437\u0430 \u043e\u0441\u043d\u043e\u0432\u0443 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u043e\u043f\u0443\u0441\u0442\u0438\u043b, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u0441\u0444\u043e\u043a\u0443\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0427\u0442\u043e\u0431\u044b \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c\u0441\u044f \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e <a href=\"http:\/\/www.deeplearningbook.org\/\">\u044d\u0442\u0443<\/a> \u043a\u043d\u0438\u0433\u0443. <\/p>\n<p>  <\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u0438\u0445 \u043d\u043e\u0432\u043e\u0433\u043e\u0434\u043d\u0438\u0445 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445, \u0425\u0430\u0431\u0440!<\/p>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habrahabr.ru\/post\/318970\/\"> https:\/\/habrahabr.ru\/post\/318970\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 \u043f\u043e\u0434\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u043f\u043e\u0434 \u00ab\u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0431\u0443\u0447\u0438\u043c \u043d\u0430\u0448\u0443 \u0441\u0435\u0442\u044c\u00bb \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u00ab\u0441\u043a\u043e\u0440\u043c\u0438\u043c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0443\u00bb \u043b\u0438\u0448\u044c \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0418\u043d\u043e\u0433\u0434\u0430 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c, \u043d\u043e \u0431\u0435\u0437\u043e \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u0447\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u044b \u0434\u0440\u0443\u0433\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0438 \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u0437\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u044b\u0435 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cbeta\" alt=\"\\inline \\beta\"\/> \u0438 <img decoding=\"async\" src=\"https:\/\/tex.s2cms.ru\/svg\/%5Cinline%20%5Cgamma\" alt=\"\\inline \\gamma\"\/> \u0432 \u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445. \u0414\u0430\u0436\u0435 \u043f\u0440\u0435\u043f\u043e\u0434\u0430\u0432\u0430\u0442\u0435\u043b\u0438 \u043d\u0430 \u043a\u0443\u0440\u0441\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043d\u0435 \u0437\u0430\u043e\u0441\u0442\u0440\u044f\u044e\u0442 \u043d\u0430 \u044d\u0442\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u042f \u0431\u044b \u0445\u043e\u0442\u0435\u043b \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u043a \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0432 \u0440\u0443\u043d\u0435\u0442\u0435 \u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c\u0441\u044f \u0432\u0430\u043c \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 <a href=\"http:\/\/lasagne.readthedocs.io\/en\/latest\/modules\/updates.html\">\u043f\u0430\u043a\u0435\u0442\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/a>. \u041d\u0430\u0434\u0435\u044e\u0441\u044c, \u043c\u043e\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u043b\u044e\u0434\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0445\u043e\u0442\u044f\u0442 \u0443\u0433\u043b\u0443\u0431\u0438\u0442\u044c \u0441\u0432\u043e\u0451 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0438\u0437\u043e\u0431\u0440\u0435\u0441\u0442\u0438 \u0447\u0442\u043e-\u0442\u043e \u0441\u0432\u043e\u0451.<\/p>\n<p>  <\/p>\n<p><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/files\/93c\/2ee\/e3f\/93c2eee3fad440a8b8204befec4b06bf.jpg\" alt=\"image\"\/><\/p>\n<p>  <\/p>\n<p>\u041f\u043e\u0434 \u043a\u0430\u0442\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0430\u043d\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 gif.<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-283391","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/283391","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=283391"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/283391\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=283391"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=283391"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=283391"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}