{"id":326744,"date":"2021-07-20T15:01:11","date_gmt":"2021-07-20T15:01:11","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=326744"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=326744","title":{"rendered":"\u041a\u043e\u043f\u043d\u0451\u043c \u043f\u043e\u0433\u043b\u0443\u0431\u0436\u0435: \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441 \u043c\u0435\u043d\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438"},"content":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/d9\/52\/w3\/d952w3prrtppnr_z-g0pdt4dsm4.jpeg\"><\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041c\u0430\u0440\u0438\u044f \u0411\u0435\u043b\u044f\u043b\u043e\u0432\u0430, \u0438 \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c data science \u0432 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u043e\u043c \u0444\u043e\u0442\u043e\u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0435 Prequel.<\/p>\n<p>  \u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0448 \u0446\u0438\u043a\u043b \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432 \u0441\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u041f\u043e\u043c\u0438\u043c\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u0432\u043d\u043e \u0437\u0430\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043b\u0438 \u0441\u0435\u0431\u044f, \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438 \u043c\u0435\u043d\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u043e\u0432\u044b\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <a href=\"https:\/\/github.com\/facebookresearch\/madgrad\">MADGRAD<\/a>, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u0432 Facebook \u0432 \u044d\u0442\u043e\u043c \u0433\u043e\u0434\u0443. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043e\u043d\u0438 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u043e \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044e \u0446\u0438\u0444\u0440 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 MNIST, \u0430 \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432 \u0431\u043e\u044e \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0430.<br \/>  <a name=\"habracut\"><\/a><br \/>  \u041c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c\u043e\u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0439. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043d\u0435 \u0447\u0442\u043e \u0438\u043d\u043e\u0435, \u043a\u0430\u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043d\u0435\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0438 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0440\u0435\u0434\u043a\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0448\u0430\u044e\u0442\u0441\u044f \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e. \u0427\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u043f\u043e\u0434\u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u044f\u043c\u044b\u0435 \u0438 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435. \u041f\u0440\u044f\u043c\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u2014 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u0418\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u2014 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u0435\u043b \u043f\u0440\u0438 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0438 \u0447\u0438\u0441\u043b\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 <i>n<\/i> \u043a \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u0438. \u041f\u0440\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 <i>n<\/i> \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.\u00a0<\/p>\n<p>  \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b (\u0430 \u0442\u0430\u043a\u0436\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u0431\u043e\u043b\u0435\u0435 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u041c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0443\u0436\u0435 \u0437\u043d\u0430\u0435\u0442, <a href=\"https:\/\/www.youtube.com\/watch?v=IHZwWFHWa-w\">\u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430<\/a>.\u00a0<\/p>\n<p>  \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u0441\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0442\u0435\u043c\u0438 \u0438\u043b\u0438 \u0438\u043d\u044b\u043c\u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0430\u043c\u0438 (\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0434\u0430\u043b\u044c\u0448\u0435). \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u0440\u044f\u0434 \u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0441\u0440\u0435\u0434\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a Adam, SGD \u0438 RMSprop, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0430\u0445 \u0434\u043b\u044f \u0433\u043b\u0443\u0431\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.\u00a0 \u0412 \u0441\u0432\u043e\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u0441\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0432\u043e \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0435 <a href=\"https:\/\/pytorch.org\/docs\/master\/optim.html\">PyTorch<\/a>, \u0432\u0441\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0438\u0437 \u043f\u0430\u043a\u0435\u0442\u0430 <a href=\"https:\/\/github.com\/jettify\/pytorch-optimizer\">torch-optimizer<\/a>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <a href=\"https:\/\/github.com\/facebookresearch\/madgrad\">MADGRAD<\/a> \u043e\u0442 Facebook \u2014 \u0438\u0442\u043e\u0433\u043e 39 \u0448\u0442\u0443\u043a.<\/p>\n<h3>\u041f\u043e\u0447\u0435\u043c\u0443 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u0430\u043a \u043c\u043d\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438?<\/h3>\n<p>  \u041c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0434\u0432\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433, \u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435, \u0430 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0433\u0435\u0441\u0441\u0438\u0430\u043d \u0438\u043b\u0438 \u0435\u0433\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e. \u041a \u043c\u0435\u0442\u043e\u0434\u0430\u043c \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, L-BFGS, Shampoo, Adahessian, Apollo. \u0421 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u043c\u043e\u0449\u043d\u0435\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u0438 \u0447\u0430\u0441\u0442\u043e \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u043b\u0443\u0447\u0448\u0435\u0439 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c\u044e. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043c\u043d\u043e\u0433\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0435 \u0438 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438 (<a href=\"https:\/\/arxiv.org\/abs\/2002.09018\">\u043d\u043e \u043d\u0435 \u0432\u0441\u0435<\/a>). \u041f\u043e \u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435 \u043e\u043d\u0438 <a href=\"https:\/\/stats.stackexchange.com\/questions\/394083\/why-second-order-sgd-convergence-methods-are-unpopular-for-deep-learning\">\u0440\u0435\u0434\u043a\u043e<\/a> \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<p>  \u0412 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u044b \u043f\u043e\u0438\u0441\u043a\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c. \u0412 \u0442\u0430\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0439 learning rate. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 SGD-\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 (\u0442\u0430\u043a\u0438\u0445, \u043a\u0430\u043a SGD c \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 learning rate \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432), \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442 \u0441\u0432\u043e\u0439 learning rate \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430. \u041a \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u0430\u043c \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f Adam, Adagrad, AdaDelta, RMSProp. \u041e\u0431\u044b\u0447\u043d\u043e \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435, \u043d\u043e \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 <a href=\"https:\/\/arxiv.org\/abs\/1705.08292\">\u0445\u0443\u0434\u0448\u0435\u0439 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e<\/a> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430\u0445, \u043a\u0430\u043a ImageNet). \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b (AdaBound, AdaBelief, SWATS) \u043f\u044b\u0442\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u043e\u0431\u043e\u0438\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432. \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0434\u043b\u044f \u0431\u044b\u0441\u0442\u0440\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c \u0431\u0430\u0442\u0447\u0430, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a <a href=\"https:\/\/sramesh.me\/lars-lamb-optimizers\/\">LARS \u0438 LAMB<\/a>. \u0427\u0430\u0441\u0442\u043e \u0441\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u043c\u0435\u0442\u043e\u0434 \u0445\u043e\u0440\u043e\u0448 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043f\u043b\u043e\u0445\u043e, \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u044e\u0442 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u044d\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443 LARS \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0435\u0440\u0444\u043e\u043c\u0430\u043d\u0441 \u043d\u0430 BERT, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043b\u0438 LAMB). \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u0435\u0442\u0430-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <a href=\"https:\/\/www.youtube.com\/watch?v=TxGxiDK0Ccc&amp;t=204s\">Lookahead<\/a>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0435\u0440\u0442\u043a\u043e\u0439 \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041e\u043d \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0432\u044b\u044f\u0432\u0438\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0434\u0432\u0438\u0433\u0430\u043b\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 <i>k<\/i> \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0448\u0430\u0433 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u043e\u0442 \u0432\u0435\u0441\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u043d\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 <i>n<\/i>, \u043a \u0432\u0435\u0441\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u043d\u0430 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 <i>n + k<\/i>.<\/p>\n<p>  \u0422\u0430\u043a \u043a\u0430\u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0432\u0435\u043b\u0438\u043a\u043e, \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0440\u0430\u0437\u0431\u043e\u0440\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445.<\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0421\u0441\u044b\u043b\u043a\u0438 \u043d\u0430 \u0441\u0442\u0430\u0442\u044c\u0438 \u0441 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/b>                         <\/p>\n<div class=\"spoiler_text\">\n<div class=\"scrollable-table\">\n<table>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/2101.11075\">MADGRAD<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1212.5701\">Adadelta<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/jmlr.org\/papers\/v12\/duchi11a.html\">Adagrad<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1412.6980\">Adam<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1711.05101\">AdamW<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1412.6980\">Adamax<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/dl.acm.org\/doi\/10.1137\/0330046\">ASGD<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"http:\/\/citeseerx.ist.psu.edu\/viewdoc\/summary?doi=10.1.1.7.381\">LBFGS<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/www.cs.toronto.edu\/~tijmen\/csc321\/slides\/lecture_slides_lec6.pdf\">RMSprop<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/www.cs.cmu.edu\/~bhiksha\/courses\/deeplearning\/Fall.2016\/pdfs\/Rprop.pdf\">Rprop<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/projecteuclid.org\/journals\/annals-of-mathematical-statistics\/volume-22\/issue-3\/A-Stochastic-Approximation-Method\/10.1214\/aoms\/1177729586.full\">SGD<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1810.00553\">A2GradExp<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1810.00553\">A2GradInc<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1810.00553\">A2GradUni<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1803.05591\">AccSGD<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/2010.07468\">AdaBelief<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1902.09843\">AdaBound<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1910.12249\">AdaMod<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1804.04235\">Adafactor<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/2006.00719\">Adahessian<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/2006.08217\">AdamP<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1804.00325\">AggMo<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/2009.13586\">Apollo<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1909.11015\">DiffGrad<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1904.00962\">Lamb<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1907.08610\">Lookahead<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1905.11286\">NovoGrad<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/www4.comp.polyu.edu.hk\/~cslzhang\/paper\/CVPR18_PID.pdf\">PID<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1810.06801\">QHAdam<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1810.06801\">QHM<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1908.03265\">RAdam<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/medium.com\/@lessw\/new-deep-learning-optimizer-ranger-synergistic-combination-of-radam-lookahead-for-the-best-of-2dc83f79a48d\">Ranger<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1810.06801\">RangerQH<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1908.00700v2\">RangerVA<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/2006.08217\">SGDP<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1608.03983\">SGDW<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1712.07628\">SWATS<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/arxiv.org\/abs\/1802.09568\">Shampoo<\/a><\/td>\n<\/tr>\n<tr>\n<td><a href=\"https:\/\/papers.nips.cc\/paper\/8186-adaptive-methods-for-nonconvex-optimization\">Yogi<\/a><\/td>\n<\/tr>\n<\/table>\n<\/div>\n<p>  <\/div>\n<\/p><\/div>\n<h3>\u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445<\/h3>\n<p>  \u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0446\u0435\u043b\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Test_functions_for_optimization\">\u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439<\/a>, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u043e\u043c \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0435. \u0422\u0435\u0441\u0442\u044b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0441\u043b\u0430\u0431\u044b\u0435 \u043c\u0435\u0441\u0442\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445 \u0441 \u0441\u0435\u0434\u043b\u043e\u0432\u044b\u043c\u0438 \u0442\u043e\u0447\u043a\u0430\u0445, \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430\u0445, \u0432 \u0434\u043e\u043b\u0438\u043d\u0430\u0445. \u0414\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0434\u0432\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u2014 \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430 \u0438 \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430. \u041a\u043e\u0434 \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u0432\u0437\u044f\u0442 \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f <a href=\"https:\/\/github.com\/jettify\/pytorch-optimizer\">torch-optimizer<\/a>.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/if\/qh\/6e\/ifqh6elmoqc4-7pysofitxctary.png\" width=\"30%\" align=\"left\"><a href=\"https:\/\/en.wikipedia.org\/wiki\/Rosenbrock_function\">\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430<\/a> \u2014 \u044d\u0442\u043e \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/2o\/4k\/1i\/2o4k1itsj4hpwa-qnbdie0rgzri.gif\" width=\"30%\">. \u0412 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pt\/xx\/mx\/ptxxmxw-qrjl6bkqniqcdiq5rtq.gif\" width=\"15%\">.<br \/>  \u0423 \u043d\u0435\u0451 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0432 \u0442\u043e\u0447\u043a\u0435 <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/kn\/se\/8i\/knse8ibsjlpdlfui9zhfhu3ogka.gif\" width=\"15%\">. \u041e\u043d \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0434\u043b\u0438\u043d\u043d\u043e\u0439, \u0443\u0437\u043a\u043e\u0439, \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043b\u043e\u0441\u043a\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u0435. \u0414\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u0430\u043c\u0443 \u0434\u043e\u043b\u0438\u043d\u0443 \u043d\u0430\u0439\u0442\u0438 \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u043e, \u0430 \u0432\u043e\u0442 \u0441\u043e\u0439\u0442\u0438\u0441\u044c \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443 \u0441\u043b\u043e\u0436\u043d\u043e.<br \/>  <br clear=\"left\">  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/hx\/9r\/xf\/hx9rxfoko8qold343rwd-olu2dg.jpeg\" width=\"30%\" align=\"left\"><a href=\"https:\/\/en.wikipedia.org\/wiki\/Rastrigin_function\">\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430<\/a> \u2014 \u044d\u0442\u043e \u043d\u0435\u0432\u044b\u043f\u0443\u043a\u043b\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f,<br \/>  \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 <i>n<\/i>-\u043c\u0435\u0440\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gs\/8r\/hd\/gs8rhdjtwxrh8arkaijrzzfpeuu.gif\" width=\"30%\">, \u0433\u0434\u0435 <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ts\/8o\/kp\/ts8okpk-3pctpf9pvz00dzk1a6e.gif\" width=\"23%\">. \u0423 \u043d\u0435\u0451 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0432 \u0442\u043e\u0447\u043a\u0435 <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/p0\/za\/rv\/p0zarvpdvp-bkbn9wgyamobh9iw.gif\" width=\"8%\"> (\u043d\u0438\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439 \u0434\u043b\u044f <i>n = 2<\/i>). \u042d\u0442\u043e\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0441\u043b\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0438\u0437-\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u043f\u043e\u0438\u0441\u043a\u0430 \u0438 \u0438\u0437-\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u043e\u0432.<br \/>  <br clear=\"left\">  \u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438, \u0447\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0432\u0441\u0435\u0445 39 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0432\u0441\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0443. \u0422\u0430\u043a \u043a\u0430\u043a \u0432 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445 \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0442\u043e\u0447\u043a\u0443 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u0442\u043e \u044d\u0442\u0438\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u043c \u0441\u0442\u0430\u043b\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u0442\u043e\u0447\u043a\u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430. \u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445. \u041a\u0440\u0430\u0441\u043d\u043e\u0439 \u043b\u0438\u043d\u0438\u0435\u0439 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d \u043f\u0443\u0442\u044c, \u0437\u0435\u043b\u0435\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u043e\u0439 \u2014\u00a0 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0430 \u0441\u0438\u043d\u044f\u044f \u0442\u043e\u0447\u043a\u0430 \u2014 \u0442\u043e\u0447\u043a\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<ol>\n<li><b>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u043b\u0438\u0441\u044c \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443<\/b>. \u0414\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430 \u044d\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 0.3, \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430 \u2014 \u043c\u0435\u043d\u044c\u0448\u0435 0.2 \u2014 \u0442\u0435, \u0447\u0442\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u0430 \u043d\u0435 \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0445.\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qi\/sx\/h6\/qisxh64h82sp9zbddgw7hkzocrs.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sp\/5b\/3x\/sp5b3x5y3mgcwyikrgfjmqupzvy.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<li><b>\u041f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u043b\u0438\u0441\u044c \u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0443. <\/b>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430: \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u043f\u0435\u0440\u0435\u0433\u0438\u0431 \u0432 \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u0435, \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430: \u0441\u043c\u043e\u0433\u043b\u0438 \u0443\u0439\u0442\u0438 \u0434\u0430\u043b\u044c\u0448\u0435 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u0433\u043e \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430.\n<p>  a. \u041f\u0440\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u043c\u0438\u043c\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430, \u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u043d\u0435 \u0432 \u043d\u0451\u043c.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/_y\/z6\/iw\/_yz6iw67hvu_szhowrsetpbi2_0.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rl\/h_\/3-\/rlh_3-qsn_dks0cozqqlyznkpgu.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  b. \u041d\u0435 \u0434\u043e\u0445\u043e\u0434\u0438\u043b\u0438 \u0434\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/vq\/in\/d2\/vqind2esir-pbn9oll4uy3x6c2u.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/_h\/4y\/hu\/_h4yhu8jm2bakvrgo9udn7uglcc.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<li><b>\u041d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u0434\u0430\u043b\u0435\u043a\u043e \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044c\u0441\u044f.<\/b> \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430: \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0442\u044c \u043f\u0435\u0440\u0435\u0433\u0438\u0431 \u0432 \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043b\u0438\u043d\u0435, \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430: \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0432 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0435\u043c \u043a \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e\u043c \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0435.\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/6c\/e_\/pv\/6ce_pvmozdzhcpit93fxamcjxfc.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/eu\/bz\/8l\/eubz8ldiqlor-ynqkj_djlcf4xa.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<\/ol>\n<p>  \u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 learning rate \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0445\u043e\u0434\u0438\u043b\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <a href=\"https:\/\/optunity.readthedocs.io\/en\/latest\/user\/solvers\/TPE.html\">Tree-Structured Parzen Estimators<\/a> (TPE), \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 <a href=\"https:\/\/github.com\/hyperopt\/hyperopt\/wiki\/FMin\">hyperopt<\/a>. \u042d\u0442\u043e\u043c\u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0443 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u043b\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430, \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u0435 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043c\u043e\u0447\u044c TPE \u043d\u0430\u0439\u0442\u0438 \u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0441\u043e\u0439\u0434\u0435\u0442\u0441\u044f \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0432\u0441\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0434\u0435\u043b\u0430\u044e\u0442 501 \u0448\u0430\u0433.<\/p>\n<p>  \u041d\u0438\u0436\u0435 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0430\u0445 \u0443\u043a\u0430\u0437\u0430\u043d\u043e, \u0432 \u043a\u0430\u043a\u0438\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u043f\u0430\u043b\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b. \u0417\u0435\u043b\u0435\u043d\u044b\u043c \u0446\u0432\u0435\u0442\u043e\u043c \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u044b \u0442\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0447\u0442\u043e \u0434\u043b\u044f \u043e\u0431\u0435\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u043f\u0430\u043b\u0438 \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u0433\u0440\u0443\u043f\u043f\u0443, \u0436\u0435\u043b\u0442\u044b\u043c \u2014 \u0432\u043e \u0432\u0442\u043e\u0440\u0443\u044e, \u043a\u0440\u0430\u0441\u043d\u044b\u043c \u2014 \u0432 \u0442\u0440\u0435\u0442\u044c\u044e. \u0417\u0434\u0435\u0441\u044c \u0432\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0435\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445: \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0443\u043d\u0438\u043a\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u043b\u0435\u043d\u044b \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0446\u0435\u043b\u0435\u0439, \u0438\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f (learning rate schedule).<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/f4\/pd\/a3\/f4pda3rf0z5rvbyv6pnrw5d4faa.png\"><\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ln\/yn\/zp\/lnynzpe9tx1itfo4irkwsfa5qq8.png\"><\/p>\n<div class=\"spoiler\" role=\"button\" tabindex=\"0\">                         <b class=\"spoiler_title\">\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u043e\u0442 \u0442\u043e\u0447\u0435\u043a \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043e \u0442\u043e\u0447\u0435\u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430 \u0438 \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430<\/b>                         <\/p>\n<div class=\"spoiler_text\">\u0412 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u043d\u0438\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0442 \u0442\u043e\u0447\u0435\u043a \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430 \u0434\u043e \u0442\u043e\u0447\u0435\u043a \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430 \u0438 \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430: \u0435\u0432\u043a\u043b\u0438\u0434\u043e\u0432\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e. \u041a\u0430\u0436\u0434\u044b\u0439 \u0441\u0442\u043e\u043b\u0431\u0435\u0446 \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d \u0442\u0435\u043f\u043b\u043e\u0432\u043e\u0439 \u043a\u0430\u0440\u0442\u043e\u0439: \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u043e\u043d\u043e \u043a \u0437\u0435\u043b\u0451\u043d\u043e\u043c\u0443, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u0442\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u043e\u043d\u043e \u043a \u043a\u0440\u0430\u0441\u043d\u043e\u043c\u0443. \u0414\u043b\u044f \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043f\u043b\u043e\u0432\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043f\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c \u0432\u043d\u0443\u0442\u0440\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u0431\u0446\u0430, \u0430 \u043d\u0435 \u043f\u043e \u0432\u0441\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435. \u0426\u0432\u0435\u0442\u043e\u043c \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u044b \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043f\u043e \u0442\u043e\u043c\u0443 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0443, \u0447\u0442\u043e \u0438 \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u0435.<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xa\/sg\/zs\/xasgzszlqsj7xckpirvx2djaxbc.png\"><br \/>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wz\/a4\/ai\/wza4ain9cfbpmwc7l2q3foe3-ya.png\">  <\/div>\n<\/p><\/div>\n<p>  \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c, \u043a\u0430\u043a \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u043f\u0440\u0435\u043e\u0434\u043e\u043b\u0435\u0432\u0448\u0438\u0435 \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0438\u0439 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430:<\/p>\n<ul>\n<li>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0443\u0434\u0435\u043b\u044f\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442 (\u0441\u043c. \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0441 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u043f\u043e \u0445 \u0438 \u043f\u043e y \u0434\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430), \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, AggMo, Apollo, MADGRAD, NovoGrad, Lookahead(Yogi):\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qi\/zx\/3r\/qizx3rbvi1mg7rowlvn6keloaji.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ia\/dt\/kb\/iadtkbphbe4z1-uuwrveafxihrw.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/xp\/47\/eo\/xp47eodmpxh3wttfp3qw08pmsku.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/_h\/4y\/hu\/_h4yhu8jm2bakvrgo9udn7uglcc.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/uv\/y1\/kl\/uvy1klvwfd_hrc9f9mowmtmkzng.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<li>\u0414\u0440\u0443\u0433\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u0440\u0430\u0437\u0443 \u043f\u043e \u043e\u0431\u0435\u0438\u043c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u0430\u043c, \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043c\u0438\u043d\u0443\u044f \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u044b. \u041f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f AdaBelief, AdaBound, QHAdam, RAdam, Adamax, Yogi (\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e Yogi \u0441 \u043c\u0435\u0442\u0430-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c Lookahead \u0441\u0442\u0430\u043b \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0432\u0434\u043e\u043b\u044c \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442, \u043d\u043e \u0437\u0430\u0442\u043e \u0441\u043c\u043e\u0433 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430):\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/06\/dx\/kr\/06dxkr7lutdzu-oqbqfsjtbjwio.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/9g\/qi\/gt\/9gqigtpqpzkhuljfgve3ztzeqoo.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/sp\/5b\/3x\/sp5b3x5y3mgcwyikrgfjmqupzvy.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/dq\/62\/zl\/dq62zl6x02t7p8iqcgz9fbqc7d8.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/up\/fz\/yg\/upfzyg-q_jzjvmad8q9jycgyhxy.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/nf\/rh\/w7\/nfrhw7v8rsfvj3w32lpy5umqq34.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<li>\u0427\u0430\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 (QHM, ASGD, RMSProp) \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0445\u0430\u043e\u0442\u0438\u0447\u043d\u043e:\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/7v\/mq\/_o\/7vmq_oymg812ny3eh8ovf-0t9a4.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wv\/qs\/4j\/wvqs4jgnbdqqhoblb9fuor8xm34.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qt\/1a\/gr\/qt1agrlhjqkwrsqi4mhfprkbw-o.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<li>\u041e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u043e\u0432\u043c\u0435\u0449\u0430\u044e\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0438 \u043f\u0435\u0440\u0432\u0443\u044e, \u0438 \u0432\u0442\u043e\u0440\u0443\u044e \u0442\u0435\u043d\u0434\u0435\u043d\u0446\u0438\u044e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Adam \u0438 AdamW:\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/uw\/ft\/nx\/uwftnxgj49j6rnqfi-ywrgvbbfg.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/rl\/h_\/3-\/rlh_3-qsn_dks0cozqqlyznkpgu.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <\/li>\n<\/ul>\n<p>  \u041d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0420\u043e\u0437\u0435\u043d\u0431\u0440\u043e\u043a\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u0434\u043e\u0441\u0442\u0438\u0433\u0448\u0438\u0445 \u043b\u0443\u0447\u0448\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u043e\u0441\u0446\u0438\u043b\u043b\u0438\u0440\u0443\u044e\u0442 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435, \u0430 \u043f\u043e\u0442\u043e\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u0435\u0435:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/4a\/xg\/-s\/4axg-sf5yaebjcsmx55cce19f14.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/pf\/q9\/lt\/pfq9lth0ha84s4hvkqfe7jwep7g.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  \u0422\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0442\u0430\u043a:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/fy\/ol\/gl\/fyolglqrpv1q7wn5_oa_0sogavk.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/tf\/no\/ue\/tfnoueejxckqy7ksz6yl79cdgcc.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/yq\/hc\/jf\/yqhcjfpxu-9it3-qsiy4asfgiky.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  \u0421\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 LBFGS (\u043f\u0435\u0440\u0432\u044b\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u0442\u0440\u0430\u043d\u043d\u043e \u0438\u0437-\u0437\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430, \u043d\u043e \u0432 \u0438\u0442\u043e\u0433\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0430\u0448\u0435\u043b \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438):<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/kf\/-o\/x2\/kf-ox21lq4nw_-m4ik6irudfg-s.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/mz\/83\/pp\/mz83ppenfu74n8wf3xecae77frm.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 Adahessian, Apollo \u0438 Shampoo \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e:<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/wa\/8u\/cy\/wa8ucywmm4hiy8kwiptwz0obmbe.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/t6\/38\/jq\/t638jq3kqkhzwcysa9vipy3u8ke.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/-r\/ra\/jf\/-rrajfmxbvn3iepmt8g8m7s3jpg.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ia\/dt\/kb\/iadtkbphbe4z1-uuwrveafxihrw.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/i2\/tn\/mw\/i2tnmwl3g75ujy6-3qxqdogbbla.png\" width=\"30%\" align=\"left\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/qj\/nr\/a6\/qjnra6keq0cke2gvn7fywmfxuig.png\" width=\"30%\" align=\"left\"><br \/>  <br clear=\"left\">  \u041c\u043d\u043e\u0433\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0430. \u041b\u0438\u0448\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441\u043c\u043e\u0433\u043b\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u043e\u0431\u0435\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445: AdaBelief, AdaBound, Adahessian, Adam. \u0412\u0441\u0435 \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435. \u0421\u0440\u0435\u0434\u0438 \u043d\u0438\u0445 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043c\u0435\u0442\u043e\u0434 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, Adahessian.\u00a0<\/p>\n<p>  \u041e\u0434\u043d\u0430\u043a\u043e, \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u041e\u043d\u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0441\u0442\u0438 \u0441\u0435\u0431\u044f \u0442\u043e\u0442 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0433\u043e\u0440\u0430\u0437\u0434\u043e \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u0441\u0440\u0435\u0434\u0435: \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 \u0432\u044b\u0448\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0432 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u0448\u0435. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043d\u043e\u0432\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c MADGRAD \u043d\u0435 \u0441\u043c\u043e\u0433 \u0434\u043e\u0439\u0442\u0438 \u0434\u043e \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0420\u0430\u0441\u0442\u0440\u0438\u0433\u0438\u043d\u0430, \u043d\u043e, \u0432 \u0446\u0435\u043b\u043e\u043c, \u0432\u0435\u0434\u0451\u0442 \u0441\u0435\u0431\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e.<\/p>\n<p>  \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0431\u043e\u0442\u0443 \u0440\u0430\u0437\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447. \u0421\u043f\u0430\u0441\u0438\u0431\u043e \u0437\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435!<\/p><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/prequel\/blog\/568496\/\"> https:\/\/habr.com\/ru\/company\/prequel\/blog\/568496\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html post__text_v1\" id=\"post-content-body\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/d9\/52\/w3\/d952w3prrtppnr_z-g0pdt4dsm4.jpeg\"><\/p>\n<p>  \u041f\u0440\u0438\u0432\u0435\u0442, \u0425\u0430\u0431\u0440! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u041c\u0430\u0440\u0438\u044f \u0411\u0435\u043b\u044f\u043b\u043e\u0432\u0430, \u0438 \u044f \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0441\u044c data science \u0432 \u043c\u043e\u0431\u0438\u043b\u044c\u043d\u043e\u043c \u0444\u043e\u0442\u043e\u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440\u0435 Prequel.<\/p>\n<p>  \u042d\u0442\u0430 \u0441\u0442\u0430\u0442\u044c\u044f \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u0430\u0448 \u0446\u0438\u043a\u043b \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u043e\u0432 \u0441\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439. \u041f\u043e\u043c\u0438\u043c\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u0432\u043d\u043e \u0437\u0430\u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u043e\u0432\u0430\u043b\u0438 \u0441\u0435\u0431\u044f, \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438 \u043c\u0435\u043d\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u043e\u0432\u044b\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <a href=\"https:\/\/github.com\/facebookresearch\/madgrad\">MADGRAD<\/a>, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0439 \u0432 Facebook \u0432 \u044d\u0442\u043e\u043c \u0433\u043e\u0434\u0443. \u0412 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u044f\u0445, \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u2014 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043e\u043d\u0438 \u0432\u0435\u0434\u0443\u0442 \u0441\u0435\u0431\u044f \u043d\u0430 \u0438\u0433\u0440\u0443\u0448\u0435\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u043e \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044e \u0446\u0438\u0444\u0440 \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 MNIST, \u0430 \u0432 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u2014 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432 \u0431\u043e\u044e \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0430.  <\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-326744","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/326744","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=326744"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/326744\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=326744"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=326744"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=326744"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}