{"id":427353,"date":"2024-07-25T21:42:21","date_gmt":"2024-07-25T21:42:21","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=427353"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=427353","title":{"rendered":"<span>Neural ODE<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab0\/e8f\/939\/ab0e8f939ce98ec26bac9ca569f612d5.gif\" alt=\"\u0410\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u00a0\u041b\u043e\u0440\u0435\u043d\u0446\u0430\" title=\"\u0410\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u00a0\u041b\u043e\u0440\u0435\u043d\u0446\u0430\" width=\"400\" height=\"280\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab0\/e8f\/939\/ab0e8f939ce98ec26bac9ca569f612d5.gif\"\/><\/p>\n<div><figcaption>\u0410\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u00a0\u041b\u043e\u0440\u0435\u043d\u0446\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0438\u0434\u0435\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 (Neural ODEs) &#8212; \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u043c\u0435\u0442\u043e\u0434\u044b \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438. Neural ODEs \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u0447\u0442\u043e \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. <\/p>\n<p>\u041f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u0441\u043b\u0443\u0447\u0430\u0435\u043c, \u043e\u0441\u0442\u0430\u0432\u043b\u044e \u0441\u0441\u044b\u043b\u043a\u0443 \u043d\u0430 \u0441\u0432\u043e\u0439 \u043a\u0430\u043d\u0430\u043b &#8212; <a href=\"https:\/\/t.me\/notmagicneuralnetworks\" rel=\"noopener noreferrer nofollow\">notmagicneuralnetworks<\/a> \u2728<\/p>\n<h2>1. \u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f<\/h2>\n<h4>1.1. ResNet<\/h4>\n<p>P\u0430\u043d\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0441\u043e\u0441\u0442\u043e\u044f\u043b\u0438 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439. \u0414\u0430\u0436\u0435 \u043d\u0435 \u0432 \u043e\u0447\u0435\u043d\u044c \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0441\u0435\u0442\u044f\u0445 \u043e\u0441\u0442\u0440\u043e \u0441\u0442\u043e\u044f\u043b\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 (vanishing gradients problem): \u043a\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432, \u043e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432\u0435\u0441\u0430 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438 \u043d\u0435 \u0443\u0447\u0430\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u0447\u0442\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u0438\u043b\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0441\u0442\u043e\u0438\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma(x) = \\frac{1}{1 + e^{-x}}\" alt=\"\\sigma(x) = \\frac{1}{1 + e^{-x}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b0\/433\/324\/8b04333248f60219501d3ed7afb6b2de.svg\" width=\"132\" height=\"43\"\/>. \u0412\u043e \u0432\u0440\u0435\u043c\u044f back propagation \u0438\u0449\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma'(x) = \\sigma(x)(1 \u2212  \\sigma(x))\" alt=\"\\sigma'(x) = \\sigma(x)(1 \u2212  \\sigma(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/29f\/35f\/1d8\/29f35f1d8fe53b9a17ddbc80fab80467.svg\" width=\"191\" height=\"23\"\/>. \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u043d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/913\/434\/566\/9134345667c12043682b9746aca26f97.png\" alt=\"\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f\" title=\"\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f\" width=\"2660\" height=\"1196\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/913\/434\/566\/9134345667c12043682b9746aca26f97.png\"\/><\/p>\n<div><figcaption>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0435\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"0.25\" alt=\"0.25\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/646\/eb3\/26e\/646eb326ed6e67b3478223707cec6c4e.svg\" width=\"34\" height=\"16\"\/>. \u0415\u0441\u043b\u0438 \u0441\u043b\u043e\u0435\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e, \u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u043e\u0447\u0442\u0438 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e. \u042d\u0442\u043e \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 (vanishing gradients problem).<\/p>\n<\/div>\n<\/details>\n<p>\u0421 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0431\u043e\u0440\u043e\u043b\u0438\u0441\u044c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u0432 VGG \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u043e\u0441\u043e\u0431\u044b\u0435 \u0441\u0445\u0435\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 GoogLeNet \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0427\u0443\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/%D0%98%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F%20%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%20Computer%20Vision\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>. <\/p>\n<p>\u0412 2015 \u0433\u043e\u0434\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0438\u0437\u00a0\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Microsoft\u00a0\u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c Residual neural network (\u0438\u043b\u0438 ResNet). \u041e\u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043b\u0430 \u0438\u0437 residual block (residual connection, skip connection), \u0433\u0434\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438 (\u0431\u043b\u043e\u043a\u0438) \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0441 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0431\u043b\u043e\u043a\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c1b\/026\/c7e\/c1b026c7ea18687454457367c3980b76.png\" width=\"1596\" height=\"612\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1b\/026\/c7e\/c1b026c7ea18687454457367c3980b76.png\"\/><\/figure>\n<p>Residual Block \u0432 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438:<strong> <\/strong><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x_t = x_{t-1} + f(x_{t-1})\" alt=\"x_t = x_{t-1} + f(x_{t-1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf3\/19c\/c68\/bf319cc6891fc70a4fdfcd3db9c10c8d.svg\" width=\"163\" height=\"22\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_{t-1}\" alt=\"x_{t-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ee\/0d2\/b34\/9ee0d2b34f4901a503710f79eb542a7d.svg\" width=\"35\" height=\"16\"\/>&#8212; \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u044f, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/208\/533\/fa7\/208533fa707eb0b0573c86f3579a0925.svg\" width=\"11\" height=\"20\"\/>&#8212; \u0441\u043b\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_{t}\" alt=\"x_{t}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ca\/9b0\/0ff\/4ca9b00ff98a31f0b3d3e5f23d7ea30b.svg\" width=\"18\" height=\"15\"\/>&#8212; \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<pre><code class=\"python\">def f(x, t, theta):   return nnet(z, theta[t]))  def resnet(x, theta):   for t in [1:T]:     x = x + f(x, t, theta)   return x<\/code><\/pre>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0430\u043a\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u043a\u0438\u0434\u044b\u0432\u0430\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438, ResNet \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. <\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 Residual Block \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\frac{dL}{dx} = \\frac{dL}{d\\varphi} \\frac{d\\varphi}{dx} = \\frac{dL}{d\\varphi} \\left(1 + f'(x) \\right)\" alt=\"\\frac{dL}{dx} = \\frac{dL}{d\\varphi} \\frac{d\\varphi}{dx} = \\frac{dL}{d\\varphi} \\left(1 + f'(x) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e9\/0b9\/7a6\/5e90b97a64f1774267132313dda7cda8.svg\" width=\"262\" height=\"47\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varphi = x + f(x)\" alt=\"\\varphi = x + f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/66c\/ccc\/c3d\/66ccccc3d6e2c7043296664b4eb0750a.svg\" width=\"110\" height=\"22\"\/><\/p>\n<p>\u0447\u0442\u043e \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u043d\u0435 \u0437\u0430\u0442\u0443\u0445\u0430\u0442\u044c. <\/p>\n<h4>1.2. Euler method<\/h4>\n<p>\u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c ResNet \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u043c\u0435\u0442\u043e\u0434 \u042d\u0439\u043b\u0435\u0440\u0430 &#8212; \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 (\u041e\u0414\u0423) \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{dx}{dt} = f(x(t), t), \\quad x(t_0) = x_0\" alt=\"\\frac{dx}{dt} = f(x(t), t), \\quad x(t_0) = x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb0\/7eb\/fec\/eb07ebfec8c6e2b43fa543774df6256d.svg\" width=\"243\" height=\"43\"\/><\/p>\n<p>\u041d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/895\/212\/2c1\/8952122c1c0ee45f5b962010b74fada2.svg\" width=\"14\" height=\"17\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(T)\" alt=\"x(T)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ddc\/f13\/b94\/ddcf13b94fa6d6a34f72bb92dd0dfcf3.svg\" width=\"40\" height=\"22\"\/>.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u042d\u0439\u043b\u0435\u0440\u0430, \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043e\u0442\u0440\u0435\u0437\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"[t_0, T]\" alt=\"[t_0, T]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dc5\/d39\/db2\/dc5d39db288db0623e6c121b6cf909d3.svg\" width=\"49\" height=\"22\"\/>\u043d\u0430 \u0440\u0430\u0432\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0438. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h = t_n - t_{n-1}\" alt=\"h = t_n - t_{n-1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/703\/c3c\/136\/703c3c13679216dd30f4296efb9d25a5.svg\" width=\"112\" height=\"21\"\/> &#8212; \u0448\u0430\u0433 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0442\u0440\u0435\u0437\u043a\u0430. \u0422\u043e\u0433\u0434\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t_0 &lt; t_1 &lt; t_2 &lt; ... &lt; T\" alt=\"t_0 &lt; t_1 &lt; t_2 &lt; ... &lt; T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/91d\/cf0\/46b\/91dcf046b6952b362d8ce1961340b7c1.svg\" width=\"179\" height=\"20\"\/>&#8212; \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0437\u043b\u0430\u043c\u0438.  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0448\u0430\u0433 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u041e\u0414\u0423 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u042d\u0439\u043b\u0435\u0440\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x(t_{i+1}) = x(t_{i}) + h f(x(t_i), t_i)\" alt=\"x(t_{i+1}) = x(t_{i}) + h f(x(t_i), t_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/801\/f05\/f75\/801f05f7553b71aeb081de671aba65e5.svg\" width=\"245\" height=\"22\"\/><\/p>\n<p>\u0438 \u043e\u043d\u0430 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/215\/488\/9d2\/2154889d2b28c49e8991f3ada00bbb84.svg\" width=\"11\" height=\"17\"\/> \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 Residual Block.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u043e\u0437\u044c\u043c\u0435\u043c \u041e\u0414\u0423 \u0432\u0438\u0434\u0430: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\frac{dx}{dt} = \u22122tx\" alt=\"\\frac{dx}{dt} = \u22122tx\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/86d\/308\/56d\/86d30856dc354b5cb6c999c996fe5677.svg\" width=\"96\" height=\"43\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t)\" alt=\"x(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d59\/124\/932\/d5912493260dc6c0e51684d202b6c6cb.svg\" width=\"33\" height=\"22\"\/>&#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0430\u044f \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/35e\/ffe\/70f\/35effe70f580a21c6cf8cf3683255c18.svg\" width=\"7\" height=\"16\"\/>. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(0)=1\" alt=\"x(0)=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8d5\/e9e\/0ae\/8d5e9e0aef863b8c2426ddb05d296d22.svg\" width=\"71\" height=\"22\"\/>.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0448\u0430\u0433 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h=0.1\" alt=\"h=0.1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdc\/36b\/506\/cdc36b50698e37999807cc48e58b940d.svg\" width=\"61\" height=\"17\"\/> \u0438 \u043d\u0430\u0439\u0434\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t) \" alt=\"x(t) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4d\/a4e\/f03\/a4da4ef033f424abe8917ac1fb2f7280.svg\" width=\"33\" height=\"22\"\/>\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.  <\/p>\n<p>\u0428\u0430\u0433 0: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t=0\" alt=\"t=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d29\/818\/1e7\/d298181e719884c7f05493c4edd5de84.svg\" width=\"42\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t)=1\" alt=\"x(t)=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/830\/06a\/689\/83006a689fc5cdedefbc7217fdfc1107.svg\" width=\"68\" height=\"22\"\/><\/p>\n<p>\u0428\u0430\u0433 1: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t=0.1\" alt=\"t=0.1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49e\/c12\/faf\/49ec12fafbe2820c74e26cead2d19cd3.svg\" width=\"57\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t) = 1+0.1\u22c5(\u22122\u22c50\u22c51)  = 1\" alt=\"x(t) = 1+0.1\u22c5(\u22122\u22c50\u22c51)  = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8fa\/b31\/c21\/8fab31c2165a835728151627fa757936.svg\" width=\"253\" height=\"22\"\/> <\/p>\n<p>\u0428\u0430\u0433 2: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t =0.2\" alt=\"t =0.2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fa0\/2e1\/b52\/fa02e1b525873383efa0b85f938ba745.svg\" width=\"57\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x(t) = 1 + 0.1 \u22c5(\u22122\u22c50.1\u22c51)=1\u22120.02=0.98  \" alt=\"x(t) = 1 + 0.1 \u22c5(\u22122\u22c50.1\u22c51)=1\u22120.02=0.98  \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2fa\/2d0\/07e\/2fa2d007e491989ec5bb696710046416.svg\" width=\"386\" height=\"22\"\/><\/p>\n<p>\u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0434\u043e\u0439\u0434\u0435\u0442\u0435 \u0434\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/566\/ab7\/df7\/566ab7df7602fe627236459b088633e1.svg\" width=\"14\" height=\"17\"\/>.<\/p>\n<\/div>\n<\/details>\n<h2>2. Neural Ordinary Differential Equations<\/h2>\n<h4>2.1.  \u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h4>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u0432 \u0442\u0430\u043a\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e, \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0438 Neural ordinary differential equations<\/a> \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u043a\u0430\u043a \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u0441 \u043c\u0430\u043b\u044b\u043c \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e1\/6d7\/a86\/9e16d7a86f0101f6d9e1aeb88fdcf117.svg\" width=\"7\" height=\"16\"\/>, \u0442\u043e \u043f\u043e-\u0441\u0443\u0442\u0438 \u0432\u044b \u0440\u0435\u0448\u0430\u0435\u0442\u0435 \u041e\u0414\u0423. <\/p>\n<p>\u041f\u0435\u0440\u0435\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0435\u0439 <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">NeuralODE<\/a>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{dz}{dt} = f(z(t), t, \\theta), \\quad z(t_0) = z_0\" alt=\"\\frac{dz}{dt} = f(z(t), t, \\theta), \\quad z(t_0) = z_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f3\/cf1\/eed\/0f3cf1eedc93f560176a95ec83b69a42.svg\" width=\"253\" height=\"43\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z(t)\" alt=\"z(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0dc\/651\/05f\/0dc65105fe83126201c81fd45fc46be8.svg\" width=\"31\" height=\"22\"\/> \u2013 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (\u0438\u043b\u0438 \u0442\u043e\u0447\u043a\u0430) \u0444\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 Neural ODE, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f \" alt=\"f \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c11\/9c6\/edc\/c119c6edc1fec28ec2da5e46eb7fd9a9.svg\" width=\"11\" height=\"20\"\/>\u2013 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b4d\/a6f\/328\/b4da6f3283fb617ef2b84f63cf35e2bb.svg\" width=\"9\" height=\"17\"\/> &#8212; \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z_0\" alt=\"z_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/227\/ba9\/e30\/227ba9e3068dd06986f80f873a01fb15.svg\" width=\"18\" height=\"15\"\/> &#8212; \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f (\u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438). <\/p>\n<p>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0438\u0437 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z(t_1)\" alt=\"z(t_1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c04\/d7f\/f88\/c04d7ff88c686fa008c97bb3d30f1dec.svg\" width=\"40\" height=\"22\"\/> &#8212; \u043a\u0443\u0434\u0430 \u043f\u0440\u0438\u0434\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t_1\" alt=\"t_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a43\/87d\/9bd\/a4387d9bdc285180e5bad3ab7d2f601e.svg\" width=\"16\" height=\"18\"\/>.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 <strong>\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0435<\/strong>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"z (t_1 ) =z (t_0 ) + \u222b^{t_1}_{t_0} f(z(t),t,\\theta) dt\" alt=\"z (t_1 ) =z (t_0 ) + \u222b^{t_1}_{t_0} f(z(t),t,\\theta) dt\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/681\/3a2\/346\/6813a234638777a0b61b20490f9d7d1e.svg\" width=\"272\" height=\"52\"\/><\/p>\n<p>\u0438\u043b\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u042d\u0439\u043b\u0435\u0440\u0430), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0447\u0435\u0440\u0435\u0437 <strong><em>ODESolve<\/em><\/strong>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"z (t_1) =ODESolve(z(t_0), f, t_0 ,t_1, \\theta)\" alt=\"z (t_1) =ODESolve(z(t_0), f, t_0 ,t_1, \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e21\/a20\/7cc\/e21a207cc55c27edbadc5eccf7a3cb99.svg\" width=\"297\" height=\"22\"\/><\/p>\n<pre><code class=\"python\">def f(z, t, theta):   return nnet(z[t], theta))  def resnet(z, theta):   return ODESolve(f, z, t0, t1, theta)<\/code><\/pre>\n<p>\u0425\u043e\u0447\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z(t_1)\" alt=\"z(t_1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/902\/1f9\/828\/9021f982847dc77c4360e4f0c4305c0c.svg\" width=\"40\" height=\"22\"\/>\u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat z(t_1)\" alt=\"\\hat z(t_1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/235\/c23\/5f2\/235c235f29fc54d4a90c25b5545220e8.svg\" width=\"41\" height=\"22\"\/>. <\/p>\n<p>\u0412\u0432\u0435\u0434\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"L (z(t_1)) = L \\left( z(t_0) + \\int^{t_1}_{t_0} f(z(t),t,\\theta)dt \\right) = L \\left( ODESolve( z(t_0), f,t_0, t_1 ,\\theta) \\right)\" alt=\"L (z(t_1)) = L \\left( z(t_0) + \\int^{t_1}_{t_0} f(z(t),t,\\theta)dt \\right) = L \\left( ODESolve( z(t_0), f,t_0, t_1 ,\\theta) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65a\/e7c\/094\/65ae7c0945a89b83979ad86c903a112f.svg\" width=\"634\" height=\"52\"\/><\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c <em>MSE<\/em>, <em>MAE<\/em> \u0438 \u0442.\u043f. \u041e\u0431\u044b\u0447\u043d\u043e, \u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043d\u043e, \u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0438 \u043d\u0430 \u0432\u0441\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e.<\/p>\n<h4>2.2. \u0427\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u041e\u0414\u0423 (ODE Solvers)<\/h4>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435, \u041e\u0414\u0423 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u042d\u0439\u043b\u0435\u0440\u0430. \u041e\u043d\u00a0\u044f\u0432\u043b\u044f\u043b\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0432\u044b\u043c \u0438 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c \u041e\u0414\u0423 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (\u0442\u043e \u0435\u0441\u0442\u044c  \u043e\u0448\u0438\u0431\u043a\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0448\u0430\u0433\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6bf\/037\/9be\/6bf0379be3cede0271b338b51316c651.svg\" width=\"11\" height=\"17\"\/>).<\/p>\n<p>\u041f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u042d\u0439\u043b\u0435\u0440\u0430 (\u0438\u043b\u0438 midpoint method) \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x(t_{i+1}) = x(t_i) +hf \\left(x(t_i)+\\frac{1}{2}hf\\left(x(t_i), t_i \\right), \\quad t_i + \\frac{1}{2}h \\right) \" alt=\"x(t_{i+1}) = x(t_i) +hf \\left(x(t_i)+\\frac{1}{2}hf\\left(x(t_i), t_i \\right), \\quad t_i + \\frac{1}{2}h \\right) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/412\/b49\/967\/412b4996760f701ef23c71d5cc30a498.svg\" width=\"477\" height=\"49\"\/><\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">NeuralODE<\/a> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b (Runge-Kutta methods). \u0412\u043e\u043e\u0431\u0449\u0435, \u043c\u0435\u0442\u043e\u0434\u044b \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b \u2013 \u044d\u0442\u043e \u0446\u0435\u043b\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0439 \u0432 \u0441\u0435\u0431\u044f \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u043c\u0435\u0442\u043e\u0434 \u042d\u0439\u043b\u0435\u0440\u0430. \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e\u0434 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"x(t_{i+1}) = x(t_i) + \\frac{1}{6}  \\left(k_1+2k_2+2k_3+k_4\\right) \" alt=\"x(t_{i+1}) = x(t_i) + \\frac{1}{6}  \\left(k_1+2k_2+2k_3+k_4\\right) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be6\/490\/09a\/be649009ac2948e001c00a4a94a2d8c1.svg\" width=\"343\" height=\"42\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k_1 = f \\left( x(t_i),t_i \\right)\" alt=\"k_1 = f \\left( x(t_i),t_i \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a5\/5c6\/32f\/5a55c632fd871ccb3265bd7d05415aa1.svg\" width=\"135\" height=\"22\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k_2 =f \\left( x(t_i) + \\frac{k_1}{2}, t_i+\\frac{h}{2} \\right)\" alt=\"k_2 =f \\left( x(t_i) + \\frac{k_1}{2}, t_i+\\frac{h}{2} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/12c\/229\/b8b\/12c229b8bc7946ee167147aa98a1342d.svg\" width=\"239\" height=\"49\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k_3 = f \\left(x(t_i)+\\frac{k_2}{2}, t_i + \\frac{h}{2} \\right)\" alt=\"k_3 = f \\left(x(t_i)+\\frac{k_2}{2}, t_i + \\frac{h}{2} \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3df\/d6d\/39c\/3dfd6d39cb9acb06c67405049859f00f.svg\" width=\"239\" height=\"49\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k_4 = f \\left(x(t_i) + k_3, t_i+h \\right)\" alt=\"k_4 = f \\left(x(t_i) + k_3, t_i+h \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/830\/149\/378\/830149378a6e1ce77349c14886685d25.svg\" width=\"212\" height=\"22\"\/><\/p>\n<p>\u0412\u0441\u0435 \u0432\u044b\u0448\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043c\u0435\u0442\u043e\u0434\u0430\u043c \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0448\u0430\u0433\u043e\u043c<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" h\" alt=\" h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4a\/e0a\/677\/a4ae0a67778912e7af6ee999c1f0e185.svg\" width=\"11\" height=\"17\"\/> (fixed-step solvers). \u041e\u0434\u043d\u0430\u043a\u043e, \u043e\u043d\u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u043c: \u0435\u0441\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0448\u0430\u0433 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u043a\u0430\u0436\u0443\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435 \u0442\u043e\u0447\u043d\u044b\u043c\u0438, \u0435\u0441\u043b\u0438 \u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0448\u0430\u0433 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b (adaptive solvers), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044e\u0442 \u0448\u0430\u0433 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/756\/ebd\/d17\/756ebdd17872a87506343e3b71276f82.svg\" width=\"11\" height=\"17\"\/> \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041e\u043d\u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043a \u0438\u0437\u043c\u0435\u043d\u044f\u044e\u0449\u0438\u043c\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0438\u0437\u043b\u0438\u0448\u043d\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442.  <\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0434\u0438\u043d \u0438\u0437 \u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 &#8212; \u043c\u0435\u0442\u043e\u0434 \u0414\u043e\u0440\u043c\u0430\u043d\u0434\u0430\u2013\u041f\u0440\u0438\u043d\u0441\u0430 (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Dormand%E2%80%93Prince_method\" rel=\"noopener noreferrer nofollow\">Dorman\u2013Prince method<\/a>). \u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b 4 \u0438 5 \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u041c\u0435\u0442\u043e\u0434 4 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 (\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0435\u0448\u0430\u0442\u0435\u043b\u044c) \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u041e\u0414\u0423. \u041c\u0435\u0442\u043e\u0434 5 \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e, \u043d\u0443\u0436\u0435\u043d \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0448\u0430\u0433\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u0442\u0435\u043b\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u2013 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0448\u0430\u0433 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435, \u043a\u043e\u0433\u0434\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442\u0441\u044f &#8212; \u0448\u0430\u0433 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435.  <\/p>\n<p>\u041b\u044e\u0431\u043e\u0439 \u0438\u0437 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u0432 Neural ODE. \u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"[t_0, t_1]\" alt=\"[t_0, t_1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bee\/0b9\/73d\/bee0b973dd38b3a54ecbef97a3a33e2e.svg\" width=\"51\" height=\"22\"\/> \u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u044c \u0441\u043b\u043e\u0435\u0432 \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u043d\u043e\u0432\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0432 ODESolver &#8212; \u044d\u0442\u043e \u043d\u043e\u0432\u044b\u0439 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043b\u043e\u0439.<\/p>\n<h4>2.3. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: backpropagation &amp; adjoint method<\/h4>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u0432\u0441\u0435\u043c \u0441\u043b\u043e\u044f\u043c Neural ODE \u043e\u0431\u044b\u0447\u043d\u044b\u043c backpropagation, \u043d\u043e \u0438\u0437-\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0435\u0432 (\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b1\/e0d\/c3c\/9b1e0dc3cef7cd378f7a5abd7e10012f.svg\" width=\"11\" height=\"17\"\/>) \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e ODESolver (\u0442\u0430\u043a\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434 \u0414\u043e\u0440\u043c\u0430\u043d\u0434\u0430\u2013\u041f\u0440\u0438\u043d\u0441\u0430) \u044d\u0442\u043e \u0437\u0430\u0439\u043c\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. <\/p>\n<p><em>\u041d\u043e\u0443\u0442\u0431\u0443\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Backpropagation through time (\u043d\u0435 \u043c\u043e\u0439): <\/em><a href=\"https:\/\/github.com\/KPEKEP\/NeuralODE\" rel=\"noopener noreferrer nofollow\"><em>\u041f\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 Neural ODE \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c BPTT<\/em><\/a><em>.<\/em><\/p>\n<p>\u0412 <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0435<\/a> \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Adjoint_state_method\" rel=\"noopener noreferrer nofollow\">adjoint method <\/a>(\u043c\u0435\u0442\u043e\u0434 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Pontryagin%27s_maximum_principle\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430<\/a>.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435\u043c. \u041f\u0440\u0438\u043d\u0446\u0438\u043f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430.<\/summary>\n<div class=\"spoiler__content\">\n<h4>1. \u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h4>\n<p>\u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u041e\u0414\u0423:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\dot y = f(y, u), \\quad y(t_0) = x^* \\quad (1)\" alt=\"\\dot y = f(y, u), \\quad y(t_0) = x^* \\quad (1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/951\/930\/ad2\/951930ad27705a2589707654250028d9.svg\" width=\"249\" height=\"22\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d1\/281\/70d\/5d128170d7cedfcf285ffff340b4f774.svg\" width=\"10\" height=\"15\"\/> &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/69e\/0bd\/b15\/69e0bdb15a6c5100059f3a2410cc1dea.svg\" width=\"12\" height=\"12\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a5\/869\/e31\/2a5869e31a0deccce7a1750324672fe5.svg\" width=\"11\" height=\"12\"\/> \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/850\/1d4\/d24\/8501d4d2422c8015b2723587461fa91c.svg\" width=\"11\" height=\"20\"\/> \u2014 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0430\u044f \u0432\u0435\u043a\u0442\u043e\u0440-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/518\/eb9\/a3c\/518eb9a3c69a9ab8942c41aa0419b03d.svg\" width=\"10\" height=\"15\"\/>.<\/p>\n<p>\u0423\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441\u043b\u0443\u0436\u0438\u0442 \u043f\u0435\u0440\u0432\u043e\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u0435 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t_k\" alt=\"t_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2b\/2dc\/ef3\/d2b2dcef356b18abdb62b650be392479.svg\" width=\"16\" height=\"19\"\/> \u043d\u0430 \u0433\u043b\u0430\u0434\u043a\u043e\u0435 \u0438 \u0431\u0435\u0437 \u043e\u0441\u043e\u0431\u044b\u0445 \u0442\u043e\u0447\u0435\u043a <em>\u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435<\/em> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M \\subset \\mathbb R^n\" alt=\"M \\subset \\mathbb R^n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41a\/833\/f02\/41a833f025d897d46d14bd109cfad2ae.svg\" width=\"70\" height=\"18\"\/>.<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u(\\cdot)\" alt=\"u(\\cdot)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07e\/882\/ae7\/07e882ae7ddfbb9faeb8a8125f8974cc.svg\" width=\"31\" height=\"22\"\/> \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 <em>\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443<\/em> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"U\" alt=\"U\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd4\/e5e\/5ba\/fd4e5e5ba0a187497ff6f84e245b94ab.svg\" width=\"15\" height=\"17\"\/>. <\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\varphi_0(y(t_k)) \\rightarrow \\inf_{u(\\cdot) \\in U} \\quad (2)\" alt=\"\\varphi_0(y(t_k)) \\rightarrow \\inf_{u(\\cdot) \\in U} \\quad (2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/991\/9f5\/111\/9919f51115271d9d2ddbbfe29dca8524.svg\" width=\"193\" height=\"36\"\/><\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0442\u044b\u0441\u043a\u0430\u043d\u0438\u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a36\/ca9\/905\/a36ca990585b3462be5af671733ed55b.svg\" width=\"11\" height=\"12\"\/>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 (1) \u0438\u0437 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435, \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044e \u043d\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b (2) \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0441\u0432\u043e\u0435\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u044b (1). <\/p>\n<p>\u041f\u0430\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{ y^0(\\cdot), u^0(\\cdot), t \\in [t_0, t_k^0] \\}\" alt=\"\\{ y^0(\\cdot), u^0(\\cdot), t \\in [t_0, t_k^0] \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/475\/e2d\/045\/475e2d0451b174d3d4ac0c92cd70bacf.svg\" width=\"197\" height=\"27\"\/>\u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c<\/em>.<\/p>\n<blockquote>\n<p><em>\u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0432\u044b\u0448\u0435:<\/em><\/p>\n<p><em>\u041f\u0443\u0441\u0442\u044c \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u043c\u0430\u0448\u0438\u043d\u043a\u0430, \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u0432\u0438\u0434\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f (1). <\/em><\/p>\n<p><em>\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0430\u0448\u0438\u043d\u043e\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a\u043e\u0432\u043e, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043f\u0435\u0440\u0435\u0434 \u0438\u043b\u0438 \u043d\u0430\u0437\u0430\u0434, \u043f\u0440\u0438\u0447\u0435\u043c \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e. \u0422\u043e \u0435\u0441\u0442\u044c  \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <\/em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{u_{-}, u_{+} \\}\" alt=\"\\{u_{-}, u_{+} \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27b\/573\/709\/27b573709bcd82c70ea38e6cdb82eeec.svg\" width=\"75\" height=\"22\"\/>.<\/p>\n<p><em>\u041d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0438\u0437 \u0442\u043e\u0447\u043a\u0438 \u0410 (\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f), \u0432 \u0442\u043e\u0447\u043a\u0443 B (\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435) \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u044f.<\/em> <\/p>\n<p><em>\u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f &#8212; \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <\/em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u\" alt=\"u\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/63e\/f6f\/4e0\/63ef6f4e0824e3405f364fb4cf244440.svg\" width=\"11\" height=\"12\"\/><em>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0442\u043e\u0447\u043a\u0430 B \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/em> <\/p>\n<\/blockquote>\n<h4>2. \u0420\u0435\u0448\u0435\u043d\u0438\u0435<\/h4>\n<p>\u0412\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"H (\\psi, y, u) = \\psi^T f(y, u)\" alt=\"H (\\psi, y, u) = \\psi^T f(y, u)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/215\/23f\/64d\/21523f64d8dbbee8d79f0b54126d33bd.svg\" width=\"187\" height=\"25\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi(t)\" alt=\"\\psi(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6da\/765\/455\/6da765455e35249aed422bbec31aad74.svg\" width=\"35\" height=\"22\"\/>&#8212; \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u041e\u0414\u0423, <em>\u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c \u0432 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u0445<\/em> \u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b:  <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\dot{\\psi} = - \\frac{\\partial f(y^0(t), u^0(t))}{\\partial y}^\\top \\psi \\quad (3)\" alt=\"\\dot{\\psi} = - \\frac{\\partial f(y^0(t), u^0(t))}{\\partial y}^\\top \\psi \\quad (3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab8\/bfa\/7b0\/ab8bfa7b08ccbe1fa392c102a0b22459.svg\" width=\"257\" height=\"54\"\/><\/p>\n<p><strong>\u0422\u0435\u043e\u0440\u0435\u043c\u0430:<\/strong> \u0415\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{ y^0(\\cdot), u^0(\\cdot), t \\in [t_0, t_k^0] \\}\" alt=\"\\{ y^0(\\cdot), u^0(\\cdot), t \\in [t_0, t_k^0] \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3f\/247\/e65\/a3f247e6577a369802edec555d3b2b1a.svg\" width=\"197\" height=\"27\"\/>&#8212; \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u0430\u044f \u043f\u0430\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{ \\lambda_0 \\geq 0, \\phi(\\cdot) \\}\" alt=\"\\{ \\lambda_0 \\geq 0, \\phi(\\cdot) \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c19\/538\/a5c\/c19538a5cc4b2cafa126b66c01ae9b8d.svg\" width=\"115\" height=\"22\"\/>\u0442\u0430\u043a\u0430\u044f, \u0447\u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0442\u043e\u0447\u0435\u043a \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8dd\/946\/4cc\/8dd9464cc1f697a75a24c657e4383100.svg\" width=\"14\" height=\"17\"\/> \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" t \\in T \\subset [t_0; t_k^0] \" alt=\" t \\in T \\subset [t_0; t_k^0] \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01b\/f5e\/37a\/01bf5e37a0d4db4126ee8f274d9ef10b.svg\" width=\"121\" height=\"26\"\/> <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\max_{u_{-} \\leq u(t) \\leq u_{+}} H(\\psi(t), y^0(t), u(t)) = H( \\psi(t), y^0(t), u^0(t)) \\quad (4)\" alt=\"\\max_{u_{-} \\leq u(t) \\leq u_{+}} H(\\psi(t), y^0(t), u(t)) = H( \\psi(t), y^0(t), u^0(t)) \\quad (4)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f3d\/454\/c46\/f3d454c46c0fc99a0a775a922eb88a2f.svg\" width=\"474\" height=\"40\"\/><\/p>\n<\/li>\n<li>\n<p>\u0432\u0435\u043a\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi(t_k^0) + \\lambda_0 \\frac{\\partial \\varphi_0 (y^0(t_k^0))}{\\partial y} \\quad (5)\" alt=\"\\psi(t_k^0) + \\lambda_0 \\frac{\\partial \\varphi_0 (y^0(t_k^0))}{\\partial y} \\quad (5)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1d\/ee3\/dbe\/a1dee3dbef8d12f30972b0c5e31751e0.svg\" width=\"235\" height=\"52\"\/> \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u0435\u043d \u043a \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/822\/882\/a69\/822882a69b304d910e3b1b5508eb8962.svg\" width=\"20\" height=\"17\"\/> \u0432 \u0442\u043e\u0447\u043a\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y(t)\" alt=\"y(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/18c\/750\/a5b\/18c750a5b0d1187dfe0e532296a78dd3.svg\" width=\"32\" height=\"22\"\/> &#8212; \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0442\u0440\u0430\u043d\u0441\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p> \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u043e\u0441\u0442\u0438 \u0433\u0430\u043c\u0438\u043b\u044c\u0442\u043e\u043d\u0438\u0430\u043d\u0430 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e\u0434\u0443 \u043d\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" [t_0; t_k^0] \" alt=\" [t_0; t_k^0] \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6b\/a3f\/edf\/d6ba3fedf1f2940ff1fccdebf8a3a0f1.svg\" width=\"51\" height=\"26\"\/> <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{H}(t) = H(\\psi(t), y^0(t), u^0(t)) \\equiv 0 \\quad (6)\" alt=\"\\mathcal{H}(t) = H(\\psi(t), y^0(t), u^0(t)) \\equiv 0 \\quad (6)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e0\/b7c\/8eb\/9e0b7c8ebb30b37267ca88e055dac1d2.svg\" width=\"309\" height=\"25\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u043f\u043e\u0438\u0441\u043a \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f <em>\u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f<\/em> <em>\u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0434\u0432\u0443\u0445\u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0439 \u043a\u0440\u0430\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438<\/em> \u0434\u043b\u044f \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u0441\u0442\u0435\u043c (1) \u0438 (3), \u0433\u0434\u0435 \u043d\u0430 \u043b\u0435\u0432\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0437\u0430\u0434\u0430\u043d\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0f\/ad5\/d74\/f0fad5d7485526a94fab95092aab758b.svg\" width=\"12\" height=\"12\"\/> \u0443\u0441\u043b\u043e\u0432\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y(t_0) = y^*\" alt=\"y(t_0) = y^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c4\/f3a\/b2d\/0c4f3ab2db65f6c79040948cf745d457.svg\" width=\"84\" height=\"22\"\/>, \u0430 \u043d\u0430 \u043f\u0440\u0430\u0432\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f7\/427\/d35\/3f7427d353bdc159db0fc398b26185cf.svg\" width=\"17\" height=\"12\"\/> \u0443\u0441\u043b\u043e\u0432\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y(t_k) \\in M\" alt=\"y(t_k) \\in M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/57a\/422\/27c\/57a42227cc2d8528873687663fbe433f.svg\" width=\"84\" height=\"22\"\/> \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y(t_k)\" alt=\"y(t_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa9\/62a\/0b5\/aa962a0b5aa83fb7c6a2fdf8c0e493c3.svg\" width=\"41\" height=\"22\"\/>, \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n - m\" alt=\"n - m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d9\/a25\/a57\/5d9a25a575e8636c2a0df6d780ff6c44.svg\" width=\"52\" height=\"16\"\/> \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (5)  \u0434\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi(t_k)\" alt=\"\\psi(t_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b3\/1e7\/90e\/6b31e790e1217018849b511502c80d49.svg\" width=\"44\" height=\"22\"\/>. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0432\u0443\u0445\u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t \\in T\" alt=\"t \\in T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ef\/130\/6ed\/7ef1306ed685973914e5e4f68544fe9e.svg\" width=\"44\" height=\"17\"\/> \u043d\u0430\u0434\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 (4) \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u(t)\" alt=\"u(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/48a\/8b9\/d2e\/48a8b9d2ec030ab8ce430bd90c532eba.svg\" width=\"33\" height=\"22\"\/>.<\/p>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d\u043d\u0430\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u044e \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430<\/em>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0434\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u0434\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0418\u043d\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0438\u0442\u044c \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439, \u0438\u043d\u043e\u0433\u0434\u0430 &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<blockquote>\n<p><em>\u0415\u0441\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430, \u0442\u043e \u0437\u0430\u043a\u0438\u043d\u0443\u043b\u0430 \u0432 <\/em><a href=\"https:\/\/github.com\/AnnaKangur\/ML\/tree\/main\/%D0%9F%D1%80%D0%B8%D0%BD%D1%86%D0%B8%D0%BF%20%D0%BC%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D1%83%D0%BC%D0%B0%20%D0%9F%D0%BE%D0%BD%D1%82%D1%80%D1%8F%D0%B3%D0%B8%D0%BD%D0%B0\" rel=\"noopener noreferrer nofollow\"><em>\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439<\/em><\/a><em> \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0441 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u0438 \u043d\u043e\u0443\u0442\u0431\u0443\u043a &#171;\u041e \u043c\u0435\u0442\u043e\u0434\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0439 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f&#187;. <\/em><\/p>\n<p><em>\u0412 \u044d\u0442\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u043e\u0447\u0435\u043d\u044c \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043f\u043e\u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u0438\u0442\u044c \u0411\u0443\u0433\u0440\u043e\u0432\u0430 \u0414\u043c\u0438\u0442\u0440\u0438\u044f \u0418\u0433\u043e\u0440\u0435\u0432\u0438\u0447\u0430<\/em> \u2764\ufe0f<\/p>\n<\/blockquote>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u0438\u0441\u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: <\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u0438 \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u0432\u043f\u0435\u0440\u0435\u0434 (forward pass), \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430, \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435<\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\frac{dz}{dt} = f(z(t), t, \\theta), \\quad z(t_0) = z_0\" alt=\"\\frac{dz}{dt} = f(z(t), t, \\theta), \\quad z(t_0) = z_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c86\/ef9\/6a4\/c86ef96a441a1e3ffd51990807f4429e.svg\" width=\"253\" height=\"43\"\/><\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"z(t_1)\" alt=\"z(t_1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/942\/aac\/bd4\/942aacbd4144cae2d79c978d145562e0.svg\" width=\"40\" height=\"22\"\/>, \u0430 \u0432\u0441\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u044e\u0442\u0441\u044f. <\/p>\n<\/li>\n<li>\n<p>\u0412\u0432\u043e\u0434\u0438\u0442\u0441\u044f <em>\u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f adjoint: <\/em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a = \\frac{dL}{dz(t)}\" alt=\"a = \\frac{dL}{dz(t)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d5\/b94\/490\/6d5b94490ebca0cf4e225cd8c5f340fd.svg\" width=\"84\" height=\"48\"\/> <\/p>\n<p>\u0414\u043b\u044f \u043d\u0435\u0435 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\frac{da(t)}{dt} = -a(t) \\frac{df(z(t), t, \\theta)}{dz}\" alt=\"\\frac{da(t)}{dt} = -a(t) \\frac{df(z(t), t, \\theta)}{dz}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4d\/5d1\/5e1\/a4d5d15e19e92954525a656da6ee0a22.svg\" width=\"229\" height=\"45\"\/><\/p>\n<p>\u0441 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a(t_1) = \\frac{dL}{dz(t_1)}\" alt=\"a(t_1) = \\frac{dL}{dz(t_1)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/11d\/c40\/887\/11dc408877b2ece3fbeaede0ac2482ba.svg\" width=\"123\" height=\"48\"\/><\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u043e\u043d\u043e \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0442\u0435\u043c \u0436\u0435 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c <\/p>\n<\/li>\n<\/ul>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\frac{dL}{d \\theta} = \\int_{t_1}^{t_0} a(t) \\frac{df(z(t), t, \\theta)}{d \\theta} dt\" alt=\"\\frac{dL}{d \\theta} = \\int_{t_1}^{t_0} a(t) \\frac{df(z(t), t, \\theta)}{d \\theta} dt\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/675\/45f\/402\/67545f402cacecb357e4faffd7036ee3.svg\" width=\"249\" height=\"52\"\/><\/p>\n<ul>\n<li>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0440\u0435\u0448\u0435\u043d\u0438\u0435 <em>adjoint \u041e\u0414\u0423<\/em> \u0437\u0430\u0434\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u0430\u043f\u043f\u0435\u043d\u0434\u0438\u043a\u0441\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c\u0443 backpropagation.<\/p>\n<p>\u0418\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f (\u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 backpropagation), \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0445\u043e\u0434 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442 O(1) \u043f\u0430\u043c\u044f\u0442\u0438. \u0425\u043e\u0442\u044f \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0438\u0437-\u0437\u0430 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u043b\u0433\u043e. <\/p>\n<p>\u0412 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 <em>\u0430\u0443\u0433\u043c\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435<\/em>: \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" z(t)\" alt=\" z(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/260\/a2d\/f55\/260a2df552edaa8e045501ba39e54067.svg\" width=\"31\" height=\"22\"\/> \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a(t)\" alt=\"a(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0cf\/2eb\/deb\/0cf2ebdeb5ac94e0b3a5b1630dc8e7e5.svg\" width=\"32\" height=\"22\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2d\/d7d\/9d0\/c2dd7d9d00d814b3ec10a2ecd2b0dc3b.svg\" width=\"7\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92d\/7d2\/906\/92d7d2906f8d263c90b73fdc5d448294.svg\" width=\"9\" height=\"17\"\/>. \u041f\u0440\u043e\u0445\u043e\u0434 \u0432\u043f\u0435\u0440\u0435\u0434 \u0438 \u043d\u0430\u0437\u0430\u0434 \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e1b\/630\/cf0\/e1b630cf02a4c2dc499e9a7a104161d0.png\" width=\"904\" height=\"241\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1b\/630\/cf0\/e1b630cf02a4c2dc499e9a7a104161d0.png\"\/><\/figure>\n<details class=\"spoiler\">\n<summary>\u0415\u0441\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0441 \u041f\u041c\u041f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0415\u0441\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c adjoint method \u0441 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430, \u0442\u043e \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f <em>adjoint<\/em> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a(t) \" alt=\"a(t) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5dd\/5d9\/3d0\/5dd5d93d04fe749e5e8f00085ab837ca.svg\" width=\"32\" height=\"22\"\/>&#8212; \u044d\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\psi(t) \" alt=\"\\psi(t) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46b\/dec\/e41\/46bdece41aff93c0c5158f195bc86925.svg\" width=\"35\" height=\"22\"\/>\u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 (\u043e\u043d\u0438 \u0436\u0435 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0438 \u041b\u0430\u0433\u0440\u0430\u043d\u0436\u0430 \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430). \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f09\/383\/122\/f093831220590de50080953af7f4fed7.svg\" width=\"9\" height=\"17\"\/>, \u0432\u0438\u0434\u0438\u043c\u043e, \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"u(t)\" alt=\"u(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2bc\/d53\/89e\/2bcd5389e55dbd6d5d87fc2e88cc3e14.svg\" width=\"33\" height=\"22\"\/>. \u041e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043f\u0443\u0442\u0435\u043c \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u043d\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430.<\/p>\n<\/div>\n<\/details>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c: <a href=\"https:\/\/implicit-layers-tutorial.org\/\" rel=\"noopener noreferrer nofollow\">Deep Implicit Layers<\/a>, <a href=\"https:\/\/habr.com\/ru\/companies\/ods\/articles\/442002\/\" rel=\"noopener noreferrer nofollow\">\u0417\u043d\u0430\u043a\u043e\u043c\u0441\u0442\u0432\u043e \u0441 Neural ODE<\/a>.<\/p>\n<p>\u0421\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 <a href=\"https:\/\/github.com\/AnnaKangur\/ML\/blob\/main\/NeuralODE\/NeuralODE.ipynb\" rel=\"noopener noreferrer nofollow\">\u043d\u043e\u0443\u0442\u0431\u0443\u043a<\/a>.<\/p>\n<p>Neural ODE \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c; \u043f\u0440\u0438 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441 \u043d\u0435\u0440\u0435\u0433\u0443\u043b\u044f\u0440\u043d\u044b\u043c\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u044f\u0434\u0430\u043c\u0438. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0432\u0438\u0434\u0435\u043e:<\/p>\n<ol>\n<li>\n<p><a href=\"https:\/\/www.youtube.com\/watch?v=lEf0Fpfdzj0\" rel=\"noopener noreferrer nofollow\">\u0410\u043b\u0435\u043a\u0441\u0435\u0439 \u041e\u043a\u0443\u043d\u0435\u0432 | \u041d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0441 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u043d\u043e\u0439 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u043e\u0439<\/a><\/p>\n<\/li>\n<li>\n<p>Research Seminar. Neural ODE: <a href=\"https:\/\/www.youtube.com\/watch?v=bhURKQ2yYHI\" rel=\"noopener noreferrer nofollow\">Part 1<\/a>,  <a href=\"https:\/\/www.youtube.com\/watch?v=HPznr0KBC-c\" rel=\"noopener noreferrer nofollow\">Part 2<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=U5RrdW4BQWs\" rel=\"noopener noreferrer nofollow\">Part 3<\/a>, <a href=\"https:\/\/www.youtube.com\/watch?v=xtkIPb3AlLc\" rel=\"noopener noreferrer nofollow\">Part 4<\/a>.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/823074\/\"> https:\/\/habr.com\/ru\/articles\/823074\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"\">\n<div><figcaption>\u0410\u0442\u0442\u0440\u0430\u043a\u0442\u043e\u0440\u00a0\u041b\u043e\u0440\u0435\u043d\u0446\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0430 \u0438\u0434\u0435\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 (Neural ODEs) &#8212; \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442 \u043c\u0435\u0442\u043e\u0434\u044b \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438. Neural ODEs \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0441\u043a\u0440\u044b\u0442\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u0447\u0442\u043e \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043d\u043e\u0432\u044b\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0440\u044f\u0434\u043e\u0432, \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u0432 \u0438 \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0441\u0438\u0441\u0442\u0435\u043c. <\/p>\n<p>\u041f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u0441\u043b\u0443\u0447\u0430\u0435\u043c, \u043e\u0441\u0442\u0430\u0432\u043b\u044e \u0441\u0441\u044b\u043b\u043a\u0443 \u043d\u0430 \u0441\u0432\u043e\u0439 \u043a\u0430\u043d\u0430\u043b &#8212; <a href=\"https:\/\/t.me\/notmagicneuralnetworks\" rel=\"noopener noreferrer nofollow\">notmagicneuralnetworks<\/a> \u2728<\/p>\n<h2>1. \u041f\u0440\u0435\u0434\u044b\u0441\u0442\u043e\u0440\u0438\u044f<\/h2>\n<h4>1.1. ResNet<\/h4>\n<p>P\u0430\u043d\u043d\u0438\u0435 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u0435\u0439 \u0441\u043e\u0441\u0442\u043e\u044f\u043b\u0438 \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0437 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0439. \u0414\u0430\u0436\u0435 \u043d\u0435 \u0432 \u043e\u0447\u0435\u043d\u044c \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0445 \u0441\u0435\u0442\u044f\u0445 \u043e\u0441\u0442\u0440\u043e \u0441\u0442\u043e\u044f\u043b\u0430 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 (vanishing gradients problem): \u043a\u043e\u0433\u0434\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0435\u0432, \u043e\u043d\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u043d\u0435\u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0432\u0435\u0441\u0430 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438 \u043d\u0435 \u0443\u0447\u0430\u0442\u0441\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e, \u0447\u0442\u043e \u0437\u0430\u043c\u0435\u0434\u043b\u044f\u0435\u0442 \u0438\u043b\u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u0441\u0442\u043e\u0438\u0442 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 . \u0412\u043e \u0432\u0440\u0435\u043c\u044f back propagation \u0438\u0449\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438. \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u043d\u0438\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439. <\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0438\u0433\u043c\u043e\u0438\u0434\u044b \u0438 \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u0438 \u043f\u043e\u0438\u0441\u043a\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0435\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e . \u0415\u0441\u043b\u0438 \u0441\u043b\u043e\u0435\u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e, \u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043a, \u0447\u0442\u043e \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u043f\u043e\u0447\u0442\u0438 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0432\u0435\u0441\u0430 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0441\u043b\u043e\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e. \u042d\u0442\u043e \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u0432 (vanishing gradients problem).<\/p>\n<\/div>\n<\/details>\n<p>\u0421 \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0431\u043e\u0440\u043e\u043b\u0438\u0441\u044c \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438, \u0432 VGG \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u043e\u0441\u043e\u0431\u044b\u0435 \u0441\u0445\u0435\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0430 GoogLeNet \u0434\u043e\u0431\u0430\u0432\u0438\u043b\u0438 \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c. \u0427\u0443\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/%D0%98%D1%81%D1%82%D0%BE%D1%80%D0%B8%D1%8F%20%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%20Computer%20Vision\" rel=\"noopener noreferrer nofollow\">\u0437\u0434\u0435\u0441\u044c<\/a>. <\/p>\n<p>\u0412 2015 \u0433\u043e\u0434\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0438\u0437\u00a0\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 Microsoft\u00a0\u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043f\u043e\u0434 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435\u043c Residual neural network (\u0438\u043b\u0438 ResNet). \u041e\u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043b\u0430 \u0438\u0437 residual block (residual connection, skip connection), \u0433\u0434\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438 (\u0431\u043b\u043e\u043a\u0438) \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0435\u0434\u0438\u043d\u044f\u044e\u0442\u0441\u044f \u0441 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0431\u043b\u043e\u043a\u0430:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>Residual Block \u0432 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0438:<strong> <\/strong><\/p>\n<p>\u0433\u0434\u0435 &#8212; \u0434\u0430\u043d\u043d\u044b\u0435 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0441\u043b\u043e\u044f, &#8212; \u0441\u043b\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, &#8212; \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435.<\/p>\n<pre><code class=\"python\">def f(x, t, theta):   return nnet(z, theta[t]))  def resnet(x, theta):   for t in [1:T]:     x = x + f(x, t, theta)   return x<\/code><\/pre>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u0430\u043a\u043e\u043c\u0443 \u043f\u0435\u0440\u0435\u043a\u0438\u0434\u044b\u0432\u0430\u043d\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445 \u0447\u0435\u0440\u0435\u0437 \u0441\u043b\u043e\u0438, ResNet \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0435\u0448\u0430\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0437\u0430\u0442\u0443\u0445\u0430\u044e\u0449\u0435\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. <\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442 \u0447\u0435\u0440\u0435\u0437 Residual Block \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430<\/p>\n<p>, \u0433\u0434\u0435 <\/p>\n<p>\u0447\u0442\u043e \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u043d\u0435 \u0437\u0430\u0442\u0443\u0445\u0430\u0442\u044c. <\/p>\n<h4>1.2. Euler method<\/h4>\n<p>\u0420\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u0430\u044f \u0437\u0430\u043f\u0438\u0441\u044c ResNet \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u043c\u0435\u0442\u043e\u0434 \u042d\u0439\u043b\u0435\u0440\u0430 &#8212; \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 (\u041e\u0414\u0423) \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438:<\/p>\n<p>\u041d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 , \u0442\u043e \u0435\u0441\u0442\u044c .<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u042d\u0439\u043b\u0435\u0440\u0430, \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0442\u044c \u043e\u0442\u0440\u0435\u0437\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043d\u0430 \u0440\u0430\u0432\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0438. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c  &#8212; \u0448\u0430\u0433 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u043e\u0442\u0440\u0435\u0437\u043a\u0430. \u0422\u043e\u0433\u0434\u0430- \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0437\u043b\u0430\u043c\u0438.  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0448\u0430\u0433 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u043c \u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u041e\u0414\u0423 \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u042d\u0439\u043b\u0435\u0440\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <\/p>\n<p>\u0438 \u043e\u043d\u0430 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e  \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 Residual Block.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u043e\u0437\u044c\u043c\u0435\u043c \u041e\u0414\u0423 \u0432\u0438\u0434\u0430: , \u0433\u0434\u0435 &#8212; \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0430\u044f \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 . \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u0435 .<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0448\u0430\u0433  \u0438 \u043d\u0430\u0439\u0434\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0440\u0435\u043c\u0435\u043d\u0438.  <\/p>\n<p>\u0428\u0430\u0433 0: , <\/p>\n<p>\u0428\u0430\u0433 1: ,  <\/p>\n<p>\u0428\u0430\u0433 2: , <\/p>\n<p>\u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0434\u043e\u0439\u0434\u0435\u0442\u0435 \u0434\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 .<\/p>\n<\/div>\n<\/details>\n<h2>2. Neural Ordinary Differential Equations<\/h2>\n<h4>2.1.  \u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430<\/h4>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u0432 \u0442\u0430\u043a\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e, \u0430\u0432\u0442\u043e\u0440\u044b <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0438 Neural ordinary differential equations<\/a> \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u043a\u0430\u043a \u043e\u0431\u044b\u043a\u043d\u043e\u0432\u0435\u043d\u043d\u043e\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435. \u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0445 \u0441\u043b\u043e\u0435\u0432 \u0441 \u043c\u0430\u043b\u044b\u043c \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435\u043c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 , \u0442\u043e \u043f\u043e-\u0441\u0443\u0442\u0438 \u0432\u044b \u0440\u0435\u0448\u0430\u0435\u0442\u0435 \u041e\u0414\u0423. <\/p>\n<p>\u041f\u0435\u0440\u0435\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441\u043e \u0441\u0442\u0430\u0442\u044c\u0435\u0439 <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">NeuralODE<\/a>.<\/p>\n<p>\u0433\u0434\u0435  \u2013 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (\u0438\u043b\u0438 \u0442\u043e\u0447\u043a\u0430) \u0444\u0430\u0437\u043e\u0432\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 Neural ODE, \u2013 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c,  &#8212; \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438,  &#8212; \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f (\u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438). <\/p>\n<p>\u041d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0438\u0437 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  &#8212; \u043a\u0443\u0434\u0430 \u043f\u0440\u0438\u0434\u0435\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 .<\/p>\n<p>\u0420\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 <strong>\u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0435<\/strong>:<\/p>\n<p>\u0438\u043b\u0438 \u043d\u0430\u0439\u0434\u0435\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u042d\u0439\u043b\u0435\u0440\u0430), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0447\u0435\u0440\u0435\u0437 <strong><em>ODESolve<\/em><\/strong>:<\/p>\n<pre><code class=\"python\">def f(z, t, theta):   return nnet(z[t], theta))  def resnet(z, theta):   return ODESolve(f, z, t0, t1, theta)<\/code><\/pre>\n<p>\u0425\u043e\u0447\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u044c\u044e . <\/p>\n<p>\u0412\u0432\u0435\u0434\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c:<\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c <em>MSE<\/em>, <em>MAE<\/em> \u0438 \u0442.\u043f. \u041e\u0431\u044b\u0447\u043d\u043e, \u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043d\u043e, \u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0438 \u043d\u0430 \u0432\u0441\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e.<\/p>\n<h4>2.2. \u0427\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u041e\u0414\u0423 (ODE Solvers)<\/h4>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435, \u041e\u0414\u0423 \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u042d\u0439\u043b\u0435\u0440\u0430. \u041e\u043d\u00a0\u044f\u0432\u043b\u044f\u043b\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0432\u044b\u043c \u0438 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u043c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0441\u0438\u0441\u0442\u0435\u043c \u041e\u0414\u0423 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (\u0442\u043e \u0435\u0441\u0442\u044c  \u043e\u0448\u0438\u0431\u043a\u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0448\u0430\u0433\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f ).<\/p>\n<p>\u041f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0441\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u042d\u0439\u043b\u0435\u0440\u0430 (\u0438\u043b\u0438 midpoint method) \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438:<\/p>\n<p>\u0410\u0432\u0442\u043e\u0440\u044b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">NeuralODE<\/a> \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043c\u0435\u0442\u043e\u0434 \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b (Runge-Kutta methods). \u0412\u043e\u043e\u0431\u0449\u0435, \u043c\u0435\u0442\u043e\u0434\u044b \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b \u2013 \u044d\u0442\u043e \u0446\u0435\u043b\u044b\u0439 \u043a\u043b\u0430\u0441\u0441 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0439 \u0432 \u0441\u0435\u0431\u044f \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u043c\u0435\u0442\u043e\u0434 \u042d\u0439\u043b\u0435\u0440\u0430. \u041e\u0434\u043d\u0430\u043a\u043e, \u043f\u043e\u0434 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434 \u0447\u0435\u0442\u0432\u0451\u0440\u0442\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438:  <\/p>\n<\/p>\n<\/p>\n<p>\u0412\u0441\u0435 \u0432\u044b\u0448\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043c\u0435\u0442\u043e\u0434\u0430\u043c \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0448\u0430\u0433\u043e\u043c (fixed-step solvers). \u041e\u0434\u043d\u0430\u043a\u043e, \u043e\u043d\u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u043e\u043c: \u0435\u0441\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0448\u0430\u0433 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u043a\u0430\u0436\u0443\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u043d\u0435 \u0442\u043e\u0447\u043d\u044b\u043c\u0438, \u0435\u0441\u043b\u0438 \u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0448\u0430\u0433 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p>\u041a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u043d\u044b\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0430\u0434\u0430\u043f\u0442\u0438\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b (adaptive solvers), \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u044e\u0442 \u0448\u0430\u0433 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f  \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u041e\u043d\u0438 \u0430\u0434\u0430\u043f\u0442\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u043a \u0438\u0437\u043c\u0435\u043d\u044f\u044e\u0449\u0438\u043c\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c \u0437\u0430\u0434\u0430\u0447\u0438, \u0447\u0442\u043e\u0431\u044b \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0438 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0438\u0437\u043b\u0438\u0448\u043d\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0442\u0440\u0430\u0442.  <\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0434\u0438\u043d \u0438\u0437 \u0448\u0438\u0440\u043e\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0445\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 &#8212; \u043c\u0435\u0442\u043e\u0434 \u0414\u043e\u0440\u043c\u0430\u043d\u0434\u0430\u2013\u041f\u0440\u0438\u043d\u0441\u0430 (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Dormand%E2%80%93Prince_method\" rel=\"noopener noreferrer nofollow\">Dorman\u2013Prince method<\/a>). \u041e\u043d \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u0420\u0443\u043d\u0433\u0435-\u041a\u0443\u0442\u0442\u044b 4 \u0438 5 \u043f\u043e\u0440\u044f\u0434\u043a\u0430. \u041c\u0435\u0442\u043e\u0434 4 \u043f\u043e\u0440\u044f\u0434\u043a\u0430 (\u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0435\u0448\u0430\u0442\u0435\u043b\u044c) \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u041e\u0414\u0423. \u041c\u0435\u0442\u043e\u0434 5 \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e, \u043d\u0443\u0436\u0435\u043d \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u0438 \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0448\u0430\u0433\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0433\u043e \u0440\u0435\u0448\u0430\u0442\u0435\u043b\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u2013 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0448\u0430\u0433 \u043f\u043e\u0431\u043e\u043b\u044c\u0448\u0435, \u043a\u043e\u0433\u0434\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442\u0441\u044f &#8212; \u0448\u0430\u0433 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435.  <\/p>\n<p>\u041b\u044e\u0431\u043e\u0439 \u0438\u0437 \u0432\u044b\u0448\u0435\u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d \u0432 Neural ODE. \u041f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438  \u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u044c \u0441\u043b\u043e\u0435\u0432 \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u041a\u0430\u0436\u0434\u0430\u044f \u043d\u043e\u0432\u0430\u044f \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f \u0432 ODESolver &#8212; \u044d\u0442\u043e \u043d\u043e\u0432\u044b\u0439 \u0440\u0435\u043a\u0443\u0440\u0440\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043b\u043e\u0439.<\/p>\n<h4>2.3. \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435: backpropagation &amp; adjoint method<\/h4>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e \u0432\u0441\u0435\u043c \u0441\u043b\u043e\u044f\u043c Neural ODE \u043e\u0431\u044b\u0447\u043d\u044b\u043c backpropagation, \u043d\u043e \u0438\u0437-\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u043e\u0435\u0432 (\u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f ) \u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e ODESolver (\u0442\u0430\u043a\u043e\u0433\u043e \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434 \u0414\u043e\u0440\u043c\u0430\u043d\u0434\u0430\u2013\u041f\u0440\u0438\u043d\u0441\u0430) \u044d\u0442\u043e \u0437\u0430\u0439\u043c\u0435\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. <\/p>\n<p><em>\u041d\u043e\u0443\u0442\u0431\u0443\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f Backpropagation through time (\u043d\u0435 \u043c\u043e\u0439): <\/em><a href=\"https:\/\/github.com\/KPEKEP\/NeuralODE\" rel=\"noopener noreferrer nofollow\"><em>\u041f\u043e\u0448\u0430\u0433\u043e\u0432\u043e\u0435 \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u043e \u043f\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 Neural ODE \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c BPTT<\/em><\/a><em>.<\/em><\/p>\n<p>\u0412 <a href=\"https:\/\/arxiv.org\/abs\/1806.07366\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u0435<\/a> \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0431\u044b\u043b \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Adjoint_state_method\" rel=\"noopener noreferrer nofollow\">adjoint method <\/a>(\u043c\u0435\u0442\u043e\u0434 \u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Pontryagin%27s_maximum_principle\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430<\/a>.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435\u043c. \u041f\u0440\u0438\u043d\u0446\u0438\u043f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430.<\/summary>\n<div class=\"spoiler__content\">\n<h4>1. \u041f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h4>\n<p>\u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0443\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c\u0430\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u041e\u0414\u0423:<\/p>\n<p>\u0433\u0434\u0435  &#8212; \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 ,  \u2014 \u0432\u0435\u043a\u0442\u043e\u0440 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f,  \u2014 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u0430\u044f \u0432\u0435\u043a\u0442\u043e\u0440-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u043f\u043e .<\/p>\n<p>\u0423\u0441\u043b\u043e\u0432\u0438\u0435\u043c \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441\u043b\u0443\u0436\u0438\u0442 \u043f\u0435\u0440\u0432\u043e\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u0435 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438  \u043d\u0430 \u0433\u043b\u0430\u0434\u043a\u043e\u0435 \u0438 \u0431\u0435\u0437 \u043e\u0441\u043e\u0431\u044b\u0445 \u0442\u043e\u0447\u0435\u043a <em>\u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435<\/em> .<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0435\u0441\u0443\u0440\u0441\u044b \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435  \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0438\u0442 <em>\u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443<\/em> . <\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430:<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0442\u044b\u0441\u043a\u0430\u043d\u0438\u0438 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f , \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442 \u0441\u0438\u0441\u0442\u0435\u043c\u0443 (1) \u0438\u0437 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043d\u0430 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435, \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044e \u043d\u0430 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b (2) \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u0441\u0432\u043e\u0435\u0433\u043e \u043c\u0438\u043d\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u044b (1). <\/p>\n<p>\u041f\u0430\u0440\u0430 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c<\/em>.<\/p>\n<blockquote>\n<p><em>\u041f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u0442\u0435\u043a\u0441\u0442 \u0432\u044b\u0448\u0435:<\/em><\/p>\n<p><em>\u041f\u0443\u0441\u0442\u044c \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u043c\u0430\u0448\u0438\u043d\u043a\u0430, \u043f\u0435\u0440\u0435\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u043f\u0438\u0441\u0430\u043d\u043e \u0432 \u0432\u0438\u0434\u0435 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f (1). <\/em><\/p>\n<p><em>\u0423\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u043c\u0430\u0448\u0438\u043d\u043e\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a\u043e\u0432\u043e, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043f\u0435\u0440\u0435\u0434 \u0438\u043b\u0438 \u043d\u0430\u0437\u0430\u0434, \u043f\u0440\u0438\u0447\u0435\u043c \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e. \u0422\u043e \u0435\u0441\u0442\u044c  \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e <\/em>.<\/p>\n<p><em>\u041d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0438\u0437 \u0442\u043e\u0447\u043a\u0438 \u0410 (\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f), \u0432 \u0442\u043e\u0447\u043a\u0443 B (\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435) \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435. \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b \u0434\u043e\u043b\u0436\u0435\u043d \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u044f.<\/em> <\/p>\n<p><em>\u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f &#8212; \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 <\/em><em>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0442\u043e\u0447\u043a\u0430 B \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435.<\/em> <\/p>\n<\/blockquote>\n<h4>2. \u0420\u0435\u0448\u0435\u043d\u0438\u0435<\/h4>\n<p>\u0412\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430:<\/p>\n<p>\u0433\u0434\u0435 &#8212; \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u041e\u0414\u0423, <em>\u0441\u043e\u043f\u0440\u044f\u0436\u0435\u043d\u043d\u044b\u0445 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c \u0432 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f\u0445<\/em> \u043d\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b:  <\/p>\n<p><strong>\u0422\u0435\u043e\u0440\u0435\u043c\u0430:<\/strong> \u0415\u0441\u043b\u0438 &#8212; \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u0430\u044f \u043f\u0430\u0440\u0430 \u0442\u0430\u043a\u0430\u044f, \u0447\u0442\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f:<\/p>\n<ol>\n<li>\n<p>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0442\u043e\u0447\u0435\u043a \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0441\u0442\u0438  \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f <\/p>\n<\/p>\n<\/li>\n<li>\n<p>\u0432\u0435\u043a\u0442\u043e\u0440  \u043e\u0440\u0442\u043e\u0433\u043e\u043d\u0430\u043b\u0435\u043d \u043a \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u044e  \u0432 \u0442\u043e\u0447\u043a\u0435  &#8212; \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0442\u0440\u0430\u043d\u0441\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/li>\n<li>\n<p> \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u043e\u0441\u0442\u0438 \u0433\u0430\u043c\u0438\u043b\u044c\u0442\u043e\u043d\u0438\u0430\u043d\u0430 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e\u0434\u0443 \u043d\u0430 <\/p>\n<\/p>\n<\/li>\n<\/ol>\n<p>\u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0448\u0435 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u043f\u043e\u0438\u0441\u043a \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f <em>\u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f<\/em> <em>\u043a \u0440\u0435\u0448\u0435\u043d\u0438\u044e \u0434\u0432\u0443\u0445\u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0439 \u043a\u0440\u0430\u0435\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438<\/em> \u0434\u043b\u044f \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u0441\u0442\u0435\u043c (1) \u0438 (3), \u0433\u0434\u0435 \u043d\u0430 \u043b\u0435\u0432\u043e\u043c \u043a\u043e\u043d\u0446\u0435 \u0437\u0430\u0434\u0430\u043d\u043e  \u0443\u0441\u043b\u043e\u0432\u0438\u0439 , \u0430 \u043d\u0430 \u043f\u0440\u0430\u0432\u043e\u043c  \u0443\u0441\u043b\u043e\u0432\u0438\u0439  \u0434\u043b\u044f , \u0438  \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u0442\u0440\u0430\u043d\u0441\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (5)  \u0434\u043b\u044f . \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0432\u0443\u0445\u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u0438 \u043a\u0430\u0436\u0434\u043e\u043c  \u043d\u0430\u0434\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u043c\u0435\u0440\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 (4) \u043f\u043e .<\/p>\n<p>\u041d\u0430\u0439\u0434\u0435\u043d\u043d\u0430\u044f \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>\u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u044e \u041f\u043e\u043d\u0442\u0440\u044f\u0433\u0438\u043d\u0430<\/em>. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0434\u0430\u0435\u0442 \u043b\u0438\u0448\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u0430\u0434\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430. \u0418\u043d\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u0443\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0438\u0442\u044c \u043d\u0435\u043f\u043e\u0441\u0440\u0435\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u043e\u0439, \u0438\u043d\u043e\u0433\u0434\u0430 &#8212; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0434\u043b\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<blockquote>\n<p><em>\u0415\u0441\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430, \u0442\u043e \u0437\u0430\u043a\u0438\u043d\u0443\u043b\u0430 \u0432 <\/em><a href=\"https:\/\/github.com\/AnnaKangur\/ML\/tree\/main\/%D0%9F%D1%80%D0%B8%D0%BD%D1%86%D0%B8%D0%BF%20%D0%BC%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D1%83%D0%BC%D0%B0%20%D0%9F%D0%BE%D0%BD%D1%82%D1%80%D1%8F%D0%B3%D0%B8%D0%BD%D0%B0\" rel=\"noopener noreferrer nofollow\"><em>\u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439<\/em><\/a><em> \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0441<\/em><\/p>\n<\/blockquote>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-427353","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/427353","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=427353"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/427353\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=427353"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=427353"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=427353"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}