{"id":458601,"date":"2025-05-05T15:01:19","date_gmt":"2025-05-05T15:01:19","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=458601"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=458601","title":{"rendered":"<span>\u0413\u043b\u0443\u0431\u043e\u043a\u043e\u0435 Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 (DQN)<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/624\/715\/ecf\/624715ecf1388b9c5c71134260cf80e9.png\" alt=\"\u0432\u043a\u0430\u043b\u044b\u0432\u0430\u044e\u0442 \u0440\u043e\u0431\u043e\u0442\u044b\" title=\"\u0432\u043a\u0430\u043b\u044b\u0432\u0430\u044e\u0442 \u0440\u043e\u0431\u043e\u0442\u044b...\" width=\"1054\" height=\"629\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/624\/715\/ecf\/624715ecf1388b9c5c71134260cf80e9.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/624\/715\/ecf\/624715ecf1388b9c5c71134260cf80e9.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0432\u043a\u0430\u043b\u044b\u0432\u0430\u044e\u0442 \u0440\u043e\u0431\u043e\u0442\u044b&#8230;<\/figcaption><\/div>\n<\/figure>\n<h3>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043a \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u0441\u0435\u0440\u0438\u044f \u043c\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a \u043f\u0440\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0434\u0435\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043c\u0438\u0432\u043e\u044f\u0436\u0435\u0440\u0430 (TSP). \u042f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f TSP \u0438 \u0434\u0430\u043b\u0435\u0435\u00a0<a href=\"https:\/\/investcookies.ru\/post\/vnimanie_eto_vse_cto_nuzno_kommivoazeru\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b<\/a>\u00a0\u043f\u0440\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438\u00a0<em>Pointer Network<\/em>\u00a0\u043d\u0430 \u0431\u0430\u0437\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0434\u0430\u043d\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432\u0435\u0441\u044c\u043c\u0430 \u043d\u0435\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e\u0439 \u0438 \u0441\u043b\u0430\u0431\u043e\u0439 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u2014 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043a \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0449\u0435 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u044f \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043a\u043e\u0441\u043d\u0443\u043b\u0441\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b\u00a0<a href=\"https:\/\/investcookies.ru\/post\/prosto_o_vnimanii\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/a>\u00a0\u0438\u00a0<a href=\"https:\/\/investcookies.ru\/post\/a_ne_pora_li_nam_podkrepit_sa\" rel=\"noopener noreferrer nofollow\">\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<\/a>. \u041d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d, \u043d\u043e \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u0438 \u0442\u0435\u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0447\u0443\u0442\u044c \u043b\u0438 \u043d\u0435 \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435. \u0412\u043e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 Chat GPT-o1:<\/p>\n<blockquote>\n<p>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 GPT-o1 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e \u043f\u0443\u0442\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0441\u0432\u043e\u0438\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432. \u042d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439.<\/p>\n<\/blockquote>\n<p>\u041c\u0430\u0433\u0438\u0441\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u0434\u0435\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u043c\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a \u044f\u0432\u043b\u044f\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 TSP (\u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043c\u0438\u0432\u043e\u044f\u0436\u0435\u0440\u0430) \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0432 \u0432\u0438\u0434\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439, \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0436\u0435 \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b \u0447\u0435\u0440\u0435\u0434 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0431\u043e\u0440 \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u201c\u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434\u0430\u201d. \u041c\u043e\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u043f\u0435\u0442\u043d\u044b\u0439, \u043d\u043e \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u044b\u0439. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b \u0442\u0443\u043f\u0438\u043a\u043e\u0432\u0443\u044e \u0432\u0435\u0442\u0432\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043d\u043e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043d\u0430\u0434\u0435\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435.<\/p>\n<h3>\u0422\u0435\u043e\u0440\u0438\u044f\u00a0Deep Q-learning (DQN)<\/h3>\n<p>\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439\u00a0<a href=\"https:\/\/investcookies.ru\/post\/a_ne_pora_li_nam_podkrepit_sa\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043c\u0435\u0442\u043a\u0435<\/a>\u00a0\u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u0438\u0433\u0440\u044b \u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, TSP. \u0422\u0430\u043a\u0430\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0443\u0436\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0435\u0449\u0430\u044e\u0449\u0435, \u0432\u043f\u0440\u043e\u0447\u0435\u043c, \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043e\u0431\u043e\u0439\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432 Q-\u0442\u0430\u0431\u043b\u0438\u0446\u0443.<\/p>\n<p>\u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0438 Q-\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0438\u043b\u0438 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"Q_\\theta(s, a) \\leftarrow Q_\\theta(s, a) + \\alpha \\left( r(s, a) + \\gamma \\max_{a^{\\prime}} Q_\\theta \\left( s^{\\prime}, a^{\\prime} \\right) - Q_\\theta(s, a) \\right)\" alt=\"Q_\\theta(s, a) \\leftarrow Q_\\theta(s, a) + \\alpha \\left( r(s, a) + \\gamma \\max_{a^{\\prime}} Q_\\theta \\left( s^{\\prime}, a^{\\prime} \\right) - Q_\\theta(s, a) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/991\/991d37a47e1595cfe3325b24c933630d.svg\" width=\"auto\" height=\"auto\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/991\/991d37a47e1595cfe3325b24c933630d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/991\/991d37a47e1595cfe3325b24c933630d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u0433\u0434\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b1\" alt=\"\u03b1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7d\/b5c\/1e5\/c7db5c1e5aac4cf204a3185fe48499c8.svg\" width=\"16\" height=\"14\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7d\/b5c\/1e5\/c7db5c1e5aac4cf204a3185fe48499c8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7d\/b5c\/1e5\/c7db5c1e5aac4cf204a3185fe48499c8.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u044c\u00a0<em>learning rate<\/em>. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u0438\u0435 \u0436\u0435, \u043a\u0430\u043a \u0438 \u0432 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435. \u0418, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/em>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u043d\u0430 \u043d\u0451\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"Q_{\\theta_k}(s, a)\" alt=\"Q_{\\theta_k}(s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/c14\/e76\/a9ac14e762d80f66c3b00ef111cb81ce.svg\" width=\"92\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/c14\/e76\/a9ac14e762d80f66c3b00ef111cb81ce.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/c14\/e76\/a9ac14e762d80f66c3b00ef111cb81ce.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0448\u0430\u0433 \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438:<\/p>\n<ul>\n<li>\n<p><strong>\u0412\u0445\u043e\u0434\u043e\u043c<\/strong>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s, a\" alt=\"s, a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/852\/fff\/3cd\/852fff3cd630ad0f39ee18116cd4a945.svg\" width=\"35\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/852\/fff\/3cd\/852fff3cd630ad0f39ee18116cd4a945.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/852\/fff\/3cd\/852fff3cd630ad0f39ee18116cd4a945.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0&#8212; \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0441\u043a\u043e\u043c\u044b\u043c<\/strong>\u00a0\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}\u200b\" alt=\"\\hat{y}\u200b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e5\/ef1\/1e1\/1e5ef11e1e06c6bf361709b03e8bf7cf.svg\" width=\"14\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e5\/ef1\/1e1\/1e5ef11e1e06c6bf361709b03e8bf7cf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e5\/ef1\/1e1\/1e5ef11e1e06c6bf361709b03e8bf7cf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043d\u0430 \u043f\u0430\u0440\u0435\u00a0\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s, a\" alt=\"s, a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/852\/fff\/3cd\/852fff3cd630ad0f39ee18116cd4a945.svg\" width=\"35\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/852\/fff\/3cd\/852fff3cd630ad0f39ee18116cd4a945.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/852\/fff\/3cd\/852fff3cd630ad0f39ee18116cd4a945.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u043b\u0438 \u043f\u0440\u0430\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0431\u0443\u0434\u0435\u0442:<\/p>\n<\/li>\n<\/ul>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y} := r(s, a) + \\gamma \\mathbb{E_{s'}} \\max_{a'} Q_{\u03b8_k}(s', a'),\" alt=\"\\hat{y} := r(s, a) + \\gamma \\mathbb{E_{s'}} \\max_{a'} Q_{\u03b8_k}(s', a'),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fba6c57c35ae3a45c0a4272818383e32.svg\" width=\"auto\" height=\"auto\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fba6c57c35ae3a45c0a4272818383e32.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/fb\/fba\/fba6c57c35ae3a45c0a4272818383e32.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0<\/p>\n<p>\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u043d\u0430\u0433\u0440\u0430\u0434 \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s\u2032\" alt=\"s\u2032\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/149\/14974f1f818958043164d1bac5d77401.svg\" width=\"auto\" height=\"auto\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/149\/14974f1f818958043164d1bac5d77401.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/14\/149\/14974f1f818958043164d1bac5d77401.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u0441\u0440\u0435\u0434\u044b,\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e00\/962\/dc9\/e00962dc9be9fdd40279c6fa3ca248e6.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e00\/962\/dc9\/e00962dc9be9fdd40279c6fa3ca248e6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e00\/962\/dc9\/e00962dc9be9fdd40279c6fa3ca248e6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0&#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ul>\n<li>\n<p><strong>\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c<\/strong>\u00a0(\u00ab\u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u044b\u043c\u00bb) \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af4\/5c1\/f32\/af45c1f3240024df05bf9816f135b5e2.svg\" width=\"12\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af4\/5c1\/f32\/af45c1f3240024df05bf9816f135b5e2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af4\/5c1\/f32\/af45c1f3240024df05bf9816f135b5e2.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u043b\u0438\u00a0<strong>\u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c<\/strong>\u00a0(target) \u0431\u0443\u0434\u0435\u0442:<\/p>\n<\/li>\n<\/ul>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"y(s, a) := r(s, a) + \\gamma \\max_{a'} Q_{\u03b8_k}(s', a'),\" alt=\"y(s, a) := r(s, a) + \\gamma \\max_{a'} Q_{\u03b8_k}(s', a'),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/098\/26b\/644\/09826b644d8e84aabd529d3def2cd30f.svg\" width=\"379\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/098\/26b\/644\/09826b644d8e84aabd529d3def2cd30f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/098\/26b\/644\/09826b644d8e84aabd529d3def2cd30f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s' \\sim p(s' | s, a)\" alt=\"s' \\sim p(s' | s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e5\/554\/4e5\/5e55544e5e1c1885d3f57aeff701d056.svg\" width=\"142\" height=\"29\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e5\/554\/4e5\/5e55544e5e1c1885d3f57aeff701d056.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e5\/554\/4e5\/5e55544e5e1c1885d3f57aeff701d056.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<ul>\n<li>\n<p><strong>\u0424\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c MSE<\/strong>: <\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Loss}(y, \\hat{y}) = \\frac{1}{2} (y - \\hat{y})^2\" alt=\"\\text{Loss}(y, \\hat{y}) = \\frac{1}{2} (y - \\hat{y})^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e01\/0bf\/723\/e010bf72328382f6919e45f7f5781581.svg\" width=\"240\" height=\"52\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e01\/0bf\/723\/e010bf72328382f6919e45f7f5781581.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e01\/0bf\/723\/e010bf72328382f6919e45f7f5781581.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,\u00a0<strong>\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0435<\/strong>\u00a0\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u0438\u0437 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u00ab\u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u043e\u0439\u00bb \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\theta_k\" alt=\"\\theta_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f8\/9f888eddb683fe5f80f87f44bd727b08.svg\" width=\"auto\" height=\"auto\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f8\/9f888eddb683fe5f80f87f44bd727b08.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9f\/9f8\/9f888eddb683fe5f80f87f44bd727b08.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u200b\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043b\u044e\u0441 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u044b: \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c, \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b3\" alt=\"\u03b3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/93d\/167\/b1e93d16737128fc1e0bdf6d587cdecd.svg\" width=\"13\" height=\"19\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/93d\/167\/b1e93d16737128fc1e0bdf6d587cdecd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/93d\/167\/b1e93d16737128fc1e0bdf6d587cdecd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u0441 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439.\u00a0<strong>\u0418\u0441\u043a\u043e\u043c\u044b\u0435<\/strong>\u00a0\u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u2013 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c(<em>Loss<\/em>). \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab\u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u0430\u044f\u00bb \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e, \u043a\u0430\u043a \u0438 \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u2014 \u044d\u0442\u043e \u0435\u0451 \u00ab\u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u043e\u0435\u00bb \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u043f\u043e \u0432\u0445\u043e\u0434\u0443\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s,a\" alt=\"s,a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4be\/f87\/98d\/4bef8798d7f1b7061beb98cb772d8fbf.svg\" width=\"35\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4be\/f87\/98d\/4bef8798d7f1b7061beb98cb772d8fbf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4be\/f87\/98d\/4bef8798d7f1b7061beb98cb772d8fbf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s\u2032\" alt=\"s\u2032\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/672\/432\/411\/6724324110369e148256a198d9ded928.svg\" width=\"20\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/672\/432\/411\/6724324110369e148256a198d9ded928.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/672\/432\/411\/6724324110369e148256a198d9ded928.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0437\u0430\u0442\u0435\u043c \u043e\u0442\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s\u2032\" alt=\"s\u2032\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/254\/003\/1f6\/2540031f6b68ab98a36375d3cc2032e9.svg\" width=\"20\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/254\/003\/1f6\/2540031f6b68ab98a36375d3cc2032e9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/254\/003\/1f6\/2540031f6b68ab98a36375d3cc2032e9.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aee\/794\/ebb\/aee794ebb4b9b4255eec43c58e6268ef.svg\" width=\"12\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aee\/794\/ebb\/aee794ebb4b9b4255eec43c58e6268ef.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aee\/794\/ebb\/aee794ebb4b9b4255eec43c58e6268ef.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u044b\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s,a\" alt=\"s,a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/969\/b60\/9a5\/969b609a5ff649ae983fa42bbf46bc85.svg\" width=\"35\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/969\/b60\/9a5\/969b609a5ff649ae983fa42bbf46bc85.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/969\/b60\/9a5\/969b609a5ff649ae983fa42bbf46bc85.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0437\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u0431\u0435 \u0442\u0430\u0440\u0433\u0435\u0442, \u0432\u0437\u044f\u0432 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"(s,a,r,s\u2032)\" alt=\"(s,a,r,s\u2032)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cad\/293\/ebc\/cad293ebc0b6abca3be1ad0fabb7ef07.svg\" width=\"105\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cad\/293\/ebc\/cad293ebc0b6abca3be1ad0fabb7ef07.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cad\/293\/ebc\/cad293ebc0b6abca3be1ad0fabb7ef07.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0441\u044c \u0441\u0435\u043c\u043f\u043b\u043e\u043c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s\u2032,\" alt=\"s\u2032,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/947\/b24\/758\/947b24758b05e8539b5cee41033cb0c5.svg\" width=\"25\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/947\/b24\/758\/947b24758b05e8539b5cee41033cb0c5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/947\/b24\/758\/947b24758b05e8539b5cee41033cb0c5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0442\u0430\u0440\u0433\u0435\u0442 \u2014 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u0432\u0445\u043e\u0434\u0430. \u041f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e: \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0430, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u043e\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043e\u0442 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u043c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u00ab\u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e\u00bb, \u043e\u0431\u0443\u0447\u0430\u044f\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/d65\/0b7\/521d650b7ed686a471316016b42db76d.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/d65\/0b7\/521d650b7ed686a471316016b42db76d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/d65\/0b7\/521d650b7ed686a471316016b42db76d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8_k\" alt=\"\u03b8_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf5\/3a5\/9b0\/cf53a59b049dce71682a9d484a130aa6.svg\" width=\"23\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf5\/3a5\/9b0\/cf53a59b049dce71682a9d484a130aa6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf5\/3a5\/9b0\/cf53a59b049dce71682a9d484a130aa6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u00ab\u0417\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0435\u00bb\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8_k\" alt=\"\u03b8_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/550\/718\/a6f\/550718a6f788a8cc8c3c94363ca561dd.svg\" width=\"23\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/550\/718\/a6f\/550718a6f788a8cc8c3c94363ca561dd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/550\/718\/a6f\/550718a6f788a8cc8c3c94363ca561dd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u200b\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"y(s,a)\" alt=\"y(s,a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da5\/705\/348\/da570534881926550605364a8da9b756.svg\" width=\"66\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da5\/705\/348\/da570534881926550605364a8da9b756.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da5\/705\/348\/da570534881926550605364a8da9b756.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438. \u0422\u0430\u043a \u043c\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u043c \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0435\u043c \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\theta_{k+1} := \\theta\" alt=\"\\theta_{k+1} := \\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/511\/fcd\/447\/511fcd4477d01f81887b30e5dd174a3c.svg\" width=\"95\" height=\"26\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/511\/fcd\/447\/511fcd4477d01f81887b30e5dd174a3c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/511\/fcd\/447\/511fcd4477d01f81887b30e5dd174a3c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f (\u043f\u043e\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f), \u0438 \u043c\u044b \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443 \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438<\/em>, \u043a\u0430\u043a \u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445, \u0442\u0435\u043e\u0440\u0438\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b\u0430 \u00ab\u0441\u043c\u0435\u043d\u044f\u0442\u044c\u00bb \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u0432\u0435\u0436\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043e\u0442 \u00ab\u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\u00bb \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430\u043c, \u0432\u0441\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/em>\u00a0\u0442\u0435\u0440\u044f\u044e\u0442\u0441\u044f (\u0442\u0435\u043e\u0440\u0435\u043c\u044b \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u00ab\u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u00bb \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438). \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0432\u0440\u043e\u0434\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043d\u0435\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0432\u0440\u043e\u0434\u0435 \u0410\u0434\u0430\u043c\u0430 \u0438\u043b\u0438\u00a0<strong>\u043d\u0435 \u0434\u043e\u0432\u043e\u0434\u0438\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438<\/strong>, &#8212; \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439 \u043d\u0435\u0442.<\/p>\n<p>\u041d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438? \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u0441\u0432\u0435\u0436\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0435\u043d\u044f\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"y(s, a) := r + \\gamma \\max_a Q_\\theta(s', a')\" alt=\"y(s, a) := r + \\gamma \\max_a Q_\\theta(s', a')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b61\/dce\/33c\/b61dce33c3c2633a450f46c6f32fbd8b.svg\" width=\"310\" height=\"40\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b61\/dce\/33c\/b61dce33c3c2633a450f46c6f32fbd8b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b61\/dce\/33c\/b61dce33c3c2633a450f46c6f32fbd8b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0430\u0436\u043d\u043e<\/strong>, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"y(s,a)\" alt=\"y(s,a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/13b\/664\/ef3\/13b664ef30df6e1639ed12dd8cfc4d7c.svg\" width=\"66\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/13b\/664\/ef3\/13b664ef30df6e1639ed12dd8cfc4d7c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/13b\/664\/ef3\/13b664ef30df6e1639ed12dd8cfc4d7c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b09\/2af\/498\/b092af498695f7380269a6b966dd18ba.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b09\/2af\/498\/b092af498695f7380269a6b966dd18ba.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b09\/2af\/498\/b092af498695f7380269a6b966dd18ba.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c. \u0415\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0432 \u043d\u0435\u0451 \u043f\u0440\u043e\u0442\u0435\u043a\u0443\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0448\u043b\u043e\u0435 \u043f\u043e\u0434 \u0431\u0443\u0434\u0443\u0449\u0435\u0435, \u043d\u043e \u0438 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u043f\u043e\u0434 \u043f\u0440\u043e\u0448\u043b\u043e\u0435, \u0447\u0442\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043e\u0439.<\/p>\n<p>\u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u0435\u0433\u043a\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0442 \u0441\u043b\u043e\u0432\u0430 \u00ab\u0441\u043e\u0432\u0441\u0435\u043c\u00bb. \u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0447\u0440\u0435\u0432\u0430\u0442\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u00ab\u0441\u043b\u043e\u043c\u0430\u043d\u043d\u043e\u0439\u00bb \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u044f\u0434\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u044d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447\u0430\u0445 \u00ab\u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u00bb \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439 \u0443\u0434\u0430\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 (\u043d\u0430 \u0442\u043e \u044d\u0442\u043e \u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f). \u0417\u0434\u0435\u0441\u044c \u0436\u0435, \u043f\u0440\u0438 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e\u043c \u0448\u0430\u0433\u0435, \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043d\u0430 \u0436\u0435 \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0446\u0435\u043f\u043d\u043e\u0439 \u0440\u0435\u0430\u043a\u0446\u0438\u0438: \u043f\u043b\u043e\u0445\u0430\u044f \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u043f\u043e\u0440\u0442\u0438\u0442 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e\u2026 \u042d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044f\u0440\u043a\u043e \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0434\u043d\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u0446\u0435\u043b\u0435\u0432\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u044b (\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0436\u0435 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e).<\/p>\n<p>\u0414\u043b\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u0434\u043d\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 \u043e\u0434\u043d\u0443 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430: \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0445\u043e\u0442\u044f \u0431\u044b \u0443\u0441\u043b\u043e\u0432\u043d\u043e 100\u2013200 \u0448\u0430\u0433\u043e\u0432. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0430\u0440\u0433\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"r + \\gamma \\max_a Q_\\theta(s, a)\" alt=\"r + \\gamma \\max_a Q_\\theta(s, a)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ea\/1ff\/796\/6ea1ff796aca3832e1c75b9cc5de54f9.svg\" width=\"191\" height=\"39\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ea\/1ff\/796\/6ea1ff796aca3832e1c75b9cc5de54f9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ea\/1ff\/796\/6ea1ff796aca3832e1c75b9cc5de54f9.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0436\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a07\/820\/7ca\/a078207cad6e020e4af79d1f84b933ce.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a07\/820\/7ca\/a078207cad6e020e4af79d1f84b933ce.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a07\/820\/7ca\/a078207cad6e020e4af79d1f84b933ce.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043f\u043e\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043a\u043e\u043f\u0438\u044f\u00a0<em>Q<\/em>-\u0441\u0435\u0442\u0438, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f\u00a0<strong>\u0442\u0430\u0440\u0433\u0435\u0442-\u0441\u0435\u0442\u044c\u044e<\/strong>\u00a0(<em>target network<\/em>), \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0446\u0435\u043b\u044c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u2014 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u0440\u0433\u0435\u0442\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u043a \u0438\u0437 \u0437\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447\u0435\u0439. \u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u0435\u0451 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\theta^-\" alt=\"\\theta^-\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f6\/d8f\/794\/0f6d8f79495580cf3ac0093aac40eb9b.svg\" width=\"27\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f6\/d8f\/794\/0f6d8f79495580cf3ac0093aac40eb9b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f6\/d8f\/794\/0f6d8f79495580cf3ac0093aac40eb9b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0418\u0442\u0430\u043a, \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"y(T) := r + \\gamma \\max_a Q_{\\theta^-}(s', a')\" alt=\"y(T) := r + \\gamma \\max_a Q_{\\theta^-}(s', a')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/15\/151\/151889fe9075fbbda20fee0840c716fb.svg\" width=\"auto\" height=\"auto\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/15\/151\/151889fe9075fbbda20fee0840c716fb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/15\/151\/151889fe9075fbbda20fee0840c716fb.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0430 \u0440\u0430\u0437 \u0432\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg\" width=\"auto\" height=\"auto\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0448\u0430\u0433\u043e\u0432 \u0432\u0435\u0441\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\theta^-\" alt=\"\\theta^-\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08d\/cbc\/82d\/08dcbc82d2d87a33dac0b3f550523287.svg\" width=\"27\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08d\/cbc\/82d\/08dcbc82d2d87a33dac0b3f550523287.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08d\/cbc\/82d\/08dcbc82d2d87a33dac0b3f550523287.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b7\/425\/2fa\/9b74252fa44bc012a0e8c3a7a04a841e.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b7\/425\/2fa\/9b74252fa44bc012a0e8c3a7a04a841e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b7\/425\/2fa\/9b74252fa44bc012a0e8c3a7a04a841e.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0434\u043b\u044f \u00ab\u0437\u0430\u0434\u0430\u043d\u0438\u044f\u00bb \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438.<\/p>\n<h3>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043e\u0443\u0441 \u0434\u043b\u044f TSP<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043a\u043e\u0441\u043d\u0443\u0442\u044c\u0441\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u00a0<em>Q<\/em>-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u0412 \u0442\u0435\u043e\u0440\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0441\u00a0<em>ReLU<\/em>\u00a0\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438\u00a0<em>dropout<\/em>\u00a0\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0435\u0431\u044f \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0438 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u0443\u0440\u0430\u0436\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e:\u00a0<em>LSTM<\/em>,\u00a0<em>convolution<\/em>-\u0441\u043b\u043e\u0438 \u0438 \u0434\u0430\u0436\u0435 \u0446\u0435\u043b\u044b\u0435\u00a0<em>Decoder-Encoder + Attention<\/em>.<\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u043d\u0438\u0447\u0435\u0433\u043e \u0438\u0437 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e, \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0433\u043e\u0440\u043e\u0434\u0430 \u0431\u0435\u0437 \u0443\u0447\u0451\u0442\u0430 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u0433\u043e\u0440\u043e\u0434\u0430 \u0435\u0449\u0451 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u044c. \u0417\u0434\u0435\u0441\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u043e \u043c\u0430\u0441\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u043e\u043f\u043e\u0440\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u043d\u0443\u043b\u044f\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u0435\u0449\u0451\u043d\u043d\u044b\u0445 \u0433\u043e\u0440\u043e\u0434\u043e\u0432, \u043d\u043e \u043c\u0430\u0441\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u044f.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0445\u043e\u0440\u043e\u0448\u043e \u0431\u044b \u043a\u0430\u043a-\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0433\u043e\u0440\u043e\u0434\u043e\u0432 \u0438 \u0442\u0430\u043a\u0436\u0435 \u0448\u0442\u0440\u0430\u0444\u043e\u0432\u0430\u0442\u044c \u0437\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442\u00a0<em>\u0433\u043e\u0440\u043e\u0434\u0430-\u0438\u0437\u0433\u043e\u0438<\/em>\u00a0\u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043e\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u0422\u0430\u043a\u0438\u0435 \u0433\u043e\u0440\u043e\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u044e\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u044c \u0438\u0437 \u043d\u0435\u0432\u044b\u0433\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0441\u0434\u0435\u043b\u0430\u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u044e\u043a \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043f\u043b\u0435\u0447\u043e\u043c. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0440\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"c_{t} = \\sum_{t=1}^T \\alpha (s_t, h_t)h_t,\" alt=\"c_{t} = \\sum_{t=1}^T \\alpha (s_t, h_t)h_t,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16c\/832\/818\/16c832818a2d6100a1dd3504ff3821ed.svg\" width=\"208\" height=\"74\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16c\/832\/818\/16c832818a2d6100a1dd3504ff3821ed.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16c\/832\/818\/16c832818a2d6100a1dd3504ff3821ed.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"h_t\u200b\u00a0\" alt=\"h_t\u200b\u00a0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/996\/f04\/eba\/996f04eba746c5e1170c82c2790fc556.svg\" width=\"23\" height=\"23\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/996\/f04\/eba\/996f04eba746c5e1170c82c2790fc556.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/996\/f04\/eba\/996f04eba746c5e1170c82c2790fc556.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 (\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433) \u0435\u0449\u0451 \u043d\u0435 \u043f\u043e\u0441\u0435\u0449\u0451\u043d\u043d\u044b\u0445 \u0433\u043e\u0440\u043e\u0434\u043e\u0432, \u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/727\/89e\/9a9\/72789e9a969c2b762fbd07e0ea806284.svg\" width=\"20\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/727\/89e\/9a9\/72789e9a969c2b762fbd07e0ea806284.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/727\/89e\/9a9\/72789e9a969c2b762fbd07e0ea806284.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u043b\u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0446\u0435\u043d\u0442\u0440\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0433\u043e\u0440\u043e\u0434\u043e\u0432, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0432\u0435\u0441\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u0430\u0441\u0447\u0451\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0434\u043e \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0442\u043e\u0447\u0435\u043a, \u0438 \u0442\u0430\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"FFN\" alt=\"FFN\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2b\/2f1\/d72\/d2b2f1d72144812ab71d58c413b8bdb4.svg\" width=\"58\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2b\/2f1\/d72\/d2b2f1d72144812ab71d58c413b8bdb4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d2b\/2f1\/d72\/d2b2f1d72144812ab71d58c413b8bdb4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\u00a0<em>residual connection<\/em>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"D(s_t, s_t')\" alt=\"D(s_t, s_t')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ea\/c84\/8b3\/4eac848b30f8ee98f986408d8dc093d3.svg\" width=\"90\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ea\/c84\/8b3\/4eac848b30f8ee98f986408d8dc093d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ea\/c84\/8b3\/4eac848b30f8ee98f986408d8dc093d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u0433\u043e\u0440\u043e\u0434\u043e\u043c \u0438 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u043c\u0438\u0441\u044f:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"Q_{\\theta}(s_t, a_t) = FFN(D(c_{t}, s_t')) + D(c_{t}, s_t') - D(s_t, s_t'),\" alt=\"Q_{\\theta}(s_t, a_t) = FFN(D(c_{t}, s_t')) + D(c_{t}, s_t') - D(s_t, s_t'),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c8\/b8d\/7a0\/8c8b8d7a0dffd743df0d410685968e8b.svg\" width=\"544\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c8\/b8d\/7a0\/8c8b8d7a0dffd743df0d410685968e8b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c8\/b8d\/7a0\/8c8b8d7a0dffd743df0d410685968e8b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"D(c_{t}, s_t')\" alt=\"D(c_{t}, s_t')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/304\/565\/d99\/304565d99dc466273d1ad4d47714e3fc.svg\" width=\"89\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/304\/565\/d99\/304565d99dc466273d1ad4d47714e3fc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/304\/565\/d99\/304565d99dc466273d1ad4d47714e3fc.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u0446\u0435\u043d\u0442\u0440\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043e \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0433\u043e\u0440\u043e\u0434\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0433\u043e\u0440\u043e\u0434\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0448\u0442\u0440\u0430\u0444\/\u0431\u043e\u043d\u0443\u0441 \u0437\u0430 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\/\u0443\u0447\u0451\u0442\u00a0<em>\u0433\u043e\u0440\u043e\u0434\u043e\u0432-\u0438\u0437\u0433\u043e\u0435\u0432<\/em>.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a4d\/68d\/4e8\/a4d68d4e86ed7bfc7b4c7c7870b90223.png\" alt=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\" title=\"\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f\" width=\"720\" height=\"370\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a4d\/68d\/4e8\/a4d68d4e86ed7bfc7b4c7c7870b90223.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a4d\/68d\/4e8\/a4d68d4e86ed7bfc7b4c7c7870b90223.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0431\u0443\u0434\u0435\u0442 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u043e\u0447\u0438\u0445 \u0437\u0430\u0434\u0430\u0447? \u0421 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0437\u0430\u0432\u044f\u0437\u0430\u043d \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e, \u043a\u0430\u043a \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 TSP. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0442\u0430\u043a\u0443\u044e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c. \u0415\u0441\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0447\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0438\u043f\u0430 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439\u00a0<em>VRP &#8212; Vehicle Routing Problem<\/em>\u00a0\u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439\u00a0<em>Flow Shop Scheduling Problem<\/em>, \u0442\u043e \u0441\u043c\u044b\u0441\u043b \u0432\u0441\u0435\u0445 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u043d\u043d\u044b\u0445 \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u0439 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0435\u0440\u0435\u0442\u0435\u043a\u0430\u0435\u0442 \u0432 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044e \u0444\u0438\u043b\u043e\u0441\u043e\u0444\u0441\u043a\u0443\u044e.<\/p>\n<h3>\u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0DQN<\/h3>\n<p>\u0420\u0430\u043d\u0435\u0435 \u0443\u0436\u0435\u00a0<a href=\"https:\/\/investcookies.ru\/post\/a_ne_pora_li_nam_podkrepit_sa\" rel=\"noopener noreferrer nofollow\">\u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b\u043e\u0441\u044c<\/a>, \u0447\u0442\u043e\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/em>\u00a0\u0438, \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u0435\u0433\u043e \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u043d\u043d\u044b\u0439 \u0441\u043e\u0431\u0440\u0430\u0442\u00a0<em>DQN<\/em>\u00a0\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f\u00a0<em>off-policy<\/em>, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0442\u044c \u043e\u043f\u044b\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439. \u042d\u0442\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u043b\u044e\u0431\u044b\u043c\u0438 \u0441\u0435\u043c\u043f\u043b\u0430\u043c\u0438, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438\u0437 \u0431\u0443\u0444\u0435\u0440\u0430 \u043f\u0430\u043c\u044f\u0442\u0438.<\/p>\n<p>\u041d\u0430 \u043f\u043e\u0432\u0435\u0440\u043a\u0443 \u0431\u0443\u0444\u0435\u0440 \u043f\u0430\u043c\u044f\u0442\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 TSP \u043d\u0435 \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0432\u044b\u0441\u0438\u043b \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0438 \u0434\u0430\u043b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448 \u0432 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u0412 \u0446\u0435\u043b\u043e\u043c,\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/em>\u00a0\u0438\u00a0<em>DQN<\/em>, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0442\u0435\u043e\u0440\u0438\u0438, \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u0438 \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f: \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043c\u0430\u043b\u043e \u0441\u0435\u043c\u043f\u043b\u043e\u0432, \u0438 \u0442\u0430\u043a\u0438\u0435 \u0441\u0435\u043c\u043f\u043b\u044b \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043a\u043e\u043c\u043c\u0438\u0432\u043e\u044f\u0436\u0435\u0440\u0430 (\u043f\u043e\u043b\u043d\u0443\u044e \u0438\u0433\u0440\u0443). \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0441\u0435\u043c\u043f\u043b\u044b \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u043b\u0438 \u0432\u0441\u0435 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b (Q-\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0442\u0430\u0440\u0433\u0435\u0442-\u0441\u0435\u0442\u044c, \u0440\u0435\u043f\u043b\u0435\u0439-\u0431\u0443\u0444\u0435\u0440) \u043d\u0430 \u043c\u0435\u0441\u0442\u0435, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0430 \u0440\u0430\u0431\u043e\u0442\u044b\u00a0<em>DQN<\/em>:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cfb\/0f1\/6a1\/cfb0f16a167a801be1526ba27e51b1b4.png\" alt=\"\u041b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 DQN\" title=\"\u041b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 DQN\" width=\"720\" height=\"370\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cfb\/0f1\/6a1\/cfb0f16a167a801be1526ba27e51b1b4.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cfb\/0f1\/6a1\/cfb0f16a167a801be1526ba27e51b1b4.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u041b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0445\u0435\u043c\u0430 DQN<\/figcaption><\/div>\n<\/figure>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0432\u0438\u0434\u0435 \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0430:<\/p>\n<blockquote>\n<p><strong>\u0413\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<\/strong><\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/084\/2a7\/31d\/0842a731dd03331e30c22a745ac66f7a.svg\" width=\"18\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/084\/2a7\/31d\/0842a731dd03331e30c22a745ac66f7a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/084\/2a7\/31d\/0842a731dd03331e30c22a745ac66f7a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u0440\u0430\u0437\u043c\u0435\u0440 \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447\u0435\u0439<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/4b0\/26a\/9574b026aa7b0bc479abc7b14dfcce4f.svg\" width=\"22\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/4b0\/26a\/9574b026aa7b0bc479abc7b14dfcce4f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/4b0\/26a\/9574b026aa7b0bc479abc7b14dfcce4f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u043f\u0434\u0435\u0439\u0442\u0430 \u0442\u0430\u0440\u0433\u0435\u0442-\u0441\u0435\u0442\u0438<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\u03b5(t)\" alt=\"\u03b5(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/669\/3d3\/513\/6693d3513a6b8246b6c9c8ba868d8b6f.svg\" width=\"39\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/669\/3d3\/513\/6693d3513a6b8246b6c9c8ba868d8b6f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/669\/3d3\/513\/6693d3513a6b8246b6c9c8ba868d8b6f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"Q\" alt=\"Q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d28\/014\/ba5\/d28014ba5f68bce5f04c2de96527d77b.svg\" width=\"19\" height=\"25\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d28\/014\/ba5\/d28014ba5f68bce5f04c2de96527d77b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d28\/014\/ba5\/d28014ba5f68bce5f04c2de96527d77b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u2014 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u043a\u0430 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a24\/f06\/452\/a24f064521472f5f0158f158c511090f.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a24\/f06\/452\/a24f064521472f5f0158f158c511090f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a24\/f06\/452\/a24f064521472f5f0158f158c511090f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, SGD-\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ae\/aca\/4e0\/3aeaca4e0e5ac622ef6391a95c80c0b3.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ae\/aca\/4e0\/3aeaca4e0e5ac622ef6391a95c80c0b3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ae\/aca\/4e0\/3aeaca4e0e5ac622ef6391a95c80c0b3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e \u041f\u043e\u043b\u043e\u0436\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\theta^- := \\theta\" alt=\"\\theta^- := \\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d4\/795\/53d\/6d479553d4a20fe5ccca3ac474963164.svg\" width=\"78\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d4\/795\/53d\/6d479553d4a20fe5ccca3ac474963164.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d4\/795\/53d\/6d479553d4a20fe5ccca3ac474963164.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u041f\u0440\u043e\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"s_0\u200b\" alt=\"s_0\u200b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b8d\/488\/126\/b8d4881260c9b20ed46a55771157befa.svg\" width=\"22\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b8d\/488\/126\/b8d4881260c9b20ed46a55771157befa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b8d\/488\/126\/b8d4881260c9b20ed46a55771157befa.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u043c \u0448\u0430\u0433\u0435\u00a0<\/strong><img decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b06\/400\/4bb\/b064004bb93be94095700c12a4cd94e4.svg\" width=\"9\" height=\"19\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b06\/400\/4bb\/b064004bb93be94095700c12a4cd94e4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b06\/400\/4bb\/b064004bb93be94095700c12a4cd94e4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><strong>:<\/strong><\/p>\n<ol>\n<li>\n<p>\u0412\u044b\u0431\u0440\u0430\u0442\u044c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"a_t\" alt=\"a_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d9\/bc9\/0d7\/5d9bc90d7e77dd5abf56d8249e53a6d6.svg\" width=\"21\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d9\/bc9\/0d7\/5d9bc90d7e77dd5abf56d8249e53a6d6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d9\/bc9\/0d7\/5d9bc90d7e77dd5abf56d8249e53a6d6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u200b\u00a0\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e<img decoding=\"async\" class=\"formula inline\" source=\"\u03b5(t)\" alt=\"\u03b5(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e72\/d8f\/6d1\/e72d8f6d1668066fd2c4d9e5dbfebd4d.svg\" width=\"39\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e72\/d8f\/6d1\/e72d8f6d1668066fd2c4d9e5dbfebd4d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e72\/d8f\/6d1\/e72d8f6d1668066fd2c4d9e5dbfebd4d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438\u043d\u0430\u0447\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"a_t := \\arg\\max_{a_t} Q_{\\theta}(s_t, a_t)\" alt=\"a_t := \\arg\\max_{a_t} Q_{\\theta}(s_t, a_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/722\/dae\/e35\/722daee35ffde34959db25f57645da9e.svg\" width=\"248\" height=\"41\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/722\/dae\/e35\/722daee35ffde34959db25f57645da9e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/722\/dae\/e35\/722daee35ffde34959db25f57645da9e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u044c\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"r_t, s_{t+1}, \\text{done}_{t+1}\" alt=\"r_t, s_{t+1}, \\text{done}_{t+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b2\/be2\/b58\/5b2be2b58e5e6f1ceef627ae076818c0.svg\" width=\"164\" height=\"25\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b2\/be2\/b58\/5b2be2b58e5e6f1ceef627ae076818c0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b2\/be2\/b58\/5b2be2b58e5e6f1ceef627ae076818c0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p>\u0414\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u043f\u044f\u0442\u0451\u0440\u043a\u0443\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"(s_t, a_t, r_t, s_{t+1}, \\text{done}_{t+1})\" alt=\"(s_t, a_t, r_t, s_{t+1}, \\text{done}_{t+1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d63\/9b6\/f83\/d639b6f830a74222f2ec90d026c74765.svg\" width=\"245\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d63\/9b6\/f83\/d639b6f830a74222f2ec90d026c74765.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d63\/9b6\/f83\/d639b6f830a74222f2ec90d026c74765.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0432 \u0440\u0435\u043f\u043b\u0435\u0439 \u0431\u0443\u0444\u0435\u0440<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447 \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fad\/b50\/358\/fadb50358ed4eac62f81aa30935564f3.svg\" width=\"18\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fad\/b50\/358\/fadb50358ed4eac62f81aa30935564f3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fad\/b50\/358\/fadb50358ed4eac62f81aa30935564f3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u0437 \u0431\u0443\u0444\u0435\u0440\u0430<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"T = (s, a, r, s', \\text{done})\" alt=\"T = (s, a, r, s', \\text{done})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f3\/ce0\/533\/0f3ce05334a5095909b1025eb9db7f7f.svg\" width=\"215\" height=\"29\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f3\/ce0\/533\/0f3ce05334a5095909b1025eb9db7f7f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f3\/ce0\/533\/0f3ce05334a5095909b1025eb9db7f7f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0430\u0440\u0433\u0435\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"y(T) := r + \\gamma (1 - \\text{done}) \\max_{a'} Q_{\\theta^-}(s', a')\" alt=\"y(T) := r + \\gamma (1 - \\text{done}) \\max_{a'} Q_{\\theta^-}(s', a')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e89\/417\/11e\/e8941711e1015f00da5fadb68054376b.svg\" width=\"414\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e89\/417\/11e\/e8941711e1015f00da5fadb68054376b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e89\/417\/11e\/e8941711e1015f00da5fadb68054376b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043b\u043e\u0441\u0441:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Loss}(\\theta) := \\frac{1}{B} \\sum_T (Q_{\\theta}(s, a) - y(T))^2\" alt=\"\\text{Loss}(\\theta) := \\frac{1}{B} \\sum_T (Q_{\\theta}(s, a) - y(T))^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7e\/467\/6ed\/c7e4676ed0b5fa125be9a3910361e97c.svg\" width=\"373\" height=\"65\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7e\/467\/6ed\/c7e4676ed0b5fa125be9a3910361e97c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7e\/467\/6ed\/c7e4676ed0b5fa125be9a3910361e97c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p>\u0421\u0434\u0435\u043b\u0430\u0442\u044c \u0448\u0430\u0433 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u043f\u043e\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\u03b8\" alt=\"\u03b8\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b5\/ecb\/ddf\/7b5ecbddfb0e621f3627b2880b6a1b24.svg\" width=\"11\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b5\/ecb\/ddf\/7b5ecbddfb0e621f3627b2880b6a1b24.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b5\/ecb\/ddf\/7b5ecbddfb0e621f3627b2880b6a1b24.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\nabla_{\\theta} \\text{Loss}(\\theta)\" alt=\"\\nabla_{\\theta} \\text{Loss}(\\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/d73\/2b5\/957d732b56969e56988704509efc7595.svg\" width=\"107\" height=\"28\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/d73\/2b5\/957d732b56969e56988704509efc7595.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/957\/d73\/2b5\/957d732b56969e56988704509efc7595.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438\u00a0 <img decoding=\"async\" class=\"formula inline\" source=\"t \\mod K = 0\" alt=\"t \\mod K = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f8\/72d\/180\/9f872d180c24383caf48b44accdaf7fb.svg\" width=\"161\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f8\/72d\/180\/9f872d180c24383caf48b44accdaf7fb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f8\/72d\/180\/9f872d180c24383caf48b44accdaf7fb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\theta^- \\gets \\theta\" alt=\"\\theta^- \\gets \\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d14\/e38\/c30\/d14e38c308ab9668d0abd534e1f8ca22.svg\" width=\"76\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d14\/e38\/c30\/d14e38c308ab9668d0abd534e1f8ca22.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d14\/e38\/c30\/d14e38c308ab9668d0abd534e1f8ca22.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<\/blockquote>\n<p>\u0422\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u0441\u0435\u0432\u0434\u043e\u043a\u043e\u0434\u0430 \u043f\u043e\u0447\u0442\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043c\u0438 \u0438\u0437\u00a0<a href=\"https:\/\/investcookies.ru\/post\/a_ne_pora_li_nam_podkrepit_sa\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043c\u0435\u0442\u043a\u0438 \u043f\u0440\u043e Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435<\/a>, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u0430\u0431\u0441\u0442\u0440\u0430\u043a\u0442\u043d\u043e\u0433\u043e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"done\" alt=\"done\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/631\/ac9\/662\/631ac9662ec7002228103ebba2f6b234.svg\" width=\"50\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/631\/ac9\/662\/631ac9662ec7002228103ebba2f6b234.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/631\/ac9\/662\/631ac9662ec7002228103ebba2f6b234.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0435\u0447\u044c \u0438\u0434\u0435\u0442 \u043e\u0431 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0435 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0438 \u043c\u043e\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0<em>DQN<\/em>\u00a0\u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u043c\u0443\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e<\/em>: \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0433\u043e\u0440\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0433\u043e\u0440\u043e\u0434 \u0438 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043d\u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u043f\u043e\u0437\u0438\u0446\u0438\u044e.<\/p>\n<p>\u041d\u0443\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0431\u0430\u0437\u043e\u0432\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0<em>DQN<\/em>\u00a0\u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0448\u0438\u043d\u043e\u0439 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u0438 \u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u043d\u0430 \u0434\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432\u00a0<em>Twin DQN<\/em>\u00a0\u0438\u00a0<em>Noisy Nets<\/em>, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u0441 \u043d\u044e\u0430\u043d\u0441\u0430\u043c\u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0<em>Twin DQN<\/em>\u00a0\u0438\u00a0<em>Noisy Nets<\/em>, \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0437\u0430 \u0440\u0430\u043c\u043a\u0430\u043c\u0438 \u0434\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u043f\u0440\u043e\u0435\u043a\u0442\u0430\u00a0<a href=\"https:\/\/github.com\/dkibalnikov\/ai_optimization\" rel=\"noopener noreferrer nofollow\">AI optimization<\/a>.<\/p>\n<h3>\u041f\u0440\u0438\u043c\u0435\u0440\u044b \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432<\/h3>\n<p>\u041b\u044e\u0431\u043e\u043f\u044b\u0442\u043d\u043e, \u0447\u0442\u043e\u00a0<em>DQN<\/em>\u00a0\u0432\u044b\u0434\u0430\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0443\u0436\u0435 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0445 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044f\u0445 \u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0442\u0430\u0440\u0433\u0435\u0442-\u0441\u0435\u0442\u0438.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/13b\/9be\/9e3\/13b9be9e3a8f61baa4e58861f61a9d90.png\" width=\"1440\" height=\"1344\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/13b\/9be\/9e3\/13b9be9e3a8f61baa4e58861f61a9d90.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/13b\/9be\/9e3\/13b9be9e3a8f61baa4e58861f61a9d90.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0414\u0430\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043d\u0430\u00a0<strong>3%<\/strong>\u00a0\u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u043d\u0443\u0448\u0430\u0435\u0442 \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u044b\u0435 \u043d\u0430\u0434\u0435\u0436\u0434\u044b \u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b\u00a0<em>DQN<\/em>\u00a0\u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0441\u0443\u043c\u0435\u0435\u0442 \u043b\u0438 \u0434\u0430\u043d\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 TSP, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u043d\u0435\u0435 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430?<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2df\/b8f\/28d\/2dfb8f28d2991f29f3ddfe03646e8989.png\" width=\"1440\" height=\"960\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/2df\/b8f\/28d\/2dfb8f28d2991f29f3ddfe03646e8989.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/2df\/b8f\/28d\/2dfb8f28d2991f29f3ddfe03646e8989.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p><strong>\u041e\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 !!!<\/strong><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/720\/090\/397\/7200903976eaa0088f33469d3f7b1496.png\" width=\"1280\" height=\"716\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/720\/090\/397\/7200903976eaa0088f33469d3f7b1496.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/720\/090\/397\/7200903976eaa0088f33469d3f7b1496.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u0422\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/h3>\n<p>\u041a\u0430\u0441\u0430\u0435\u043c\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438, \u043c\u043e\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u00a0<strong>DQN<\/strong>\u00a0\u0441\u043c\u043e\u0433\u043b\u0430 \u043b\u0438\u0448\u044c \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c\u0441\u044f, \u043d\u043e \u043d\u0435 \u043f\u0440\u0435\u0432\u0437\u043e\u0439\u0442\u0438 \u043b\u0443\u0447\u0448\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b. \u041e\u0434\u043d\u0430\u043a\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0443\u0436\u0435 \u043e\u043a\u043e\u043b\u043e 100 \u043b\u0435\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0447\u0430\u043b\u0438 \u0441\u0432\u043e\u0439 \u044d\u0432\u043e\u043b\u044e\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u0443\u0442\u044c \u043d\u0435 \u0442\u0430\u043a \u0434\u0430\u0432\u043d\u043e, \u0438 \u043d\u0443\u0436\u043d\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u043d\u0430 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043a\u0438\u0434\u043a\u0443.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b4d\/66b\/47f\/b4d66b47f587c91cb097ba2e6e1d34b4.png\" width=\"1440\" height=\"1152\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/b4d\/66b\/47f\/b4d66b47f587c91cb097ba2e6e1d34b4.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b4d\/66b\/47f\/b4d66b47f587c91cb097ba2e6e1d34b4.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439\u00a0<strong>DQN<\/strong>\u00a0\u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0438\u043b\u0441\u044f \u0433\u0434\u0435-\u0442\u043e \u043c\u0435\u0436\u0434\u0443\u00a0<em>PointerNet<\/em>\u00a0\u0438\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c<\/em><\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8c6\/960\/2e7\/8c69602e74b33b4712f799ef23902b9c.png\" width=\"1440\" height=\"1152\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/8c6\/960\/2e7\/8c69602e74b33b4712f799ef23902b9c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8c6\/960\/2e7\/8c69602e74b33b4712f799ef23902b9c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u0418\u0442\u043e\u0433\u0438<\/h3>\n<p>\u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430\u00a0<strong>DQN<\/strong>\u00a0\u0441\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0441\u043e\u0443\u0441\u043e\u043c \u043d\u0430 \u0431\u0430\u0437\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043f\u043b\u043e\u0445\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f TSP (\u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043c\u0438\u0432\u043e\u044f\u0436\u0435\u0440\u0430). \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044d\u0442\u043e \u043d\u0435 \u043b\u0443\u0447\u0448\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u043d\u043e \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0434\u0430\u043d\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442\u00a0<strong>\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u043e\u0431\u0449\u0430\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u044f<\/strong>\u00a0\u0438 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u043d\u0435\u0435 \u043d\u0435 \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u043b\u0430\u0441\u044c.<\/p>\n<hr\/>\n<p>\u041f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u0441\u0441\u044b\u043b\u043a\u0438:<\/p>\n<ul>\n<li>\n<p><a href=\"https:\/\/d2l.ai\/chapter_reinforcement-learning\/index.html\" rel=\"noopener noreferrer nofollow\">Reinforcement Learning<\/a>\u00a0\u2013 \u0442\u0435\u043e\u0440\u0438\u044f\u00a0<strong>DQN<\/strong>\u00a0\u0432\u0437\u044f\u0442\u0430 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0437\u0430\u043c\u0435\u0447\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043a\u043d\u0438\u0433\u0438<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/pytorch.org\/tutorials\/intermediate\/reinforcement_q_learning.html\" rel=\"noopener noreferrer nofollow\">Reinforcement Learning (DQN) Tutorial<\/a>\u00a0\u2013 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438\u00a0<strong>CartPole<\/strong>\u00a0\u043c\u0435\u0442\u043e\u0434\u043e\u043c\u00a0<em>DQN<\/em>\u00a0\u043d\u0430 Python<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/github.com\/dkibalnikov\/ai_optimization\" rel=\"noopener noreferrer nofollow\">AI optimization<\/a>\u00a0\u2013 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/p>\n<\/li>\n<\/ul>\n<hr\/>\n<ul>\n<li>\n<p><a href=\"https:\/\/investcookies.ru\/post\/dqn\/\" rel=\"noopener noreferrer nofollow\">\u041e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0437\u0430\u043c\u0435\u0442\u043a\u0438<\/a><\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/t.me\/investcookies\" rel=\"noopener noreferrer nofollow\">Telegram-\u043a\u0430\u043d\u0430\u043b<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/906594\/\"> https:\/\/habr.com\/ru\/articles\/906594\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"full-width\">\n<div><figcaption>\u0432\u043a\u0430\u043b\u044b\u0432\u0430\u044e\u0442 \u0440\u043e\u0431\u043e\u0442\u044b&#8230;<\/figcaption><\/div>\n<\/figure>\n<h3>\u041d\u0435\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/h3>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u043a \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u0441\u0435\u0440\u0438\u044f \u043c\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a \u043f\u0440\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0438\u0434\u0435\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0430 \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043c\u0438\u0432\u043e\u044f\u0436\u0435\u0440\u0430 (TSP). \u042f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f TSP \u0438 \u0434\u0430\u043b\u0435\u0435\u00a0<a href=\"https:\/\/investcookies.ru\/post\/vnimanie_eto_vse_cto_nuzno_kommivoazeru\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b<\/a>\u00a0\u043f\u0440\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438\u00a0<em>Pointer Network<\/em>\u00a0\u043d\u0430 \u0431\u0430\u0437\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u0434\u0430\u043d\u043d\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u0432\u0435\u0441\u044c\u043c\u0430 \u043d\u0435\u043f\u0440\u0430\u043a\u0442\u0438\u0447\u043d\u043e\u0439 \u0438 \u0441\u043b\u0430\u0431\u043e\u0439 \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0432\u0430\u0436\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u2014 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043a \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0449\u0435 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u044f \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043a\u043e\u0441\u043d\u0443\u043b\u0441\u044f \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u0432 \u0440\u0430\u0431\u043e\u0442\u044b\u00a0<a href=\"https:\/\/investcookies.ru\/post\/prosto_o_vnimanii\" rel=\"noopener noreferrer nofollow\">\u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/a>\u00a0\u0438\u00a0<a href=\"https:\/\/investcookies.ru\/post\/a_ne_pora_li_nam_podkrepit_sa\" rel=\"noopener noreferrer nofollow\">\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<\/a>. \u041d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d, \u043d\u043e \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u044d\u0442\u0438 \u0442\u0435\u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u0447\u0443\u0442\u044c \u043b\u0438 \u043d\u0435 \u0441\u0430\u043c\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435. \u0412\u043e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 Chat GPT-o1:<\/p>\n<blockquote>\n<p>\u0422\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438 GPT-o1 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043c\u0435\u0442\u043e\u0434\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044e \u043f\u0443\u0442\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438 \u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0441\u0432\u043e\u0438\u0445 \u0432\u044b\u0432\u043e\u0434\u043e\u0432. \u042d\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u043c\u0443 \u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0443 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439.<\/p>\n<\/blockquote>\n<p>\u041c\u0430\u0433\u0438\u0441\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u0434\u0435\u0435\u0439 \u0441\u0435\u0440\u0438\u0438 \u043c\u043e\u0438\u0445 \u0437\u0430\u043c\u0435\u0442\u043e\u043a \u044f\u0432\u043b\u044f\u043b\u043e\u0441\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 TSP (\u0437\u0430\u0434\u0430\u0447\u0438 \u043a\u043e\u043c\u043c\u0438\u0432\u043e\u044f\u0436\u0435\u0440\u0430) \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u043c\u0438, \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u043c\u0438 \u0432 \u0432\u0438\u0434\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0439, \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0436\u0435 \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c. \u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b \u0447\u0435\u0440\u0435\u0434 \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0431\u043e\u0440 \u0441\u0432\u043e\u0435\u0433\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u201c\u0432\u0435\u043b\u043e\u0441\u0438\u043f\u0435\u0434\u0430\u201d. \u041c\u043e\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u0430\u0432\u0442\u043e\u0440\u0430 \u0442\u0440\u0435\u043f\u0435\u0442\u043d\u044b\u0439, \u043d\u043e \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u044b\u0439. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b \u0442\u0443\u043f\u0438\u043a\u043e\u0432\u0443\u044e \u0432\u0435\u0442\u0432\u044c \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043d\u043e \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043d\u0430\u0434\u0435\u044f\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0435.<\/p>\n<h3>\u0422\u0435\u043e\u0440\u0438\u044f\u00a0Deep Q-learning (DQN)<\/h3>\n<p>\u0412 \u043f\u0440\u043e\u0448\u043b\u043e\u0439\u00a0<a href=\"https:\/\/investcookies.ru\/post\/a_ne_pora_li_nam_podkrepit_sa\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043c\u0435\u0442\u043a\u0435<\/a>\u00a0\u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0432\u0438\u0434\u0435\u043e\u0438\u0433\u0440\u044b \u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, TSP. \u0422\u0430\u043a\u0430\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0443\u0436\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0435\u0449\u0430\u044e\u0449\u0435, \u0432\u043f\u0440\u043e\u0447\u0435\u043c, \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u043a\u0430\u0447\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u043e\u0431\u043e\u0439\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0442\u044c \u0432 Q-\u0442\u0430\u0431\u043b\u0438\u0446\u0443.<\/p>\n<p>\u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0432\u043c\u0435\u0441\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0438 Q-\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0438\u043b\u0438 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430:<\/p>\n<p>\u0414\u0430\u043d\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u0447\u0435\u043d\u044c \u043d\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u0433\u0434\u0435\u00a0\u00a0\u0438\u0433\u0440\u0430\u0435\u0442 \u0440\u043e\u043b\u044c\u00a0<em>learning rate<\/em>. \u0411\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u0438\u0435 \u0436\u0435, \u043a\u0430\u043a \u0438 \u0432 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043f\u0443\u0441\u043a\u0435. \u0418, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/em>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c \u0441\u043f\u0443\u0441\u043a\u043e\u043c \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c\u0441\u044f \u043d\u0430 \u043d\u0451\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f\u00a0, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0448\u0430\u0433 \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438. \u0417\u0430\u0434\u0430\u0434\u0438\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438:<\/p>\n<ul>\n<li>\n<p><strong>\u0412\u0445\u043e\u0434\u043e\u043c<\/strong>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u00a0\u00a0&#8212; \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u0418\u0441\u043a\u043e\u043c\u044b\u043c<\/strong>\u00a0\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c\u00a0\u00a0\u043d\u0430 \u043f\u0430\u0440\u0435\u00a0\u00a0\u00a0\u0438\u043b\u0438 \u043f\u0440\u0430\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0431\u0443\u0434\u0435\u0442:<\/p>\n<\/li>\n<\/ul>\n<p>\u00a0<\/p>\n<p>\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u043d\u0430\u0433\u0440\u0430\u0434 \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u00a0\u00a0\u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u0441\u0440\u0435\u0434\u044b,\u00a0\u00a0&#8212; \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ul>\n<li>\n<p><strong>\u041d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c<\/strong>\u00a0(\u00ab\u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u044b\u043c\u00bb) \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0\u00a0\u0438\u043b\u0438\u00a0<strong>\u0442\u0430\u0440\u0433\u0435\u0442\u043e\u043c<\/strong>\u00a0(target) \u0431\u0443\u0434\u0435\u0442:<\/p>\n<\/li>\n<\/ul>\n<p>\u0433\u0434\u0435\u00a0.<\/p>\n<ul>\n<li>\n<p><strong>\u0424\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043f\u043e\u0442\u0435\u0440\u044c MSE<\/strong>: <\/p>\n<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c,\u00a0<strong>\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u0435<\/strong>\u00a0\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u0438\u0437 \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441\u0430 \u00ab\u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u043e\u0439\u00bb \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u00a0\u200b\u00a0\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043b\u044e\u0441 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u044b: \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c, \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430\u00a0\u00a0\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u043c \u0441 \u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439.\u00a0<strong>\u0418\u0441\u043a\u043e\u043c\u044b\u0435<\/strong>\u00a0\u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u2013 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u043d\u0444\u0435\u0440\u0435\u043d\u0441 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0430\u043a\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b \u0434\u043b\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c(<em>Loss<\/em>). \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u00ab\u0437\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u0430\u044f\u00bb \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e, \u043a\u0430\u043a \u0438 \u0432 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u2014 \u044d\u0442\u043e \u0435\u0451 \u00ab\u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u043e\u0435\u00bb \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u043f\u043e \u0432\u0445\u043e\u0434\u0443\u00a0\u00a0\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f\u00a0, \u0437\u0430\u0442\u0435\u043c \u043e\u0442\u00a0\u00a0\u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u00a0\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u043f\u0430\u0440\u044b\u00a0\u00a0\u0437\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0435\u0431\u0435 \u0442\u0430\u0440\u0433\u0435\u0442, \u0432\u0437\u044f\u0432 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u00a0\u00a0\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0441\u044c \u0441\u0435\u043c\u043f\u043b\u043e\u043c\u00a0 \u043d\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0442\u0430\u0440\u0433\u0435\u0442 \u2014 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u0432\u0445\u043e\u0434\u0430. \u041f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e: \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f\u043c \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0432\u044b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0430\u0440\u0433\u0435\u0442\u0430, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u0430 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u043e\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043e\u0442 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043a \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u043c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u044b \u0440\u0435\u0448\u0430\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u00ab\u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e\u00bb, \u043e\u0431\u0443\u0447\u0430\u044f\u00a0\u00a0\u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445\u00a0. \u00ab\u0417\u0430\u043c\u043e\u0440\u043e\u0436\u0435\u043d\u043d\u044b\u0435\u00bb\u00a0\u200b\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438. \u0422\u0430\u043a \u043c\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u0435\u043c \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u044f\u0435\u043c \u0432\u044b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u00a0. \u0412 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0434\u0430\u0447\u0430 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f (\u043f\u043e\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f), \u0438 \u043c\u044b \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443 \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0432\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438<\/em>, \u043a\u0430\u043a \u0438 \u0432\u043e \u0432\u0441\u0435\u0445 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445, \u0442\u0435\u043e\u0440\u0438\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u043b\u0430 \u00ab\u0441\u043c\u0435\u043d\u044f\u0442\u044c\u00bb \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u0432\u0435\u0436\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043e\u0442 \u00ab\u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\u00bb \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430\u043c, \u0432\u0441\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0438 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438\u00a0<em>Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/em>\u00a0\u0442\u0435\u0440\u044f\u044e\u0442\u0441\u044f (\u0442\u0435\u043e\u0440\u0435\u043c\u044b \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u00ab\u0442\u0430\u0431\u043b\u0438\u0447\u043d\u043e\u0441\u0442\u044c\u00bb \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438). \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430 \u0432\u0440\u043e\u0434\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043d\u0435\u0438\u0434\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u044b \u0432\u0440\u043e\u0434\u0435 \u0410\u0434\u0430\u043c\u0430 \u0438\u043b\u0438\u00a0<strong>\u043d\u0435 \u0434\u043e\u0432\u043e\u0434\u0438\u043c \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u0442\u0430\u043f \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u043e \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438<\/strong>, &#8212; \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439 \u043d\u0435\u0442.<\/p>\n<p>\u041d\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0430\u0433\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043d\u0430 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438? \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u0441\u0432\u0435\u0436\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u0435\u043d\u044f\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430:<\/p>\n<\/p>\n<p><strong>\u041f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u0430\u0436\u043d\u043e<\/strong>, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439\u00a0\u00a0\u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438\u00a0\u00a0\u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0430\u0441\u044c. \u0415\u0441\u043b\u0438 \u0432\u0434\u0440\u0443\u0433 \u0432 \u043d\u0435\u0451 \u043f\u0440\u043e\u0442\u0435\u043a\u0443\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0448\u043b\u043e\u0435 \u043f\u043e\u0434 \u0431\u0443\u0434\u0443\u0449\u0435\u0435, \u043d\u043e \u0438 \u0431\u0443\u0434\u0443\u0449\u0435\u0435 \u043f\u043e\u0434 \u043f\u0440\u043e\u0448\u043b\u043e\u0435, \u0447\u0442\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0439 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u043e\u0439.<\/p>\n<p>\u042d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u043b\u0435\u0433\u043a\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u0435\u043d, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u043e\u0442 \u0441\u043b\u043e\u0432\u0430 \u00ab\u0441\u043e\u0432\u0441\u0435\u043c\u00bb. \u0421\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0447\u0440\u0435\u0432\u0430\u0442\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u00ab\u0441\u043b\u043e\u043c\u0430\u043d\u043d\u043e\u0439\u00bb \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u044f\u0434\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432. \u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u044d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439: \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447\u0430\u0445 \u00ab\u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u00bb \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0435\u0442 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0439 \u0443\u0434\u0430\u0447\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 (\u043d\u0430 \u0442\u043e \u044d\u0442\u043e \u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f). \u0417\u0434\u0435\u0441\u044c \u0436\u0435, \u043f\u0440\u0438 \u043d\u0435\u0443\u0434\u0430\u0447\u043d\u043e\u043c \u0448\u0430\u0433\u0435, \u0441\u043b\u043e\u043c\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043d\u0430 \u0436\u0435 \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0446\u0435\u043f\u043d\u043e\u0439 \u0440\u0435\u0430\u043a\u0446\u0438\u0438: \u043f\u043b\u043e\u0445\u0430\u044f \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c, \u043f\u043e\u0440\u0442\u0438\u0442 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e\u2026 \u042d\u0442\u043e\u0442 \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u044f\u0440\u043a\u043e \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0449\u0451 \u0438 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043e\u0434\u043d\u043e\u0448\u0430\u0433\u043e\u0432\u044b\u0435 \u0446\u0435\u043b\u0435\u0432\u044b\u0435 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u044b (\u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0436\u0435 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e).<\/p>\n<p>\u0414\u043b\u044f \u0441\u0442\u0430\u0431\u0438\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u0434\u043d\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0448\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0437\u0430 \u043e\u0434\u043d\u0443 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u044e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430: \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0445\u043e\u0442\u044f \u0431\u044b \u0443\u0441\u043b\u043e\u0432\u043d\u043e 100\u2013200 \u0448\u0430\u0433\u043e\u0432. \u041f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0442\u0430\u0440\u0433\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435\u00a0, \u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0436\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430\u00a0\u00a0\u043f\u043e\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u043a\u043e\u043f\u0438\u044f\u00a0<em>Q<\/em>-\u0441\u0435\u0442\u0438, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f\u00a0<strong>\u0442\u0430\u0440\u0433\u0435\u0442-\u0441\u0435\u0442\u044c\u044e<\/strong>\u00a0(<em>target network<\/em>), \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0446\u0435\u043b\u044c \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u2014 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u0440\u0433\u0435\u0442\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u043a \u0438\u0437 \u0437\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0438\u043d\u0438-\u0431\u0430\u0442\u0447\u0435\u0439. \u0422\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u043e \u0435\u0451 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f\u00a0. \u0418\u0442\u0430\u043a, \u0446\u0435\u043b\u0435\u0432\u0430\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f \u0432 \u0442\u0430\u043a\u0438\u0445 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435:<\/p>\n<\/p>\n<p>\u0430 \u0440\u0430\u0437 \u0432\u00a0\u00a0\u0448\u0430\u0433\u043e\u0432 \u0432\u0435\u0441\u0430\u00a0\u00a0\u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043f\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0432\u0435\u0441\u0430\u043c\u0438\u00a0\u00a0\u0434\u043b\u044f \u00ab\u0437\u0430\u0434\u0430\u043d\u0438\u044f\u00bb \u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438.<\/p>\n<h3>\u0421\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u043e\u0443\u0441 \u0434\u043b\u044f TSP<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043a\u043e\u0441\u043d\u0443\u0442\u044c\u0441\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u00a0<em>Q<\/em>-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u0412 \u0442\u0435\u043e\u0440\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c \u0441\u00a0<em>ReLU<\/em>\u00a0\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438 \u0438\u00a0<em>dropout<\/em>\u00a0\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0432\u043e\u043f\u0440\u043e\u0441\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0435\u0431\u044f \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u0438 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u0443\u0440\u0430\u0436\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0443\u0433\u043e\u0434\u043d\u043e:\u00a0<em>LSTM<\/em>,\u00a0<em>convolution<\/em>-\u0441\u043b\u043e\u0438 \u0438 \u0434\u0430\u0436\u0435 \u0446\u0435\u043b\u044b\u0435\u00a0<em>Decoder-Encoder + Attention<\/em>.<\/p>\n<p>\u0412\u043f\u0440\u043e\u0447\u0435\u043c, \u043d\u0438\u0447\u0435\u0433\u043e \u0438\u0437 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0433\u043e, \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u043e\u0439 \u0441\u0435\u0442\u0438, \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0434\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0433\u043e\u0440\u043e\u0434\u0430 \u0431\u0435\u0437 \u0443\u0447\u0451\u0442\u0430 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a\u0438\u0435 \u0433\u043e\u0440\u043e\u0434\u0430 \u0435\u0449\u0451 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u044c. \u0417\u0434\u0435\u0441\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u043e \u043c\u0430\u0441\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0442\u043e\u043f\u043e\u0440\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0443\u0436\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u043d\u0443\u043b\u044f\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u0435\u0449\u0451\u043d\u043d\u044b\u0445 \u0433\u043e\u0440\u043e\u0434\u043e\u0432, \u043d\u043e \u043c\u0430\u0441\u043a\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438, \u0430 \u0445\u043e\u0442\u0435\u043b\u043e\u0441\u044c \u0431\u044b \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u044f.<\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0445\u043e\u0440\u043e\u0448\u043e \u0431\u044b \u043a\u0430\u043a-\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0433\u043e\u0440\u043e\u0434\u043e\u0432 \u0438 \u0442\u0430\u043a\u0436\u0435 \u0448\u0442\u0440\u0430\u0444\u043e\u0432\u0430\u0442\u044c \u0437\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442\u00a0<em>\u0433\u043e\u0440\u043e\u0434\u0430-\u0438\u0437\u0433\u043e\u0438<\/em>\u00a0\u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043e\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043f\u043e\u0437\u0438\u0446\u0438\u0438. \u0422\u0430\u043a\u0438\u0435 \u0433\u043e\u0440\u043e\u0434\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0443\u0445\u0443\u0434\u0448\u0430\u044e\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0438\u0445 \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0441\u0435\u0442\u0438\u0442\u044c \u0438\u0437 \u043d\u0435\u0432\u044b\u0433\u043e\u0434\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0441\u0434\u0435\u043b\u0430\u0432 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u044e\u043a \u0441 \u0434\u043b\u0438\u043d\u043d\u044b\u043c \u043f\u043b\u0435\u0447\u043e\u043c. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0440\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0441 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c\u043e\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u043c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b:<\/p>\n<\/p>\n<p>\u0433\u0434\u0435\u00a0\u2014 \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 (\u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433) \u0435\u0449\u0451 \u043d\u0435 \u043f\u043e\u0441\u0435\u0449\u0451\u043d\u043d\u044b\u0445 \u0433\u043e\u0440\u043e\u0434\u043e\u0432, \u0430\u00a0\u00a0\u2014 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u043b\u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430. \u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0446\u0435\u043d\u0442\u0440\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0433\u043e\u0440\u043e\u0434\u043e\u0432, \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0432\u0435\u0441\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430. \u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0440\u0430\u0441\u0447\u0451\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0434\u043e \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0442\u043e\u0447\u0435\u043a, \u0438 \u0442\u0430\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0432 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u0443\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c\u00a0\u00a0\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\u00a0<em>residual connection<\/em>. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441 \u043f\u0440\u043e\u0441\u0442\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439\u00a0\u00a0\u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0443\u0449\u0438\u043c \u0433\u043e\u0440\u043e\u0434\u043e\u043c \u0438 \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u043c\u0438\u0441\u044f:<\/p>\n<\/p>\n<p>\u0433\u0434\u0435\u00a0\u00a0\u2014 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 \u0446\u0435\u043d\u0442\u0440\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0434\u043e \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0445\u0441\u044f \u0433\u043e\u0440\u043e\u0434\u043e\u0432.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0435\u0441\u044c\u043c\u0430 \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430 \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0433\u043e\u0440\u043e\u0434\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0448\u0442\u0440\u0430\u0444\/\u0431\u043e\u043d\u0443\u0441 \u0437\u0430 \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\/\u0443\u0447\u0451\u0442\u00a0<em>\u0433\u043e\u0440\u043e\u0434\u043e\u0432-\u0438\u0437\u0433\u043e\u0435\u0432<\/em>.<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u041c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f<\/figcaption><\/div>\n<\/figure>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u0430\u043a\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0431\u0443\u0434\u0435\u0442 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u043e\u0447\u0438\u0445 \u0437\u0430\u0434\u0430\u0447? \u0421 \u0443\u0447\u0451\u0442\u043e\u043c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0437\u0430\u0432\u044f\u0437\u0430\u043d \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u043b\u0438 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044e, \u043a\u0430\u043a \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 TSP. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0442\u0430\u043a\u0443\u044e \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c. \u0415\u0441\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u043f\u043b\u043e\u0445\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0447\u0438\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0438\u043f\u0430 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439\u00a0<em>VRP &#8212; Vehicle Routing Problem<\/em>\u00a0\u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439\u00a0<em>Flow Shop Scheduling Problem<\/em>, \u0442\u043e \u0441\u043c\u044b\u0441\u043b \u0432\u0441\u0435\u0445<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-458601","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/458601","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=458601"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/458601\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=458601"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=458601"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=458601"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}