{"id":341267,"date":"2022-11-15T09:00:58","date_gmt":"2022-11-15T09:00:58","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=341267"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=341267","title":{"rendered":"<span>\u0417\u0430\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u044e\u0449\u0430\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0432 RL<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043f\u043e\u0434 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u043f\u0440\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 &#171;\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u0430\u0441\u0442\u0435\u0440\u0441\u043a\u043e\u0439&#187;, \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0432\u0448\u0435\u0439 \u043b\u0435\u0442\u043e\u043c 2022 \u0433. \u0432 \u0410\u043a\u0430\u0434\u0435\u043c\u0433\u043e\u0440\u043e\u0434\u043a\u0435 \u043d\u0430 \u0431\u0430\u0437\u0435 \u041d\u0413\u0423.<\/p>\n<p>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043a\u0440\u0430\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u0435\u0439 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e RL. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043a\u043d\u0438\u0433, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u0441\u0442\u0430\u0440\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u043e\u0439\u0442\u0438 \u0442\u0435\u043c\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439 \u0438 \u043d\u0435\u043e\u0445\u043e\u0442\u043d\u043e \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e\u0442\u043a\u0443\u0434\u0430 \u0438 \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u0430\u0441\u0442\u0443\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b. \u0412 \u044d\u0442\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0435, \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0434\u0435\u0442\u0430\u043b\u0438 \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u043d\u0430\u0442\u043e\u043c\u0438\u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0439 \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u044f\u0445. \u0417\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u043e\u0431 RL \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0420. \u0421\u0430\u0442\u0442\u043e\u043d\u0430 \u0438 \u0410. \u0411\u0430\u0440\u0442\u043e \u201cReinforcement Learning. An Introduction\u201c<\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0442\u043e\u0447\u0435\u043a \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 c \u0442\u0435\u043e\u0440\u0438\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u0441 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u043d\u043e\u0442\u0430\u0446\u0438\u0438 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0440\u043e\u0433\u043e\u0441\u0442\u0438. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0432\u0441\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b  \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0435\u0440\u044f\u043b\u0430\u0441\u044c \u043d\u0438\u0442\u044c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<h2>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 RL<\/h2>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0433\u043e \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0430, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p><em>\u0422\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau = s_0, a_0, r_0, \\ldots\" alt=\"\\tau = s_0, a_0, r_0, \\ldots\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/141\/2be\/8cd\/1412be8cdd74999abbf161a82a9bfcce.svg\" width=\"141\" height=\"15\"\/> \u2013 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/737\/62b\/36c\/73762b36cff74a4ba627981f4bf4f0a4.svg\" width=\"16\" height=\"15\"\/>, \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0430\u0433\u0435\u043d\u0442, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_t\" alt=\"a_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c30\/0ec\/6e2\/c300ec6e2dad0421170ade951031322a.svg\" width=\"17\" height=\"15\"\/>\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_t\" alt=\"r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/223\/adc\/f8c\/223adcf8c583817be4ef54f830342bfb.svg\" width=\"16\" height=\"15\"\/>. \u041a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0431\u0443\u0434\u0435\u043c \u0442\u0430\u043a\u0436\u0435  \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u043c.<\/em> <\/p>\n<p>\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af0\/5fa\/63f\/af05fa63f484fdc06ed82f179ba76a9d.svg\" width=\"20\" height=\"15\"\/>.<\/p>\n<p><em>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fd\/f28\/06f\/3fdf2806fb06f4fb918c69fd3c02b87f.svg\" width=\"20\" height=\"15\"\/> \u2013 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ae\/db7\/0a2\/3aedb70a241c67fd52bfaa55e7a3afe6.svg\" width=\"16\" height=\"15\"\/> \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u0430 \u0442\u043e\u0433\u043e \u0438\u043b\u0438 \u0438\u043d\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta} (s_t)\" alt=\"\\pi_{\\theta} (s_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d66\/65f\/498\/d6665f4981ea0302397841bf81e2d70a.svg\" width=\"51\" height=\"22\"\/>.<\/em><\/p>\n<p>\u0412 \u0440\u043e\u043b\u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a0\/86b\/91d\/4a086b91d68db989d64298ab7ca562f7.svg\" width=\"20\" height=\"15\"\/> \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0445\u0438\u0442\u0440\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/722\/069\/d0b\/722069d0be7385f783c4d10026a8bbe1.svg\" width=\"9\" height=\"17\"\/>, \u043f\u043e\u043a\u0440\u0443\u0442\u0438\u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0451 \u043d\u0443\u0436\u043d\u043e\u043c\u0443 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c.<\/p>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46c\/650\/969\/46c6509691e66ca800a209a6d61968a0.svg\" width=\"20\" height=\"15\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0440\u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438 \u0432\u0434\u043e\u043b\u044c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9af\/192\/052\/9af192052d71897e07f3eeac69759bc8.svg\" width=\"10\" height=\"12\"\/>, \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/216\/23c\/a45\/21623ca450a362e652b5601308e649ab.svg\" width=\"20\" height=\"15\"\/>.<\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_t(\\tau)\" alt=\"R_t(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c41\/900\/f48\/c41900f483f07587cafc404d0302fa75.svg\" width=\"47\" height=\"22\"\/> \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u0443\u043c\u043c\u0443 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_t\" alt=\"r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/421\/bd2\/1a6\/421bd21a6ad01447ce85ac1c1a12a4b9.svg\" width=\"16\" height=\"15\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0430\u0433\u0435\u043d\u0442, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a83\/3c6\/cd9\/a833c6cd976c309f3645f959cabefa14.svg\" width=\"7\" height=\"16\"\/> \u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u044d\u043f\u0438\u0437\u043e\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b4\/c07\/7e6\/5b4c077e62efdad9b0310ff57fa33a15.svg\" width=\"14\" height=\"17\"\/>. \u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043e\u0431\u0435\u0441\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a1\/027\/568\/3a1027568797c0ab1dbf0cdf58502c98.svg\" width=\"11\" height=\"16\"\/> \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043e\u0442\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/990\/13d\/9c0\/99013d9c09fecf1478d12621821736fa.svg\" width=\"7\" height=\"16\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"R_t(\\tau) = \\sum_{t' = t}^{T} \\gamma^{t' - t} r_t\" alt=\"R_t(\\tau) = \\sum_{t' = t}^{T} \\gamma^{t' - t} r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe1\/c63\/c56\/fe1c63c56d841f0b4a0dbc1e87f1703b.svg\" width=\"159\" height=\"61\"\/><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0442\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0433\u043a\u0430 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f (\u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/013\/c67\/0d2\/013c670d2e6a92020d92b1cafe345761.svg\" width=\"7\" height=\"16\"\/>):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"R(\\tau) := R_0(\\tau) = \\sum_{t = 0}^{T} \\gamma^{t} r_t\" alt=\"R(\\tau) := R_0(\\tau) = \\sum_{t = 0}^{T} \\gamma^{t} r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cbe\/77e\/e39\/cbe77ee39bfd05a9be756e5f92ae33af.svg\" width=\"213\" height=\"60\"\/><\/p>\n<p>\u0412 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u0440\u0435\u0434\u0430\u0445 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u0436\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99a\/bb1\/8c2\/99abb18c20210ad36ffd47a47cd82354.svg\" width=\"20\" height=\"15\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439. \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 <\/p>\n<p><em>\u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"J(\\pi_{\\theta})\" alt=\"J(\\pi_{\\theta})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c17\/321\/d8b\/c17321d8b0f0d9a51aaaea92ed5413a2.svg\" width=\"47\" height=\"22\"\/> \u2013  \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c, \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u044b\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fe\/99e\/3e7\/5fe99e3e7eebe8efbc983d2adb9441ba.svg\" width=\"20\" height=\"15\"\/>.<\/em><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\right] = E_{\\tau \\sim \\pi_{\\theta}} \\left[ \\sum_{t = 0}^{T} \\gamma^{t} r_t \\right]\" alt=\"J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\right] = E_{\\tau \\sim \\pi_{\\theta}} \\left[ \\sum_{t = 0}^{T} \\gamma^{t} r_t \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f47\/91f\/b57\/f4791fb575124b333ad32fdcee1c6548.svg\" width=\"343\" height=\"62\"\/><\/p>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435, \u0438\u0437\u043c\u0435\u043d\u044f\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/83f\/973\/bc7\/83f973bc79e6c7424ec9780cb92b1afe.svg\" width=\"9\" height=\"17\"\/> \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/527\/4a4\/940\/5274a4940e03e3377b621f79b4fd60a3.svg\" width=\"20\" height=\"15\"\/>,  \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\max_{\\theta} J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\right]\" alt=\"\\max_{\\theta} J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88b\/6ff\/87d\/88b6ff87d5f6534e9e87ac962feb22c8.svg\" width=\"216\" height=\"33\"\/><\/p>\n<p>\u0422.\u043a. \u043c\u044b \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438\u0441\u044c \u0441\u0447\u0438\u0442\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/421\/a8f\/34d\/421a8f34de21241636a55425ab669c78.svg\" width=\"20\" height=\"15\"\/> \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e, \u0442\u043e \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ee\/313\/c75\/5ee313c7582bdc26085840aecb088f30.svg\" width=\"9\" height=\"17\"\/> \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438.<\/p>\n<h2>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u0435\u043d\u0438\u044f<\/h2>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a\u0430\u0440\u0442\u0430 \u043c\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0438 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0446\u0435\u043b\u044c: \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435,  \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0430\u0433\u0435\u043d\u0442 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439, \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0443\u044f\u0441\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dcd\/7ec\/439\/dcd7ec439833e69fbb9672437dee8de1.svg\" width=\"20\" height=\"15\"\/>. \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u044d\u0442\u0443 \u0446\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\max_{\\theta} J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\right]  \\quad \\quad  (1)\" alt=\"\\max_{\\theta} J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\right]  \\quad \\quad  (1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/465\/0e8\/302\/4650e8302a2a694c9cfd46389c785a3e.svg\" width=\"284\" height=\"33\"\/><\/p>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u041f\u0435\u0440\u0432\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432 \u0433\u043e\u043b\u043e\u0432\u0443 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e ML, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"J(\\pi_{\\theta})\" alt=\"J(\\pi_{\\theta})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aae\/b1d\/c86\/aaeb1dc863f1819d152a96fcb7736ee7.svg\" width=\"47\" height=\"22\"\/> \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/896\/b8a\/67a\/896b8a67ae21c0ea61c6d8550517f5dc.svg\" width=\"9\" height=\"17\"\/>: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nabla_\\theta J(\\pi_{\\theta})\" alt=\"\\nabla_\\theta J(\\pi_{\\theta})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba9\/56c\/754\/ba956c754cf4f198d7fe678fc4f657cb.svg\" width=\"72\" height=\"22\"\/>! \u0421\u0445\u0435\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u044a\u0435\u043c\u0430 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\theta \\leftarrow \\theta + \\alpha \\nabla_\\theta J(\\pi_{\\theta})\" alt=\"\\theta \\leftarrow \\theta + \\alpha \\nabla_\\theta J(\\pi_{\\theta})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c5\/313\/144\/0c531314433280a623216eaf70e9e670.svg\" width=\"158\" height=\"22\"\/><\/p>\n<p>\u041d\u043e \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0451 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435? \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 (1) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df1\/7bc\/ee3\/df17bcee3f127e36065e251f9128f849.svg\" width=\"40\" height=\"22\"\/>. \u0427\u0442\u043e \u0436\u0435 \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043e \u043d\u0435\u0439? \u041a\u0430\u043a \u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c0f\/15e\/7fd\/c0f15e7fd169cd7bf7ac1759623b8180.svg\" width=\"9\" height=\"17\"\/>?<\/p>\n<p>\u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043e\u0431 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/087\/853\/ab5\/087853ab5f32beaa38ef1ec15ce839c8.svg\" width=\"40\" height=\"22\"\/> \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e, \u043e\u043d\u0430 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0440\u043e\u043b\u0438 \u0437\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u043e\u0433\u043e \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u044f\u0449\u0438\u043a\u0430. \u0412\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau) = \\sum \\gamma^{t} r_t\" alt=\"R(\\tau) = \\sum \\gamma^{t} r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d7\/531\/55f\/6d753155fb8bccefc4742e4305a163a9.svg\" width=\"132\" height=\"30\"\/> \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/819\/2e3\/aec\/8192e3aec158dac31e541a4e9eb681d7.svg\" width=\"9\" height=\"17\"\/>. \u041d\u043e \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b05\/de0\/6ba\/b05de06ba2c9f3e7ee7c7fe82e23449f.svg\" width=\"9\" height=\"17\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79f\/8ee\/8fe\/79f8ee8febb47825c59d8e23de180dcf.svg\" width=\"40\" height=\"22\"\/> \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c, \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u0443\u044f \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau \\sim \\pi_{\\theta}\" alt=\"\\tau \\sim \\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c31\/1dd\/54c\/c311dd54c5156381e23cb13b32c20712.svg\" width=\"56\" height=\"15\"\/> \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f \u0432\u0434\u043e\u043b\u044c \u043d\u0438\u0445 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7c\/7c0\/b70\/d7c7c0b7053a64d89af71e79e488e058.svg\" width=\"40\" height=\"22\"\/>. \u0422\u043e \u0435\u0441\u0442\u044c, \u043d\u0443\u0436\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau \\sim \\pi_{\\theta}\" alt=\"\\tau \\sim \\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/117\/59e\/03b\/11759e03b55807618dd3281c58554097.svg\" width=\"56\" height=\"15\"\/>  \u0438 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u043e \u043d\u0435\u0451 \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f.<\/p>\n<h2>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435<\/h2>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043e\u0440\u0435\u043c\u043e\u0439 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f, \u043c\u044b \u0441\u043f\u0435\u0440\u0432\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0435\u0451 \u0432 \u043e\u0431\u0449\u0438\u0445 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<h4>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/h4>\n<p>\u041f\u0443\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b: \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c54\/0dd\/357\/c540dd35702e63567b265626d2d3d130.svg\" width=\"11\" height=\"12\"\/>, \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71e\/3c4\/182\/71e3c4182ab4e53e2c8b13ec771937a6.svg\" width=\"37\" height=\"22\"\/>, \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 (\u043e\u043d\u043e \u0436\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435) \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x | \\theta)\" alt=\"p(x | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/00a\/d4b\/60d\/00ad4b60df130bf81480a45e26dfa34c.svg\" width=\"52\" height=\"22\"\/> \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E_{x \\sim p(x|\\theta)} \\left[ f(x)\\right]\" alt=\"E_{x \\sim p(x|\\theta)} \\left[ f(x)\\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/575\/bac\/729\/575bac7299d4878f4974fe15e948329e.svg\" width=\"123\" height=\"25\"\/> (\u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b). \u0411\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5f\/5d5\/f66\/f5f5d5f66978fdc2bb87e92aaa386251.svg\" width=\"9\" height=\"17\"\/>. <\/p>\n<p>\u0421\u043f\u0435\u0440\u0432\u0430 \u0432\u044b\u043f\u0438\u0448\u0435\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u043d\u0435\u0441\u0451\u043c \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nabla_\\theta\" alt=\"\\nabla_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/120\/353\/d6f\/120353d6fed18eca78527646f4f382b5.svg\" width=\"25\" height=\"20\"\/> \u043f\u043e\u0434 \u0437\u043d\u0430\u043a \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta E_{x \\sim p(x|\\theta)} \\left[ f(x)\\right] = \\nabla_\\theta \\int f(x) p(x | \\theta) dx = \\int \\nabla_\\theta \\left( f(x) p(x | \\theta) \\right) dx =\" alt=\"\\nabla_\\theta E_{x \\sim p(x|\\theta)} \\left[ f(x)\\right] = \\nabla_\\theta \\int f(x) p(x | \\theta) dx = \\int \\nabla_\\theta \\left( f(x) p(x | \\theta) \\right) dx =\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/645\/32a\/7d8\/64532a7d8f5b0c5b63639afd7deb2997.svg\" width=\"559\" height=\"46\"\/><\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ee\/137\/14a\/9ee13714a78d9d2e67ec2983cb057c88.svg\" width=\"37\" height=\"22\"\/>\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0ca\/7a6\/e88\/0ca7a6e8803771ea32c7fb97029b617e.svg\" width=\"9\" height=\"17\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0435\u0451 \u0438\u0437-\u043f\u043e\u0434 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438 \u0434\u043e\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u0432\u0441\u0451 \u043f\u043e\u0434\u044b\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435  \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0432 \u0444\u043e\u0440\u043c\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x | \\theta) \/ p(x | \\theta)\" alt=\"p(x | \\theta) \/ p(x | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/309\/654\/0c3\/3096540c39f5e22a3d8d782b1f87c683.svg\" width=\"113\" height=\"22\"\/><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"=  \\int f(x) \\nabla_\\theta p(x | \\theta) dx = \\int f(x) p(x | \\theta) \\dfrac{\\nabla_\\theta p(x | \\theta)}{p(x | \\theta)}  dx = \" alt=\"=  \\int f(x) \\nabla_\\theta p(x | \\theta) dx = \\int f(x) p(x | \\theta) \\dfrac{\\nabla_\\theta p(x | \\theta)}{p(x | \\theta)}  dx = \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b7\/1da\/04e\/2b71da04e8905cafe02fd847aeaa4d23.svg\" width=\"439\" height=\"51\"\/><\/p>\n<p>\u0432 \u043f\u043e\u0434\u044b\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0434\u043b\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u0438 \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"= \\int f(x) p(x | \\theta) \\nabla_\\theta \\log p(x | \\theta) dx = E_{x \\sim p(x|\\theta)} \\left[ f(x) \\nabla_\\theta \\log p(x | \\theta) \\right]\" alt=\"= \\int f(x) p(x | \\theta) \\nabla_\\theta \\log p(x | \\theta) dx = E_{x \\sim p(x|\\theta)} \\left[ f(x) \\nabla_\\theta \\log p(x | \\theta) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc1\/2b4\/0e9\/fc12b40e9a031ff384a1371aeb1cfeef.svg\" width=\"517\" height=\"46\"\/><\/p>\n<p>\u0417\u0430 \u0441\u0447\u0435\u0442 \u0441\u043c\u0435\u043d\u044b \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0430\u0440\u044b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0440\u044e\u043a\u043e\u0432 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u043e\u043c \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x | \\theta)\" alt=\"p(x | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb1\/549\/106\/bb1549106456b30210b2f65daba1b76f.svg\" width=\"52\" height=\"22\"\/>, \u044f\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0435\u0435 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/327\/445\/38a\/32744538a643f17dfca9a03aee32020d.svg\" width=\"9\" height=\"17\"\/>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta E_{x \\sim p(x|\\theta)} \\left[ f(x)\\right] = E_{x \\sim p(x|\\theta)} \\left[ f(x) \\nabla_\\theta \\log p(x | \\theta) \\right] \\quad \\quad \\quad (2)\" alt=\"\\nabla_\\theta E_{x \\sim p(x|\\theta)} \\left[ f(x)\\right] = E_{x \\sim p(x|\\theta)} \\left[ f(x) \\nabla_\\theta \\log p(x | \\theta) \\right] \\quad \\quad \\quad (2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f1\/18d\/4d7\/2f118d4d7692268f37bb5a259947935e.svg\" width=\"492\" height=\"25\"\/><\/p>\n<p>\u041d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba4\/2de\/b68\/ba42deb68c3ff9994a39f89411f86796.svg\" width=\"37\" height=\"22\"\/> \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f: \u043c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u043e\u0439. \u0422\u043e\u0433\u0434\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b \u0434\u043b\u044f \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u044b\u0431\u043e\u0440\u043e\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x \\sim p(x | \\theta)\" alt=\"x \\sim p(x | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/037\/371\/6cc\/0373716ccc784b35b24ad9197f087477.svg\" width=\"89\" height=\"22\"\/>.<\/p>\n<h4>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0434\u043b\u044f RL<\/h4>\n<p>\u041f\u043e\u0440\u0430 \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nabla_\\theta J(\\pi_{\\theta})\" alt=\"\\nabla_\\theta J(\\pi_{\\theta})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa7\/767\/861\/aa7767861c7285e6df8a5985d4cb8416.svg\" width=\"72\" height=\"22\"\/>. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e (2) \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta}\" alt=\"\\pi_{\\theta}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2be\/0bf\/223\/2be0bf2237ed626aac9b45bda0e8b762.svg\" width=\"20\" height=\"15\"\/> \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0441\u0442\u0438\u043c\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439. \u0422\u0435\u043f\u0435\u0440\u044c \u0432 \u0440\u043e\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a05\/5d3\/1a2\/a055d31a23dac3d17716e320d45b4b35.svg\" width=\"11\" height=\"12\"\/> \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0e0\/685\/ba1\/0e0685ba11a637f9889d4fd3d50d0a32.svg\" width=\"10\" height=\"12\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x)\" alt=\"f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc4\/3d1\/a88\/fc43d1a88db29499ed0bf6b52e96e019.svg\" width=\"37\" height=\"22\"\/> <em>\u2013<\/em> \u044d\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/262\/6bc\/a34\/2626bca34aaf83d7f804d3859b6620d4.svg\" width=\"40\" height=\"22\"\/>, \u0430 \u0442\u0430\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(x | \\theta)\" alt=\"p(x | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/38f\/5d8\/799\/38f5d87994d0ccad9524c5a9ed09dd0e.svg\" width=\"52\" height=\"22\"\/> \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\tau | \\theta)\" alt=\"p(\\tau | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/549\/ce7\/292\/549ce72923b4120805249e16f99b11db.svg\" width=\"51\" height=\"22\"\/>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\nabla_\\theta \\log p(\\tau | \\theta) \\right]\" alt=\"\\nabla_\\theta J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ R(\\tau) \\nabla_\\theta \\log p(\\tau | \\theta) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba5\/bef\/40c\/ba5bef40c2f8ace6905d47d22e8e17be.svg\" width=\"308\" height=\"23\"\/><\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\tau | \\theta)\" alt=\"p(\\tau | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d9\/f80\/057\/2d9f800575c46385302889b55330d617.svg\" width=\"51\" height=\"22\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cc\/e32\/3c6\/4cce323c62cd8c94a460bf26730fe278.svg\" width=\"10\" height=\"12\"\/> \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0437\u0430\u0434\u0430\u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efb\/56c\/c7c\/efb56cc7c40764cf00e4452bde10bba3.svg\" width=\"9\" height=\"17\"\/>. \u041a\u0430\u043a \u0435\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c?<\/p>\n<p>\u041c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b66\/86a\/f05\/b6686af0533739ebb1ba025dcd918ab2.svg\" width=\"7\" height=\"16\"\/> \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_t\" alt=\"a_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5d\/fa1\/e6c\/a5dfa1e6c97292963a46e4633db9f7bb.svg\" width=\"17\" height=\"15\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u0438 \u0440\u0430\u0432\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_{\\theta} (a_t | s_t)\" alt=\"\\pi_{\\theta} (a_t | s_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71b\/ac5\/d9d\/71bac5d9d4eafac06b78063df93f56be.svg\" width=\"74\" height=\"22\"\/>, \u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_t\" alt=\"s_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3a5\/489\/7a5\/3a54897a5ff492b2d2ed5c9e29bd4ad2.svg\" width=\"16\" height=\"15\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s_{t+1}\" alt=\"s_{t+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/968\/9b6\/c17\/9689b6c17ef725770d1eb875cdfe225a.svg\" width=\"34\" height=\"16\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(s_{t+1} | s_t, a_t)\" alt=\"p(s_{t+1} | s_t, a_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dfa\/889\/5e8\/dfa8895e8f62bf454bd94cc477feeb84.svg\" width=\"108\" height=\"22\"\/>. \u0422\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0439 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a5\/f2e\/b35\/2a5f2eb358b2bf67a58b6bae88863afe.svg\" width=\"10\" height=\"12\"\/> \u0440\u0430\u0432\u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u044d\u0442\u0438\u0445 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"p(\\tau | \\theta) = \\prod_{t \\ge 0} p(s_{t+1} | s_t, a_t) \\pi_\\theta(a_t | s_t) \\quad \\quad \\quad (3)\" alt=\"p(\\tau | \\theta) = \\prod_{t \\ge 0} p(s_{t+1} | s_t, a_t) \\pi_\\theta(a_t | s_t) \\quad \\quad \\quad (3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/936\/31b\/396\/93631b396a34fc85bf9746fe690e7124.svg\" width=\"370\" height=\"47\"\/><\/p>\n<p>\u0417\u0430\u0433\u0430\u0434\u043a\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\tau | \\theta)\" alt=\"p(\\tau | \\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe5\/e2b\/354\/fe5e2b3544d40696c900819206b844c9.svg\" width=\"51\" height=\"22\"\/> \u0440\u0430\u0437\u0433\u0430\u0434\u0430\u043d\u0430, \u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0435\u0449\u0451 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043f\u0440\u043e\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 (3) \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d26\/329\/a50\/d26329a50fe8dd72e45d8dfa6399c595.svg\" width=\"9\" height=\"17\"\/>. \u0421\u043f\u0435\u0440\u0432\u0430 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c (3) \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0441\u0443\u043c\u043c\u0443, \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(\\tau | \\theta) = \\log \\prod_{t \\ge 0} p(s_{t+1} | s_t, a_t) \\pi_\\theta(a_t | s_t)  =     \\sum_{t \\ge 0} \\left( \\log p(s_{t+1} | s_t, a_t) + \\log \\pi_\\theta(a_t | s_t) \\right) \" alt=\"\\log p(\\tau | \\theta) = \\log \\prod_{t \\ge 0} p(s_{t+1} | s_t, a_t) \\pi_\\theta(a_t | s_t)  =     \\sum_{t \\ge 0} \\left( \\log p(s_{t+1} | s_t, a_t) + \\log \\pi_\\theta(a_t | s_t) \\right) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba0\/2db\/4d7\/ba02db4d7095037282e1144c79a901be.svg\" width=\"677\" height=\"47\"\/><\/p>\n<p>\u0437\u0430\u0442\u0435\u043c \u0438\u0437\u0431\u0430\u0432\u043b\u044f\u0435\u043c\u0441\u044f \u043e\u0442 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445, \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0445 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d48\/853\/dd7\/d48853dd7b5142b298a71c521e6cd720.svg\" width=\"9\" height=\"17\"\/>, \u0442.\u043a. \u043f\u0440\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043d\u0438 \u0434\u0430\u0434\u0443\u0442 \u043d\u043e\u043b\u044c<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta \\log p(\\tau | \\theta) = \\nabla_\\theta  \\sum_{t \\ge 0} \\left( \\log p(s_{t+1} | s_t, a_t) + \\log \\pi_\\theta(a_t | s_t) \\right) = \\nabla_\\theta \\sum_{t \\ge 0} \\log \\pi_\\theta (a_t | s_t)\" alt=\"\\nabla_\\theta \\log p(\\tau | \\theta) = \\nabla_\\theta  \\sum_{t \\ge 0} \\left( \\log p(s_{t+1} | s_t, a_t) + \\log \\pi_\\theta(a_t | s_t) \\right) = \\nabla_\\theta \\sum_{t \\ge 0} \\log \\pi_\\theta (a_t | s_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/901\/0bd\/23f\/9010bd23fd5a27ff5bd337997d393247.svg\" width=\"658\" height=\"47\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta \\log p(\\tau | \\theta) = \\nabla_\\theta \\sum_{t \\ge 0} \\log \\pi_\\theta (a_t | s_t) \\quad \\quad \\quad (4)\" alt=\"\\nabla_\\theta \\log p(\\tau | \\theta) = \\nabla_\\theta \\sum_{t \\ge 0} \\log \\pi_\\theta (a_t | s_t) \\quad \\quad \\quad (4)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e9\/79d\/fb5\/2e979dfb53c093a6a1a87ff0695584a0.svg\" width=\"379\" height=\"47\"\/><\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0432 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0435 (4) \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430\u043c\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0442.\u0435. \u0430\u0433\u0435\u043d\u0442 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430 \u043d\u0438\u0445 \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c. \u0421\u043e\u0431\u0440\u0430\u0432 \u0432\u0441\u0435 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0438 \u043f\u043e\u0434 \u0437\u043d\u0430\u043a\u043e\u043c \u0441\u0443\u043c\u043c\u044b, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0443 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ \\sum_{t \\ge 0} R(\\tau) \\nabla_\\theta  \\log \\pi_\\theta (a_t | s_t) \\right] \\quad \\quad \\quad (5)\" alt=\"\\nabla_\\theta J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ \\sum_{t \\ge 0} R(\\tau) \\nabla_\\theta  \\log \\pi_\\theta (a_t | s_t) \\right] \\quad \\quad \\quad (5)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ff\/6a3\/0a7\/9ff6a30a759f0d0803f7ec7f4cf8711b.svg\" width=\"463\" height=\"63\"\/><\/p>\n<h4>\u0422\u043e\u043d\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0439<\/h4>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u0445\u043e\u0442\u044f \u043e\u043d\u043e \u0443\u0436\u0435 \u0438 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c. \u0412 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 (5) \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53c\/12f\/705\/53c12f70576a746907d7ae2017eef253.svg\" width=\"40\" height=\"22\"\/>, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0439 \u043e\u0442 \u043f\u043e\u043b\u043d\u043e\u0439 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438. \u0422.\u0435. \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_t\" alt=\"a_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76c\/136\/48c\/76c13648c20dc265d7114bce065412f4.svg\" width=\"17\" height=\"15\"\/> \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b68\/025\/c3b\/b68025c3b871e12aeac2bcffacbbd1a8.svg\" width=\"7\" height=\"16\"\/>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R(\\tau)\" alt=\"R(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c32\/d3e\/9b8\/c32d3e9b8f0b647492986d1ab8b6d557.svg\" width=\"40\" height=\"22\"\/> \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_t(\\tau)\" alt=\"R_t(\\tau)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/95f\/9ae\/d0c\/95f9aed0c123b9d11a00a1f3ce9dce36.svg\" width=\"47\" height=\"22\"\/>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\nabla_\\theta J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ \\sum_{t = 0}^{T} R_t(\\tau) \\nabla_\\theta  \\log \\pi_\\theta (a_t | s_t) \\right]\" alt=\"\\nabla_\\theta J(\\pi_{\\theta}) = E_{\\tau \\sim \\pi_{\\theta}} \\left[ \\sum_{t = 0}^{T} R_t(\\tau) \\nabla_\\theta  \\log \\pi_\\theta (a_t | s_t) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/726\/ff9\/491\/726ff9491a4292528fc790d2bbde92a4.svg\" width=\"383\" height=\"62\"\/><\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f (4) \u0438 (5) \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0441 \u0438\u0445 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dfd\/7c4\/e01\/dfd7c4e01b6eb84b2b5eecbe2a88cee8.svg\" width=\"20\" height=\"15\"\/>, \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435. \u041d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u0445 \u0438 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u0443\u043c\u043c\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0448\u0430\u0433\u043e\u0432.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nabla_\\theta  \\log \\pi_\\theta (a_t | s_t)\" alt=\"\\nabla_\\theta  \\log \\pi_\\theta (a_t | s_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/559\/14b\/2a7\/55914b2a73db9c4041f3ce5fae526db0.svg\" width=\"131\" height=\"22\"\/>. \u0422.\u043a. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi_\\theta\" alt=\"\\pi_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c41\/044\/5a7\/c410445a76e994ec025ea03e43648e4a.svg\" width=\"20\" height=\"15\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e, \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0449\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435, \u0437\u043d\u0430\u0447\u0438\u0442 \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043b\u044e\u0431\u043e\u0439 DL-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a.<\/p>\n<h2>\u041f\u0440\u0438\u043c\u0435\u0440 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h2>\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0435\u043c\u0430\u043b\u043e \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 RL-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432 \u0442\u043e\u043c \u0438\u043b\u0438 \u0438\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438. \u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c REINFORCE, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0439 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u044b\u0442, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e.<\/p>\n<pre><code class=\"python\">def reinforce(env, pi, n_episode, gamma=1.0):    \"\"\"    \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c REINFORCE    @param env: \u0438\u043c\u044f \u0441\u0440\u0435\u0434\u044b Gym    @param pi: \u0441\u0435\u0442\u044c, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e    @param n_episode: \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432    @param gamma: \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043e\u0431\u0435\u0441\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f    \"\"\"    for episode in range(n_episode):      log_probs = []      rewards = []      state = env.reset()      while True:        action, log_prob = pi.get_action(state)        next_state, reward, is_done, _ = env.step(action)        log_probs.append(log_prob)        rewards.append(reward)        if is_done:           returns = []           Gt, k = 0, 0           for reward in rewards[::-1]:              Gt += gamma ** k * reward              k += 1              returns.append(Gt)        returns = torch.tensor(returns)        pi.update(returns, log_probs)<\/code><\/pre>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0441\u043c\u0435\u043a\u0430\u043b\u043a\u0443, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0440\u0438\u0441\u0442\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 \u0438 \u0441\u043e\u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u0441 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u044b\u0448\u0435  \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/699390\/\"> https:\/\/habr.com\/ru\/post\/699390\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0430 \u043f\u043e\u0434 \u0432\u043f\u0435\u0447\u0430\u0442\u043b\u0435\u043d\u0438\u0435\u043c \u0438 \u043f\u0440\u0438 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0435 &#171;\u0411\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043c\u0430\u0441\u0442\u0435\u0440\u0441\u043a\u043e\u0439&#187;, \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0432\u0448\u0435\u0439 \u043b\u0435\u0442\u043e\u043c 2022 \u0433. \u0432 \u0410\u043a\u0430\u0434\u0435\u043c\u0433\u043e\u0440\u043e\u0434\u043a\u0435 \u043d\u0430 \u0431\u0430\u0437\u0435 \u041d\u0413\u0423.<\/p>\n<p>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043a\u0440\u0430\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u044b\u0445 \u043a\u0430\u043c\u043d\u0435\u0439 \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e RL. \u0423\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0447\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0430\u0432\u0442\u043e\u0440\u044b \u043a\u043d\u0438\u0433, \u043f\u043e\u0441\u0432\u044f\u0449\u0435\u043d\u043d\u044b\u0445 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u0441\u0442\u0430\u0440\u0430\u044e\u0442\u0441\u044f \u043e\u0431\u043e\u0439\u0442\u0438 \u0442\u0435\u043c\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u043e\u0439 \u0438 \u043d\u0435\u043e\u0445\u043e\u0442\u043d\u043e \u0434\u0435\u043b\u044f\u0442\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e\u0442\u043a\u0443\u0434\u0430 \u0438 \u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u0430\u0441\u0442\u0443\u0442 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b. \u0412 \u044d\u0442\u043e\u0439 \u0437\u0430\u043c\u0435\u0442\u043a\u0435, \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u0434\u0435\u0442\u0430\u043b\u0438 \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0430\u043d\u0430\u0442\u043e\u043c\u0438\u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0439 \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u044f\u0445. \u0417\u0430 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0441\u0432\u0435\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u043e\u0431 RL \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043e\u0431\u0440\u0430\u0449\u0430\u0442\u044c\u0441\u044f \u043a \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0420. \u0421\u0430\u0442\u0442\u043e\u043d\u0430 \u0438 \u0410. \u0411\u0430\u0440\u0442\u043e \u201cReinforcement Learning. An Introduction\u201c<\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0440\u0430\u0441\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0442\u043e\u0447\u0435\u043a \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 c \u0442\u0435\u043e\u0440\u0438\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442\u044c \u0441 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435\u043c \u043d\u043e\u0442\u0430\u0446\u0438\u0438 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0442\u0440\u043e\u0433\u043e\u0441\u0442\u0438. \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u0432\u0441\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u044b  \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u0442\u0430\u043a\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u0442\u0435\u0440\u044f\u043b\u0430\u0441\u044c \u043d\u0438\u0442\u044c \u043f\u043e\u0432\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<h2>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 RL<\/h2>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0440\u0430\u0437\u0433\u043e\u0432\u043e\u0440 \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0430\u044e\u0449\u0435\u0433\u043e \u043b\u0430\u043d\u0434\u0448\u0430\u0444\u0442\u0430, \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0436\u043d\u044b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438\u0437 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p><em>\u0422\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f  \u2013 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 , \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0430\u0435\u0442\u0441\u044f \u0430\u0433\u0435\u043d\u0442, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 . \u041a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0431\u0443\u0434\u0435\u043c \u0442\u0430\u043a\u0436\u0435  \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u043c.<\/em> <\/p>\n<p>\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u0430\u0433\u0435\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e .<\/p>\n<p><em>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f  \u2013 \u043e\u0442\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f  \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u0430 \u0442\u043e\u0433\u043e \u0438\u043b\u0438 \u0438\u043d\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f .<\/em><\/p>\n<p>\u0412 \u0440\u043e\u043b\u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438  \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0445\u0438\u0442\u0440\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 , \u043f\u043e\u043a\u0440\u0443\u0442\u0438\u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0435\u0451 \u043d\u0443\u0436\u043d\u043e\u043c\u0443 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044e. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u0439 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c.<\/p>\n<p>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0440\u0438 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u0438 \u0432\u0434\u043e\u043b\u044c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 , \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u043e\u0439 .<\/p>\n<p>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f  \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u0441\u0443\u043c\u043c\u0443 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0439 , \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0430\u0433\u0435\u043d\u0442, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430 \u0432\u0440\u0435\u043c\u0435\u043d\u0438  \u0438 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u044d\u043f\u0438\u0437\u043e\u0434\u0430 . \u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043e\u0431\u0435\u0441\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f  \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043e\u0442\u0434\u0430\u043b\u0435\u043d\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0438\u043a\u043e\u043c, \u0442\u043e \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u043b\u0435\u0433\u043a\u0430 \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442\u0441\u044f (\u0438\u0441\u0447\u0435\u0437\u0430\u0435\u0442 \u0438\u043d\u0434\u0435\u043a\u0441 ):<\/p>\n<p>\u0412 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u0440\u0435\u0434\u0430\u0445 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u0436\u0435 \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0443\u0434\u043e\u0431\u043d\u0435\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u0442\u044c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439. \u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 <\/p>\n<p><em>\u0426\u0435\u043b\u0435\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f  \u2013  \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u043c, \u043f\u043e\u0440\u043e\u0436\u0434\u0435\u043d\u043d\u044b\u043c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 .<\/em><\/p>\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0436\u0435\u043b\u0430\u043d\u0438\u0435, \u0438\u0437\u043c\u0435\u043d\u044f\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b  \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438  ,  \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0438\u0442\u044c\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0430\u0433\u0435\u043d\u0442\u0430.<\/p>\n<p>\u0422.\u043a. \u043c\u044b \u0434\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438\u0441\u044c \u0441\u0447\u0438\u0442\u0430\u0442\u044c  \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e, \u0442\u043e \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432  \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438.<\/p>\n<h2>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u0435\u043d\u0438\u044f<\/h2>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a\u0430\u0440\u0442\u0430 \u043c\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0438 \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u043f\u043e\u043d\u044f\u0442\u043d\u0430\u044f \u0446\u0435\u043b\u044c: \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435,  \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0430\u0433\u0435\u043d\u0442 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439, \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0443\u044f\u0441\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 . \u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u044f\u0437\u044b\u043a\u043e\u043c \u044d\u0442\u0443 \u0446\u0435\u043b\u044c \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u0432 \u0432\u0438\u0434\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438<\/p>\n<p>\u041a\u0430\u043a \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c? \u041f\u0435\u0440\u0432\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432 \u0433\u043e\u043b\u043e\u0432\u0443 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u0430\u043c \u043f\u043e ML, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u043f\u043e \u043d\u0430\u0431\u043e\u0440\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 : ! \u0421\u0445\u0435\u043c\u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u0434\u044a\u0435\u043c\u0430 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a<\/p>\n<p>\u041d\u043e \u043a\u0430\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0451 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435? \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 (1) \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u041a\u043b\u044e\u0447\u0435\u0432\u044b\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f . \u0427\u0442\u043e \u0436\u0435 \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043e \u043d\u0435\u0439? \u041a\u0430\u043a \u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 ?<\/p>\n<p>\u041a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043e\u0431  \u043f\u043e\u0447\u0442\u0438 \u043d\u0438\u0447\u0435\u0433\u043e, \u043e\u043d\u0430 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432 \u0440\u043e\u043b\u0438 \u0437\u0430\u0433\u0430\u0434\u043e\u0447\u043d\u043e\u0433\u043e \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u044f\u0449\u0438\u043a\u0430. \u0412\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435  \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e . \u041d\u043e \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443  \u0438  \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0447\u0443\u0432\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c, \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u0443\u044f \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438  \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044f \u0432\u0434\u043e\u043b\u044c \u043d\u0438\u0445 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 . \u0422\u043e \u0435\u0441\u0442\u044c, \u043d\u0443\u0436\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0445\u0440\u0430\u043d\u0438\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438   \u0438 \u043d\u0443\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0441\u043f\u043e\u0441\u043e\u0431 \u0434\u043e \u043d\u0435\u0451 \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f.<\/p>\n<h2>\u0422\u0435\u043e\u0440\u0435\u043c\u0430 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435<\/h2>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043e\u0440\u0435\u043c\u043e\u0439 \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438. \u0414\u043b\u044f \u0443\u0434\u043e\u0431\u0441\u0442\u0432\u0430 \u0432\u043e\u0441\u043f\u0440\u0438\u044f\u0442\u0438\u044f, \u043c\u044b \u0441\u043f\u0435\u0440\u0432\u0430 \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u0435\u0451 \u0432 \u043e\u0431\u0449\u0438\u0445 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445, \u0430 \u0437\u0430\u0442\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<h4>\u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/h4>\n<p>\u041f\u0443\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u044b: \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u0430\u044f , \u0444\u0443\u043d\u043a\u0446\u0438\u044f , \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 (\u043e\u043d\u043e \u0436\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0435) \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439  \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435  (\u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b). \u0411\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0443 . <\/p>\n<p>\u0421\u043f\u0435\u0440\u0432\u0430 \u0432\u044b\u043f\u0438\u0448\u0435\u043c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f, \u0430 \u0437\u0430\u0442\u0435\u043c \u0432\u043d\u0435\u0441\u0451\u043c \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f  \u043f\u043e\u0434 \u0437\u043d\u0430\u043a \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u0430<\/p>\n<p> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u043d\u043e\u0441\u0438\u043c \u0435\u0451 \u0438\u0437-\u043f\u043e\u0434 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 \u0438 \u0434\u043e\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u0432\u0441\u0451 \u043f\u043e\u0434\u044b\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435  \u043d\u0430 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0432 \u0444\u043e\u0440\u043c\u0435 <\/p>\n<p>\u0432 \u043f\u043e\u0434\u044b\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0439 \u043f\u0430\u0442\u0442\u0435\u0440\u043d \u0434\u043b\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u043d\u043e \u0441\u043e\u0431\u0440\u0430\u0442\u044c, \u0430 \u0437\u0430\u0442\u0435\u043c \u0438 \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435<\/p>\n<p>\u0417\u0430 \u0441\u0447\u0435\u0442 \u0441\u043c\u0435\u043d\u044b \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0430\u0440\u044b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0440\u044e\u043a\u043e\u0432 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u043e\u043c \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 , \u044f\u0432\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0435\u0435 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 .<\/p>\n<p>\u041d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e  \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044f: \u043c\u044b \u0445\u043e\u0442\u0438\u043c, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u0443\u0435\u043c\u043e\u0439. \u0422\u043e\u0433\u0434\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b \u0434\u043b\u044f \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u044b\u0431\u043e\u0440\u043e\u043a .<\/p>\n<h4>\u0413\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0434\u043b\u044f RL<\/h4>\n<p>\u041f\u043e\u0440\u0430 \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0443 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 . \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0435\u0435\u0441\u044f \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e (2) \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438  \u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0441\u0442\u0438\u043c\u0441\u044f \u0432 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0439. \u0422\u0435\u043f\u0435\u0440\u044c \u0432 \u0440\u043e\u043b\u0438  \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f ,  <em>\u2013<\/em> \u044d\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438 , \u0430 \u0442\u0430\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435  \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 .<\/p>\n<p>\u0412 \u0446\u0435\u043b\u043e\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0445\u043e\u0440\u043e\u0448\u043e, \u043d\u043e \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c , \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b\u0440\u0430\u0436\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u043e\u0432\u0435\u043d\u0438\u044f \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438  \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0437\u0430\u0434\u0430\u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u043e\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 . \u041a\u0430\u043a \u0435\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c?<\/p>\n<p>\u041c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430  \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u0438 \u0440\u0430\u0432\u043d\u0430 , \u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438  \u0438  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a . \u0422\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0439 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438  \u0440\u0430\u0432\u043d\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u044d\u0442\u0438\u0445 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432.<\/p>\n<p>\u0417\u0430\u0433\u0430\u0434\u043a\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f  \u0440\u0430\u0437\u0433\u0430\u0434\u0430\u043d\u0430, \u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0435\u0449\u0451 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430, \u043f\u0440\u043e\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 (3) \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0432 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u043f\u043e . \u0421\u043f\u0435\u0440\u0432\u0430 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c (3) \u0438 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432 \u0441\u0443\u043c\u043c\u0443, \u043f\u043e\u043b\u044c\u0437\u0443\u044f\u0441\u044c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430<\/p>\n<p>\u0437\u0430\u0442\u0435\u043c \u0438\u0437\u0431\u0430\u0432\u043b\u044f\u0435\u043c\u0441\u044f \u043e\u0442 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445, \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0445 \u043e\u0442 , \u0442.\u043a. \u043f\u0440\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043d\u0438 \u0434\u0430\u0434\u0443\u0442 \u043d\u043e\u043b\u044c<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0432 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0435 (4) \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430\u043c\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0442.\u0435. \u0430\u0433\u0435\u043d\u0442 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430 \u043d\u0438\u0445 \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c. \u0421\u043e\u0431\u0440\u0430\u0432 \u0432\u0441\u0435 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0438 \u043f\u043e\u0434 \u0437\u043d\u0430\u043a\u043e\u043c \u0441\u0443\u043c\u043c\u044b, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0443 \u0442\u0435\u043e\u0440\u0435\u043c\u044b \u043e \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438<\/p>\n<h4>\u0422\u043e\u043d\u043a\u0430\u044f \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0439<\/h4>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435, \u0445\u043e\u0442\u044f \u043e\u043d\u043e \u0443\u0436\u0435 \u0438 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c. \u0412 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 (5) \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 , \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0439 \u043e\u0442 \u043f\u043e\u043b\u043d\u043e\u0439 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u0438. \u0422.\u0435. \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439  \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f. \u042d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0433\u043e \u0448\u0430\u0433\u0430 . \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u043c  \u043d\u0430 .<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f (4) \u0438 (5) \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0438\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0438 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0441 \u0438\u0445 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e , \u0447\u0442\u043e\u0431\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435. \u041d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u043f\u0440\u043e\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044f\u0445 \u0438 \u043f\u0435\u0440\u0435\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0441\u0443\u043c\u043c\u044b \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0448\u0430\u0433\u043e\u0432.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043a\u0430\u0441\u0430\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044f . \u0422.\u043a.  \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u0443\u0442\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e, \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u044e\u0449\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435, \u0437\u043d\u0430\u0447\u0438\u0442 \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043b\u044e\u0431\u043e\u0439 DL-\u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a.<\/p>\n<h2>\u041f\u0440\u0438\u043c\u0435\u0440 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430<\/h2>\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0435\u043c\u0430\u043b\u043e \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0445 RL-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0432 \u0442\u043e\u043c \u0438\u043b\u0438 \u0438\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u043e\u043f\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438. \u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u0437\u0433\u043b\u044f\u043d\u0435\u043c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c REINFORCE, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0439 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u043f\u044b\u0442, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0442\u0440\u0430\u0435\u043a\u0442\u043e\u0440\u0438\u044e.<\/p>\n<pre><code class=\"python\">def reinforce(env, pi, n_episode, gamma=1.0):    \"\"\"    \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c REINFORCE    @param env: \u0438\u043c\u044f \u0441\u0440\u0435\u0434\u044b Gym    @param pi: \u0441\u0435\u0442\u044c, \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0449\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e    @param n_episode: \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432    @param gamma: \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043e\u0431\u0435\u0441\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f    \"\"\"    for episode in range(n_episode):      log_probs = []      rewards = []      state = env.reset()      while True:        action, log_prob = pi.get_action(state)        next_state, reward, is_done, _ = env.step(action)        log_probs.append(log_prob)        rewards.append(reward)        if is_done:           returns = []           Gt, k = 0, 0           for reward in rewards[::-1]:              Gt += gamma ** k * reward              k += 1              returns.append(Gt)        returns = torch.tensor(returns)        pi.update(returns, log_probs)<\/code><\/pre>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0443\u043f\u0440\u0430\u0436\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0438 \u0441\u043c\u0435\u043a\u0430\u043b\u043a\u0443, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0440\u0438\u0441\u0442\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043a\u043e\u0434 \u0438 \u0441\u043e\u043e\u0442\u043d\u0435\u0441\u0442\u0438 \u0435\u0433\u043e \u0441 \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u044b\u0448\u0435  \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/699390\/\"> https:\/\/habr.com\/ru\/post\/699390\/<\/a><br \/><\/br><\/br><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-341267","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/341267","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=341267"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/341267\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=341267"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=341267"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=341267"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}