{"id":359288,"date":"2024-05-21T00:29:31","date_gmt":"2024-05-21T00:29:31","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=359288"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=359288","title":{"rendered":"<span>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u0431\u043b\u044d\u043a\u0434\u0436\u0435\u043a\u043e\u043c \u0438 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c. \u0418\u0449\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u0438\u0433\u0440\u044b<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c \u0443 \u043d\u0430\u0441 \u0431\u043b\u0430\u0433\u043e\u0440\u043e\u0434\u043d\u0430\u044f \u0446\u0435\u043b\u044c &#8212; \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0440\u0430\u0437\u043e\u0440\u0438\u0442\u044c \u043a\u0430\u0437\u0438\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u043e \u043d\u0435 \u0440\u0430\u0437\u043e\u0440\u044f\u043b\u043e \u0434\u0440\u0443\u0433\u0438\u0445, \u0430 \u043f\u043e\u043f\u0443\u0442\u043d\u043e \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u0430\u043c\u0438\u043c. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0446\u0435\u043b\u0438 \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0438\u0433\u0440\u0443 \u0431\u043b\u044d\u043a\u0434\u0436\u0435\u043a. \u042d\u0442\u0430 \u0438\u0433\u0440\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0442\u043e \u043c\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0438\u0434\u0435\u043c \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0443 \u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448\u0443. \u0418 \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0434\u0430\u0441\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u043d\u0430\u0439\u0442\u0438 \u043b\u0443\u0447\u0448\u0443\u044e, \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0433\u0440\u044b \u0431\u043b\u044d\u043a\u0436\u0434\u0435\u043a.<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/654ccf0c3eb8e176bfe93ec6\" data-style=\"\" id=\"654ccf0c3eb8e176bfe93ec6\" width=\"\"><\/div>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<strong> (reinforcement learning) <\/strong>\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0433\u0434\u0435 \u043c\u044b \u0435\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u043d\u044e\u0430\u043d\u0441\u044b \u0438\u0433\u0440\u044b, \u0432\u0441\u044e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0438\u0437 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043f\u0438\u0448\u0435\u043c \u043e\u0431\u0449\u0438\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<h2>\u041e\u0431\u0449\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h2>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c &#8212; \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0443\u0431\u044a\u0435\u043a\u0442 (\u0431\u043e\u0442\u0430) \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439 <strong>(environment) <\/strong>\u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e <strong>\u043d\u0430\u0433\u0440\u0430\u0434\u0443 (rewards)<\/strong> \u043e\u0442 \u043d\u0435\u0435. \u0421\u0443\u0431\u044a\u0435\u043a\u0442, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u0430\u0433\u0435\u043d\u0442\u043e\u043c (agent)<\/strong>. \u0412\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439 \u043e\u043d \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043a\u0430\u043a\u0438\u0435-\u0442\u043e <strong>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f (actions)<\/strong>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u0442 \u0433\u043e\u043b \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0443, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 +1 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u0430 \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438 \u0433\u043e\u043b, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442 -1. \u041d\u0430\u0433\u0440\u0430\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0442.\u0435. \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u0439\u0442\u0438 \u043a \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443. \u0422.\u0435. \u0432 \u043e\u0434\u0438\u043d \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0448\u0442\u0440\u0430\u0444, \u043d\u043e \u0437\u0430\u0442\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c. \u041a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u0441\u0440\u0435\u0434\u044b <strong>\u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 (observations)<\/strong>. \u0418\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0430\u0433\u0435\u043d\u0442 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 <strong>\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 (agent state)<\/strong>, \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0432 \u0441\u0432\u043e\u044e <strong>\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e (policy)<\/strong> \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u043d\u0435\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043e\u043d \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u0442 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0412\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041a\u043e\u0440\u043e\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 &#8212; \u044d\u0442\u043e \u0432\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u0430\u0433\u0435\u043d\u0442\u0443, \u0447\u0442\u043e\u0431\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u0432\u043e\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435. \u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e <strong>\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c (state)<\/strong>. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0430\u0433\u0435\u043d\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441 \u043c\u0438\u0440\u043e\u043c \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0445\u0435\u043c\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/f07\/999\/3e7\/f079993e7faf16dc22b2fcea0584b071.jpg\" width=\"931\" height=\"1011\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f07\/999\/3e7\/f079993e7faf16dc22b2fcea0584b071.jpg\" data-blurred=\"true\"\/><\/figure>\n<p>\u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u0443\u044e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043c\u0438\u0440\u0430. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 <strong>\u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 (Markov Decision Process \u2014 MDP). <\/strong>\u0421\u043b\u0435\u0434\u0443\u0435\u0442 \u0435\u0449\u0451 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u043c\u0438, \u043f\u043e\u043f\u0430\u0432 \u0434\u0432\u0430\u0436\u0434\u044b \u0432 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S_0\" alt=\"S_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e7\/b2c\/5d8\/6e7b2c5d88bc8da474a04ef069829656.svg\" width=\"21\" height=\"20\"\/> \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e\u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043c\u044b \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043c\u043e\u0436\u0435\u043c \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u0438\u0431\u043e \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S_1\" alt=\"S_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7cc\/20f\/d44\/7cc20fd44dcf15a7cb6a39886a16c39f.svg\" width=\"21\" height=\"19\"\/>, \u043b\u0438\u0431\u043e \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S_2\" alt=\"S_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/acf\/0e5\/95b\/acf0e595be7d82ee741ccd498e58876c.svg\" width=\"21\" height=\"19\"\/> \u0438\u0437-\u0437\u0430 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u043d\u0430\u0448\u0435\u0439 \u0441\u0440\u0435\u0434\u044b. \u0418\u043b\u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439, \u043d\u043e \u043c\u044b \u043d\u0435 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0435\u0435 \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0438\u043c\u0435\u0435\u043c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0443, \u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0441\u0440\u0435\u0434\u0430 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043d\u0430\u0441 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439.<\/p>\n<p>\u041e\u0431\u0449\u0435\u0439 \u0446\u0435\u043b\u044c\u044e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E[\\sum{r_t}] \\rightarrow max\" alt=\"E[\\sum{r_t}] \\rightarrow max\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/553\/ecb\/c60\/553ecbc60e4698400d13eade9dc17905.svg\" width=\"140\" height=\"30\"\/>, \u0433\u0434\u0435 t &#8212; \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_t\" alt=\"r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/807\/a90\/a9e\/807a90a9e38082845e5827974791e76d.svg\" width=\"16\" height=\"15\"\/> &#8212; \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 t,<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E[x]\" alt=\"E[x]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/15c\/2c9\/76a\/15c2c976ab3fcc3863152c589ca211cb.svg\" width=\"36\" height=\"22\"\/> &#8212; \u043c\u0430\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0430\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0437\u0434\u0435\u0441\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443\u0442 \u043a \u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443, \u0438 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448.<\/p>\n<h2>Q-Learning<\/h2>\n<p>\u042d\u0442\u043e \u0438\u0433\u0440\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0435\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0430\u0432\u0438\u043b &#8212; \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0438\u043c \u043d\u0435 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c. \u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0441 \u0441\u0430\u043c\u044b\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f <strong>\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439<\/strong>, \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0435 \u043d\u0430\u043c \u0438 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0439\u0442\u0438.<\/p>\n<p>\u041d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043d\u0430\u043f\u043e\u043c\u043d\u044e \u043f\u0440\u0430\u0432\u0438\u043b\u0430. \u0426\u0435\u043b\u044c \u0438\u0433\u0440\u044b &#8212; \u043e\u0431\u044b\u0433\u0440\u0430\u0442\u044c \u0434\u0438\u043b\u0435\u0440\u0430. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0433\u0440\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439: <\/p>\n<ol>\n<li>\n<p>\u0414\u0438\u043b\u0435\u0440 \u043a\u043b\u0430\u0434\u0435\u0442 \u0441\u0435\u0431\u0435 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443, \u0430 \u0437\u0430\u0442\u0435\u043c \u0434\u0432\u0435 \u043a\u0430\u0440\u0442\u044b \u0438\u0433\u0440\u043e\u043a\u0443. \u041a\u0430\u0436\u0434\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0447\u043a\u043e\u0432. \u041a\u0430\u0440\u0442\u044b \u0441 \u0446\u0438\u0444\u0440\u0430\u043c\u0438 (2 &#8212; 10) \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432, \u0440\u0430\u0432\u043d\u043e\u0435 \u0441\u0432\u043e\u0435\u0439 \u0446\u0438\u0444\u0440\u0435, \u043a\u0430\u0440\u0442\u044b \u0441 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c\u0438 (\u0434\u0430\u043c\u0430, \u0432\u0430\u043b\u0435\u0442, \u043a\u043e\u0440\u043e\u043b\u044c) &#8212; 10, \u0442\u0443\u0437 &#8212; 1 \u0438\u043b\u0438 11, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0443 \u043a\u0430\u0440\u0442\u044b. \u041e\u0447\u043a\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043a\u0430\u0440\u0442, \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0423 \u0438\u0433\u0440\u043e\u043a\u0430 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440 &#8212; \u0432\u0437\u044f\u0442\u044c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443 \u0438\u043b\u0438 \u043d\u0435\u0442. \u0410 \u043f\u043e\u0442\u043e\u043c \u0435\u0449\u0435 \u043e\u0434\u043d\u0443. \u0418 \u0442\u0430\u043a \u043f\u043e\u043a\u0430 \u0438\u0433\u0440\u043e\u043a \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0438\u043b\u0438 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 21.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 21, \u0442\u043e \u043e\u043d \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0434\u0438\u043b\u0435\u0440 \u0431\u0435\u0440\u0435\u0442 \u0441\u0435\u0431\u0435 \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u044b, \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0431\u0435\u0440\u0435\u0442 \u0441\u0443\u043c\u043c\u0443 \u043e\u0447\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0438\u043b\u0438 \u0440\u0430\u0432\u043d\u0443\u044e 17. \u0415\u0441\u043b\u0438 \u0434\u0438\u043b\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u044c\u0448\u0435 21 &#8212; \u043e\u043d \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0447\u043a\u043e\u0432, \u0447\u0435\u043c \u0434\u0438\u043b\u0435\u0440, \u0442\u043e \u043e\u043d \u0432\u044b\u0438\u0433\u0440\u0430\u043b. \u0418\u043d\u0430\u0447\u0435 \u0438\u0433\u0440\u043e\u043a \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0433\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f. \u0418 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u043c \u0445\u043e\u0434\u043e\u043c \u0438\u0433\u0440\u043e\u043a \u043d\u0430\u0431\u0440\u0430\u043b 21, \u0442\u043e \u043e\u043d \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0438\u0433\u0440\u0430\u043b.<\/p>\n<p>(*\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u044b, \u043c\u044b \u0436\u0435 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043d\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0440\u0430\u0437\u043e\u0440\u044f\u0442\u044c \u043a\u0430\u0437\u0438\u043d\u043e?)<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430 \u0438\u0433\u0440\u044b \u0443\u0434\u043e\u0431\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/gymnasium.farama.org\/environments\/toy_text\/blackjack\/\" rel=\"noopener noreferrer nofollow\">\u0433\u043e\u0442\u043e\u0432\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e<\/a> \u0432 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/openai\/gym\" rel=\"noopener noreferrer nofollow\"><s>gym<\/s><\/a> <a href=\"https:\/\/Gymnasium%20is%20an%20open%20source%20Python%20library%20for%20developing%20and%20comparing%20reinforcement%20learning%20algorithms%20by%20providing%20a%20standard%20API%20to%20communicate%20between%20learning%20algorithms%20and%20environments,%20as%20well%20as%20a%20standard%20set%20of%20environments%20compliant%20with%20that%20API.%20This%20is%20a%20fork%20of%20OpenAI's%20Gym%20library%20by%20its%20maintainers%20(OpenAI%20handed%20over%20maintenance%20a%20few%20years%20ago%20to%20an%20outside%20team),%20and%20is%20where%20future%20maintenance%20will%20occur%20going%20forward.%20%20The%20documentation%20website%20is%20at%20gymnasium.farama.org,%20and%20we%20have%20a%20public%20discord%20server%20(which%20we%20also%20use%20to%20coordinate%20development%20work)%20that%20you%20can%20join%20here:%20https:\/\/discord.gg\/bnJ6kubTg6\" rel=\"noopener noreferrer nofollow\">gymnasium<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u0433\u0435\u043d\u0442 &#8212; \u044d\u0442\u043e \u0438\u0433\u0440\u043e\u043a. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f &#8212; \u0432\u0437\u044f\u0442\u044c \u043a\u0430\u0440\u0442\u0443 \u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <strong>\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (action space) <\/strong>\u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u0441\u0435\u0433\u043e \u0438\u0437 \u0434\u0432\u0443\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439.<\/p>\n<p>\u0410 \u043d\u0430\u0448\u0438\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435\u043c \u0438 \u043e\u043d\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0438 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430. \u041d\u0430\u043c \u043d\u0435 \u0432\u0430\u0436\u043d\u043e, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043a\u0430\u0440\u0442\u044b \u0443 \u043d\u0430\u0441 \u0438 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430 \u043d\u0430 \u0440\u0443\u043a\u0430\u0445, \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0443\u043c\u043c\u0430 \u043e\u0447\u043a\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 12, \u0442\u043e \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443, \u043d\u0435 \u0431\u043e\u044f\u0441\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u043e\u0440. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u0433\u0434\u0435 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 12 \u043e\u0447\u043a\u043e\u0432, \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c. \u041e\u0441\u043e\u0431\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0442\u0443\u0437\u0430. \u0422\u0443\u0437 \u043c\u043e\u0436\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430 11 \u043e\u0447\u043a\u043e\u0432, \u043d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u043e\u043d \u0441\u0442\u0430\u043d\u0435\u0442 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439. \u0412\u044b\u0434\u0435\u043b\u0438\u043c \u0435\u0433\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043a\u0430\u043a \u043e\u0441\u043e\u0431\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043d\u043e \u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u0440\u0438\u0432\u0435\u043b \u043a \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0443, \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u043c \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 10 \u043e\u0447\u043a\u043e\u0432, \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u0442 \u0442\u0443\u0437\u0430 \u0440\u0430\u0434\u0438 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f. \u041f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c \u043d\u0430\u0448\u0435 <strong>\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 (state space): <\/strong><\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 &#8212; \u043e\u0442 12 &#8212; 21<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0442\u0443\u0437\u0430, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430 11 \u043e\u0447\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430 &#8212; \u043e\u0442 1 \u0434\u043e 10. 1 &#8212; \u044d\u0442\u043e \u0442\u0443\u0437.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f (\u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0449\u0451 \u043a\u0430\u0440\u0442\u0443, \u0438\u043b\u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f) \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u0442\u043e \u043e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430\u0433\u0440\u0430\u0434\u0443 1. \u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u0442\u043e -1. \u0415\u0441\u043b\u0438 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430 \u0438 \u0438\u0433\u0440\u043e\u043a\u0430 \u043f\u043e\u0440\u043e\u0432\u043d\u0443, \u0442\u043e 0. \u0418\u0433\u0440\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0445\u043e\u0434\u043e\u0432 \u0438\u0433\u0440\u043e\u043a\u0430, \u0442.\u0435. \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0437\u044f\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442. \u0415\u0441\u043b\u0438 \u043e\u043d \u0432\u0437\u044f\u043b \u043a\u0430\u0440\u0442\u0443 \u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0435\u0440\u0435\u0431\u043e\u0440, \u0442\u043e \u043e\u043d \u043d\u0430 \u044d\u0442\u043e\u043c \u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 0.<\/p>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043c\u044b \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u043e\u0438\u0441\u043a\u0443 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0430\u043a\u0443\u044e<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0443\u0437, \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 20 \u043e\u0447\u043a\u043e\u0432, \u0442\u043e \u0431\u0435\u0440\u0435\u043c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443. \u0418\u043d\u0430\u0447\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0435\u0437 \u0442\u0443\u0437\u0430 \u0431\u0435\u0440\u0435\u043c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0447\u043a\u043e\u0432 \u043c\u0435\u043d\u044c\u0448\u0435 16, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u0430 \u044d\u0442\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u0431\u0443\u0434\u0435\u043c \u0432 \u043f\u043b\u044e\u0441\u0435? \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044e \u0438\u0433\u0440\u044b, \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0441\u0442\u043e \u0442\u044b\u0441\u044f\u0447 \u0438\u0441\u043f\u044b\u0442\u0430\u043d\u0438\u0439 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043d\u0430 \u043d\u0430\u043c \u043f\u0440\u0438\u043d\u0435\u0441\u0451\u0442. \u0422.\u0435. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R=\\sum_{t} r_t, \\space E[R] = \\frac{\\sum_{i}^{N}{R_i}}{N}\" alt=\"R=\\sum_{t} r_t, \\space E[R] = \\frac{\\sum_{i}^{N}{R_i}}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ede\/336\/a42\/ede336a421c02d03ee169b1769c75c47.svg\" width=\"232\" height=\"59\"\/>. \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 -0.092. \u041c\u044b \u0432 \u043c\u0438\u043d\u0443\u0441\u0435, \u0445\u043e\u0442\u044c \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043f\u043e\u043b\u0443\u0447\u0448\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430\u0448\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u0414\u0435\u043b\u0430\u044f \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u0432 \u0438\u0433\u0440\u0435, \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state_t\" alt=\"state_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c58\/993\/629\/c58993629c2e59e53ba59e9929e653b5.svg\" width=\"49\" height=\"19\"\/>\u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state_{t+1}\" alt=\"state_{t+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a91\/f75\/850\/a91f75850d74df9ca5f90a9c459dc2e9.svg\" width=\"66\" height=\"20\"\/>. \u0417\u0430\u0432\u0435\u0434\u0451\u043c \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443, \u0433\u0434\u0435 \u0432 \u043a\u0430\u0436\u0434\u0430\u044f \u044f\u0447\u0435\u0439\u043a\u0430 &#8212; \u044d\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e. \u0412 \u044f\u0447\u0435\u0439\u043a\u0435 \u043c\u044b \u0437\u0430\u0432\u0435\u0434\u0435\u043c \u0441\u0447\u0435\u0442\u0447\u0438\u043a (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u044b \u043f\u0440\u043e\u0448\u043b\u0438 \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435) \u0438 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u0422.\u0435. \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u043c \u044d\u043f\u0438\u0437\u043e\u0434 \u0438\u0433\u0440\u044b, \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0441\u0447\u0435\u0442\u0447\u0438\u043a\u0438 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi\" alt=\"\\pi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b49\/67d\/f8b\/b4967df8b771d6e58381bc43e65e8bd4.svg\" width=\"11\" height=\"12\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043e\u043f\u0438\u0448\u0435\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e <strong>value-\u0444\u0443\u043d\u043a\u0446\u0438\u044e (value-function)<\/strong>.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0447\u0438\u0441\u043b\u0430\u043c\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043b\u0443\u0447\u0448\u0435 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044e: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state)_{i+1} = V(state)_i \\cdot \\frac{N}{N+1} + G_{i+1} \\cdot \\frac{1}{N+1} = V(state)_i + \\frac{1}{N+1} \\cdot (G_{i+1} - V(state)_{i})\" alt=\"V(state)_{i+1} = V(state)_i \\cdot \\frac{N}{N+1} + G_{i+1} \\cdot \\frac{1}{N+1} = V(state)_i + \\frac{1}{N+1} \\cdot (G_{i+1} - V(state)_{i})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f3\/03c\/716\/9f303c716d80018cab1f12ae73f38d4b.svg\" width=\"761\" height=\"44\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"G_{i+1}\" alt=\"G_{i+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f65\/335\/e48\/f65335e489d451cce1f4915225d7caf6.svg\" width=\"39\" height=\"21\"\/> &#8212; \u043d\u0430\u0433\u0440\u0430\u0434\u0430, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state\" alt=\"state\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec1\/59d\/169\/ec159d169c464700f00dd585a8949286.svg\" width=\"42\" height=\"16\"\/> . \u0412 \u0438\u0442\u043e\u0433\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state)_{i+1}=V(state)_i+\\alpha \\cdot (G_{i+1} - V(state)_i), \\space \u0433\u0434\u0435 \\space \\alpha = \\frac{1}{N+1}\" alt=\"V(state)_{i+1}=V(state)_i+\\alpha \\cdot (G_{i+1} - V(state)_i), \\space \u0433\u0434\u0435 \\space \\alpha = \\frac{1}{N+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5de\/75b\/67f\/5de75b67f168b1b85cbc3aff1bfa531f.svg\" width=\"544\" height=\"43\"\/> . \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3aa\/230\/032\/3aa23003231d7f6b10302058db7d8456.svg\" width=\"12\" height=\"12\"\/> \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0441\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0440\u0430\u0437\u0443 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0435 \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u0443\u044e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443, \u0442\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u042d\u0442\u043e\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0432\u043d\u043e \u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0440\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0431\u043e\u043b\u0435\u0435 \u043d\u043e\u0432\u044b\u0445, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c. <\/p>\n<p>\u0414\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043d\u0430\u0448\u0435\u0439 value-\u0444\u043d\u0443\u043a\u0446\u0438\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0438 \u0436\u0434\u0430\u0442\u044c \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u044d\u043f\u0438\u0437\u043e\u0434\u0430 \u0438\u0433\u0440\u044b. \u041d\u043e \u0435\u0441\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0430\u043c \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e, \u0430 \u043a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432. \u041c\u044b \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 V-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043a\u0430\u043a: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state_t) = E[r_t + r_{t+1} + .. + r_n]\" alt=\"V(state_t) = E[r_t + r_{t+1} + .. + r_n]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb2\/43d\/3f0\/eb243d3f0214f187b12e6599bb8072a9.svg\" width=\"268\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_t\" alt=\"r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/805\/6c5\/01a\/8056c501a798d886b7a58de7c8e67e32.svg\" width=\"16\" height=\"15\"\/> &#8212; \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043d\u0430 \u0448\u0430\u0433\u0435 t, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_{t+1}\" alt=\"r_{t+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ff4\/419\/73e\/ff441973e84f9abdce1c5d600e33f0db.svg\" width=\"33\" height=\"16\"\/> &#8212; \u043d\u0430 \u0448\u0430\u0433\u0435 t+1, \u0438 \u0442. \u0434. \u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0438\u0433\u0440\u0443 \u0431\u043b\u044d\u043a\u0436\u0434\u0435\u043a, \u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0431\u0443\u0434\u0443\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u043c\u0438, \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0448\u0430\u0433\u0430. \u041e\u0434\u043d\u0430\u043a\u043e, \u0437\u0434\u0435\u0441\u044c \u0431\u043b\u044d\u043a\u0436\u0434\u0435\u043a &#8212; \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0430 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0434\u043b\u044f \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u043a\u0440\u0443\u0433\u0430 \u0437\u0430\u0434\u0430\u0447, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state_t\" alt=\"state_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d98\/a5f\/5f7\/d98a5f5f7a1282abd231cb03cd7e358d.svg\" width=\"49\" height=\"19\"\/> \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state_{t+1}\" alt=\"state_{t+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b36\/117\/e9f\/b36117e9fd045e7540c9b7a920ad1db3.svg\" width=\"66\" height=\"20\"\/> \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 MDP. \u041d\u043e \u043f\u043e \u0438\u0434\u0435\u0435 \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f t+1. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0435 \u0441\u0440\u0430\u0437\u0443 \u0434\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state_t)\" alt=\"V(state_t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e4\/a08\/99a\/1e4a0899afab38eb5a6e9161a2c0266f.svg\" width=\"79\" height=\"22\"\/>, \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state_t) = r_t + V(state_{t+1})\" alt=\"V(state_t) = r_t + V(state_{t+1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c7\/0dc\/d69\/6c70dcd69bf055787c8100e60e9484f7.svg\" width=\"240\" height=\"22\"\/>, \u0435\u0441\u043b\u0438 t &#8212; \u044d\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0438\u0433\u0440\u044b, \u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state_t) = r_t\" alt=\"V(state_t) = r_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/26b\/12d\/f2d\/26b12df2d9ca1f57ab0108c62e37e532.svg\" width=\"120\" height=\"22\"\/>, \u0442\u043e\u0433\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"G_{i+1} = r_{t} + r_{t+1} + .. + r_n \" alt=\"G_{i+1} = r_{t} + r_{t+1} + .. + r_n \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a5\/81b\/9b2\/9a581b9b292af15e9853a2031ae709f5.svg\" width=\"203\" height=\"21\"\/> \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441\u0442\u0430\u043d\u0435\u0442: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"G_{i+1} = r_t + V(state_{t+1})\" alt=\"G_{i+1} = r_t + V(state_{t+1})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/461\/d73\/46a\/461d7346a9d62267dbb26cd29662d0e6.svg\" width=\"200\" height=\"22\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f V-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0438\u0433\u0440\u044b. \u0422\u0430\u043a\u0430\u044f V-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u0430\u0435\u043c, \u043d\u0430\u0445\u043e\u0434\u044f\u0441\u044c \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0447\u0435\u0442 value-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u043e\u0442 \u044d\u0442\u043e:<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/654cceca72e08276d7c1cc83\" data-style=\"\" id=\"654cceca72e08276d7c1cc83\" width=\"\"><\/div>\n<p>\u0417\u0434\u0435\u0441\u044c \u0434\u0432\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e &#171;\u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0435\u0441\u0442\u044c \u0442\u0443\u0437&#187; \u0438 &#171;\u043d\u0435\u0442 \u0442\u0443\u0437\u0430&#187; &#8212; \u044d\u0442\u043e \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041e\u0441\u0438 player \u0438 dealer \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0438 \u0434\u0438\u043b\u0435\u0440\u0430, \u0442.\u0435. \u043e\u0441\u0438 x, y &#8212; \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0410 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0441\u0438 z &#8212; \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u0438\u0437 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u0430\u0442\u044c \u0434\u0438\u043b\u0435\u0440\u0430 \u0432\u044b\u0448\u0435, \u043a\u043e\u0433\u0434\u0430 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 16 \u0438 \u0432\u044b\u0448\u0435. \u0415\u0441\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u0438 \u0442\u0443\u0442 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u043e\u0440.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u043e\u0433\u043b\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u0430\u0432\u043a\u0443 \u0432 \u0442\u043e\u043c \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0440\u0442\u044b \u0443\u0436\u0435 \u043d\u0430 \u0441\u0442\u043e\u043b\u0435, \u0442\u043e \u0441\u0432\u0435\u0440\u044f\u044f\u0441\u044c \u0441 \u043d\u0430\u0448\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u043e\u0439 V, \u043c\u044b \u0431\u044b \u043c\u043e\u0433\u043b\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u0430\u0432\u043a\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432 \u043d\u0435\u0439 \u0432\u044b\u0448\u0435 \u043d\u0443\u043b\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0431\u044b \u043f\u043e\u0447\u0442\u0438 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0432\u044b\u0448\u043b\u0438 \u0432 \u043f\u043b\u044e\u0441. \u041d\u043e \u044d\u0442\u0430 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0430 \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c, \u043a\u0430\u043a \u043d\u0430\u043c \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0443\u044e \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443. \u041e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u043d\u043e \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0435\u043c: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q(state_t, action) = E[r_t + V(state_{t+1})]\" alt=\"Q(state_t, action) = E[r_t + V(state_{t+1})]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e2\/01d\/60d\/4e201d60d69a84cfaf76e4a24ef3eb74.svg\" width=\"328\" height=\"22\"\/>. \u042d\u0442\u0430 Q-\u0442\u0430\u0431\u043b\u0438\u0446\u0430, \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438 \u0441 V-\u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439, \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c Q-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0434\u0443\u043c\u0430\u0435\u043c, \u043a\u0430\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432 Q-\u0442\u0430\u0431\u043b\u0438\u0446\u0443. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u043c\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u043c\u0441\u044f \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state_t\" alt=\"state_t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/35d\/020\/807\/35d020807e65158faf4f87c85f9917b7.svg\" width=\"49\" height=\"19\"\/>. \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439 \u043c\u044b, \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0434\u043e\u043b\u0436\u043d\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"action_1\" alt=\"action_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fca\/251\/049\/fca251049aae747291724f09e3ad1a14.svg\" width=\"62\" height=\"18\"\/>. \u041d\u043e, \u0435\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 Q, \u0442\u043e \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e <img class=\"formula inline\" source=\"Q(state_t, action_2) > Q(state_t, action_1)&#187; alt=&#187;Q(state_t, action_2) > Q(state_t, action_1)&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e3a\/18b\/ffc\/e3a18bffca27a1df50674bf8c97a3027.svg&#187; width=&#187;325&#8243; height=&#187;22&#8243;\/>. \u0421\u043e\u0432\u0435\u0440\u0448\u0438\u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"action_2\" alt=\"action_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/717\/8b9\/102\/7178b91027460d2a4de63df3e0ac4708.svg\" width=\"62\" height=\"18\"\/> \u043c\u044b \u043f\u043e \u043d\u0430\u0448\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f\u043c \u043f\u0440\u0438\u0434\u0435\u043c \u043a \u0431\u043e\u043b\u044c\u0448\u0435\u043c\u0443 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0443. \u0422\u043e\u0433\u0434\u0430 \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c \u043d\u0430\u0448\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u0422\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0442\u0430\u043a\u0436\u0435 \u043e\u0431\u043d\u043e\u0432\u0438\u0442\u044c V \u0438 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u0432\u044f\u0437\u0430\u043d\u044b \u043a \u043d\u0430\u0448\u0435\u0439 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438. \u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0438\u0445 \u0447\u0438\u0441\u043b\u043e, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0432\u0441\u0435 \u0441\u0440\u0430\u0437\u0443. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439:<\/p>\n<ol>\n<li>\n<p>\u041f\u0440\u043e\u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 Q \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0447\u0438\u0441\u043b\u0430\u043c\u0438 \u0438\u043b\u0438 \u043d\u0443\u043b\u044f\u043c\u0438<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0445\u043e\u0434\u044f\u0441\u044c \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state\" alt=\"state\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e92\/d23\/ce3\/e92d23ce3974b019f15272522d7d1818.svg\" width=\"42\" height=\"16\"\/>, \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 Q \u043f\u043e \u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e, \u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u043e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443 \u043d\u0430\u0441 \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0422.\u0435. \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e \u043d\u0430\u0448\u0435\u0439 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0434\u0430\u0441\u0442 \u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u0422.\u0435. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\pi(state) = argmax_{action}Q(stat, action)\" alt=\"\\pi(state) = argmax_{action}Q(stat, action)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7b\/fca\/097\/c7bfca097eb4e0f9eaec89cb13b0c762.svg\" width=\"325\" height=\"22\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c V-\u0444\u0443\u043d\u043a\u0446\u0438\u044e: <br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"V(state) = \\max_{action}Q(state, action)\" alt=\"V(state) = \\max_{action}Q(state, action)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/06f\/613\/4a0\/06f6134a0919eb5130fce4173804e4a9.svg\" width=\"273\" height=\"32\"\/>. <\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f Q-\u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f: <br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q(state_t, action_t) = E[r_t + V(state_{t+1})] = E[r_t + \\max_{action}Q(state_{t+1}, action)]\" alt=\"Q(state_t, action_t) = E[r_t + V(state_{t+1})] = E[r_t + \\max_{action}Q(state_{t+1}, action)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c4\/555\/da3\/3c4555da33f97afdff9791b7a590a11a.svg\" width=\"624\" height=\"32\"\/> <br \/>\u0427\u0442\u043e\u0431\u044b \u043a \u043d\u0438\u043c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043f\u0440\u0438\u0439\u0442\u0438 \u043a \u043d\u0438\u043c, \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u0436\u0435, \u043a\u0430\u043a \u043c\u044b \u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f V-\u0442\u0430\u0431\u043b\u0438\u0446\u044b: <br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q(state_t, action_t)_{i+1} = Q(state_t, action_t)_i + \\alpha \\cdot (r_t + \\max_{action}Q(state_{t+1}, action)_i - Q(state_t, action_t)_i)\" alt=\"Q(state_t, action_t)_{i+1} = Q(state_t, action_t)_i + \\alpha \\cdot (r_t + \\max_{action}Q(state_{t+1}, action)_i - Q(state_t, action_t)_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db3\/7e5\/c52\/db37e5c52edde82892c9de33fd8cabb2.svg\" width=\"840\" height=\"32\"\/>\u0414\u043b\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u0433\u0434\u0435 \u0438\u0433\u0440\u0430 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"state_{t+1} \" alt=\"state_{t+1} \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/832\/0ed\/e2e\/8320ede2e7e7298d9dc5455f4bc69c63.svg\" width=\"66\" height=\"20\"\/> \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443:<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q(state_t, action_t)_{i+1} = Q(state_t, action_t)_i + \\alpha \\cdot (r_t - Q(state_t, action_t)_i)\" alt=\"Q(state_t, action_t)_{i+1} = Q(state_t, action_t)_i + \\alpha \\cdot (r_t - Q(state_t, action_t)_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60d\/934\/6bd\/60d9346bd30ba4f74aababc0c89a70ab.svg\" width=\"611\" height=\"22\"\/>.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u044f Q-\u0444\u0443\u043d\u043a\u0446\u0438\u044e (\u043e\u043d\u0430 \u0436\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 Q), \u043c\u044b \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u0438 V-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u0410 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q(state_t, action_t) = E[r_t + \\max_{action}Q(state_{t+1}, action)]\" alt=\"Q(state_t, action_t) = E[r_t + \\max_{action}Q(state_{t+1}, action)]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4da\/10a\/b17\/4da10ab17b015bc46fbc6c21fd64c103.svg\" width=\"437\" height=\"32\"\/> &#8212; \u044d\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u043d\u043e \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043d\u044e\u0430\u043d\u0441\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0437\u0434\u0435\u0441\u044c \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c. <\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u0421 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0435\u0439 \u0438\u0433\u0440\u044b \u043c\u044b \u0432\u0441\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0443\u0442\u043e\u0447\u043d\u044f\u0435\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u043c\u0441\u044f \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e. \u041d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043c\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0441\u0440\u0430\u0437\u0443, \u0434\u043e \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043e\u043d\u0430 \u0441\u0442\u0430\u043b\u0430 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u043e\u0447\u043d\u043e\u0439. \u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0445\u043e\u0434\u0430\u0445 \u043f\u043b\u043e\u0445\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043c\u044b \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0445 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0442\u044c. \u0410 \u043c\u043e\u0436\u0435\u0442 \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u043e\u043d\u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043a \u043b\u0443\u0447\u0448\u0435\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443. \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 exploration-exploitation \u0434\u0438\u043b\u0435\u043c\u043c\u043e\u0439. \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u044d\u0442\u043e\u0439 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, epsilon-greedy \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u041e\u043d\u0430 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c &#8212; \u043c\u044b \u0432\u0432\u043e\u0434\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e12\/8ef\/e37\/e128efe378c1107da99ff254862a3cd9.svg\" width=\"8\" height=\"12\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043d\u0430\u0448\u0438\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0439 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u0434\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u043e\u0433\u043e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442 1 \u0434\u043e 0. \u0414\u0430\u043b\u0435\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0434\u0435\u043b\u0430\u0435\u043c \u0445\u043e\u0434, \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1 \u0438\u0437 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043c\u0435\u043d\u044c\u0448\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe3\/41a\/8b8\/fe341a8b8dc83d5be534275e1117159c.svg\" width=\"8\" height=\"12\"\/>, \u0442\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0438\u043d\u0430\u0447\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u043d\u0430\u0448\u0435\u0439 \u0436\u0430\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"action=argmax_{action}Q(state, action)\" alt=\"action=argmax_{action}Q(state, action)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d8\/1ca\/fc8\/5d81cafc873e79629229164776eabb12.svg\" width=\"319\" height=\"22\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u044c \u043e\u0442 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u0434\u043e \u043d\u0430\u0448\u0435\u0439 \u0436\u0430\u0434\u043d\u043e\u0439. \u0418 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u044d\u0442\u0430\u043f\u0435 \u0434\u0430\u0441\u0442 \u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443.<\/p>\n<p>\u041a\u0430\u043a \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b \u0432\u044b\u0448\u0435, \u0438\u0437 Q \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0430\u0448\u0443 V-\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u043d\u0430\u0448\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e &#8212; \u043f\u043e Q \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0430\u043a\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0434\u0430\u0441\u0442 \u043d\u0430\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. \u0415\u0441\u043b\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c V-\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f, \u043a\u0430\u043a \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u0448\u0430 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u043e\u0442 \u044d\u0442\u043e:<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/654ccf5c6f566b30a5862bf3\" data-style=\"\" id=\"654ccf5c6f566b30a5862bf3\" width=\"\"><\/div>\n<p>\u0410 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0432\u043e\u0442 \u0442\u0430\u043a:<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/be2\/d25\/90c\/be2d2590ccd5b0f7b3e9b094cdcba8b3.png\" alt=\"*\u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0438\u043d\u0430\u043d\u0441\u043e\u0432\u043e\u0439 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0435\u0439\" title=\"*\u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0438\u043d\u0430\u043d\u0441\u043e\u0432\u043e\u0439 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0435\u0439\" width=\"800\" height=\"400\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be2\/d25\/90c\/be2d2590ccd5b0f7b3e9b094cdcba8b3.png\"\/><\/p>\n<div><figcaption>*\u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0438\u043d\u0430\u043d\u0441\u043e\u0432\u043e\u0439 \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0430\u0446\u0438\u0435\u0439<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0446\u0435\u043d\u0438\u043c \u043d\u0430\u0448 \u0432\u044b\u0438\u0433\u0440\u044b\u0448, \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0432 100000 \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u0439 \u0438\u0433\u0440\u044b \u0441 \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439:<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/654cd04ee993b17686bd40a9\" data-style=\"\" id=\"654cd04ee993b17686bd40a9\" width=\"\"><\/div>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c -0.046. \u041c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430, \u043d\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0432 \u043c\u0438\u043d\u0443\u0441\u0435. \u0417\u043d\u0430\u0447\u0438\u0442 \u0432 \u043b\u044e\u0431\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0438\u0433\u0440\u0430\u0435\u0442 \u0434\u0438\u043b\u0435\u0440. \u042f \u0437\u043d\u0430\u043b, \u0447\u0442\u043e \u0441 \u044d\u0442\u0438\u043c\u0438 \u043a\u0430\u0437\u0438\u043d\u043e \u0447\u0442\u043e-\u0442\u043e \u043d\u0435 \u0442\u0430\u043a! \u041f\u043b\u0430\u043d \u043f\u043e \u0440\u0430\u0437\u043e\u0440\u0435\u043d\u0438\u044e \u043a\u0430\u0437\u0438\u043d\u043e \u043e\u0442\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u0432\u044f\u0437\u0430\u043d \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0441 \u0438\u0433\u0440\u043e\u0439 \u0431\u043b\u044d\u043a\u0434\u0436\u0435\u043a \u0438\u043b\u0438 \u043a\u0430\u0440\u0442\u043e\u0447\u043d\u044b\u043c\u0438 \u0438\u0433\u0440\u0430\u043c\u0438 \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435. \u041c\u0435\u0442\u043e\u0434 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Q-learning \u0438 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u043b\u044f \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447.<\/p>\n<p><a href=\"https:\/\/github.com\/DistinctVision\/blackjack_example\/blob\/main\/blackjack.ipynb\" rel=\"noopener noreferrer nofollow\">\u041a\u043e\u0434 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u0434\u0435\u0441\u044c.<\/a><\/p>\n<p>\u0423 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 gymnasium \u0435\u0441\u0442\u044c <a href=\"https:\/\/gymnasium.farama.org\/tutorials\/training_agents\/blackjack_tutorial\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0432\u043e\u0439 \u0442\u0443\u0442\u043e\u0440\u0438\u0430\u043b \u0441 \u0431\u043b\u0435\u043a\u0434\u0436\u0435\u043a\u043e\u043c<\/a>. \u0418\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u0445\u043e\u0436\u0435\u0439 \u043d\u0430 \u043c\u043e\u044e, \u043d\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u0432 \u043f\u0430\u0440\u0435 \u044f\u0447\u0435\u0435\u043a. \u042d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0432 \u043c\u0435\u0442\u043e\u0434\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u0430 \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0437\u0438\u0446\u0438\u044f\u0445 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u044b (\u0438\u043b\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0442) \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u0447\u0442\u043e\u0431\u044b \u0432\u0437\u044f\u0442\u044c \u043a\u0430\u0440\u0442\u0443 \u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/771818\/\"> https:\/\/habr.com\/ru\/articles\/771818\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c \u0443 \u043d\u0430\u0441 \u0431\u043b\u0430\u0433\u043e\u0440\u043e\u0434\u043d\u0430\u044f \u0446\u0435\u043b\u044c &#8212; \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0440\u0430\u0437\u043e\u0440\u0438\u0442\u044c \u043a\u0430\u0437\u0438\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u043e \u043d\u0435 \u0440\u0430\u0437\u043e\u0440\u044f\u043b\u043e \u0434\u0440\u0443\u0433\u0438\u0445, \u0430 \u043f\u043e\u043f\u0443\u0442\u043d\u043e \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441\u0430\u043c\u0438\u043c. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0446\u0435\u043b\u0438 \u0432\u044b\u0431\u0435\u0440\u0435\u043c \u0438\u0433\u0440\u0443 \u0431\u043b\u044d\u043a\u0434\u0436\u0435\u043a. \u042d\u0442\u0430 \u0438\u0433\u0440\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435, \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0442\u043e \u043c\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u0438\u0434\u0435\u043c \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0443 \u0438\u043b\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448\u0443. \u0418 \u043e\u0434\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0434\u0430\u0441\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0434\u0440\u0443\u0433\u0430\u044f. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c, \u043d\u0430\u0439\u0442\u0438 \u043b\u0443\u0447\u0448\u0443\u044e, \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0433\u0440\u044b \u0431\u043b\u044d\u043a\u0436\u0434\u0435\u043a.<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/654ccf0c3eb8e176bfe93ec6\" data-style=\"\" id=\"654ccf0c3eb8e176bfe93ec6\" width=\"\"><\/div>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<strong> (reinforcement learning) <\/strong>\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0433\u0434\u0435 \u043c\u044b \u0435\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438 \u043d\u044e\u0430\u043d\u0441\u044b \u0438\u0433\u0440\u044b, \u0432\u0441\u044e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0438\u0437 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043e\u043f\u0438\u0448\u0435\u043c \u043e\u0431\u0449\u0438\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<h2>\u041e\u0431\u0449\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u0437\u0430\u0434\u0430\u0447\u0438<\/h2>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u0441 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0437\u0430\u0434\u0430\u0447\u0438. \u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c &#8212; \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u0441\u0443\u0431\u044a\u0435\u043a\u0442 (\u0431\u043e\u0442\u0430) \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439 <strong>(environment) <\/strong>\u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e <strong>\u043d\u0430\u0433\u0440\u0430\u0434\u0443 (rewards)<\/strong> \u043e\u0442 \u043d\u0435\u0435. \u0421\u0443\u0431\u044a\u0435\u043a\u0442, \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u0430\u0433\u0435\u043d\u0442\u043e\u043c (agent)<\/strong>. \u0412\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e \u0441\u0440\u0435\u0434\u043e\u0439 \u043e\u043d \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044f \u043a\u0430\u043a\u0438\u0435-\u0442\u043e <strong>\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f (actions)<\/strong>. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u0431\u0438\u0432\u0430\u0435\u0442 \u0433\u043e\u043b \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0443, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 +1 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b, \u0430 \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438 \u0433\u043e\u043b, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442 -1. \u041d\u0430\u0433\u0440\u0430\u0434\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0442.\u0435. \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u0439\u0442\u0438 \u043a \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443. \u0422.\u0435. \u0432 \u043e\u0434\u0438\u043d \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0448\u0442\u0440\u0430\u0444, \u043d\u043e \u0437\u0430\u0442\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c. \u041a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0430\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u0441\u0440\u0435\u0434\u044b <strong>\u0432\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 (observations)<\/strong>. \u0418\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u0430\u0433\u0435\u043d\u0442 \u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 <strong>\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 (agent state)<\/strong>, \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u043d \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442 \u0432 \u0441\u0432\u043e\u044e <strong>\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e (policy)<\/strong> \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043e\u0442 \u043d\u0435\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043e\u043d \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u0442 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0412\u0435\u043a\u0442\u043e\u0440 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043f\u043e\u043b\u043d\u044b\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041a\u043e\u0440\u043e\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f, \u0432\u0435\u043a\u0442\u043e\u0440 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 &#8212; \u044d\u0442\u043e \u0432\u0441\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u0430\u0433\u0435\u043d\u0442\u0443, \u0447\u0442\u043e\u0431\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0441\u0432\u043e\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435. \u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e <strong>\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c (state)<\/strong>. \u0412 \u0438\u0442\u043e\u0433\u0435 \u0430\u0433\u0435\u043d\u0442 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0443\u0435\u0442 \u0441 \u043c\u0438\u0440\u043e\u043c \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0445\u0435\u043c\u0435:<\/p>\n<figure class=\"full-width\"><\/figure>\n<p>\u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043f\u043e\u043b\u043d\u0443\u044e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043c\u0438\u0440\u0430. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 <strong>\u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 (Markov Decision Process \u2014 MDP). <\/strong>\u0421\u043b\u0435\u0434\u0443\u0435\u0442 \u0435\u0449\u0451 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u043c\u0438, \u043f\u043e\u043f\u0430\u0432 \u0434\u0432\u0430\u0436\u0434\u044b \u0432 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435  \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0432 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e\u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u043c\u044b \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043c\u043e\u0436\u0435\u043c \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u0438\u0431\u043e \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 , \u043b\u0438\u0431\u043e \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438  \u0438\u0437-\u0437\u0430 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u043d\u0430\u0448\u0435\u0439 \u0441\u0440\u0435\u0434\u044b. \u0418\u043b\u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439, \u043d\u043e \u043c\u044b \u043d\u0435 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0435\u0435 \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0438 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0438\u043c\u0435\u0435\u043c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0443, \u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0441\u0440\u0435\u0434\u0430 \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043d\u0430\u0441 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439.<\/p>\n<p>\u041e\u0431\u0449\u0435\u0439 \u0446\u0435\u043b\u044c\u044e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443: , \u0433\u0434\u0435 t &#8212; \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438,  &#8212; \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 t, &#8212; \u043c\u0430\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u0430\u0442 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0437\u0434\u0435\u0441\u044c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0443\u0442 \u043a \u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443, \u0438 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448.<\/p>\n<h2>Q-Learning<\/h2>\n<p>\u042d\u0442\u043e \u0438\u0433\u0440\u0430 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0441\u0442\u0438, \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0435\u0441\u0442\u044c \u043d\u0430\u0431\u043e\u0440 \u043f\u0440\u0430\u0432\u0438\u043b &#8212; \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0438\u043c \u043d\u0435 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c. \u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0441 \u0441\u0430\u043c\u044b\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f <strong>\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439<\/strong>, \u0438\u043c\u0435\u043d\u043d\u043e \u0435\u0435 \u043d\u0430\u043c \u0438 \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0439\u0442\u0438.<\/p>\n<p>\u041d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u0441\u043b\u0443\u0447\u0430\u0439 \u043d\u0430\u043f\u043e\u043c\u043d\u044e \u043f\u0440\u0430\u0432\u0438\u043b\u0430. \u0426\u0435\u043b\u044c \u0438\u0433\u0440\u044b &#8212; \u043e\u0431\u044b\u0433\u0440\u0430\u0442\u044c \u0434\u0438\u043b\u0435\u0440\u0430. \u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0433\u0440\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439: <\/p>\n<ol>\n<li>\n<p>\u0414\u0438\u043b\u0435\u0440 \u043a\u043b\u0430\u0434\u0435\u0442 \u0441\u0435\u0431\u0435 \u043e\u0434\u043d\u0443 \u043a\u0430\u0440\u0442\u0443, \u0430 \u0437\u0430\u0442\u0435\u043c \u0434\u0432\u0435 \u043a\u0430\u0440\u0442\u044b \u0438\u0433\u0440\u043e\u043a\u0443. \u041a\u0430\u0436\u0434\u0430\u044f \u043a\u0430\u0440\u0442\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043e\u0447\u043a\u043e\u0432. \u041a\u0430\u0440\u0442\u044b \u0441 \u0446\u0438\u0444\u0440\u0430\u043c\u0438 (2 &#8212; 10) \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432, \u0440\u0430\u0432\u043d\u043e\u0435 \u0441\u0432\u043e\u0435\u0439 \u0446\u0438\u0444\u0440\u0435, \u043a\u0430\u0440\u0442\u044b \u0441 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430\u043c\u0438 (\u0434\u0430\u043c\u0430, \u0432\u0430\u043b\u0435\u0442, \u043a\u043e\u0440\u043e\u043b\u044c) &#8212; 10, \u0442\u0443\u0437 &#8212; 1 \u0438\u043b\u0438 11, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u0435\u0435 \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0443 \u043a\u0430\u0440\u0442\u044b. \u041e\u0447\u043a\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043a\u0430\u0440\u0442, \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0423 \u0438\u0433\u0440\u043e\u043a\u0430 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440 &#8212; \u0432\u0437\u044f\u0442\u044c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443 \u0438\u043b\u0438 \u043d\u0435\u0442. \u0410 \u043f\u043e\u0442\u043e\u043c \u0435\u0449\u0435 \u043e\u0434\u043d\u0443. \u0418 \u0442\u0430\u043a \u043f\u043e\u043a\u0430 \u0438\u0433\u0440\u043e\u043a \u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u0438\u043b\u0438 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 21.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0435 21, \u0442\u043e \u043e\u043d \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0434\u0438\u043b\u0435\u0440 \u0431\u0435\u0440\u0435\u0442 \u0441\u0435\u0431\u0435 \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u044b, \u0434\u043e \u0442\u0435\u0445 \u043f\u043e\u0440, \u043f\u043e\u043a\u0430 \u043d\u0435 \u043d\u0430\u0431\u0435\u0440\u0435\u0442 \u0441\u0443\u043c\u043c\u0443 \u043e\u0447\u043a\u043e\u0432 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0438\u043b\u0438 \u0440\u0430\u0432\u043d\u0443\u044e 17. \u0415\u0441\u043b\u0438 \u0434\u0438\u043b\u0435\u0440 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u043e\u043b\u044c\u0448\u0435 21 &#8212; \u043e\u043d \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0447\u043a\u043e\u0432, \u0447\u0435\u043c \u0434\u0438\u043b\u0435\u0440, \u0442\u043e \u043e\u043d \u0432\u044b\u0438\u0433\u0440\u0430\u043b. \u0418\u043d\u0430\u0447\u0435 \u0438\u0433\u0440\u043e\u043a \u043f\u0440\u043e\u0438\u0433\u0440\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0433\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f. \u0418 \u0432 \u043d\u0430\u0448\u0435\u0439 \u0432\u0435\u0440\u0441\u0438\u0438, \u0435\u0441\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u043c \u0445\u043e\u0434\u043e\u043c \u0438\u0433\u0440\u043e\u043a \u043d\u0430\u0431\u0440\u0430\u043b 21, \u0442\u043e \u043e\u043d \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u0438\u0433\u0440\u0430\u043b.<\/p>\n<p>(*\u041f\u0440\u0430\u0432\u0438\u043b\u0430 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u044b, \u043c\u044b \u0436\u0435 \u0432\u0441\u0435-\u0442\u0430\u043a\u0438 \u043d\u0435 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0440\u0430\u0437\u043e\u0440\u044f\u0442\u044c \u043a\u0430\u0437\u0438\u043d\u043e?)<\/p>\n<\/li>\n<\/ol>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430 \u0438\u0433\u0440\u044b \u0443\u0434\u043e\u0431\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <a href=\"https:\/\/gymnasium.farama.org\/environments\/toy_text\/blackjack\/\" rel=\"noopener noreferrer nofollow\">\u0433\u043e\u0442\u043e\u0432\u0443\u044e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e<\/a> \u0432 \u043f\u0438\u0442\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 <a href=\"https:\/\/github.com\/openai\/gym\" rel=\"noopener noreferrer nofollow\"><s>gym<\/s><\/a> <a href=\"https:\/\/Gymnasium%20is%20an%20open%20source%20Python%20library%20for%20developing%20and%20comparing%20reinforcement%20learning%20algorithms%20by%20providing%20a%20standard%20API%20to%20communicate%20between%20learning%20algorithms%20and%20environments,%20as%20well%20as%20a%20standard%20set%20of%20environments%20compliant%20with%20that%20API.%20This%20is%20a%20fork%20of%20OpenAI's%20Gym%20library%20by%20its%20maintainers%20(OpenAI%20handed%20over%20maintenance%20a%20few%20years%20ago%20to%20an%20outside%20team),%20and%20is%20where%20future%20maintenance%20will%20occur%20going%20forward.%20%20The%20documentation%20website%20is%20at%20gymnasium.farama.org,%20and%20we%20have%20a%20public%20discord%20server%20(which%20we%20also%20use%20to%20coordinate%20development%20work)%20that%20you%20can%20join%20here:%20https:\/\/discord.gg\/bnJ6kubTg6\" rel=\"noopener noreferrer nofollow\">gymnasium<\/a>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u0433\u0435\u043d\u0442 &#8212; \u044d\u0442\u043e \u0438\u0433\u0440\u043e\u043a. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f &#8212; \u0432\u0437\u044f\u0442\u044c \u043a\u0430\u0440\u0442\u0443 \u0438\u043b\u0438 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, <strong>\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (action space) <\/strong>\u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u0441\u0435\u0433\u043e \u0438\u0437 \u0434\u0432\u0443\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439.<\/p>\n<p>\u0410 \u043d\u0430\u0448\u0438\u043c \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0435\u043c \u0438 \u043e\u043d\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0438 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430. \u041d\u0430\u043c \u043d\u0435 \u0432\u0430\u0436\u043d\u043e, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u043a\u0430\u0440\u0442\u044b \u0443 \u043d\u0430\u0441 \u0438 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430 \u043d\u0430 \u0440\u0443\u043a\u0430\u0445, \u0438\u043c\u0435\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0443\u043c\u043c\u0430 \u043e\u0447\u043a\u043e\u0432. \u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 12, \u0442\u043e \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0441\u043f\u043e\u043a\u043e\u0439\u043d\u043e \u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443, \u043d\u0435 \u0431\u043e\u044f\u0441\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u043e\u0440. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u0433\u0434\u0435 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 12 \u043e\u0447\u043a\u043e\u0432, \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0435 \u0431\u0443\u0434\u0435\u043c. \u041e\u0441\u043e\u0431\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0435\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0442\u0443\u0437\u0430. \u0422\u0443\u0437 \u043c\u043e\u0436\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u0437\u0430 11 \u043e\u0447\u043a\u043e\u0432, \u043d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u043e\u043d \u0441\u0442\u0430\u043d\u0435\u0442 \u0435\u0434\u0438\u043d\u0438\u0446\u0435\u0439. \u0412\u044b\u0434\u0435\u043b\u0438\u043c \u0435\u0433\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u043a\u0430\u043a \u043e\u0441\u043e\u0431\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043d\u043e \u0435\u0441\u043b\u0438 \u043e\u043d \u043f\u0440\u0438\u0432\u0435\u043b \u043a \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0443, \u043e\u0442\u043d\u0438\u043c\u0430\u0435\u043c \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 10 \u043e\u0447\u043a\u043e\u0432, \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u0442 \u0442\u0443\u0437\u0430 \u0440\u0430\u0434\u0438 \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f. \u041f\u043e\u0434\u044b\u0442\u043e\u0436\u0438\u043c \u043d\u0430\u0448\u0435 <strong>\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 (state space): <\/strong><\/p>\n<ul>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 &#8212; \u043e\u0442 12 &#8212; 21<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0442\u0443\u0437\u0430, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0437\u0430 11 \u043e\u0447\u043a\u043e\u0432<\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430 &#8212; \u043e\u0442 1 \u0434\u043e 10. 1 &#8212; \u044d\u0442\u043e \u0442\u0443\u0437.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0438\u0433\u0440\u043e\u043a \u043f\u043e\u0441\u043b\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f (\u043f\u043e\u043f\u0440\u043e\u0441\u0438\u0442\u044c \u0435\u0449\u0451 \u043a\u0430\u0440\u0442\u0443, \u0438\u043b\u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f) \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u0442\u043e \u043e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043d\u0430\u0433\u0440\u0430\u0434\u0443 1. \u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442, \u0442\u043e -1. \u0415\u0441\u043b\u0438 \u0443 \u0434\u0438\u043b\u0435\u0440\u0430 \u0438 \u0438\u0433\u0440\u043e\u043a\u0430 \u043f\u043e\u0440\u043e\u0432\u043d\u0443, \u0442\u043e 0. \u0418\u0433\u0440\u0430 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u044c \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0445\u043e\u0434\u043e\u0432 \u0438\u0433\u0440\u043e\u043a\u0430, \u0442.\u0435. \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0437\u044f\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442. \u0415\u0441\u043b\u0438 \u043e\u043d \u0432\u0437\u044f\u043b \u043a\u0430\u0440\u0442\u0443 \u0438 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043f\u0435\u0440\u0435\u0431\u043e\u0440, \u0442\u043e \u043e\u043d \u043d\u0430 \u044d\u0442\u043e\u043c \u0445\u043e\u0434\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 0.<\/p>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043c\u044b \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u043e\u0438\u0441\u043a\u0443 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0442\u0430\u043a\u0443\u044e<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0442\u0443\u0437, \u0438 \u043c\u0435\u043d\u044c\u0448\u0435 20 \u043e\u0447\u043a\u043e\u0432, \u0442\u043e \u0431\u0435\u0440\u0435\u043c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443. \u0418\u043d\u0430\u0447\u0435 \u043e\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0435\u0437 \u0442\u0443\u0437\u0430 \u0431\u0435\u0440\u0435\u043c \u0435\u0449\u0435 \u043a\u0430\u0440\u0442\u0443, \u0442\u043e\u043b\u044c\u043a\u043e \u0435\u0441\u043b\u0438 \u043e\u0447\u043a\u043e\u0432 \u043c\u0435\u043d\u044c\u0448\u0435 16, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u0430 \u044d\u0442\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043c\u044b \u0432 \u0438\u0442\u043e\u0433\u0435 \u0431\u0443\u0434\u0435\u043c \u0432 \u043f\u043b\u044e\u0441\u0435? \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044e \u0438\u0433\u0440\u044b, \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0441\u0442\u043e \u0442\u044b\u0441\u044f\u0447 \u0438\u0441\u043f\u044b\u0442\u0430\u043d\u0438\u0439 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043d\u0430 \u043d\u0430\u043c \u043f\u0440\u0438\u043d\u0435\u0441\u0451\u0442. \u0422.\u0435. . \u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 -0.092. \u041c\u044b \u0432 \u043c\u0438\u043d\u0443\u0441\u0435, \u0445\u043e\u0442\u044c \u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043f\u043e\u043b\u0443\u0447\u0448\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430\u0448\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u0414\u0435\u043b\u0430\u044f \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u0432 \u0438\u0433\u0440\u0435, \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 . \u0417\u0430\u0432\u0435\u0434\u0451\u043c \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443, \u0433\u0434\u0435 \u0432 \u043a\u0430\u0436\u0434\u0430\u044f \u044f\u0447\u0435\u0439\u043a\u0430 &#8212; \u044d\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e. \u0412 \u044f\u0447\u0435\u0439\u043a\u0435 \u043c\u044b \u0437\u0430\u0432\u0435\u0434\u0435\u043c \u0441\u0447\u0435\u0442\u0447\u0438\u043a (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043c\u044b \u043f\u0440\u043e\u0448\u043b\u0438 \u044d\u0442\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435) \u0438 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u0443\u044e \u043d\u0430\u0433\u0440\u0430\u0434\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u043b\u0438 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u0422.\u0435. \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u043c \u044d\u043f\u0438\u0437\u043e\u0434 \u0438\u0433\u0440\u044b, \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043f\u043e \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0441\u0447\u0435\u0442\u0447\u0438\u043a\u0438 \u0438 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041f\u043e\u043b\u0443\u0447\u0438\u043c \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u0443, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043a\u0430\u0436\u0434\u044b\u0439 \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 . \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043e\u043f\u0438\u0448\u0435\u043c \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0443\u044e <strong>value-\u0444\u0443\u043d\u043a\u0446\u0438\u044e (value-function)<\/strong>.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c\u0438 \u0447\u0438\u0441\u043b\u0430\u043c\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0432\u0440\u0435\u043c\u044f \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043b\u0443\u0447\u0448\u0435 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044e: , \u0433\u0434\u0435  &#8212; \u043d\u0430\u0433\u0440\u0430\u0434\u0430, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f  . \u0412 \u0438\u0442\u043e\u0433\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a:  . \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e  \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0441\u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0440\u0430\u0437\u0443 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0435 \u043a\u0430\u043a \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u0443\u044e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0443, \u0442\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435, \u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0447\u0435\u0440\u0435\u0437 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043a\u043e\u043b\u044c\u0437\u044f\u0449\u0435\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435. \u042d\u0442\u043e\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0442\u043e\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, \u043d\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u0430\u0432\u043d\u043e \u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0440\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443 \u0431\u043e\u043b\u0435\u0435 \u043d\u043e\u0432\u044b\u0445, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e\u043c. <\/p>\n<p>\u0414\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043d\u0430\u0448\u0435\u0439 value-\u0444\u043d\u0443\u043a\u0446\u0438\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0438 \u0436\u0434\u0430\u0442\u044c \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u044d\u043f\u0438\u0437\u043e\u0434\u0430 \u0438\u0433\u0440\u044b. \u041d\u043e \u0435\u0441\u0442\u044c \u0441\u043f\u043e\u0441\u043e\u0431, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043d\u0430\u043c \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435 \u043d\u0443\u0436\u043d\u043e, \u0430 \u043a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e \u0443\u0441\u043a\u043e\u0440\u044f\u0435\u0442\u0441\u044f \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u043c\u044b\u0445 \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432. \u041c\u044b \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u043b\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 V-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043a\u0430\u043a: , \u0433\u0434\u0435  &#8212; \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043d\u0430 \u0448\u0430\u0433\u0435 t,  &#8212; \u043d\u0430 \u0448\u0430\u0433\u0435 t+1, \u0438 \u0442. \u0434. \u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0438\u0433\u0440\u0443 \u0431\u043b\u044d\u043a\u0436\u0434\u0435\u043a, \u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0431\u0443\u0434\u0443\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u043c\u0438, \u043a\u0440\u043e\u043c\u0435 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0448\u0430\u0433\u0430. \u041e\u0434\u043d\u0430\u043a\u043e, \u0437\u0434\u0435\u0441\u044c \u0431\u043b\u044d\u043a\u0436\u0434\u0435\u043a &#8212; \u044d\u0442\u043e \u0447\u0430\u0441\u0442\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0430 \u043f\u043e\u0434\u0445\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u0434\u043b\u044f \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u0435\u0435 \u0448\u0438\u0440\u043e\u043a\u043e\u0433\u043e \u043a\u0440\u0443\u0433\u0430 \u0437\u0430\u0434\u0430\u0447, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435. \u041d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u043c \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f  \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435  \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 MDP. \u041d\u043e \u043f\u043e \u0438\u0434\u0435\u0435 \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f t+1. \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0435\u0435 \u0441\u0440\u0430\u0437\u0443 \u0434\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f , \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043d\u043e\u0432\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443: , \u0435\u0441\u043b\u0438 t &#8212; \u044d\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u0438\u0433\u0440\u044b, \u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e , \u0442\u043e\u0433\u0434\u0430  \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441\u0442\u0430\u043d\u0435\u0442: . \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f V-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u0438\u0433\u0440\u044b. \u0422\u0430\u043a\u0430\u044f V-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043d\u0430\u043c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0432\u044b\u0438\u0433\u0440\u0430\u0435\u043c, \u043d\u0430\u0445\u043e\u0434\u044f\u0441\u044c \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u0447\u0435\u0442 value-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e \u043d\u0430\u0448\u0435\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0432\u043e\u0442 \u044d\u0442\u043e:<\/p>\n<div class=\"tm-iframe_temp\" data-src=\"https:\/\/embedd.srv.habr.com\/iframe\/654cceca72e08276d7c1cc83\" data-style=\"\" id=\"654cceca72e08276d7c1cc83\" width=\"\"><\/div>\n<p>\u0417\u0434\u0435\u0441\u044c \u0434\u0432\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e &#171;\u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0435\u0441\u0442\u044c \u0442\u0443\u0437&#187; \u0438 &#171;\u043d\u0435\u0442 \u0442\u0443\u0437\u0430&#187; &#8212; \u044d\u0442\u043e \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041e\u0441\u0438 player \u0438 dealer \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0447\u043a\u043e\u0432 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 \u0438 \u0434\u0438\u043b\u0435\u0440\u0430, \u0442.\u0435. \u043e\u0441\u0438 x, y &#8212; \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0410 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u043e \u043e\u0441\u0438 z &#8212; \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u0438\u0437 \u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u041c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0438\u0433\u0440\u0430\u0442\u044c \u0434\u0438\u043b\u0435\u0440\u0430 \u0432\u044b\u0448\u0435, \u043a\u043e\u0433\u0434\u0430 \u0443 \u0438\u0433\u0440\u043e\u043a\u0430 16 \u0438 \u0432\u044b\u0448\u0435. \u0415\u0441\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u043a\u0430\u0440\u0442\u0443 \u0438 \u0442\u0443\u0442 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0435\u0440\u0435\u0431\u043e\u0440.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u043e\u0433\u043b\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u0430\u0432\u043a\u0443 \u0432 \u0442\u043e\u043c \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u0440\u0442\u044b \u0443\u0436\u0435 \u043d\u0430 \u0441\u0442\u043e\u043b\u0435, \u0442\u043e \u0441\u0432\u0435\u0440\u044f\u044f\u0441\u044c \u0441 \u043d\u0430\u0448\u0435\u0439 \u0442\u0430\u0431\u043b\u0438\u0447\u043a\u043e\u0439 V, \u043c\u044b \u0431\u044b \u043c\u043e\u0433\u043b\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u0441\u0442\u0430\u0432\u043a\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-359288","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/359288","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=359288"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/359288\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=359288"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=359288"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=359288"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}