{"id":316678,"date":"2021-01-20T21:00:27","date_gmt":"2021-01-20T21:00:27","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=316678"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=316678","title":{"rendered":"\u0424\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u0435\u0440 \u043f\u0438\u0448\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438. \u0423\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u00ab\u043c\u0430\u0440\u0442\u044b\u0448\u043a\u0430 \u0438 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430\u00bb"},"content":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442. <\/p>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043b\u044e\u0441\u043e\u0432 \u043f\u043e\u0434 <a href=\"https:\/\/habr.com\/ru\/post\/536220\/\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u0439<\/a> \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u044f \u043f\u043e\u0434\u0430\u0447\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043f\u0440\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043d\u0435 \u0432\u044b\u0437\u0432\u0430\u043b\u0430 \u0441\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0442\u043e\u0440\u0436\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 &#8212; \u201c\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e\u201d \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u0441\u0435\u0431\u044f \u0436\u0434\u0430\u0442\u044c. \u0425\u043e\u0447\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0443, \u0447\u0442\u043e \u043d\u0438\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435 \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e \u043d\u0430 \u0437\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u0433\u043e, \u043a\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044c \u0447\u0435\u043c\u0443-\u0442\u043e \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0447\u0435\u043c-\u0442\u043e \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u043c \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u041d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043d\u0430\u0445\u043e\u0436\u0443 \u0434\u0430\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 &#8212; \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u043b\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438, \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0441\u0430\u043c\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0447\u0435\u043c\u0443-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f. \u0422\u044b \u0434\u0435\u043b\u0430\u0435\u0448\u044c \u0447\u0442\u043e-\u0442\u043e, \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0448\u044c \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c, \u0434\u0435\u043b\u0430\u0435\u0448\u044c \u0447\u0442\u043e-\u0442\u043e \u043b\u0443\u0447\u0448\u0435. \u0422\u0430\u043a\u0436\u0435 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438 \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445. \u041a\u0441\u0442\u0430\u0442\u0438 \u043e \u043d\u0438\u0445.&nbsp;<\/p>\n<p>\u0412 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a <a href=\"https:\/\/habr.com\/ru\/post\/536220\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a> \u043f\u043e\u0434\u043d\u044f\u043b\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u043e <em>reinforcement learning<\/em>. \u041f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u0438 \u043d\u0435\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435.&nbsp;<\/p>\n<p>\u041a\u0430\u043a \u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u044b\u0439 \u0440\u0430\u0437, \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0441\u0430\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u044e \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u0447\u0442\u043e \u043d\u0435\u0436\u043d\u044b\u0435 \u0443\u0448\u043a\u0438 \u0438 \u0433\u043b\u0430\u0437\u043a\u0438 \u0444\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u0435\u0440\u0430 \u043a \u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u043b\u0435\u043d\u044b. \u0418 \u043a\u0430\u043a \u0437\u0430\u0432\u0435\u0449\u0430\u043b \u0425\u043e\u043a\u0438\u043d\u0433, \u043b\u044e\u0431\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044e \u0432\u0434\u0432\u043e\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0430 &#8212; \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u043d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f.&nbsp;<\/p>\n<p>\u0418\u0442\u0430\u043a, <em>reinforcement learning<\/em>, \u0438\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c &#8212; \u044d\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u043d\u043e \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c (\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f) \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u0433\u0434\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e. \u042d\u0442\u043e \u043d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e, \u043c\u044b \u0432\u0441\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435.&nbsp;<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0440\u044b\u0441\u0438\u043d\u044b\u0439 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u0430\u044f \u043a\u0440\u044b\u0441\u0430. \u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c &#8212; \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u043a\u0440\u044b\u0441\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e \u043a\u043e\u043d\u0446\u0430. \u041d\u043e \u044d\u0442\u043e\u0442 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b\u0439. \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u044b\u0441\u0430, \u0431\u0435\u0433\u0430\u044f \u043f\u043e \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0443, \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043d\u0435 \u0442\u0443\u0434\u0430, \u0435\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0431\u0438\u0442\u044c \u0442\u043e\u043a\u043e\u043c \u043f\u043e\u043a\u0430 \u043e\u043d\u0430 \u043d\u0435 \u0432\u0435\u0440\u043d\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u0434\u043e\u0440\u043e\u0436\u043a\u0443 (\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0436\u0435\u0441\u0442\u043e\u043a\u043e, \u043d\u043e \u0442\u0430\u043a\u043e\u0432\u0430 \u043d\u0430\u0443\u043a\u0430). \u0415\u0441\u043b\u0438 \u0436\u0435 \u043a\u0440\u044b\u0441\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0442\u043e\u0447\u043a\u0443, \u0442\u043e \u0435\u0439 \u0434\u0430\u044e\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b-\u0432\u043e \u0441\u044b\u0440\u0430, \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0430\u044f \u0435\u0435 \u0442\u0440\u0443\u0434\u044b.&nbsp;<\/p>\n<figure class=\"float full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92f\/74f\/23e\/92f74f23e91e87d7dd65fafd88d5fa92\" alt=\"\u041d\u0430\u0448 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\" title=\"\u041d\u0430\u0448 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\" width=\"988\" height=\"660\"><figcaption>\u041d\u0430\u0448 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442<\/figcaption><\/figure>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u044d\u0442\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u0443, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u0441\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.&nbsp;\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0440\u044b\u0441\u0430 &#8212; <strong>\u0410\u0433\u0435\u043d\u0442 (agent)<\/strong>, \u043d\u0430\u0448\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u044b\u0441\u043b\u0438\u0442 \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.&nbsp;\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c <strong>\u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0441\u0440\u0435\u0434\u0430 (environment)<\/strong> \u0430\u0433\u0435\u043d\u0442\u0430 &#8212; \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0435 <strong>\u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (state)<\/strong>, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u0432, \u043c\u0435\u0441\u0442 \u0441 \u043a\u043e\u0442\u0430\u043c\u0438, \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0441\u0442\u0440\u043e\u0432\u043e\u043a \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041a\u0440\u044b\u0441\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 <strong>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f (actions), <\/strong>\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f\u043c. \u041a\u0440\u044b\u0441\u0430 \u043b\u0438\u0431\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 <strong>\u0412\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 (reward), <\/strong>\u043b\u0438\u0431\u043e <strong>\u0421\u0430\u043d\u043a\u0446\u0438\u0438 (penalty or -reward)<\/strong> \u0437\u0430 \u0441\u0432\u043e\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. <\/p>\n<p>\u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u0430\u043d\u043a\u0446\u0438\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0430 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0438 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.&nbsp;<\/p>\n<p>\u041d\u043e, \u0433\u043e\u0432\u043e\u0440\u044f, \u201c\u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c\u201d, \u043c\u044b \u043d\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u043c \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0414\u0430\u043d\u043d\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0432\u0435\u0441\u044c\u043c\u0430 \u043e\u0431\u0448\u0438\u0440\u043d\u0430 \u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043c\u0441\u044f \u0441 \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c &#8212; <em>Q-learning<\/em>.&nbsp; \u0418\u0434\u0435\u044f \u0442\u0430 \u0436\u0435 \u0441\u0430\u043c\u0430\u044f, \u0436\u0435\u0441\u0442\u043e\u043a\u043e \u0431\u0438\u0442\u044c \u0442\u043e\u043a\u043e\u043c \u043d\u0430\u0448\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u0442\u0430 \u043a\u043e\u0441\u044f\u0447\u0438\u0442 \u0438 \u043e\u0434\u0430\u0440\u0438\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u043c\u0438 \u0431\u043b\u0430\u0433\u0430\u043c\u0438 \u043c\u0438\u0440\u0430, \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0435\u0442\u0430\u043b\u0438.&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b15\/392\/9cd\/b153929cda29d9ed1e45dee61b17cf8d\" alt=\"\u0421\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c\" title=\"\u0421\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c\" width=\"1000\" height=\"512\"><figcaption>\u0421\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<\/figcaption><\/figure>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435, \u043f\u0443\u0441\u0442\u044c \u043c\u0435\u043d\u044f \u043f\u043e\u043f\u0440\u0430\u0432\u044f\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b, <a href=\"https:\/\/ru.wikipedia.org\/wiki\/Q-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\"><em>Q-learning<\/em><\/a> \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438. \u0412\u0441\u044f \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>Q <\/em>(<em>\u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0437\u0430 \u043f\u0440\u043e\u0445\u043e\u0434 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e<\/em>), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D0%BE%D0%BD%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u044b.<\/a><\/p>\n<p>\u041c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b-\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 <em>(s1, s2 &#8230;)<\/em>, \u043d\u0430\u0448 \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0426\u0435\u043b\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/692\/0a2\/1db\/6920a21dbd09be4cb5267089c8286fcd\" alt=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0430\" title=\"\u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0430\" width=\"836\" height=\"702\"><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0430<\/figcaption><\/figure>\n<p>\u0427\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f &#8212; \u044d\u0442\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430\u043c\u0438 \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u0418 \u043d\u0430\u0439\u0442\u0438 \u0445\u0438\u0442\u0440\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 (\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c) \u043a\u0430\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0442\u044c \u0438\u0433\u0440\u0443 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>s1<\/p>\n<\/td>\n<td>\n<p>s2<\/p>\n<\/td>\n<td>\n<p>s3<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>s4<\/p>\n<\/td>\n<td>\n<p>s5<\/p>\n<\/td>\n<td>\n<p>s6<\/p>\n<\/td>\n<td>\n<p>s7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>s1<\/p>\n<\/td>\n<td>\n<p>0<\/p>\n<\/td>\n<td>\n<p>1<\/p>\n<\/td>\n<td>\n<p>-1<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>s2<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>0<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>-10<\/p>\n<\/td>\n<td>\n<p>1<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>s3<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>0<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>100<\/p>\n<\/td>\n<td>\n<p>1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u043e \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043d\u0430\u0447\u043d\u0435\u043c \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043e\u043b-\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043d\u0430\u0448\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0438 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0435\u0435 \u0437\u0430\u043d\u043e\u0432\u043e. \u0417\u0434\u0435\u0441\u044c \u043d\u0430\u043c \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u0417\u0430\u0447\u0435\u043c \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u044b? \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430.&nbsp;<\/p>\n<p>\u0412 \u0447\u0435\u043c \u0438\u0434\u0435\u044f? \u041a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u0443\u0442?&nbsp;<\/p>\n<p>\u0412 \u043f\u0440\u043e\u0448\u043b\u044b\u0439 \u0440\u0430\u0437 \u043c\u044b \u0443\u0441\u043b\u043e\u0432\u0438\u043b\u0438\u0441\u044c, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043a\u0430\u043a \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0440\u0443\u0448\u0430\u0442\u044c \u044d\u0442\u0438 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0437\u043d\u0430\u0435\u043c \u043a\u0430\u043a \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043a\u043e\u0442\u0438\u043a\u0430 \u0438 \u043c\u044b \u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043a\u043e\u0442\u0438\u043a. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 1 000 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043a\u043e\u0442\u0438\u043a\u043e\u0432. \u041c\u044b \u043e\u0442\u0434\u0430\u0435\u043c \u044d\u0442\u043e \u0432\u0441\u0435 \u0432 \u043d\u0430\u0448 \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a \u0438 \u043e\u043d \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u0430\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0447\u0442\u043e \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043a\u043e\u0442\u0438\u043a.&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/653\/c8b\/cdb\/653c8bcdb042afa67745966ff7df818d\" alt=\"\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0442\u0438\u043a\u043e\u0432\" title=\"\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0442\u0438\u043a\u043e\u0432\" width=\"1638\" height=\"568\"><figcaption>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0442\u0438\u043a\u043e\u0432<\/figcaption><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435, \u0435\u0441\u043b\u0438 \u043c\u044b \u0434\u043e\u0441\u0442\u0430\u043d\u0435\u043c \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043a\u043e\u0442\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043b\u0438\u0447\u043d\u044b \u043e\u0442 \u0442\u0435\u0445 1000 \u0448\u0442\u0443\u043a, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0438 \u0432\u0441\u0435 \u044d\u0442\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043c \u0432 \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a, \u043e\u043d \u0432\u0435\u0440\u043d\u0435\u0442 \u043d\u0430\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u0445\u043e\u0442\u044f \u044d\u0442\u0438\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0435\u0449\u0435 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430. \u042d\u0442\u043e \u201c\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 101\u201d (\u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043a\u0443\u0440\u0441). <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/85e\/6fb\/083\/85e6fb083cd260250379f347a804c186\" alt=\"\u0420\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u0442\u0438\u043a\u043e\u0432\" title=\"\u0420\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u0442\u0438\u043a\u043e\u0432\" width=\"1602\" height=\"568\"><figcaption>\u0420\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u0442\u0438\u043a\u043e\u0432<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a \u0432\u043e\u0442, \u0441 Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0417\u043d\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0441\u0432\u0435\u0442 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f <em>Deep Q-learning \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/em>. Deep \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e <em>deep neural networks<\/em>, \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 &#8212; \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0435\u0432.<\/p>\n<p>\u041d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u043b\u0438 \u044f \u0447\u0442\u043e-\u0442\u043e \u0443\u043f\u0443\u0441\u0442\u0438\u043b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u0438.&nbsp;<\/p>\n<h2>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0438 \u0430\u0433\u0435\u043d\u0442\u0430<\/h2>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <em>\u04405<\/em> \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0441\u043d\u043e\u0432\u0430 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u0430\u0440\u043a\u0430\u0434\u043d\u044b\u0439 \u043f\u0440\u043e\u0435\u043a\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <em>\u04405<\/em> \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0437\u0430\u043c\u0435\u043d\u0438\u043c \u0432 \u044d\u0442\u043e\u043c. <\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u043c\u044b \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u043d\u0430\u0448\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u0430\u043c\u044b\u043c\u0438 \u0433\u043b\u0430\u0432\u043d\u044b\u043c\u0438 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u0434\u043b\u044f \u043d\u0430\u0441 \u0431\u0443\u0434\u0443\u0442 \u043a\u043b\u0430\u0441\u0441 <em>Environment<\/em> \u0438 \u043a\u043b\u0430\u0441\u0441 <em>Agent<\/em>. <\/p>\n<pre><code class=\"javascript\">class Agent {   constructor(b, r, s, w, h) {     this.network = b;      this.rect = r;     this.speed = s;     this.width = w;     this.height = h;   } }  class Environment {   constructor(w, h, r, c, es, as) {     this.width = w;     this.height = h;     this.rows = r;     this.columns = c;     this.enemySpeed = es;     this.agentSpeed = as;      this.agent = this.resetAgent();     this.eps = Environment.MAX_EPS;     this.discount = Environment.DISCOUNT;   } }<\/code><\/pre>\n<p>\u041f\u043e\u043a\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u044f \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043b\u0435\u0435. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c.&nbsp;<\/p>\n<p>\u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043a\u043e\u0435 \u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0430. \u041d\u0430\u0448 \u0430\u0433\u0435\u043d\u0442-\u043a\u0440\u044b\u0441\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0433\u0440\u0443 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432 \u043b\u0435\u0432\u043e\u043c \u0432\u0435\u0440\u0445\u043d\u0435\u043c \u0443\u0433\u043b\u0443 \u0438 \u0435\u0433\u043e \u0446\u0435\u043b\u044c &#8212; \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u0441\u044b\u0440\u0430 \u0432 \u043d\u0438\u0436\u043d\u0435\u043c \u043f\u0440\u0430\u0432\u043e\u043c. \u041d\u0430 \u043f\u043e\u043b\u0435 \u0438\u0433\u0440\u044b \u0432 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0442\u043e\u0432. \u0417\u0430\u0434\u0430\u0447\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u0441\u044b\u0440\u0430 \u043d\u0435\u0432\u0440\u0435\u0434\u0438\u043c\u044b\u043c \u0438 \u043c\u0438\u043d\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u0445 \u043a\u043e\u0442\u043e\u0432.&nbsp;<\/p>\n<p>\u041f\u0440\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0433\u0440\u044b \u043c\u044b \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043f\u043e\u043b\u044f, \u0441\u0435\u0442\u043a\u0443 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 \u043a\u043e\u0442\u043e\u0432. \u041d\u043e \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043a\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043c \u0438\u0445 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u041f\u0443\u0441\u043a\u0430\u0439 \u0441\u0438\u0434\u044f\u0442 \u0432 \u0437\u0430\u0441\u0430\u0434\u0435 \u0438 \u0436\u0434\u0443\u0442 \u043a\u043e\u0433\u0434\u0430 \u043a\u0440\u044b\u0441\u0430 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u0432 \u043b\u043e\u0432\u0443\u0448\u043a\u0443.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c. \u042f \u0440\u0435\u0448\u0438\u043b \u0432\u044b\u0431\u0440\u0430\u0442\u044c 9 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438:&nbsp;<\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0440\u0430\u0433\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0440\u0430\u0433\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0434\u043e \u0432\u0440\u0430\u0433\u0430 \u043f\u043e \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0434\u043e \u0432\u0440\u0430\u0433\u0430 \u043f\u043e \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0446\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0446\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0434\u043e \u0446\u0435\u043b\u0438<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5f\/59d\/49e\/f5f59d49e0d887c9c22be675d236b53d\" alt=\"\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430\" title=\"\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430\" width=\"986\" height=\"660\"><figcaption>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u043c \u0437\u0440\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d \u0434\u0432\u0438\u0433\u0430\u043b\u0441\u044f \u043f\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0443, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0441\u043f\u0435\u0440\u0435\u0434\u0438 \u0438 \u043a\u0430\u043a \u0431\u043b\u0438\u0437\u043a\u043e \u043e\u043d \u0443 \u0446\u0435\u043b\u0438. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c 4 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f (\u0448\u0430\u0433\u0430) &#8212; <strong><em>\u0432\u043f\u0440\u0430\u0432\u043e, \u0432\u043d\u0438\u0437, \u0432\u043b\u0435\u0432\u043e, \u0432\u0432\u0435\u0440\u0445<\/em><\/strong>.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434 \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u0437\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b\u0445 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0441\u0440\u0435\u0434\u044b. <\/p>\n<pre><code class=\"javascript\">const ACTIONS = [MOVE_RIGHT, MOVE_DOWN, MOVE_LEFT, MOVE_UP];  chooseAction(state, eps) {   if (random(0, 1) &lt; eps) {     return ACTIONS[random([0, 1, 2, 3])]; \/\/ \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0439 \u0448\u0430\u0433   } else {     return tf.tidy(() =&gt; {       \/\/ \u0441\u0435\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u0430\u0441\u0441\u0438\u0432 \u0438\u0437 4 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439       const probs = this.network.predict(state).dataSync();  \t\t\t\/\/ \u0448\u0430\u0433 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c       return ACTIONS[probs.indexOf(Math.max(...probs))];      });   } }<\/code><\/pre>\n<p>\u0410\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0432 \u043a\u0430\u043a\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0441\u0442\u043e\u0438\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0448\u0430\u0433. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0443\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e \u0437\u0430 <em>eps<\/em> \u0438 \u0437\u0430\u0447\u0435\u043c \u043e\u043d \u043d\u0443\u0436\u0435\u043d. <\/p>\n<p>\u042d\u0442\u043e, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439, \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.&nbsp;<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0438\u0433\u0440\u0443 \u043d\u0430\u0448\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0435\u0449\u0435 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u0447\u0442\u043e \u0435\u0439 \u0434\u0435\u043b\u0430\u0442\u044c, \u043e\u043d\u0430 \u043d\u0435 \u0432 \u043a\u0443\u0440\u0441\u0435 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0448\u0442\u0440\u0430\u0444. \u041e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0445\u043e\u0434\u0438\u0442\u044c \u043f\u043e \u043a\u0440\u0443\u0433\u0443. \u041d\u043e \u044d\u0442\u043e \u043d\u0430\u0441 \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442. \u041c\u044b \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0430\u0448\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0435\u0439 \u0447\u0442\u043e \u0437\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0448\u0430\u0433\u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0448\u0442\u0440\u0430\u0444. \u041c\u044b \u043a\u0430\u043a \u0431\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0435\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442, \u0431\u0435\u0440\u0435\u043c \u0430\u0433\u0435\u043d\u0442\u0430 \u0437\u0430 \u043d\u043e\u0433\u0443 \u0438 \u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043d\u043e\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e, \u0430 \u0442\u043e\u0442 \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u044d\u0442\u043e \u0431\u044b\u043b \u0448\u0430\u0433 \u0438\u043b\u0438 \u043d\u0435\u0442. \u041d\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u044d\u0442\u043e\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f, \u0430\u0433\u0435\u043d\u0442 \u0441\u0430\u043c \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0435\u043f\u0441\u0438\u043b\u043e\u043d \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c, \u043d\u043e \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0434\u043e 0.&nbsp;<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443? \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f (\u043d\u0435 \u0437\u043d\u0430\u044e \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 <strong><em>exploration-exploition trade-off<\/em><\/strong>). <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435.&nbsp;<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0448\u0435\u0439 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438 &#8212; \u0432\u0430\u0448\u0435\u0433\u043e \u043c\u043e\u0437\u0433\u0430, \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 &#8212; \u0443\u0442\u043e\u043b\u0438\u0442\u044c \u0433\u043e\u043b\u043e\u0434. \u0418, \u0447\u0442\u043e\u0431\u044b \u0435\u0435 \u0440\u0435\u0448\u0438\u0442\u044c \u0432\u044b \u0438\u0434\u0435\u0442\u0435 \u0432 \u043a\u0430\u0444\u0435 \u043d\u0435\u0434\u0430\u043b\u0435\u043a\u043e \u0437\u0430 \u0443\u0433\u043b\u043e\u043c. \u0412\u044b \u0445\u043e\u0434\u0438\u0442\u0435 \u0432 \u044d\u0442\u043e \u043a\u0430\u0444\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0438 \u0432\u0430\u0441 \u0432\u0441\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442, \u0433\u0434\u0435 \u0438 \u043a\u0430\u043a \u0432\u044b \u0434\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0435\u0441\u044c \u0442\u0443\u0434\u0430. <\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d 0. \u041d\u043e, \u0435\u0441\u043b\u0438 \u043f\u0430\u0440\u0443 \u0440\u0430\u0437 \u0432 \u043d\u0435\u0434\u0435\u043b\u044e \u0432\u044b \u043c\u0435\u043d\u044f\u0435\u0442\u0435 \u043c\u0430\u0440\u0448\u0440\u0443\u0442, \u0442\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0430\u0441\u0442\u0435\u0442 \u0438 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0440\u0430\u0437\u043e\u0432 \u0432\u044b \u0438\u043c\u0435\u0435\u0442\u0435 \u0448\u0430\u043d\u0441 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0443\u044e \u0434\u043e\u0440\u043e\u0433\u0443 \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u0443\u044e. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u0447\u0435\u043c \u0435\u0441\u0442\u044c \u0441\u0435\u0439\u0447\u0430\u0441. \u0421\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u043e \u0438 \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u043e\u0439 \u0434\u043e\u0440\u043e\u0433\u0438 \u0438 \u0431\u043e\u043b\u0435\u0435 \u043f\u043b\u043e\u0445\u043e\u0439. \u041d\u043e \u0432 \u044d\u0442\u043e\u043c \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u0441\u043e\u043b\u044c, \u043f\u0440\u043e\u0432\u043e\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0443 \u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0435 \u0448\u0430\u0433\u0438, \u0447\u0442\u043e\u0431\u044b \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0448\u0430\u0433\u0438 \u0431\u044b\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0435 \u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c.&nbsp;<\/p>\n<p>\u0412\u0435\u0440\u043d\u0435\u043c\u0441\u044f \u043e\u0431\u0440\u0430\u0442\u043d\u043e \u043a \u0430\u0433\u0435\u043d\u0442\u0443.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u201c\u043a\u0443\u0434\u0430 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0448\u0430\u0433\u201d \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0448\u0430\u0433.&nbsp;<\/p>\n<pre><code class=\"javascript\">update(action) {   switch (action) {     case MOVE_UP:     this.rect.top = this.rect.top - this.speed;     break;     case MOVE_DOWN:     this.rect.top = this.rect.top + this.speed;     break;     case MOVE_RIGHT:     this.rect.left = this.rect.left + this.speed;     break;     case MOVE_LEFT:     this.rect.left = this.rect.left - this.speed;     break;   } }<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u043e\u0435 \u0433\u043b\u0430\u0432\u043d\u043e\u0435 &#8212; \u0440\u0435\u0448\u0438\u0442\u044c \u043a\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u0430\u043c\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u0418 \u043a\u0430\u043a \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0431\u044b\u0432\u0430\u0435\u0442, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0437\u043d\u0430\u0435\u0448\u044c \u0447\u0442\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439 \u0447\u044c\u044e-\u043d\u0438\u0431\u0443\u0434\u044c \u0446\u0438\u0442\u0430\u0442\u0443. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0443\u043a\u0440\u0430\u043b, \u0430 \u0446\u0438\u0442\u0438\u0440\u0443\u044e. \u041d\u0430\u0448\u0430 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044f \u0441\u0435\u0442\u0438 \u043d\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0442\u043e\u0439, \u0447\u0442\u043e \u0431\u044b\u043b\u0430 \u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u0437\u0430 \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435\u043c \u043f\u0430\u0440\u044b \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<pre><code class=\"javascript\">createModel(inputShape) {   const model = tf.sequential();   model.add(tf.layers.dense({ inputShape: [inputShape], units: 36, activation: 'relu' }));   model.add(tf.layers.dense({ units: 36, activation: 'relu' }));   model.add(tf.layers.dropout({ rate: 0.20 }));   model.add(tf.layers.dense({ units: Agent.ACTIONS.length }));    model.compile({ optimizer: 'adam', loss: 'meanSquaredError' });    return model; }<\/code><\/pre>\n<p>\u0423 \u043d\u0430\u0441 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (5 \u0441\u0442\u0440\u043e\u043a\u0430), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <em>dropout<\/em>. \u0415\u0433\u043e \u0441\u043e\u0432\u0435\u0442\u0443\u044e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0435\u0440\u0435\u0442\u0440\u0435\u043d\u0435\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f (\u044f\u0432\u043b\u0435\u043d\u0438\u0435, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u0442\u044c \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442 \u0441\u0432\u044f\u0437\u043a\u0438 <em>\u0438\u043d\u043f\u0443\u0442-\u0430\u0443\u0442\u043f\u0443\u0442<\/em> \u0438\u0437 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445). \u041d\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0448\u0435\u043b \u043d\u0430 \u0445\u0430\u0431\u0440\u0435 \u0441\u0442\u0430\u0442\u044c\u044e, \u0432 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0447\u0442\u043e \u0443 \u044d\u0442\u043e\u0433\u043e \u0441\u043b\u043e\u044f \u043a\u0443\u0434\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0439, \u0445\u043e\u0442\u044f \u0438\u0445 \u0430\u0432\u0442\u043e\u0440 \u043d\u0435 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u043b. \u041d\u0435 \u0441\u0443\u0442\u044c. \u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u044d\u0442\u043e\u0442 \u0441\u043b\u043e\u0439? \u041e\u043d \u043f\u0440\u043e\u0441\u0442\u043e \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u0443\u0435\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u044b \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442 \u0438\u0445 \u0432\u0435\u0441\u0430, \u0447\u0442\u043e\u0431\u044b \u0442\u0435 \u043d\u0435 \u0432\u043b\u0438\u044f\u043b\u0438 \u043d\u0430 \u043e\u0442\u0432\u0435\u0442.&nbsp;<\/p>\n<p>\u0418 \u0432\u0442\u043e\u0440\u0430\u044f \u0441\u0442\u0440\u043e\u0447\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u0442\u044c \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435 (8 \u0441\u0442\u0440\u043e\u043a\u0430), \u043c\u0435\u0442\u043e\u0434 \u043a\u043e\u043c\u043f\u0438\u043b\u044f\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0442\u043e, \u043a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 (\u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0438 \u0442\u0435\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c). \u041e\u0441\u0442\u0430\u0432\u0438\u043c \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0443 \u044d\u0442\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0443 \u0438 \u0431\u0443\u0434\u0435\u043c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0438\u0445 \u043a\u0430\u043a \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a.<\/p>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0432\u0441\u0435, \u043d\u0430\u0448 \u0430\u0433\u0435\u043d\u0442 \u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d. \u0410\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0448\u0430\u0433 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u0441\u0432\u043e\u0438 \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u0435\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e.&nbsp;<\/p>\n<h2>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430<\/h2>\n<p>\u041a\u0430\u043a\u043e\u0432 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f? \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u0432 \u0438\u043d\u0442\u0435\u0440\u0435\u043d\u0435\u0442\u0435 \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 DQN \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 js, \u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c \u044d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u043d\u0435 \u043f\u0440\u0438\u0448\u043b\u043e\u0441\u044c \u043f\u043e\u0442\u0440\u0430\u0442\u0438\u0442\u044c \u043f\u0430\u0440\u0443 \u0434\u043d\u0435\u0439 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0447\u0442\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0435\u0439 \u0438 \u043e\u0431\u0440\u044b\u0432\u043a\u043e\u0432 \u043a\u043d\u0438\u0433, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u043e\u0434. \u042f \u0434\u0430\u0436\u0435 \u043e\u0442\u0447\u0430\u044f\u043b\u0441\u044f \u0438 \u043f\u043e\u0448\u0435\u043b \u043f\u0440\u043e\u0441\u0438\u0442\u044c \u043f\u043e\u043c\u043e\u0449\u0438 \u043d\u0430 <a href=\"https:\/\/stackoverflow.com\/questions\/65635342\/how-does-work-this-implementation-of-dqn-algorithm-on-tensorflowjs\" rel=\"noopener noreferrer nofollow\">stackoverflow<\/a>. \u0412 \u0438\u0442\u043e\u0433\u0435 \u044f \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u043d\u0438\u043c\u0430\u044e, \u0447\u0442\u043e \u044f \u0441\u0434\u0435\u043b\u0430\u043b. \u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u043f\u0438\u0448\u0443 \u044d\u0442\u0443 \u0441\u0442\u0430\u0442\u044c\u044e, \u043d\u043e \u044d\u0439! \u041c\u044b \u0437\u0430 \u044d\u0442\u0438\u043c \u0437\u0434\u0435\u0441\u044c \u0438 \u0441\u043e\u0431\u0440\u0430\u043b\u0438\u0441\u044c &#8212;&nbsp; \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430\u0445. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0443\u0434\u0443 \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0434 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0432\u044f\u0437\u0438.&nbsp;<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043a\u0430\u043a \u0436\u0435 \u043c\u044b \u043d\u0430\u0443\u0447\u0438\u043c \u0430\u0433\u0435\u043d\u0442\u0430 \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u044b\u0440?<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u044c\u0435\u043c \u043d\u0430\u0448\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0433\u0440, 60-100 \u0434\u043e\u043b\u0436\u043d\u043e \u0445\u0432\u0430\u0442\u0438\u0442\u044c. \u0423\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043c \u043a\u043e\u043b-\u0432\u043e \u0448\u0430\u0433\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0433\u0440\u0435, \u043f\u0443\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 1000, \u0447\u0442\u043e\u0431\u044b \u0438\u0433\u0440\u0430 \u043d\u0435 \u0448\u043b\u0430 \u0432\u0435\u0447\u043d\u043e \u0438 \u0430\u0433\u0435\u043d\u0442 \u043d\u0435 \u043a\u0440\u0443\u0442\u0438\u043b\u0441\u044f \u043d\u0430 \u043c\u0435\u0441\u0442\u0435. \u0415\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u0438\u0437\u0440\u0430\u0441\u0445\u043e\u0434\u0443\u0435\u0442 \u0441\u0432\u043e\u0438 \u0448\u0430\u0433\u0438, \u0438\u0433\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043d\u043e\u0432\u043e.&nbsp; \u0415\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u0442\u0430 \u0438\u043b\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0441\u044b\u0440, \u0438\u0433\u0440\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442\u0441\u044f \u0437\u0430\u043d\u043e\u0432\u043e. \u0427\u0442\u043e\u0431\u044b \u043c\u043e\u0442\u0438\u0432\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0438\u0437\u0431\u0435\u0433\u0430\u0442\u044c \u043a\u043e\u0442\u043e\u0432 \u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u044b\u0440 \u0432\u0432\u0435\u0434\u0435\u043c \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0435\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u0448\u0442\u0440\u0430\u0444\u043e\u0432. \u0417\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433 \u0431\u0443\u0434\u0435\u043c \u0431\u0438\u0442\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0442\u043e\u043a\u043e\u043c, \u043c\u043e\u0442\u0438\u0432\u0438\u0440\u0443\u044f \u0435\u0433\u043e \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u0446\u0435\u043b\u0438, \u043f\u0440\u0438\u0447\u0435\u043c, \u0447\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u0430\u0433\u0435\u043d\u0442 \u043a \u0446\u0435\u043b\u0438, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u043d \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u0440\u0430\u0437\u0440\u044f\u0434 (\u0432 \u0447\u0438\u0441\u043b\u0430\u0445 \u044d\u0442\u043e \u043e\u0442 -0.2 \u0434\u043e 0). \u0415\u0441\u043b\u0438 \u0430\u0433\u0435\u043d\u0442 \u043d\u0430\u0442\u044b\u043a\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043a\u043e\u0442\u0430 \u0442\u043e \u0443\u043c\u0438\u0440\u0430\u0435\u0442 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 -10. \u0415\u0441\u043b\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u0441\u044b\u0440, \u0442\u043e \u0435\u0433\u043e \u043d\u0430\u0433\u0440\u0430\u0434\u0430 +100.&nbsp;<\/p>\n<pre><code class=\"javascript\">calcReward() {   \/\/ \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044e \u0434\u043e \u0446\u0435\u043b\u0438 (\u043e\u0442 0 \u0434\u043e 1) \u0438 \u0443\u043c\u043d\u043e\u0436\u0430\u0435\u043c \u043d\u0430 -0.2   let reward = distance(   \tthis.agent.rect.left,   \tthis.width,   \tthis.agent.rect.top,   \tthis.height) \/ distance(0, this.width, 0, this.height) * -0.2;    const agentRect = toRect(this.agent.rect);   const enemiesRects = this.enemies.map(e =&gt; toRect(e));   const goalRect = toRect(this.goal);    const intersected = enemiesRects.filter(e =&gt; rectsIntersected(e, agentRect));   reward += intersected.length &amp;&amp; -10;    if (rectsIntersected(agentRect, goalRect)) reward = 100;    return reward; }<\/code><\/pre>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u0445\u043e\u0434\u044b, \u0447\u0442\u043e\u0431\u044b \u043c\u044b \u043f\u043e\u0442\u043e\u043c \u043c\u043e\u0433\u043b\u0438 \u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430\u0445. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0446\u0438\u0442\u0438\u0440\u0443\u0435\u043c \u043a\u0443\u0441\u043e\u0447\u0435\u043a \u0438\u0437 \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u044f <a href=\"https:\/\/github.com\/tensorflow\/tfjs-examples\/blob\/d28efb08c82d8a418a5ab63097d97be96dd84364\/snake-dqn\/replay_memory.js\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u043d\u0437\u043e\u0440\u0444\u043b\u043e\u0443<\/a>. \u0411\u0443\u0434\u0435\u043c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u044d\u0442\u043e \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043a\u0430\u043a \u043f\u0430\u043c\u044f\u0442\u044c. \u0410\u0433\u0435\u043d\u0442 \u043f\u043e\u043c\u043d\u0438\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b-\u0432\u043e \u0441\u0432\u043e\u0438\u0445 \u0448\u0430\u0433\u043e\u0432 \u0438 \u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u0432\u043e\u0438\u0445 \u043e\u0448\u0438\u0431\u043a\u0430\u0445.<\/p>\n<p>\u0412-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0432\u0441\u0435 \u0432\u043c\u0435\u0441\u0442\u0435.&nbsp;&nbsp;<\/p>\n<p>\u041c\u044b \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0438\u0433\u0440\u0443 \u0438 \u043d\u0430\u0448\u0435 \u0445\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435.<\/p>\n<pre><code class=\"javascript\">function setup() {   mem = new ReplayMemory();   env = new Environment(450, 300, 4, 6, 4, 2);    createCanvas(...env.dims); }<\/code><\/pre>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u0443\u0435\u043c \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0443 \u0432\u0441\u0435\u0445 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0445 \u0438\u0433\u0440\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0438\u0433\u0440\u043e\u0432\u043e\u0433\u043e \u0446\u0438\u043a\u043b\u0430.&nbsp;<\/p>\n<pre><code class=\"javascript\">async function draw() {   CURRENT_STEP++;    background(220);    drawGoal(env.goal);   drawNet(env.net);   drawEnemies(env.enemies);   drawAgent(env.agent.rect);    ...<\/code><\/pre>\n<p>\u041e\u0442\u0434\u0430\u0435\u043c \u0430\u0433\u0435\u043d\u0442\u0443 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0432 \u043e\u0442\u0432\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0448\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u043d \u0441\u0434\u0435\u043b\u0430\u043b, \u043d\u043e\u0432\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043d\u0430\u0441\u0442\u0443\u043f\u0438\u043b\u043e \u043f\u043e\u0441\u043b\u0435 \u0435\u0433\u043e \u0448\u0430\u0433\u0430 \u0438 \u0444\u043b\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0430\u0441\u044c \u0438\u0433\u0440\u0430 \u0438\u043b\u0438 \u043d\u0435\u0442.&nbsp;<\/p>\n<pre><code class=\"javascript\">\/\/ environment  updateAgent(STATE = this.getStateTensor()) {   const action = this.agent.chooseAction(STATE, this.eps);    this.agent.update(action);    const nextState = this.getStateTensor();    return [nextState, action, this.isDone()]; }<\/code><\/pre>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043d\u0430\u0433\u0440\u0430\u0434\u0443 \u0437\u0430 \u0448\u0430\u0433 \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432\u0441\u0435 \u044d\u0442\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043d\u0430\u0448\u0443 \u043f\u0430\u043c\u044f\u0442\u044c. \u041e\u043d\u0438 \u043d\u0430\u043c \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043d\u0430\u0434\u043e\u0431\u044f\u0442\u0441\u044f.<\/p>\n<pre><code class=\"javascript\">\/\/ draw in sketch file  const [nextState, action, done] = env.updateAgent(STATE);  const reward = env.calcReward();  mem.append([STATE, action, reward, nextState, done]);  STATE = nextState;  ...<\/code><\/pre>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e\u0433\u043e \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c, \u043d\u0435 \u043f\u043e\u0433\u0438\u0431 \u043b\u0438 \u043d\u0430\u0448 \u0430\u0433\u0435\u043d\u0442 \u0438 \u043d\u0435 \u0437\u0430\u043a\u043e\u043d\u0447\u0438\u043b\u0438\u0441\u044c \u043b\u0438 \u0448\u0430\u0433\u0438 \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438\u0433\u0440\u044b, \u0435\u0441\u043b\u0438 \u0434\u0430, \u0442\u043e \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432\u0440\u0435\u043c\u044f \u0432\u043e\u0441\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u0434 \u0441\u043d\u043e\u043c.&nbsp;&nbsp;<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f0\/727\/5a0\/1f07275a0876373f5777b9565f27be60\" width=\"942\" height=\"906\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <em>replay<\/em>, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u043a\u0440\u0443\u0442\u0438\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0448\u0430\u0433\u0438 \u0438\u0437 \u043f\u0430\u043c\u044f\u0442\u0438 \u0438 \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0443 \u0437\u0430 \u043a\u0430\u043a\u0438\u0435 \u0448\u0430\u0433\u0438 \u043a\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u043e\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442. \u0418 \u044d\u0442\u043e \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u0430\u0441 \u0432 \u043d\u0430\u0447\u0430\u043b\u043e \u0441\u0442\u0430\u0442\u044c\u0438, \u0433\u0434\u0435 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438, \u0447\u0442\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0441\u0430\u043c\u043e\u0439 \u0441\u0435\u0431\u0435. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u044b \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u043c \u0448\u0430\u0433\u0438, \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a\u043e\u0439 \u0448\u0442\u0440\u0430\u0444 \u0438\u043b\u0438 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0442 \u044d\u0442\u043e\u0433\u043e, \u043f\u043e\u0442\u043e\u043c \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u044d\u0442\u0438 \u0448\u0430\u0433\u0438 \u043a\u0430\u043a \u043d\u0430\u0431\u043e\u0440 \u0434\u043b\u044f \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043a\u0438. \u0418 \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u0448\u0430\u0433\u043e\u0432, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0430\u0448\u0430 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043a \u0441\u0430\u043c\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438. \u0414\u0443\u043c\u0430\u044e, \u044f \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043f\u043e\u0442\u043e\u043c\u0438\u043b \u0432\u0430\u0441 \u0432 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0438, \u0432\u043e\u0442 \u044d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 &#8212; \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430. \u0427\u0442\u043e \u0436\u0435 \u043e\u043d\u0430 \u043d\u0430\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c5\/438\/030\/0c543803070b2a69a5b93e5741062259\" width=\"1200\" height=\"128\"><figcaption><\/figcaption><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0447\u0442\u043e \u0442\u0443\u0442 \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u043e, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043d\u0435\u0447\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435: <s>\u043e\u0434\u043d\u043e \u043a\u043e\u043b\u044c\u0446\u043e, \u0447\u0442\u043e\u0431 \u043f\u0440\u0430\u0432\u0438\u0442\u044c \u0432\u0441\u0435\u043c\u0438<\/s> \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 (<em>Q)<\/em> \u0430\u0433\u0435\u043d\u0442\u0430 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <strong><em>s<\/em><\/strong> \u0440\u0430\u0432\u043d\u043e \u0441\u0443\u043c\u043c\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f <strong><em>r<\/em><\/strong><em> <\/em>\u0437\u0430 \u0435\u0433\u043e \u0448\u0430\u0433 <strong><em>\u0430<\/em><\/strong> \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u043d\u043e\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <strong><em>s\u2019<\/em><\/strong><em> <\/em>\u043f\u043e\u043c\u043d\u043e\u0436\u0435\u043d\u043d\u043e\u0435 \u043d\u0430 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u044f <strong><em>gamma<\/em><\/strong>. \u041d\u0430 \u0441\u043b\u0443\u0445 &#8212; \u044d\u0442\u043e \u0442\u043e\u0447\u043d\u043e \u044d\u043b\u044c\u0444\u0438\u0439\u0441\u043a\u0438\u0439.&nbsp;<\/p>\n<p>\u041c\u044b \u0435\u0449\u0435 \u043d\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u0447\u0442\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u044b\u043c\u0438. \u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442? \u0412 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u043e\u0435\u043a\u0442\u0435 \u0443\u0434\u0430\u0440 \u0442\u043e\u043a\u0430 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 &#8212; \u044d\u0442\u043e \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0441\u043e \u0437\u043d\u0430\u043a\u043e\u043c \u043c\u0438\u043d\u0443\u0441, \u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0431\u043e\u043d\u0443\u0441 \u0437\u0430 \u0441\u044b\u0440 &#8212; \u044d\u0442\u043e \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435. \u041d\u043e, \u043c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u043e\u043d\u044f\u0442\u044c \u0447\u0442\u043e \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0443 \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043a \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0430\u043c.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b6a\/aef\/3d5\/b6aaef3d53c85bc874b4aa03ec3d1b5c\" width=\"836\" height=\"702\"><figcaption><\/figcaption><\/figure>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 <em>s1<\/em>, \u0434\u0430\u043b\u0435\u0435 \u0430\u0433\u0435\u043d\u0442 \u0438\u043c\u0435\u0435\u0442 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <em>s2<\/em> \u0438 <em>s3<\/em> \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 (\u0448\u0430\u0433\u043e\u0432) <em>\u04301<\/em> \u0438 <em>\u04302<\/em>, \u043f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0432\u044b\u0431\u043e\u0440\u0430 \u0435\u0449\u0435 \u0440\u0430\u0437 \u0440\u0430\u0441\u0448\u0438\u0440\u044f\u044e\u0442\u0441\u044f. \u0418 \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s2<\/em>, \u0432\u0441\u0435 \u0435\u0449\u0435 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 <em>\u04301<\/em> \u0438 <em>\u04302<\/em>, \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s4<\/em> \u0438 <em>s5<\/em>, \u0430 \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s3<\/em> \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s6<\/em> \u0438 <em>s7<\/em>.&nbsp; \u0417\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u0430\u0433\u0435\u043d\u0442 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u043d\u0443 \u0438\u043b\u0438 \u0448\u0442\u0440\u0430\u0444, \u0430 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s1<\/em> \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0432\u0441\u0435 \u0432\u0435\u0442\u0432\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0430. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e max <em>Q<\/em> \u0434\u043b\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s1 == 99 (-1 + 100)<\/em>, \u0430 \u0434\u043b\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <em>s3 == 100 (100 &#8212; \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434)<\/em> \u0438 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043e\u0442\u0441\u044e\u0434\u0430 \u0432\u044b\u0432\u0435\u0441\u0442\u0438, \u0447\u0442\u043e max <em>Q <\/em>\u0434\u043b\u044f <em>s1<\/em> \u0440\u0430\u0432\u043d\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0437\u0430 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 <em>a2<\/em> \u043f\u043b\u044e\u0441 max <em>Q<\/em> \u0438\u0437 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u043f\u043e\u043f\u0430\u043b\u0438 <em>(s3)<\/em>.&nbsp;<\/p>\n<p>\u041d\u043e \u0447\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442? \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043d\u0430\u043c \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u043d\u0443\u0436\u043d\u043e \u0445\u043e\u0434\u0438\u0442\u044c \u0442\u0443\u0434\u0430-\u0441\u044e\u0434\u0430 \u043f\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043d\u0430\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0442\u044c <em>Q<\/em> \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f &#8212; \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u043d\u0430\u0448\u0443 \u0442\u0430\u0431\u043b\u0438\u0446\u0443, \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u043b\u0438. \u0418 \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0440\u0435\u0448\u0438\u043b\u0438, \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u044d\u0442\u043e\u0433\u043e \u0434\u0435\u043b\u0430\u0442\u044c, \u043f\u0443\u0441\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u0441\u0430\u043c\u0430 \u043d\u0430\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e\u0442 \u0442\u0430\u043a \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0430 javascript.&nbsp;<\/p>\n<pre><code class=\"javascript\">async function replay() {   let miniBatch = mem.sample(500);    const filtered = miniBatch.filter(Boolean); \t   \/\/ \u0444\u0438\u043b\u044c\u0442\u0440\u0443\u0435\u043c \u0435\u0441\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u043e \u0448\u0430\u0433\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u043b\u0438   if (!filtered.length) return;    let currentStates = filtered.map((dp) =&gt; { return dp[0].dataSync() });   \/\/ \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c Q \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f s \u0432 \u043f\u0430\u043c\u044f\u0442\u0438   let currentQs = await env.agent.network.predict(tf.tensor(currentStates)).array();      let newCurrentStates = filtered.map((dp) =&gt; { return dp[3].dataSync() });   \/\/ \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c Q \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f s', \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u043f\u043e\u043f\u0430\u043b\u0438 \u0438\u0437 s   let futureQs = await env.agent.network.predict(tf.tensor(newCurrentStates)).array();    let X = [];   let Y = [];    for (let index = 0; index &lt; filtered.length; index++) {     \/\/ \u0431\u0435\u0440\u0435\u043c \u043e\u0434\u0438\u043d \u0441\u043b\u0430\u0439\u0441     const [state, action, reward, newState, done] = filtered[index];     let newQ;     let currentQ; \t     \/\/ \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430     if (!done) {       let maxFutureQ = Math.max(...futureQs[index]);       \/\/ \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 Q \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (s')        \/\/ \u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0441 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c (r)       newQ = reward + (env.discount * maxFutureQ);     }     \/\/ \u0435\u0441\u043b\u0438 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434, \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0441\u0430\u043c \u043f\u0435\u0440\u0435\u0445\u043e\u0434     else { newQ = reward }      currentQ = currentQs[index];     \/\/ \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 Q \u043d\u0430 \u0442\u043e, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438     currentQ[action] = newQ;      X.push(state.dataSync()); \/\/ 9 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043d\u0430\u0448\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f     Y.push(currentQ); \/\/ \u043c\u0430\u0441\u0441\u0438\u0432 \u0438\u0437 4 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 Q \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0448\u0430\u0433\u043e\u0432 (\u0432\u043f\u0440\u0430\u0432\u043e, \u0432\u043d\u0438\u0437, \u0432\u043b\u0435\u0432\u043e, \u0432\u0432\u0435\u0440\u0445)   } \t   \/\/ \u0443\u0447\u0438\u043c \u043d\u0430\u0448\u0443 \u0441\u0435\u0442\u044c \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438   await env.agent.network.fit(tf.tensor(X), tf.tensor(Y), { verbose: 0 }); }<\/code><\/pre>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u043c \u0432 \u0440\u0435\u043f\u043b\u0430\u0439 \u0438\u0433\u0440\u044b \u043c\u044b \u0431\u0435\u0440\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0441\u043b\u0430\u0439\u0441 \u0437\u0430\u043f\u0438\u0441\u0435\u0439 \u043d\u0430\u0448\u0438\u0445 \u0448\u0430\u0433\u043e\u0432.&nbsp;<\/p>\n<p>\u041c\u044b \u0434\u043e\u0441\u0442\u0430\u0435\u043c \u0432\u0441\u0435 \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438\u0437 \u044d\u0442\u0438\u0445 \u0437\u0430\u043f\u0438\u0441\u0435\u0439. \u0418 \u043f\u0440\u043e\u0441\u0438\u043c \u043d\u0430\u0448\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0443 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 Q \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n<p>\u0414\u0435\u043b\u0430\u0435\u043c \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u0433\u0435\u043d\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u0441\u0432\u043e\u0435\u0433\u043e \u0448\u0430\u0433\u0430.&nbsp;<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u0438 \u0442\u0435\u043c, \u0447\u0442\u043e \u043c\u044b \u0441\u0430\u043c\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0438.<\/p>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 Q \u0438 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0447\u0442\u043e\u0431\u044b \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0430 \u0441\u043c\u043e\u0433\u043b\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0432\u0435\u0441\u0430 \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438.&nbsp;<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0437\u044b\u0432\u0430\u0435\u043c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 <em>fit<\/em>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0435 \u043f\u0435\u0440\u0435\u043e\u0441\u043c\u044b\u0441\u043b\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0448\u0430\u0433\u0438 \u0441 \u043d\u0430\u0448\u0438\u043c\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u043a\u0430\u043c\u0438.&nbsp;<\/p>\n<p>\u0418 \u0447\u0443\u0442\u044c \u043d\u0435 \u0437\u0430\u0431\u044b\u043b, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0443\u0436\u0435\u043d \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043f\u043e\u043d\u0438\u0436\u0435\u043d\u0438\u044f? \u041d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u043c\u0435\u0440.&nbsp;&nbsp;&nbsp;<\/p>\n<p>\u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043f\u0430\u0441\u0442\u044c \u0438\u0437 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043e\u0432\u0435\u0440\u0448\u0438\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 &#8212; \u0432\u043f\u0435\u0440\u0435\u0434, \u043d\u0430\u043b\u0435\u0432\u043e, \u0432\u043f\u0435\u0440\u0435\u0434, \u0432\u043f\u0435\u0440\u0435\u0434. \u0412 \u043a\u043e\u043d\u0446\u0435 \u044d\u0442\u043e\u0439 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0431\u043e\u043d\u0443\u0441 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043c\u0438\u043d\u0443\u0441. \u041d\u043e \u043a\u0430\u043a \u0443\u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043e \u044d\u0442\u0430 \u0446\u0435\u043f\u043e\u0447\u043a\u0430 \u0448\u0430\u0433\u043e\u0432 \u043f\u0440\u0438\u0432\u0435\u043b\u0430 \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443? <\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0448\u0430\u0433\u043e\u0432 \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0431\u043e\u043d\u0443\u0441\u0430 \u0438 \u0440\u0430\u0437\u043e\u0447\u0430\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u043d\u0430 90 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432, \u0438 \u043c\u044b \u0436\u0435 \u043d\u0435 \u0441\u0442\u0430\u043d\u0435\u043c \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0448\u0430\u0433\u0438 \u0438\u0437 \u044d\u0442\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043d\u0430\u043c \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438 \u043f\u0440\u0438\u0432\u0435\u043b\u0438 \u043a \u043c\u0438\u043d\u0443\u0441\u0443. \u041a\u0430\u043a \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u0448\u0430\u0433, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0438\u0432\u0435\u043b \u043a \u043a\u043e\u0442\u0443.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9bf\/033\/26b\/9bf03326bbc001b4122d6cede90006b4\" width=\"1760\" height=\"614\"><figcaption><\/figcaption><\/figure>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0438 \u0441\u043b\u0443\u0436\u0438\u0442 \u0434\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442. \u041c\u044b \u0441 \u043a\u0430\u0436\u0434\u044b\u0439 \u0448\u0430\u0433\u043e\u043c \u0432\u0441\u0435 \u0431\u043b\u0438\u0436\u0435 \u043a \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u043f\u043e\u043d\u0438\u0436\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438 \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043d\u0430 \u043d\u0430\u0448\u0438 \u0442\u0440\u0435\u043d\u0438\u0440\u043e\u0432\u043e\u0447\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u0430 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0431\u043e\u0440 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d.&nbsp;<\/p>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u0447\u0442\u043e \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c, \u0442\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u044d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432\u044b\u0437\u0432\u0430\u043b\u0430 \u0443 \u043c\u0435\u043d\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0435\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043a\u043e\u043c\u0443-\u0442\u043e \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f. \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0443 \u043c\u0435\u043d\u044f \u0431\u044b\u043b\u0430 \u0441\u0442\u043e\u0439\u043a\u0430\u044f \u0430\u0441\u0441\u043e\u0446\u0438\u0430\u0446\u0438\u044f, \u0447\u0442\u043e \u043c\u044b \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043f\u0440\u0435\u0434\u0443\u0433\u0430\u0434\u0430\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0448\u0430\u0433 \u043d\u0430\u0448\u0435\u0433\u043e \u0430\u0433\u0435\u043d\u0442\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0438, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u0442\u043e\u043c \u043c\u044b \u0441\u0442\u0430\u043b\u0438 \u0441\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0442\u044c \u0438\u0445 \u0441 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f\u043c\u0438 \u044f \u043f\u043e\u043f\u043b\u044b\u043b. \u0417\u0434\u0435\u0441\u044c \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0430\u0437\u0443 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u044b \u0438\u0449\u0435\u043c \u0438\u043c\u0435\u043d\u043d\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0438 \u043d\u0430\u0448\u0438 \u0448\u0430\u0433\u0438 \u043b\u0438\u0448\u044c \u0441\u043f\u043e\u0441\u043e\u0431 \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f.&nbsp;<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0443\u0436\u0435 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044e.<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u0433\u0440 \u0414\u0436\u0435\u0440\u0438 \u0442\u0443\u043f\u0438\u0442 \u0432 \u0443\u0433\u043b\u0443 \u043b\u0438\u0431\u043e \u0441\u0443\u0438\u0446\u0438\u0434\u0438\u0442\u044c\u0441\u044f \u043e\u0431 \u043a\u043e\u0442\u043e\u0432. <\/p>\n<p><iframe id=\"60088db18a93442df6782216\" src=\"https:\/\/embedd.srv.habr.com\/iframe\/60088db18a93442df6782216\" class=\"embed_video embed__content\" allowfullscreen=\"true\"><\/iframe><\/p>\n<p>\u041f\u043e\u0437\u0436\u0435 \u043e\u043d \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432\u044b\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043b\u0435\u0435 \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0445 \u0440\u0443\u0431\u0435\u0436\u0435\u0439 \u0438 \u0433\u0434\u0435-\u0442\u043e \u043a 60-\u0439 \u0438\u0433\u0440\u0435 \u0443\u0436\u0435 \u0443\u043c\u0435\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0441\u044b\u0440. \u0412\u0441\u0435\u0433\u043e \u043d\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0443\u0448\u043b\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 10 \u043c\u0438\u043d\u0443\u0442, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u044b\u0439 \u0440\u0435\u043d\u0434\u0435\u0440 \u0441\u0446\u0435\u043d\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.&nbsp;<\/p>\n<p><iframe id=\"60088db196f977d25608ba01\" src=\"https:\/\/embedd.srv.habr.com\/iframe\/60088db196f977d25608ba01\" class=\"embed_video embed__content\" allowfullscreen=\"true\"><\/iframe><\/p>\n<p>\u041e\u0441\u0442\u0430\u0432\u043b\u044f\u044e <a href=\"https:\/\/github.com\/vtcaregorodtcev\/RL-demo\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u0445\u043e\u0434\u043d\u0438\u043a\u0438 \u043f\u0440\u043e\u0435\u043a\u0442\u0430<\/a>, <a href=\"https:\/\/vtcaregorodtcev.github.io\/RL-demo\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0441\u044b\u043b\u043a\u0443 \u043d\u0430 \u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044e<\/a>. \u0418 \u043e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 &#8212; \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u044d\u0442\u043e \u0432\u0441\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c? \u0411\u044b\u043b \u0431\u044b \u043e\u0447\u0435\u043d\u044c \u0440\u0430\u0434 \u0441\u043e\u0432\u0435\u0442\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430 \u043f\u043e \u0442\u043e\u043f\u043e\u043b\u043e\u0433\u0438\u0438 \u0441\u0435\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e\u0434\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u043d\u0438\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0418\u043b\u0438 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432\u0437\u044f\u0442\u0438\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0438 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f.&nbsp;<\/p>\n<p>PS. \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u043f\u043e\u043a\u043e\u043d\u0442\u0440\u0438\u0431\u044c\u044e\u0442\u0438\u0442\u044c, welcome to PR\u2019s \u0438\u043b\u0438 \u043d\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u043c\u043d\u0435 \u0432 \u0442\u0432\u0438\u0442\u0442\u0435\u0440: <a href=\"https:\/\/twitter.com\/v_hadoocken\" rel=\"noopener noreferrer nofollow\">v_hadoocken<\/a><\/p>\n<\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/538186\/\"> https:\/\/habr.com\/ru\/post\/538186\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text_v2\" id=\"post-content-body\">\n<p>\u041f\u0440\u0438\u0432\u0435\u0442. <\/p>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043b\u044e\u0441\u043e\u0432 \u043f\u043e\u0434 <a href=\"https:\/\/habr.com\/ru\/post\/536220\/\" rel=\"noopener noreferrer nofollow\">\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435\u0439<\/a> \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u043e\u044f \u043f\u043e\u0434\u0430\u0447\u0430 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043f\u0440\u043e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043d\u0435 \u0432\u044b\u0437\u0432\u0430\u043b\u0430 \u0441\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0442\u0442\u043e\u0440\u0436\u0435\u043d\u0438\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 &#8212; \u201c\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u043d\u043e\u0432\u043e\u0435 \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e\u201d \u043d\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u043b\u043e \u0441\u0435\u0431\u044f \u0436\u0434\u0430\u0442\u044c. \u0425\u043e\u0447\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0443, \u0447\u0442\u043e \u043d\u0438\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0435 \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u044e \u043d\u0430 \u0437\u0432\u0430\u043d\u0438\u0435 \u0442\u043e\u0433\u043e, \u043a\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0443\u0447\u0438\u0442\u044c \u0447\u0435\u043c\u0443-\u0442\u043e \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0447\u0435\u043c-\u0442\u043e \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u043e\u043c \u0432 \u0441\u0432\u043e\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435. \u041d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043d\u0430\u0445\u043e\u0436\u0443 \u0434\u0430\u043d\u043d\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 &#8212; \u043d\u0430\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u0438\u043b\u0438 \u0432\u044b\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043a\u043e\u043d\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0438, \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u043a\u043e\u0433\u0434\u0430 \u0441\u0430\u043c\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0447\u0435\u043c\u0443-\u043d\u0438\u0431\u0443\u0434\u044c \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f. \u0422\u044b \u0434\u0435\u043b\u0430\u0435\u0448\u044c \u0447\u0442\u043e-\u0442\u043e, \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u0448\u044c \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c, \u0434\u0435\u043b\u0430\u0435\u0448\u044c \u0447\u0442\u043e-\u0442\u043e \u043b\u0443\u0447\u0448\u0435. \u0422\u0430\u043a\u0436\u0435 \u044d\u0442\u043e \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0438 \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445. \u041a\u0441\u0442\u0430\u0442\u0438 \u043e \u043d\u0438\u0445.&nbsp;<\/p>\n<p>\u0412 \u043a\u043e\u043c\u043c\u0435\u043d\u0442\u0430\u0440\u0438\u044f\u0445 \u043a <a href=\"https:\/\/habr.com\/ru\/post\/536220\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a> \u043f\u043e\u0434\u043d\u044f\u043b\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u043e <em>reinforcement learning<\/em>. \u041f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u0438 \u043d\u0435\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0447\u0442\u043e \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0435.&nbsp;<\/p>\n<p>\u041a\u0430\u043a \u0438 \u0432 \u043f\u0440\u043e\u0448\u043b\u044b\u0439 \u0440\u0430\u0437, \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0441\u0430\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u044e \u043d\u0430 \u0441\u0432\u043e\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u0447\u0442\u043e \u043d\u0435\u0436\u043d\u044b\u0435 \u0443\u0448\u043a\u0438 \u0438 \u0433\u043b\u0430\u0437\u043a\u0438 \u0444\u0440\u043e\u043d\u0442\u0435\u043d\u0434\u0435\u0440\u0430 \u043a \u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u043f\u0440\u0438\u0441\u043f\u043e\u0441\u043e\u0431\u043b\u0435\u043d\u044b. \u0418 \u043a\u0430\u043a \u0437\u0430\u0432\u0435\u0449\u0430\u043b \u0425\u043e\u043a\u0438\u043d\u0433, \u043b\u044e\u0431\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044e \u0432\u0434\u0432\u043e\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043e\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0430 &#8212; \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u043d\u043e \u044d\u0442\u043e \u0443\u0436\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u0438\u0437 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u044f.&nbsp;<\/p>\n<p>\u0418\u0442\u0430\u043a, <em>reinforcement learning<\/em>, \u0438\u043b\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c &#8212; \u044d\u0442\u043e \u0442\u0430\u043a\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043f\u043e\u0434\u0445\u043e\u0434\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u044f\u0442 \u043a\u0430\u043a \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f, \u043d\u043e \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c (\u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f) \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c, \u0433\u0434\u0435 \u0443\u0447\u0438\u0442\u0435\u043b\u0435\u043c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0441\u0430\u043c\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c. \u0421\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e. \u042d\u0442\u043e \u043d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e, \u043c\u044b \u0432\u0441\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435.&nbsp;<\/p>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0440\u044b\u0441\u0438\u043d\u044b\u0439 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0430\u044f \u043b\u0430\u0431\u043e\u0440\u0430\u0442\u043e\u0440\u043d\u0430\u044f \u043a\u0440\u044b\u0441\u0430. \u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c &#8212; \u043d\u0430\u0443\u0447\u0438\u0442\u044c \u043a\u0440\u044b\u0441\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e \u043a\u043e\u043d\u0446\u0430. \u041d\u043e \u044d\u0442\u043e\u0442 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442 \u043d\u0435\u043e\u0431\u044b\u0447\u043d\u044b\u0439. \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u044b\u0441\u0430, \u0431\u0435\u0433\u0430\u044f \u043f\u043e \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0443, \u0441\u0432\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u0442 \u043d\u0435 \u0442\u0443\u0434\u0430, \u0435\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0431\u0438\u0442\u044c \u0442\u043e\u043a\u043e\u043c \u043f\u043e\u043a\u0430 \u043e\u043d\u0430 \u043d\u0435 \u0432\u0435\u0440\u043d\u0435\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u0434\u043e\u0440\u043e\u0436\u043a\u0443 (\u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0436\u0435\u0441\u0442\u043e\u043a\u043e, \u043d\u043e \u0442\u0430\u043a\u043e\u0432\u0430 \u043d\u0430\u0443\u043a\u0430). \u0415\u0441\u043b\u0438 \u0436\u0435 \u043a\u0440\u044b\u0441\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u0443\u044e \u0442\u043e\u0447\u043a\u0443, \u0442\u043e \u0435\u0439 \u0434\u0430\u044e\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b-\u0432\u043e \u0441\u044b\u0440\u0430, \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0430\u044f \u0435\u0435 \u0442\u0440\u0443\u0434\u044b.&nbsp;<\/p>\n<figure class=\"float full-width\"><figcaption>\u041d\u0430\u0448 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0439 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442<\/figcaption><\/figure>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u044d\u0442\u0443 \u043a\u0430\u0440\u0442\u0438\u043d\u0443, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0432\u0441\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0435 \u043b\u044e\u0431\u043e\u0433\u043e \u043f\u0440\u043e\u0435\u043a\u0442\u0430 \u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c.&nbsp;\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0440\u044b\u0441\u0430 &#8212; <strong>\u0410\u0433\u0435\u043d\u0442 (agent)<\/strong>, \u043d\u0430\u0448\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u044b\u0441\u043b\u0438\u0442 \u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.&nbsp;\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c <strong>\u041e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0441\u0440\u0435\u0434\u0430 (environment)<\/strong> \u0430\u0433\u0435\u043d\u0442\u0430 &#8212; \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u043c\u0435\u0435\u0442 \u0441\u0432\u043e\u0435 <strong>\u0421\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 (state)<\/strong>, \u0440\u0430\u0441\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u043e\u0432, \u043c\u0435\u0441\u0442 \u0441 \u043a\u043e\u0442\u0430\u043c\u0438, \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 \u043e\u0441\u0442\u0440\u043e\u0432\u043e\u043a \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435. \u041a\u0440\u044b\u0441\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 <strong>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u044f (actions), <\/strong>\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u044c \u043a \u0440\u0430\u0437\u043d\u044b\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u044f\u043c. \u041a\u0440\u044b\u0441\u0430 \u043b\u0438\u0431\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 <strong>\u0412\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 (reward), <\/strong>\u043b\u0438\u0431\u043e <strong>\u0421\u0430\u043d\u043a\u0446\u0438\u0438 (penalty or -reward)<\/strong> \u0437\u0430 \u0441\u0432\u043e\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f. <\/p>\n<p>\u041d\u0430\u0432\u0435\u0440\u043d\u043e\u0435, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0446\u0435\u043b\u044c\u044e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u0430\u043d\u043a\u0446\u0438\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0430 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0438 \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435.&nbsp;<\/p>\n<p>\u041d\u043e, \u0433\u043e\u0432\u043e\u0440\u044f, \u201c\u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043f\u0440\u0438 \u043f\u043e\u043c\u043e\u0449\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c\u201d, \u043c\u044b \u043d\u0435 \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u043c \u043d\u0438\u043a\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0414\u0430\u043d\u043d\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u0432\u0435\u0441\u044c\u043c\u0430 \u043e\u0431\u0448\u0438\u0440\u043d\u0430 \u0438 \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043c\u0441\u044f \u0441 \u0441\u0430\u043c\u044b\u043c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c &#8212; <em>Q-learning<\/em>.&nbsp; \u0418\u0434\u0435\u044f \u0442\u0430 \u0436\u0435 \u0441\u0430\u043c\u0430\u044f, \u0436\u0435\u0441\u0442\u043e\u043a\u043e \u0431\u0438\u0442\u044c \u0442\u043e\u043a\u043e\u043c \u043d\u0430\u0448\u0443 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0443\u044e \u0441\u0435\u0442\u044c, \u043a\u043e\u0433\u0434\u0430 \u0442\u0430 \u043a\u043e\u0441\u044f\u0447\u0438\u0442 \u0438 \u043e\u0434\u0430\u0440\u0438\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u043c\u0438 \u0431\u043b\u0430\u0433\u0430\u043c\u0438 \u043c\u0438\u0440\u0430, \u043a\u043e\u0433\u0434\u0430 \u0434\u0435\u043b\u0430\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0435\u0442\u0430\u043b\u0438.&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption>\u0421\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<\/figcaption><\/figure>\n<p>\u0412\u043e\u043e\u0431\u0449\u0435, \u043f\u0443\u0441\u0442\u044c \u043c\u0435\u043d\u044f \u043f\u043e\u043f\u0440\u0430\u0432\u044f\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u044b, <a href=\"https:\/\/ru.wikipedia.org\/wiki\/Q-%D0%BE%D0%B1%D1%83%D1%87%D0%B5%D0%BD%D0%B8%D0%B5\" rel=\"noopener noreferrer nofollow\"><em>Q-learning<\/em><\/a> \u043c\u043e\u0436\u0435\u0442 \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u043d\u0438\u0447\u0435\u0433\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0441 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u043c\u0438 \u0441\u0435\u0442\u044f\u043c\u0438. \u0412\u0441\u044f \u0446\u0435\u043b\u044c \u044d\u0442\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 &#8212; \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>Q <\/em>(<em>\u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0437\u0430 \u043f\u0440\u043e\u0445\u043e\u0434 \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043e \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e<\/em>), \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D0%BE%D0%BD%D0%B5%D1%87%D0%BD%D1%8B%D0%B9_%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0435 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u044b.<\/a><\/p>\n<p>\u041c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043a\u043e\u043b-\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 <em>(s1, s2 &#8230;)<\/em>, \u043d\u0430\u0448 \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0426\u0435\u043b\u044c \u0430\u0433\u0435\u043d\u0442\u0430 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0430<\/figcaption><\/figure>\n<p>\u0427\u0442\u043e \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f &#8212; \u044d\u0442\u043e \u0437\u0430\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430\u043c\u0438 \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u0418 \u043d\u0430\u0439\u0442\u0438 \u0445\u0438\u0442\u0440\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 (\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c) \u043a\u0430\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u043f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u0442\u044c \u0438\u0433\u0440\u0443 \u0432 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>s1<\/p>\n<\/td>\n<td>\n<p>s2<\/p>\n<\/td>\n<td>\n<p>s3<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>s4<\/p>\n<\/td>\n<td>\n<p>s5<\/p>\n<\/td>\n<td>\n<p>s6<\/p>\n<\/td>\n<td>\n<p>s7<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>s1<\/p>\n<\/td>\n<td>\n<p>0<\/p>\n<\/td>\n<td>\n<p>1<\/p>\n<\/td>\n<td>\n<p>-1<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>s2<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>0<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>-10<\/p>\n<\/td>\n<td>\n<p>1<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p>s3<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>0<\/p>\n<\/td>\n<td data-colwidth=\"93\" width=\"93\">\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>&#8212;<\/p>\n<\/td>\n<td>\n<p>100<\/p>\n<\/td>\n<td>\n<p>1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041d\u043e \u0437\u0434\u0435\u0441\u044c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430, \u043a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043d\u0430\u0447\u043d\u0435\u043c \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043e\u043b-\u0432\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439, \u043d\u0430\u0448\u0430 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0439 \u0438 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0435\u0435 \u0437\u0430\u043d\u043e\u0432\u043e. \u0417\u0434\u0435\u0441\u044c \u043d\u0430\u043c \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438. \u0417\u0430\u0447\u0435\u043c \u0437\u0430\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0446\u044b? \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430.&nbsp;<\/p>\n<p>\u0412 \u0447\u0435\u043c \u0438\u0434\u0435\u044f? \u041a\u0430\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043d\u0430\u043c \u043f\u043e\u043c\u043e\u0433\u0443\u0442?&nbsp;<\/p>\n<p>\u0412 \u043f\u0440\u043e\u0448\u043b\u044b\u0439 \u0440\u0430\u0437 \u043c\u044b \u0443\u0441\u043b\u043e\u0432\u0438\u043b\u0438\u0441\u044c, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u043c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 \u043a\u0430\u043a \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a \u0434\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0440\u0443\u0448\u0430\u0442\u044c \u044d\u0442\u0438 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u0437\u043d\u0430\u0435\u043c \u043a\u0430\u043a \u0434\u043e\u043b\u0436\u043d\u044b \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043a\u043e\u0442\u0438\u043a\u0430 \u0438 \u043c\u044b \u0442\u043e\u0447\u043d\u043e \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043a\u043e\u0442\u0438\u043a. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 1 000 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043a\u043e\u0442\u0438\u043a\u043e\u0432. \u041c\u044b \u043e\u0442\u0434\u0430\u0435\u043c \u044d\u0442\u043e \u0432\u0441\u0435 \u0432 \u043d\u0430\u0448 \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a \u0438 \u043e\u043d \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043d\u0430\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0447\u0442\u043e \u043d\u0430 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0435 \u043a\u043e\u0442\u0438\u043a.&nbsp;<\/p>\n<figure class=\"full-width\"><figcaption>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u0442\u0438\u043a\u043e\u0432<\/figcaption><\/figure>\n<p>\u0414\u0430\u043b\u0435\u0435, \u0435\u0441\u043b\u0438 \u043c\u044b \u0434\u043e\u0441\u0442\u0430\u043d\u0435\u043c \u0435\u0449\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043a\u043e\u0442\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043b\u0438\u0447\u043d\u044b \u043e\u0442 \u0442\u0435\u0445 1000 \u0448\u0442\u0443\u043a, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0438 \u0432\u0441\u0435 \u044d\u0442\u043e \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043c \u0432 \u0447\u0435\u0440\u043d\u044b\u0439 \u044f\u0449\u0438\u043a, \u043e\u043d \u0432\u0435\u0440\u043d\u0435\u0442 \u043d\u0430\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a, \u0445\u043e\u0442\u044f \u044d\u0442\u0438\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0435\u0449\u0435 \u043d\u0435 \u0432\u0438\u0434\u0435\u043b\u0430. \u042d\u0442\u043e \u201c\u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438 101\u201d (\u0431\u0430\u0437\u043e\u0432\u044b\u0439 \u043a\u0443\u0440\u0441). <\/p>\n<figure class=\"full-width\"><figcaption>\u0420\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u0442\u0438\u043a\u043e\u0432<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a \u0432\u043e\u0442, \u0441 Q-\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u043e\u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0417\u043d\u0430\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0430\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0434\u043b\u044f \u043d\u043e\u0432\u043e\u0439 \u0442\u0430\u0431\u043b\u0438\u0446\u044b \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u0441\u0432\u0435\u0442 \u043f\u043e\u044f\u0432\u0438\u043b\u0441\u044f <em>Deep Q-learning \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/em>. Deep \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e <em>deep neural networks<\/em>, \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0435 \u0441\u0435\u0442\u0438, \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 &#8212; \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0441\u043b\u043e\u0435\u0432.<\/p>\n<p>\u041d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u043f\u043e\u044f\u0432\u0438\u043b\u0438\u0441\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u043b\u0438 \u044f \u0447\u0442\u043e-\u0442\u043e \u0443\u043f\u0443\u0441\u0442\u0438\u043b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u0438.&nbsp;<\/p>\n<h2>\u0420\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0438 \u0430\u0433\u0435\u043d\u0442\u0430<\/h2>\n<p>\u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <em>\u04405<\/em> \u0440\u0435\u0434\u0430\u043a\u0442\u043e\u0440, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u0441\u043d\u043e\u0432\u0430 \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u0430\u0440\u043a\u0430\u0434\u043d\u044b\u0439 \u043f\u0440\u043e\u0435\u043a\u0442, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 <em>\u04405<\/em> \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u0437\u0430\u043c\u0435\u043d\u0438\u043c \u0432 \u044d\u0442\u043e\u043c. <\/p>\n<p>\u041d\u0430\u0447\u043d\u0435\u043c \u043c\u044b \u0441 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u043d\u0430\u0448\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u0421\u0430\u043c\u044b\u043c\u0438 \u0433\u043b\u0430\u0432\u043d\u044b\u043c\u0438 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 \u0434\u043b\u044f \u043d\u0430\u0441 \u0431\u0443\u0434\u0443\u0442 \u043a\u043b\u0430\u0441\u0441 <em>Environment<\/em> \u0438 \u043a\u043b\u0430\u0441\u0441 <em>Agent<\/em>. <\/p>\n<pre><code class=\"javascript\">class Agent {   constructor(b, r, s, w, h) {     this.network = b;      this.rect = r;     this.speed = s;     this.width = w;     this.height = h;   } }  class Environment {   constructor(w, h, r, c, es, as) {     this.width = w;     this.height = h;     this.rows = r;     this.columns = c;     this.enemySpeed = es;     this.agentSpeed = as;      this.agent = this.resetAgent();     this.eps = Environment.MAX_EPS;     this.discount = Environment.DISCOUNT;   } }<\/code><\/pre>\n<p>\u041f\u043e\u043a\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u044f \u043c\u043e\u0433\u0443\u0442 \u0432\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f \u0441\u043e \u0432\u0441\u0435\u043c \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043b\u0435\u0435. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c.&nbsp;<\/p>\n<p>\u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043a\u043e\u0435 \u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0430. \u041d\u0430\u0448 \u0430\u0433\u0435\u043d\u0442-\u043a\u0440\u044b\u0441\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0438\u0433\u0440\u0443 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u0432 \u043b\u0435\u0432\u043e\u043c \u0432\u0435\u0440\u0445\u043d\u0435\u043c \u0443\u0433\u043b\u0443 \u0438 \u0435\u0433\u043e \u0446\u0435\u043b\u044c &#8212; \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u0441\u044b\u0440\u0430 \u0432 \u043d\u0438\u0436\u043d\u0435\u043c \u043f\u0440\u0430\u0432\u043e\u043c. \u041d\u0430 \u043f\u043e\u043b\u0435 \u0438\u0433\u0440\u044b \u0432 \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0433\u0435\u043d\u0435\u0440\u0438\u0442\u0441\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0442\u043e\u0432. \u0417\u0430\u0434\u0430\u0447\u0430 \u0430\u0433\u0435\u043d\u0442\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0434\u043e \u0441\u044b\u0440\u0430 \u043d\u0435\u0432\u0440\u0435\u0434\u0438\u043c\u044b\u043c \u0438 \u043c\u0438\u043d\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435\u0445 \u043a\u043e\u0442\u043e\u0432.&nbsp;<\/p>\n<p>\u041f\u0440\u0438 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438\u0433\u0440\u044b \u043c\u044b \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043f\u043e\u043b\u044f, \u0441\u0435\u0442\u043a\u0443 \u0438 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430 \u0438 \u043a\u043e\u0442\u043e\u0432. \u041d\u043e \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043f\u043e\u043a\u0430 \u043e\u0442\u043a\u043b\u044e\u0447\u0438\u043c \u0438\u0445 \u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u041f\u0443\u0441\u043a\u0430\u0439 \u0441\u0438\u0434\u044f\u0442 \u0432 \u0437\u0430\u0441\u0430\u0434\u0435 \u0438 \u0436\u0434\u0443\u0442 \u043a\u043e\u0433\u0434\u0430 \u043a\u0440\u044b\u0441\u0430 \u043f\u043e\u043f\u0430\u0434\u0435\u0442 \u0432 \u043b\u043e\u0432\u0443\u0448\u043a\u0443.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435\u043c. \u042f \u0440\u0435\u0448\u0438\u043b \u0432\u044b\u0431\u0440\u0430\u0442\u044c 9 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438:&nbsp;<\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430 \u043f\u043e \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0440\u0430\u0433\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u0440\u0430\u0433\u0430 \u0432\u043f\u0435\u0440\u0435\u0434\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0434\u043e \u0432\u0440\u0430\u0433\u0430 \u043f\u043e \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0434\u043e \u0432\u0440\u0430\u0433\u0430 \u043f\u043e \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0446\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0425<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0446\u0435\u043b\u0438 \u043d\u0430 \u043e\u0441\u0438 \u0423<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u0442\u0430\u043d\u0446\u0438\u044f \u0434\u043e \u0446\u0435\u043b\u0438<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><figcaption>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0430\u0433\u0435\u043d\u0442\u0430<\/figcaption><\/figure>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u0438\u043c\u0438\u0442\u0438\u0440\u0443\u0435\u043c \u0437\u0440\u0435\u043d\u0438\u0435 \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u0430\u043a \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d \u0434\u0432\u0438\u0433\u0430\u043b\u0441\u044f \u043f\u043e \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c\u0443 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442\u0443, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0432\u0438\u0434\u0435\u0442\u044c \u0447\u0442\u043e \u0443 \u043d\u0435\u0433\u043e \u0441\u043f\u0435\u0440\u0435\u0434\u0438 \u0438 \u043a\u0430\u043a \u0431\u043b\u0438\u0437\u043a\u043e \u043e\u043d \u0443 \u0446\u0435\u043b\u0438. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0430\u0433\u0435\u043d\u0442 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c 4 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f (\u0448\u0430\u0433\u0430) &#8212; <strong><em>\u0432\u043f\u0440\u0430\u0432\u043e, \u0432\u043d\u0438\u0437, \u0432\u043b\u0435\u0432\u043e, \u0432\u0432\u0435\u0440\u0445<\/em><\/strong>.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u043e\u0434 \u0430\u0433\u0435\u043d\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u0437\u0430 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u044b\u0445 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 \u0441\u0440\u0435\u0434\u044b. <\/p>\n<pre><code class=\"javascript\">const ACTIONS = [MOVE_RIGHT, MOVE_DOWN, MOVE_LEFT, MOVE_UP];  chooseAction(state, eps) {   if (random(0, 1) &lt; eps) {     return ACTIONS[random([0, 1, 2, 3])]; \/\/ \u0440\u0430\u043d\u0434\u043e\u043c\u043d\u044b\u0439 \u0448\u0430\u0433   } else {     return tf.tidy(() =&gt; {       \/\/ \u0441\u0435\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043c\u0430\u0441\u0441\u0438\u0432 \u0438\u0437 4 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439       const probs = this.network.predict(state).dataSync();  \t\t\t\/\/ \u0448\u0430\u0433 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c       return ACTIONS[probs.indexOf(Math.max(...probs))];      });   } }<\/code><\/pre>\n<p>\u0410\u0433\u0435\u043d\u0442 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438 \u0432\u044b\u0434\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442 \u0432 \u043a\u0430\u043a\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0441\u0442\u043e\u0438\u0442 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0448\u0430\u0433. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0443\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0442\u043e \u0437\u0430 <em>eps<\/em> \u0438 \u0437\u0430\u0447\u0435\u043c \u043e\u043d \u043d\u0443\u0436\u0435\u043d. <\/p>\n<p>\u042d\u0442\u043e, \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u044b\u0439, \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.&nbsp;<\/p>\n<p>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u0438\u0433\u0440\u0443 \u043d\u0430\u0448\u0430 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0435\u0449\u0435 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u0447\u0442\u043e \u0435\u0439 \u0434\u0435\u043b\u0430\u0442\u044c, \u043e\u043d\u0430 \u043d\u0435 \u0432 \u043a\u0443\u0440\u0441\u0435 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0448\u0442\u0440\u0430\u0444. \u041e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0445\u043e\u0434\u0438\u0442\u044c \u043f\u043e \u043a\u0440\u0443\u0433\u0443. \u041d\u043e \u044d\u0442\u043e \u043d\u0430\u0441 \u043d\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442. \u041c\u044b \u0441 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u043d\u043e\u0433\u0434\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u043d\u0430\u0448\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0435\u0439 \u0447\u0442\u043e \u0437\u0430 \u0434\u0440\u0443\u0433\u0438\u0435 \u0448\u0430\u0433\u0438 \u043e\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u0448\u0442\u0440\u0430\u0444. \u041c\u044b \u043a\u0430\u043a \u0431\u044b \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0435\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448 \u043b\u0430\u0431\u0438\u0440\u0438\u043d\u0442, \u0431\u0435\u0440\u0435\u043c \u0430\u0433\u0435\u043d\u0442\u0430 \u0437\u0430 \u043d\u043e\u0433\u0443 \u0438 \u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043d\u043e\u0432\u043e\u0435 \u043c\u0435\u0441\u0442\u043e, \u0430 \u0442\u043e\u0442 \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u044d\u0442\u043e \u0431\u044b\u043b \u0448\u0430\u0433 \u0438\u043b\u0438 \u043d\u0435\u0442. \u041d\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0432 \u044d\u0442\u043e\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f, \u0430\u0433\u0435\u043d\u0442 \u0441\u0430\u043c \u043f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0435\u043f\u0441\u0438\u043b\u043e\u043d \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c, \u043d\u043e \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0434\u043e 0.&nbsp;<\/p>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443? \u042d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f (\u043d\u0435 \u0437\u043d\u0430\u044e \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 <strong><em>exploration-exploition trade-off<\/em><\/strong>). <\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435.&nbsp;<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u0432\u0430\u0448\u0435\u0439 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0439 \u043d\u0435\u0439\u0440\u043e\u043d\u043a\u0438 &#8212; \u0432\u0430\u0448\u0435\u0433\u043e \u043c\u043e\u0437\u0433\u0430, \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 &#8212; \u0443\u0442\u043e\u043b\u0438\u0442\u044c \u0433\u043e\u043b\u043e\u0434. \u0418, \u0447\u0442\u043e\u0431\u044b \u0435\u0435 \u0440\u0435\u0448\u0438\u0442\u044c \u0432\u044b \u0438\u0434\u0435\u0442\u0435 \u0432 \u043a\u0430\u0444\u0435 \u043d\u0435\u0434\u0430\u043b\u0435\u043a\u043e \u0437\u0430 \u0443\u0433\u043b\u043e\u043c. \u0412\u044b \u0445\u043e\u0434\u0438\u0442\u0435 \u0432 \u044d\u0442\u043e \u043a\u0430\u0444\u0435 \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0438 \u0432\u0430\u0441 \u0432\u0441\u0435 \u0443\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u0442, \u0433\u0434\u0435 \u0438 \u043a\u0430\u043a \u0432\u044b \u0434\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0435\u0441\u044c \u0442\u0443\u0434\u0430. <\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d 0. \u041d\u043e, \u0435\u0441\u043b\u0438 \u043f\u0430\u0440\u0443 \u0440\u0430\u0437 \u0432 \u043d\u0435\u0434\u0435\u043b\u044e \u0432\u044b \u043c\u0435\u043d\u044f\u0435\u0442\u0435 \u043c\u0430\u0440\u0448\u0440\u0443\u0442, \u0442\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0440\u0430\u0441\u0442\u0435\u0442 \u0438 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0440\u0430\u0437\u043e\u0432 \u0432\u044b \u0438\u043c\u0435\u0435\u0442\u0435 \u0448\u0430\u043d\u0441 \u043d\u0430\u0439\u0442\u0438 \u0431\u043e\u043b\u0435\u0435 \u0431\u043b\u0438\u0437\u043a\u0443\u044e \u0434\u043e\u0440\u043e\u0433\u0443 \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u043d\u0443\u044e. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u0447\u0435\u043c<\/p>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-316678","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/316678","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=316678"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/316678\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=316678"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=316678"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=316678"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}