{"id":490295,"date":"2026-08-09T10:42:03","date_gmt":"2026-08-09T10:42:03","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=490295"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=490295","title":{"rendered":"\u041a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438. \u0421\u0430\u043c\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0441 \u043f\u043e\u0434\u043a\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u043e\u0441\u0432\u0435\u0442\u0438\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0438\u0433\u0440\u0435 \u0432 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (Reinforcement Learning \u0438\u043b\u0438 RL). \u041c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0434\u0435\u0438 TD Learning \u0438 Q-Learning, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0441\u0435\u0442\u044c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n<p><em>\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0435 \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u0435\u0442 \u043d\u0430 \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u044e\u0449\u0435\u0435 \u0438\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u044b. \u0426\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u0435\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0438\u0434\u0435\u0439. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0434\u0435\u044e\u0441\u044c \u0447\u0442\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d.<\/em><\/p>\n<p>\u0418\u0442\u0430\u043a, \u0432\u0441\u0435 \u043c\u044b \u0443\u043c\u0435\u0435\u043c \u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438 &#8212; \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0438\u0433\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e \u0445\u043e\u0440\u043e\u0448\u043e  \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u043c\u0443 \u0441\u0430\u043c\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f(\u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f). \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 &#8212; Backward TD(0), Batch (Forward) TD(0), Monte Carlo, Online TD(0) \u0438 Q-learning.*<\/p>\n<p><em>*\u0417\u0434\u0435\u0441\u044c TD &#8212; Temporal Difference, \u0430 TD(0) &#8212; \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 bootstrap \u043d\u0430 1 \u0448\u0430\u0433(&#171;\u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u043d\u0438\u0435&#187; \u043a \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u043e\u0441\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f &#8212; \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435).<\/em><\/p>\n<p><strong>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043c\u0435\u0442\u043e\u0434\u043e\u0432: <\/strong><a href=\"https:\/\/github.com\/idalgo-2021\/tic-tac-toe-self-learning-rl\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 github<\/a><\/p>\n<h2>1.\u041a\u0440\u0430\u0442\u043a\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f<\/h2>\n<h3>1.1 \u0418\u0433\u0440\u0430 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c<\/h3>\n<p>\u041f\u0430\u0440\u0442\u0438\u044e \u0432 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0433\u0434\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u0433\u0440\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u043b\u044f(\u0434\u043e\u0441\u043a\u0438), \u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 &#8212; \u0432\u044b\u0431\u043e\u0440 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043a\u043b\u0435\u0442\u043a\u0438 \u0434\u043b\u044f \u0445\u043e\u0434\u0430, \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0439 \u043f\u0430\u0440\u0442\u0438\u0438 \u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043a\u043e\u043d\u0446\u0435 (+1 \u043f\u043e\u0431\u0435\u0434\u0430 X, \u22121 \u043f\u043e\u0431\u0435\u0434\u0430 O, 0 \u043d\u0438\u0447\u044c\u044f). \u0422\u0430\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441 \u0440\u0435\u0434\u043a\u0438\u043c, \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0442\u0438\u043f\u0438\u0447\u043d\u0430 \u0434\u043b\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u044b\u0445 \u0438\u0433\u0440 \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 (\u0445\u043e\u0442\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u043e\u0432-\u043d\u043e\u043b\u0438\u043a\u043e\u0432 \u044d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0430\u043a, \u043d\u043e \u044d\u0442\u043e \u0436\u0435 \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440), \u0433\u0434\u0435 \u0441\u0435\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u043d\u043d\u0438\u0435 \u0445\u043e\u0434\u044b \u0441 \u0434\u0430\u043b\u0451\u043a\u0438\u043c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u0441\u0445\u043e\u0434\u043e\u043c \u043f\u0430\u0440\u0442\u0438\u0438.<\/p>\n<p>\u0426\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431 \u043d\u0430\u0439\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0435\u0442\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u0430 \u0442\u0430 \u0438\u043b\u0438 \u0438\u043d\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f (\u0438\u043b\u0438 \u0445\u043e\u0434), \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.<\/p>\n<h3>1.2 \u0423\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430<\/h3>\n<p>\u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 RL \u043b\u0435\u0436\u0438\u0442 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A3%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5_%D0%91%D0%B5%D0%BB%D0%BB%D0%BC%D0%B0%D0%BD%D0%B0\" rel=\"noopener noreferrer nofollow\">\u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430<\/a>. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e &#8212; \u044d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f \u043e\u0442\u0434\u0430\u0447\u0430 (return) \u043f\u0440\u0438 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438:<\/p>\n<p><code>V(s) = E[G\u209c | S\u209c = s]<\/code><\/p>\n<p>\u0433\u0434\u0435 G\u209c &#8212; \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 (\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0434\u0438\u0441\u043a\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435) \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u044d\u043f\u0438\u0437\u043e\u0434\u0430. \u0423\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f:<\/p>\n<p><code>V(s) = E[R\u209c\u208a\u2081 + \u03b3V(S\u209c\u208a\u2081) | S\u209c = s]<\/code><\/p>\n<p>\u042d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0430\u0433: \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u00ab\u0436\u0434\u0430\u0442\u044c\u00bb \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438, \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043e\u0446\u0435\u043d\u043a\u0443 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439. \u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u0451\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0438\u043d\u0433\u043e\u043c (bootstrapping) \u0438 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0445 TD-\u043c\u0435\u0442\u043e\u0434\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (control), \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443, \u0430 \u043d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0443\u0436\u0435 \u043d\u0435 \u0434\u043b\u044f V(s), \u0430 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Q(s, a):<\/p>\n<p><code>Q*(s, a) = E[R\u209c\u208a\u2081 + \u03b3 \u00b7 max\u2090' Q*(S\u209c\u208a\u2081, a\u2032)]<\/code><\/p>\n<p>\u042d\u0442\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 Q-learning.<\/p>\n<h3>1.3 \u041f\u043e\u0434\u0445\u043e\u0434 V(s) \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 Q(s, a)<\/h3>\n<p>\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u044f \u0441\u0435\u0442\u0438 \u043e\u0431 \u0438\u0433\u0440\u0435.<\/p>\n<p><strong>V(s) &#8212; \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f.<\/strong> \u0421\u0435\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435, \u0431\u0435\u0437 \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0438 \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0445\u043e\u0434\u0443. \u0427\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u0441\u0435\u0442\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0445\u043e\u0434\u044b, \u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043a \u0434\u043e\u0441\u043a\u0435 \u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f(afterstate-\u044b), \u0442.\u0435. \u0441\u0435\u0442\u0438 \u043d\u0443\u0436\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0435\u0434\u044b (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 &#8212; \u0437\u043d\u0430\u043d\u0438\u0435, \u043a\u0430\u043a \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435).<\/p>\n<p><strong>Q(s, a) &#8212; \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438.<\/strong> \u0421\u0435\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u044f + \u0445\u043e\u0434, \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0447\u0435\u0440\u0435\u0437 argmax\u2090 Q(s, a), \u0431\u0435\u0437 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c \u0432\u043f\u0435\u0440\u0451\u0434 \u0438 \u0441\u0438\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u044b. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 Q-learning \u043c\u0435\u0442\u043e\u0434\u043e\u043c model-free control \u0432 \u0447\u0438\u0441\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u0442\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0433\u0440\u044b \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u0445\u043e\u0434\u0430 &#8212; \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0438\u0445 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f.<\/p>\n<h2>1.4 TD-\u043e\u0448\u0438\u0431\u043a\u0430 \u0438 bootstraping<\/h2>\n<p>\u0423\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 <code>V(s)<\/code> \u0438 <code>V(s')<\/code>, \u043d\u043e \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0434\u0430\u0451\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0446\u0435\u043d\u043a\u0438 <code>V<\/code> \u0441\u0435\u0442\u044c\u044e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043a\u0440\u0430\u0439\u043d\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u044b. TD-\u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0441\u0432\u043e\u0434\u044f\u0449\u0438\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 TD-\u043e\u0448\u0438\u0431\u043a\u0438 (temporal difference error):<\/p>\n<p><code>\u03b4\u209c = target \u2212 V(S\u209c), \u0433\u0434\u0435 target = R\u209c\u208a\u2081 + \u03b3V(S\u209c\u208a\u2081)<\/code><\/p>\n<p>TD-\u043e\u0448\u0438\u0431\u043a\u0430 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u0447\u0442\u043e \u0441\u0435\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0434\u043b\u044f <code>S\u209c <\/code>\u0434\u043e \u0445\u043e\u0434\u0430, \u0438 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0430\u043b\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 <code>S\u209c\u208a\u2081 <\/code>(\u0438\u043b\u0438, \u0434\u043b\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434 \u043f\u0430\u0440\u0442\u0438\u0438). \u0415\u0441\u043b\u0438 <code>\u03b4\u209c = 0<\/code> &#8212; \u0441\u0435\u0442\u044c \u0443\u0436\u0435 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0430, \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e. \u0415\u0441\u043b\u0438<code> \u03b4\u209c \u2260 0<\/code> &#8212; \u043e\u0446\u0435\u043d\u043a\u0430 <code>S\u209c<\/code> \u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 target-\u0430 \u043d\u0430 \u0448\u0430\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f <code>\u03b1<\/code>:<\/p>\n<p><code>V(S\u209c) \u2190 V(S\u209c) + \u03b1 \u00b7 \u03b4\u209c<\/code><\/p>\n<p>\u0414\u043b\u044f Q-learning \u0444\u043e\u0440\u043c\u0443\u043b\u0430 TD-\u043e\u0448\u0438\u0431\u043a\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430, \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u043e\u043c \u043f\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u043c \u0438 \u0441 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u043d\u0430 \u0441\u043c\u0435\u043d\u0443 \u0438\u0433\u0440\u043e\u043a\u0430:<\/p>\n<p><code>\u03b4\u209c = target \u2212 Q(S\u209c, A\u209c), \u0433\u0434\u0435 target = \u2212max\u2090' Q(S\u209c\u208a\u2081, a\u2032) <\/code>(\u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434, \u0435\u0441\u043b\u0438 <code>S\u209c\u208a\u2081<\/code> \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e)<\/p>\n<h3>1.5 \u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0435 \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442<\/h3>\n<p>\u0412\u0441\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b &#8212; \u043f\u043e-\u0441\u0443\u0442\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 self-play(\u0442.\u0435. \u0438\u0433\u0440\u0443 \u0441\u0435\u0442\u0438 \u0441 \u0441\u043e\u0431\u043e\u0439):<\/p>\n<ul>\n<li>\n<p><strong>TD-\u043c\u0435\u0442\u043e\u0434\u044b<\/strong> (Backward TD(0), Batch TD(0), Online TD(0), Q-learning) \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0442 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u0442.\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430, \u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 <code>V(s')<\/code> \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0435\u043a\u0443\u0449\u0430\u044f, \u0435\u0449\u0451 \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0442\u0438. \u042d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A1%D1%82%D0%BE%D1%85%D0%B0%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B0%D0%BF%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D1%86%D0%B8%D1%8F\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f<\/a> (\u043d\u0430 \u043f\u043e\u0434\u043e\u0431\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u0420\u043e\u0431\u0431\u0438\u043d\u0441\u0430\u2013\u041c\u043e\u043d\u0440\u043e): \u043f\u0440\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>Monte Carlo<\/strong> \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u044e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0432\u043e\u043e\u0431\u0449\u0435, \u0430 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <code>V(s) = E[G\u209c]<\/code>, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0434\u043e\u0448\u0435\u0434\u0448\u0438\u0439 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043a\u0430\u043a \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0443\u044e (\u043d\u043e \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u0443\u044e) \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 &#8212; \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 (bias\u2013variance tradeoff):<\/p>\n<ul>\n<li>\n<p>\u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0438\u043d\u0433 (TD) \u0434\u0430\u0451\u0442 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0443\u044e, \u043d\u043e \u043d\u0438\u0437\u043a\u043e\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u043e \u043e\u0448\u0438\u0431\u043a\u0430\u043c \u0438\u0437-\u0437\u0430 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0435\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p>\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0438\u043d\u0433\u0430 (Monte Carlo) \u0434\u0430\u0451\u0442 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0443\u044e, \u043d\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 &#8212; \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c, \u043d\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435 &#171;\u0448\u0443\u043c\u0438\u0442&#187;.<\/p>\n<\/li>\n<\/ul>\n<h3>1.6 \u041a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c: \u03b5-greedy<\/h3>\n<p>\u0412\u0430\u0436\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u0432\u0441\u0435\u0445 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u044d\u0442\u043e \u0442\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0435\u0442\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0445\u043e\u0434\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (TD, MC \u0438\u043b\u0438 Q-learning), \u0430 \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 \u0441\u0435\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0441\u044b\u0433\u0440\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u0447\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c &#8212; \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0434\u0438\u043b\u0435\u043c\u043c\u0430 exploration vs exploitation (\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f).<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0441\u0435\u0442\u044c \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0430\u0434\u043d\u043e \u0438\u0433\u0440\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0438\u0439 \u0445\u043e\u0434 \u043f\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 (\u0435\u0449\u0451 \u043d\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439) \u043e\u0446\u0435\u043d\u043a\u0435, \u0435\u0441\u0442\u044c \u0440\u0438\u0441\u043a \u0437\u0430\u0441\u0442\u0440\u044f\u0442\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e &#171;\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445&#187;, \u043d\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0441\u043b\u0430\u0431\u044b\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f\u0445 &#8212; \u0441\u0435\u0442\u044c \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0445\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0430 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u0438\u0437-\u0437\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432) \u043e\u0446\u0435\u043d\u0438\u043b\u0430 \u043a\u0430\u043a \u043f\u043b\u043e\u0445\u0438\u0435, \u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0443\u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u0438. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u03b5-greedy \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>\u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <code>\u03b5<\/code> \u0445\u043e\u0434 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e (\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 &#8212; \u0441\u0435\u0442\u044c \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0430 \u0431\u044b).<\/p>\n<\/li>\n<li>\n<p>\u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e (1 \u2212 \u03b5) \u0445\u043e\u0434 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0436\u0430\u0434\u043d\u043e, \u043f\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u0435\u0442\u0438 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439).<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e \u0432\u0441\u0435\u0445 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u0445 <code>\u03b5<\/code> \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0445\u043e\u0434\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (\u043f\u043e-\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0.5) \u043a \u043d\u0438\u0437\u043a\u043e\u043c\u0443 (\u043f\u043e-\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0.02):<\/p>\n<ul>\n<li>\n<p>\u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u0442\u044c \u0435\u0449\u0451 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u043e\u0431 \u0438\u0433\u0440\u0435, \u0432\u044b\u0441\u043e\u043a\u0438\u0439 <code>\u03b5 <\/code>\u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0435\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 self-play, \u0430 \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e &#171;\u043f\u043e\u043d\u0440\u0430\u0432\u0438\u0432\u0448\u0438\u0445\u0441\u044f&#187; \u043b\u0438\u043d\u0438\u044f\u0445 \u0438\u0433\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>\u043a \u043a\u043e\u043d\u0446\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0435\u0442\u0438 \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u043e\u0447\u043d\u044b, \u043d\u0438\u0437\u043a\u0438\u0439 <code>\u03b5<\/code> \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0435\u0442\u0438 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0433\u0440\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0435 \u0441\u0432\u043e\u0438\u0445 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439, \u043b\u0438\u0448\u044c \u0438\u0437\u0440\u0435\u0434\u043a\u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u044f\u0441\u044c \u0434\u043b\u044f \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e \u03b5-greedy \u0432\u043b\u0438\u044f\u0435\u0442 \u0438 \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u0438\u0434\u0438\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 (\u0434\u043b\u044f on-policy \u043c\u0435\u0442\u043e\u0434\u043e\u0432) \u043d\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 \u0441\u0430\u043c\u043e\u0433\u043e target-\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 Online TD(0) \u0441\u0435\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0438\u0433\u0440\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0445\u043e\u0434\u044b (\u044d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u0442\u043e, \u0447\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442 on-policy \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0442 off-policy, \u0433\u0434\u0435 Q-learning \u0447\u0435\u0440\u0435\u0437 <code>max<\/code> \u0446\u0435\u043b\u0438\u0442\u0441\u044f \u0432 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e<code> \u03b5<\/code>).<\/p>\n<h2>2. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0435\u0442\u0438<\/h2>\n<p>\u0414\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0430 \u0441\u0445\u0435\u043c\u0430 \u0441 \u043e\u0434\u043d\u0438\u043c \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u0438 tanh-\u0434\u043b\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438: <\/p>\n<p><code>\u0432\u0445\u043e\u0434 \u2192 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (tanh) \u2192 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (tanh) \u2192 \u0432\u044b\u0445\u043e\u0434<\/code><\/p>\n<p>\u0421\u0435\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 NumPy. \u042f \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 (\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9F%D0%B5%D1%80%D1%86%D0%B5%D0%BF%D1%82%D1%80%D0%BE%D0%BD\" rel=\"noopener noreferrer nofollow\">\u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d<\/a>) \u0434\u043b\u044f \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0451 \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. <em>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441, \u0442\u043e \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432 \u0441\u043b\u043e\u0451\u0432.<\/em><\/p>\n<p>\u0421\u0438\u0433\u043d\u0430\u043b\u044b \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0441\u0435\u0442\u0438: \u22121  \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448, 0 &#8212; \u043d\u0438\u0447\u044c\u044f\/\u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f, +1  \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. <\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f V(s)-\u0441\u0435\u0442\u0438 (Backward TD(0), Batch TD(0), Online TD(0), Monte Carlo): 9 \u0432\u0445\u043e\u0434\u043e\u0432, \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043d\u0430 \u043a\u043b\u0435\u0442\u043a\u0443 \u0434\u043e\u0441\u043a\u0438. \u041a\u043b\u0435\u0442\u043a\u0430 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a +1 (X), \u22121 (O) \u0438\u043b\u0438 0 (\u043f\u0443\u0441\u0442\u043e). \u041d\u0430 \u0441\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u043b\u043e\u0435 27 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u0434\u0438\u043d.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f Q(s, a)-\u0441\u0435\u0442\u0438 (Q-learning): 18 \u0432\u0445\u043e\u0434\u043e\u0432: 9 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (\u0434\u043e\u0441\u043a\u0430, \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430, \u0441\u0432\u043e\u0438 \u0444\u0438\u0448\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 +1, \u0447\u0443\u0436\u0438\u0435 \u22121) \u043f\u043b\u044e\u0441 9 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.  \u041d\u0430 \u0441\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u043b\u043e\u0435 36 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u0434\u0438\u043d.<\/p>\n<\/li>\n<\/ul>\n<h2>3. \u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b<\/h2>\n<p><em>\u041c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0438\u0436\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u0435\u043d \u0434\u043b\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f. <\/em><\/p>\n<h3>3.1 Backward Temporal Difference \/ Backward TD(0) <\/h3>\n<ul>\n<li>\n<p><em>\u0421\u043c. \u0444\u0430\u0439\u043b: <\/em><code><em>tic_tac_toe_backwardTD.py<\/em><\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430: \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043e \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438. \u0421\u0435\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f(bootstrapping) &#8212; \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c TD-\u043e\u0446\u0435\u043d\u043a\u0438.<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ol>\n<li>\n<p>\u0418\u0433\u0440\u0430 \u0438\u0433\u0440\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432<code> history = [S1,S2,...,Sn]<\/code><\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442 <code>i = n<\/code> \u043a <code>i = 1<\/code>, \u043f\u0440\u0438\u0447\u0451\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f <code>i = n<\/code>: <code>target = result<\/code>, \u0432\u0435\u0441\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f <code>i &lt; n<\/code>: <code>target = V(S{i+1})<\/code>. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <code>target<\/code> \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043a\u0430\u043a \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (\u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0445\u043e\u0434\u0430\u0445). \u0417\u0430\u0442\u0435\u043c \u0432\u0435\u0441\u0430 \u0441\u043d\u043e\u0432\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u041f\u043e\u044f\u0441\u043d\u044f\u044e\u0449\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u0432\u044b\u0438\u0433\u0440\u0430\u043b X. \u041f\u0443\u0441\u0442\u044c \u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 S5, \u0442.\u0435.: <\/p>\n<p>S1 \u2192 S2 \u2192 S3 \u2192 S4 \u2192 S5(\u043f\u043e\u0431\u0435\u0434\u0430). S5 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 result = 1.0.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u044d\u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f(\u0431\u0443\u0442\u0441\u0442\u0440\u0435\u043f\u0438\u0442\u0441\u044f) \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443:<\/p>\n<ul>\n<li>\n<p>S5 \u2192 target=result=1.0  <\/p>\n<\/li>\n<li>\n<p>S4 \u2192 target=V(S5)  <\/p>\n<\/li>\n<li>\n<p>S3 \u2192 target=V(S4)  <\/p>\n<\/li>\n<li>\n<p>S2 \u2192 target=V(S3)  <\/p>\n<\/li>\n<li>\n<p>S1 \u2192 target=V(S2)<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u044f TD-\u043e\u0448\u0438\u0431\u043a\u0438<\/p>\n<pre><code>\u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 S\u1d62        \u2502        \u25bc   V(S\u1d62) = net.forward(S\u1d62)     # \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0438        \u2502        \u25bc   target = V(S\u1d62\u208a\u2081)            # \u043f\u0440\u043e\u0431\u0440\u043e\u0441 \u043e\u0446\u0435\u043d\u043a\u0438        \u2502        \u25bc   \u043e\u0448\u0438\u0431\u043a\u0430 = V(S\u1d62) \u2212 target        \u2502        \u25bc   backprop (\u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0441\u0435\u0442\u0438)<\/code><div class=\"code-explainer\"><a href=\"https:\/\/sourcecraft.dev\/\" class=\"tm-button code-explainer__link\" style=\"visibility: hidden;\"><img style=\"width:87px;height:14px;object-fit:cover;object-position:left;\"\/><\/a><\/div><\/pre>\n<\/div>\n<\/details>\n<h3>3.2 Batch(episode) Temporal Difference \/ Batch TD(0)<\/h3>\n<ul>\n<li>\n<p><em>\u0421\u043c. \u0444\u0430\u0439\u043b: <\/em><code><em>tic_tac_toe_batchTD.py<\/em><\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430: \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043e \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438. \u0421\u0435\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f(bootstrapping), \u043d\u043e \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435 TD-\u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u043c\u0443(\u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430).<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ol>\n<li>\n<p>\u0418\u0433\u0440\u0430 \u0438\u0433\u0440\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 <code>history = [S1,S2,...,Sn]<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442 <code>i = 1<\/code> \u043a <code>i = n<\/code>, \u043f\u0440\u0438\u0447\u0451\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438: <\/p>\n<ul>\n<li>\n<p>\u0414\u043b\u044f <code>i = n<\/code> (\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435): <code>target = result.<\/code><\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u044f <code>i &lt; n<\/code>: <code>target = V(S{i+1})<\/code>. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <code>target<\/code> \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043a\u0430\u043a \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (\u043d\u0430 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f <code>target<\/code> \u0432\u0435\u0441\u0430 \u0443\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u044b \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u0448\u0430\u0433\u0430\u043c\u0438 \u044d\u0442\u043e\u0439 \u0436\u0435 \u043f\u0430\u0440\u0442\u0438\u0438). <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 backward-\u0432\u0435\u0440\u0441\u0438\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412 \u044d\u0442\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 <code>target<\/code> \u0434\u043b\u044f <code>Si<\/code> \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0441\u0435\u0442\u044c \u0447\u0442\u043e-\u043b\u0438\u0431\u043e \u0443\u0437\u043d\u0430\u043b\u0430 \u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <code>S{i+1}<\/code> \u0447\u0435\u0440\u0435\u0437 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435 \u044d\u043f\u0438\u0437\u043e\u0434\u0430 &#8212;<code>V(S{i+1})<\/code> \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0435\u0441\u0442\u044c, \u0431\u0435\u0437 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0432\u0435\u0436\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0447\u0443\u0442\u044c \u043f\u043e\u0437\u0436\u0435 \u0432 \u044d\u0442\u043e\u043c \u0436\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u0435. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p><code>target<\/code> \u0434\u043b\u044f <code>S1<\/code> \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u0432\u0435\u0441\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0436\u0435 \u0441\u043b\u0435\u0433\u043a\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u044b (\u043e\u0442 \u043f\u0440\u043e\u0448\u043b\u044b\u0445 \u044d\u043f\u0438\u0437\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f), \u043d\u043e \u043d\u0435 \u043e\u0442\u0440\u0430\u0436\u0430\u044e\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e\u0431 \u0438\u0441\u0445\u043e\u0434\u0435 \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e\u0439 \u043f\u0430\u0440\u0442\u0438\u0438, \u0442.\u043a. \u044d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f (\u0442.\u0435. <code>result<\/code>) \u0431\u0443\u0434\u0435\u0442 \u0432\u043f\u043b\u0435\u0442\u0435\u043d\u0430 \u0432 \u0432\u0435\u0441\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0448\u0430\u0433\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043f\u0440\u043e\u0445\u043e\u0434\u0430 (\u0442.\u0435. \u043d\u0430<code>i = n<\/code>), \u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e \u043a\u0430\u043a <code>S1<\/code> \u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u0441\u0438\u0433\u043d\u0430\u043b \u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0442 <code>Sn<\/code> \u043a <code>S1<\/code> \u043d\u0435 \u0437\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0445\u043e\u0434, \u0430 \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e, \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0448\u0430\u0433\u0443 \u0437\u0430 \u044d\u043f\u0438\u0437\u043e\u0434, \u0442.\u0435. \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0442\u0438\u0439, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0434\u0438\u0444\u0444\u0443\u0437\u043d\u043e \u0434\u043e\u0448\u043b\u043e \u0434\u043e \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u043d\u043d\u0438\u0445 \u0445\u043e\u0434\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<h3>3.3 Monte Carlo<\/h3>\n<ul>\n<li>\n<p><em>\u0421\u043c. \u0444\u0430\u0439\u043b: <\/em><code><em>tic_tac_toe_MC.py<\/em><\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430: \u0421\u0435\u0442\u044c \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435  \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0437\u0438\u0446\u0438\u0439\/\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439. \u041c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0438\u0441\u0445\u043e\u0434\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 \u0431\u0435\u0437 bootstrapping,  \u0431\u0435\u0437 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0439\/\u043e\u0446\u0435\u043d\u043e\u043a \u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445.<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ol>\n<li>\n<p>\u0418\u0433\u0440\u0430 \u0438\u0433\u0440\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 <code>history = [S1,S2,...,Sn]<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f part\u0438\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 target-\u043e\u043c: <\/p>\n<ul>\n<li>\n<p>\u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e <code>Si<\/code> (\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 <code>Sn<\/code>): <code>target = result<\/code><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<h3>3.4 Online TD(0) <\/h3>\n<ul>\n<li>\n<p><em>\u0421\u043c. \u0444\u0430\u0439\u043b: <\/em><code><em>tic_tac_toe_TD.py<\/em><\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430: <strong> <\/strong>\u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0439 TD(0) \u0432 &#171;\u043e\u043d\u043b\u0430\u0439\u043d&#187; \u0444\u043e\u0440\u043c\u0435, \u0442.\u0435. \u0431\u0435\u0437 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0438. \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0445\u043e\u0434\u0430 &#8212; \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c\u043e\u0439 \u043f\u0430\u0440\u0435 <code>(Si, target)<\/code> \u0441\u0440\u0430\u0437\u0443 \u043f\u043e \u043c\u0435\u0440\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d <code>S{i+1}.<\/code><\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ol>\n<li>\n<p>\u0418\u0433\u0440\u0430 \u0438\u0433\u0440\u0430\u0435\u0442\u0441\u044f \u0445\u043e\u0434 \u0437\u0430 \u0445\u043e\u0434\u043e\u043c. \u041f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0445\u043e\u0434\u0430 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u0435\u0442\u0441\u044f <code>prev_state<\/code> (\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0445\u043e\u0434\u0430) \u0438 <code>curr_state<\/code> (\u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043f\u043e\u0441\u043b\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0445\u043e\u0434\u0430, \u043e\u043d\u043e \u0436\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0434\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0445\u043e\u0434\u0430 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0430).<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0435 \u043f\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u043e\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043f\u043e\u0441\u043b\u0435 \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u0442\u0438\u0438, \u0430 \u043e\u043d\u043b\u0430\u0439\u043d, \u0442.\u0435. \u043f\u0440\u044f\u043c\u043e \u043f\u043e \u0445\u043e\u0434\u0443 \u0438\u0433\u0440\u044b &#8212; \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 <code>curr_state<\/code>: <\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 <code>curr_state<\/code> \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439 (\u0442.\u0435. \u0438\u0433\u0440\u0430 \u0437\u0430\u043a\u043e\u043d\u0447\u0435\u043d\u0430), \u0442\u043e <code>target = result<\/code>, \u0438 \u043d\u0430 \u044d\u0442\u043e\u043c target-\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f <code>prev_state<\/code>.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 <code>curr_state<\/code> \u043d\u0435 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0439, \u0442\u043e <code>target = V(curr_state)<\/code> (\u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0442\u0438 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f), \u0438 \u043d\u0430 \u044d\u0442\u043e\u043c target-\u0435 \u0442\u043e\u0436\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f <code>prev_state<\/code>.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 (<code>S1<\/code>, \u043f\u043e\u0441\u043b\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0445\u043e\u0434\u0430 X) \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u0430\u043a \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0440\u0430\u0437\u0443 &#8212; \u043e\u043d\u043e \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f <code>prev_state<\/code> \u0438 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u043f\u043e\u044f\u0432\u0438\u0442\u0441\u044f <code>S2<\/code>. \u0410\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 (<code>Sn<\/code>, \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435) \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u0434\u0430\u0451\u0442\u0441\u044f \u0432 <code>train_step<\/code> \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u044b\u0439 \u0432\u0445\u043e\u0434, \u043e\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u0430\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a <code>target = result<\/code> \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f <code>S{n-1}<\/code>.<\/p>\n<\/li>\n<\/ol>\n<h3>3.5 Q-Learning<\/h3>\n<ul>\n<li>\n<p><em>\u0421\u043c. \u0444\u0430\u0439\u043b: <\/em><code><em>tic_tac_toe_QL.py<\/em><\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430: <strong> <\/strong>\u041e\u0446\u0435\u043d\u043a\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f(action-value function) \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <code>Q(s, a)<\/code>, \u0442.\u0435. \u0445\u043e\u0434\u0430 <code>a<\/code> \u0432 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 <code>S<\/code>. <code>Q(s, a)<\/code> &#8212; \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u0430\u0440\u0442\u0438\u0438, \u0435\u0441\u043b\u0438 \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438 <code>S<\/code> \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0445\u043e\u0434 <code>a<\/code>, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0438\u0433\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e (\u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430). \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u0440\u0430\u0437\u0443 \u043f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0445\u043e\u0434\u0430 (\u043e\u043d\u043b\u0430\u0439\u043d). \u0421\u0435\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e bootstrapping, <code>target<\/code> \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <code>target<\/code> \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0445\u043e\u0434\u0430\u043c \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0430 (\u0430 \u043d\u0435 \u043f\u043e \u0442\u043e\u043c\u0443 \u0445\u043e\u0434\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0435\u0442 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u03b5), \u043c\u0435\u0442\u043e\u0434 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f off-policy &#8212; \u0441\u0435\u0442\u044c \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0442\u043e\u0433\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0448\u0443\u043c\u043d\u043e\u0439(\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439, \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u043e\u0439) \u0431\u044b\u043b\u0430 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0430 self-play, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u0441\u0431\u043e\u0440\u0430 \u043f\u0430\u0440\u0442\u0438\u0439.<\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<ol>\n<li>\n<p>\u0418\u0433\u0440\u0430 \u0438\u0434\u0451\u0442 \u0445\u043e\u0434 \u0437\u0430 \u0445\u043e\u0434\u043e\u043c. \u041f\u043e\u0441\u043b\u0435 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0445\u043e\u0434\u0430 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430 \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0424\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 <code>target<\/code> \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435:<\/p>\n<ul>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0445\u043e\u0434 \u043f\u0440\u0438\u0432\u0451\u043b \u043a \u043f\u043e\u0431\u0435\u0434\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430, \u0442\u043e: <code>target = +1<\/code><\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043d\u0438\u0447\u044c\u044f:  <code>target = 0<\/code><\/p>\n<\/li>\n<li>\n<p>\u0418\u043d\u0430\u0447\u0435: <code>target = \u2212max_{a'} Q(s', a')<\/code>, \u0433\u0434\u0435 <code>s'<\/code> &#8212; \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u0445\u043e\u0434\u0430, \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0443\u0436\u0435 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0430, \u0430 <code>max<\/code> \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u044b\u043c \u0445\u043e\u0434\u0430\u043c \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u0438\u043a\u0430 \u0438\u0437 <code>s'<\/code>.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f target \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438 \u0441\u0440\u0430\u0437\u0443 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ol>\n<h2>4. \u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412\u0441\u0435 \u043f\u044f\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0440\u0435\u0448\u0430\u044e\u0442 \u043e\u0434\u043d\u0443 \u0438 \u0442\u0443 \u0436\u0435 \u0437\u0430\u0434\u0430\u0447\u0443, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e &#8212; \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0438\u0437 \u043f\u0430\u0440\u0442\u0438\u0439 self-play \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u0435\u043e\u0434\u044b \u0440\u0435\u0448\u0430\u044e\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0441 \u0440\u0430\u0437\u043d\u043e\u0439 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c\u044e, \u0440\u0430\u0437\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e. \u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u0438\u0433\u0440 \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0438 \u0432\u043e\u0432\u0441\u0435 \u043d\u0435 \u0433\u043e\u0434\u044f\u0442\u0441\u044f. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435  \u043c\u044b \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438\u0441\u044c \u0441 \u0431\u0430\u0437\u043e\u0432\u044b\u043c\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c. <\/p>\n<p><strong>\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043c\u0435\u0442\u043e\u0434\u043e\u0432: <\/strong><a href=\"https:\/\/github.com\/idalgo-2021\/tic-tac-toe-self-learning-rl\" rel=\"noopener noreferrer nofollow\">\u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 github<\/a><\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1068346\/\">https:\/\/habr.com\/ru\/articles\/1068346\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u044e \u043e\u0441\u0432\u0435\u0442\u0438\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434 \u043a \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044e \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438 \u0438\u0433\u0440\u0435 \u0432 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c (Reinforcement Learning \u0438\u043b\u0438 RL). \u041c\u044b \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0438\u0434\u0435\u0438 TD Learning \u0438 Q-Learning, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0441\u0435\u0442\u044c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e \u0443\u0447\u0438\u0442\u0441\u044f \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0441\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.\u0421\u0442\u0430\u0442\u044c\u044f \u043d\u0435 \u043f\u0440\u0435\u0442\u0435\u043d\u0434\u0443\u0435\u0442 \u043d\u0430 \u0438\u0441\u0447\u0435\u0440\u043f\u044b\u0432\u0430\u044e\u0449\u0435\u0435 \u0438\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u044b. \u0426\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u0435\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0438\u0434\u0435\u0439. \u0422\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u043d\u0430\u0434\u0435\u044e\u0441\u044c \u0447\u0442\u043e \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u043a\u0430\u0436\u0435\u0442\u0441\u044f \u0432\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u043c \u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d.\u0418\u0442\u0430\u043a, \u0432\u0441\u0435 \u043c\u044b \u0443\u043c\u0435\u0435\u043c \u0438\u0433\u0440\u0430\u0442\u044c \u0432 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438 &#8212; \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0438\u0433\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e \u0445\u043e\u0440\u043e\u0448\u043e  \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0434\u043b\u044f \u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u043c\u0443 \u0441\u0430\u043c\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f(\u0431\u0435\u0437 \u0443\u0447\u0438\u0442\u0435\u043b\u044f). \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 &#8212; Backward TD(0), Batch (Forward) TD(0), Monte Carlo, Online TD(0) \u0438 Q-learning.**\u0417\u0434\u0435\u0441\u044c TD &#8212; Temporal Difference, \u0430 TD(0) &#8212; \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 bootstrap \u043d\u0430 1 \u0448\u0430\u0433(&#171;\u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u043d\u0438\u0435&#187; \u043a \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u043e\u0441\u0435\u0434\u043d\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f &#8212; \u043e\u0431 \u044d\u0442\u043e\u043c \u043d\u0438\u0436\u0435).\u0418\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043c\u0435\u0442\u043e\u0434\u043e\u0432: \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u043a\u043e\u0434 \u043d\u0430 github1.\u041a\u0440\u0430\u0442\u043a\u0430\u044f \u0442\u0435\u043e\u0440\u0438\u044f1.1 \u0418\u0433\u0440\u0430 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0434\u043a\u0440\u0435\u043f\u043b\u0435\u043d\u0438\u0435\u043c\u041f\u0430\u0440\u0442\u0438\u044e \u0432 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u0438-\u043d\u043e\u043b\u0438\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u0430\u0440\u043a\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439, \u0433\u0434\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0438\u0433\u0440\u043e\u0432\u043e\u0433\u043e \u043f\u043e\u043b\u044f(\u0434\u043e\u0441\u043a\u0438), \u0430 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 &#8212; \u0432\u044b\u0431\u043e\u0440 \u0441\u0432\u043e\u0431\u043e\u0434\u043d\u043e\u0439 \u043a\u043b\u0435\u0442\u043a\u0438 \u0434\u043b\u044f \u0445\u043e\u0434\u0430, \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u043d\u0430 \u043f\u0440\u043e\u0442\u044f\u0436\u0435\u043d\u0438\u0438 \u0432\u0441\u0435\u0439 \u043f\u0430\u0440\u0442\u0438\u0438 \u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u043a\u043e\u043d\u0446\u0435 (+1 \u043f\u043e\u0431\u0435\u0434\u0430 X, \u22121 \u043f\u043e\u0431\u0435\u0434\u0430 O, 0 \u043d\u0438\u0447\u044c\u044f). \u0422\u0430\u043a\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0441 \u0440\u0435\u0434\u043a\u0438\u043c, \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0442\u0438\u043f\u0438\u0447\u043d\u0430 \u0434\u043b\u044f \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043d\u044b\u0445 \u0438\u0433\u0440 \u0438 \u0434\u0435\u043b\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0447\u0435\u043d\u044c \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 (\u0445\u043e\u0442\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043a\u0440\u0435\u0441\u0442\u0438\u043a\u043e\u0432-\u043d\u043e\u043b\u0438\u043a\u043e\u0432 \u044d\u0442\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u0442\u0430\u043a, \u043d\u043e \u044d\u0442\u043e \u0436\u0435 \u0443\u0447\u0435\u0431\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440), \u0433\u0434\u0435 \u0441\u0435\u0442\u044c \u0434\u043e\u043b\u0436\u043d\u0430 \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0442\u044c \u0440\u0430\u043d\u043d\u0438\u0435 \u0445\u043e\u0434\u044b \u0441 \u0434\u0430\u043b\u0451\u043a\u0438\u043c \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438\u0441\u0445\u043e\u0434\u043e\u043c \u043f\u0430\u0440\u0442\u0438\u0438.\u0426\u0435\u043b\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431 \u043d\u0430\u0439\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0435\u0442\u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u0430 \u0442\u0430 \u0438\u043b\u0438 \u0438\u043d\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f (\u0438\u043b\u0438 \u0445\u043e\u0434), \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u044d\u0442\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.1.2 \u0423\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430\u0412 \u043e\u0441\u043d\u043e\u0432\u0435 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 RL \u043b\u0435\u0436\u0438\u0442 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e &#8212; \u044d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f \u043e\u0442\u0434\u0430\u0447\u0430 (return) \u043f\u0440\u0438 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0438 \u0432 \u044d\u0442\u043e\u043c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438:V(s) = E[G\u209c | S\u209c = s]\u0433\u0434\u0435 G\u209c &#8212; \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 (\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0434\u0438\u0441\u043a\u043e\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435) \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u0435 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u044d\u043f\u0438\u0437\u043e\u0434\u0430. \u0423\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u043f\u0435\u0440\u0435\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442 \u044d\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u0432\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f:V(s) = E[R\u209c\u208a\u2081 + \u03b3V(S\u209c\u208a\u2081) | S\u209c = s]\u042d\u0442\u043e \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0448\u0430\u0433: \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u00ab\u0436\u0434\u0430\u0442\u044c\u00bb \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438, \u043c\u043e\u0436\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043e\u0446\u0435\u043d\u043a\u0443 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0439. \u0422\u0430\u043a\u043e\u0439 \u043f\u0440\u0438\u0451\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0438\u043d\u0433\u043e\u043c (bootstrapping) \u0438 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u0432\u0441\u0435\u0445 TD-\u043c\u0435\u0442\u043e\u0434\u043e\u0432.\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u0443\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f (control), \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443, \u0430 \u043d\u0430\u0439\u0442\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0443\u0436\u0435 \u043d\u0435 \u0434\u043b\u044f V(s), \u0430 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f Q(s, a):Q*(s, a) = E[R\u209c\u208a\u2081 + \u03b3 \u00b7 max\u2090&#8217; Q*(S\u209c\u208a\u2081, a\u2032)]\u042d\u0442\u043e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 Q-learning.1.3 \u041f\u043e\u0434\u0445\u043e\u0434 V(s) \u043f\u0440\u043e\u0442\u0438\u0432 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 Q(s, a)\u0415\u0441\u0442\u044c \u0434\u0432\u0430 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0438\u0430\u043b\u044c\u043d\u043e \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0437\u043d\u0430\u043d\u0438\u044f \u0441\u0435\u0442\u0438 \u043e\u0431 \u0438\u0433\u0440\u0435.V(s) &#8212; \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f. \u0421\u0435\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0433\u043e\u0434\u043d\u0430 \u043f\u043e\u0437\u0438\u0446\u0438\u044f \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435, \u0431\u0435\u0437 \u043f\u0440\u0438\u0432\u044f\u0437\u043a\u0438 \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c\u0443 \u0445\u043e\u0434\u0443. \u0427\u0442\u043e\u0431\u044b \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435, \u0441\u0435\u0442\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u0435\u0440\u0435\u0431\u0440\u0430\u0442\u044c \u0432\u0441\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0445\u043e\u0434\u044b, \u043c\u044b\u0441\u043b\u0435\u043d\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u043a \u0434\u043e\u0441\u043a\u0435 \u0438 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u0432\u0448\u0438\u0435\u0441\u044f \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f(afterstate-\u044b), \u0442.\u0435. \u0441\u0435\u0442\u0438 \u043d\u0443\u0436\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0435\u0434\u044b (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 &#8212; \u0437\u043d\u0430\u043d\u0438\u0435, \u043a\u0430\u043a \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435).Q(s, a) &#8212; \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0438. \u0421\u0435\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u0443 \u043f\u043e\u0437\u0438\u0446\u0438\u044f + \u0445\u043e\u0434, \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0447\u0435\u0440\u0435\u0437 argmax\u2090 Q(s, a), \u0431\u0435\u0437 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0437\u0430\u0433\u043b\u044f\u0434\u044b\u0432\u0430\u0442\u044c \u0432\u043f\u0435\u0440\u0451\u0434 \u0438 \u0441\u0438\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u044b. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 Q-learning \u043c\u0435\u0442\u043e\u0434\u043e\u043c model-free control \u0432 \u0447\u0438\u0441\u0442\u043e\u043c \u0432\u0438\u0434\u0435, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u0442\u0438 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e \u0437\u043d\u0430\u0442\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u0438\u0433\u0440\u044b \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u0445\u043e\u0434\u0430 &#8212; \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0438\u0445 \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f.1.4 TD-\u043e\u0448\u0438\u0431\u043a\u0430 \u0438 bootstraping\u0423\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 V(s) \u0438 V(s&#8217;), \u043d\u043e \u0441\u0430\u043c\u043e \u043f\u043e \u0441\u0435\u0431\u0435 \u043d\u0435 \u0434\u0430\u0451\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0446\u0435\u043d\u043a\u0438 V \u0441\u0435\u0442\u044c\u044e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0441\u0435\u0433\u0434\u0430 \u043a\u0440\u0430\u0439\u043d\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u044b. TD-\u043c\u0435\u0442\u043e\u0434\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043e\u0431\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0441\u0432\u043e\u0434\u044f\u0449\u0438\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 TD-\u043e\u0448\u0438\u0431\u043a\u0438 (temporal difference error):\u03b4\u209c = target \u2212 V(S\u209c), \u0433\u0434\u0435 target = R\u209c\u208a\u2081 + \u03b3V(S\u209c\u208a\u2081)TD-\u043e\u0448\u0438\u0431\u043a\u0430 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043c, \u0447\u0442\u043e \u0441\u0435\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0434\u043b\u044f S\u209c \u0434\u043e \u0445\u043e\u0434\u0430, \u0438 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u043a\u043e\u0433\u0434\u0430 \u0441\u0442\u0430\u043b\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 S\u209c\u208a\u2081 (\u0438\u043b\u0438, \u0434\u043b\u044f \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434 \u043f\u0430\u0440\u0442\u0438\u0438). \u0415\u0441\u043b\u0438 \u03b4\u209c = 0 &#8212; \u0441\u0435\u0442\u044c \u0443\u0436\u0435 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0430, \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043d\u0435\u0447\u0435\u0433\u043e. \u0415\u0441\u043b\u0438 \u03b4\u209c \u2260 0 &#8212; \u043e\u0446\u0435\u043d\u043a\u0430 S\u209c \u043f\u043e\u0434\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 target-\u0430 \u043d\u0430 \u0448\u0430\u0433 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u03b1:V(S\u209c) \u2190 V(S\u209c) + \u03b1 \u00b7 \u03b4\u209c\u0414\u043b\u044f Q-learning \u0444\u043e\u0440\u043c\u0443\u043b\u0430 TD-\u043e\u0448\u0438\u0431\u043a\u0438 \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430, \u0442\u043e\u043b\u044c\u043a\u043e \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u043e\u043c \u043f\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u043c \u0438 \u0441 \u043f\u043e\u043f\u0440\u0430\u0432\u043a\u043e\u0439 \u043d\u0430 \u0441\u043c\u0435\u043d\u0443 \u0438\u0433\u0440\u043e\u043a\u0430:\u03b4\u209c = target \u2212 Q(S\u209c, A\u209c), \u0433\u0434\u0435 target = \u2212max\u2090&#8217; Q(S\u209c\u208a\u2081, a\u2032) (\u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0438\u0441\u0445\u043e\u0434, \u0435\u0441\u043b\u0438 S\u209c\u208a\u2081 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u043b\u044c\u043d\u043e)1.5 \u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u0441\u0435 \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442\u0412\u0441\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b &#8212; \u043f\u043e-\u0441\u0443\u0442\u0438 \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0447\u0435\u0440\u0435\u0437 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u044b\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 self-play(\u0442.\u0435. \u0438\u0433\u0440\u0443 \u0441\u0435\u0442\u0438 \u0441 \u0441\u043e\u0431\u043e\u0439):TD-\u043c\u0435\u0442\u043e\u0434\u044b (Backward TD(0), Batch TD(0), Online TD(0), Q-learning) \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u044e\u0442 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430, \u0442.\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430, \u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 V(s&#8217;) \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u0435\u043a\u0443\u0449\u0430\u044f, \u0435\u0449\u0451 \u043d\u0435 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0442\u0438. \u042d\u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f (\u043d\u0430 \u043f\u043e\u0434\u043e\u0431\u0438\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u0420\u043e\u0431\u0431\u0438\u043d\u0441\u0430\u2013\u041c\u043e\u043d\u0440\u043e): \u043f\u0440\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u043e\u043c \u0448\u0430\u0433\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438.Monte Carlo \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0440\u0435\u043a\u0443\u0440\u0441\u0438\u044e \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0411\u0435\u043b\u043b\u043c\u0430\u043d\u0430 \u0432\u043e\u043e\u0431\u0449\u0435, \u0430 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 V(s) = E[G\u209c], \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0434\u043e\u0448\u0435\u0434\u0448\u0438\u0439 \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043a\u0430\u043a \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0443\u044e (\u043d\u043e \u0437\u0430\u0448\u0443\u043c\u043b\u0451\u043d\u043d\u0443\u044e) \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f.\u041a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0438\u043c\u0438 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u043c\u0438 &#8212; \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 (bias\u2013variance tradeoff):\u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0438\u043d\u0433 (TD) \u0434\u0430\u0451\u0442 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0443\u044e, \u043d\u043e \u043d\u0438\u0437\u043a\u043e\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0435\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435, \u043d\u043e \u043f\u043e\u0434\u0432\u0435\u0440\u0436\u0435\u043d\u043e \u043e\u0448\u0438\u0431\u043a\u0430\u043c \u0438\u0437-\u0437\u0430 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0435\u0442\u0438.\u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0431\u0443\u0442\u0441\u0442\u0440\u044d\u043f\u0438\u043d\u0433\u0430 (Monte Carlo) \u0434\u0430\u0451\u0442 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0443\u044e, \u043d\u043e \u0432\u044b\u0441\u043e\u043a\u043e\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 &#8212; \u0442\u043e\u0447\u043d\u0435\u0435 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c, \u043d\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u0430\u0440\u0442\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u0435\u0435 &#171;\u0448\u0443\u043c\u0438\u0442&#187;.1.6 \u041a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441 \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c: \u03b5-greedy\u0412\u0430\u0436\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u0432\u0441\u0435\u0445 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u044d\u0442\u043e \u0442\u043e, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0441\u0435\u0442\u044c \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0445\u043e\u0434\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u042d\u0442\u043e \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (TD, MC \u0438\u043b\u0438 Q-learning), \u0430 \u043a \u0442\u043e\u043c\u0443, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0442\u0438\u0438 \u0441\u0435\u0442\u044c \u0432\u043e\u043e\u0431\u0449\u0435 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442 \u0441\u044b\u0433\u0440\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u0447\u0442\u043e \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c &#8212; \u0442\u0430\u043a \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u043c\u0430\u044f \u0434\u0438\u043b\u0435\u043c\u043c\u0430 exploration vs exploitation (\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0442\u0438\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f).\u0415\u0441\u043b\u0438 \u0441\u0435\u0442\u044c \u0432\u0441\u0435\u0433\u0434\u0430 \u0436\u0430\u0434\u043d\u043e \u0438\u0433\u0440\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0438\u0439 \u0445\u043e\u0434 \u043f\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 (\u0435\u0449\u0451 \u043d\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439) \u043e\u0446\u0435\u043d\u043a\u0435, \u0435\u0441\u0442\u044c \u0440\u0438\u0441\u043a \u0437\u0430\u0441\u0442\u0440\u044f\u0442\u044c \u0432 \u043b\u043e\u043a\u0430\u043b\u044c\u043d\u043e &#171;\u0443\u0432\u0435\u0440\u0435\u043d\u043d\u044b\u0445&#187;, \u043d\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0438\u0432\u043d\u043e \u0441\u043b\u0430\u0431\u044b\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f\u0445 &#8212; \u0441\u0435\u0442\u044c \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0445\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u0430 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u0438\u0437-\u0437\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0432\u0435\u0441\u043e\u0432) \u043e\u0446\u0435\u043d\u0438\u043b\u0430 \u043a\u0430\u043a \u043f\u043b\u043e\u0445\u0438\u0435, \u0438 \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0443\u0437\u043d\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043e\u043d\u0438 \u0445\u043e\u0440\u043e\u0448\u0438. \u0427\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u03b5-greedy \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f:\u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u03b5 \u0445\u043e\u0434 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e (\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 &#8212; \u0441\u0435\u0442\u044c \u043f\u0440\u043e\u0431\u0443\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435 \u0432\u044b\u0431\u0440\u0430\u043b\u0430 \u0431\u044b).\u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e (1 \u2212 \u03b5) \u0445\u043e\u0434 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0436\u0430\u0434\u043d\u043e, \u043f\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u0435\u0442\u0438 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u043d\u0438\u0439).\u0412\u043e \u0432\u0441\u0435\u0445 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f\u0445 \u03b5 \u043b\u0438\u043d\u0435\u0439\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0445\u043e\u0434\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0433\u043e \u0441\u0442\u0430\u0440\u0442\u043e\u0432\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f (\u043f\u043e-\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0.5) \u043a \u043d\u0438\u0437\u043a\u043e\u043c\u0443 (\u043f\u043e-\u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e 0.02):\u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0441\u0435\u0442\u044c \u0435\u0449\u0451 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u0442 \u043e\u0431 \u0438\u0433\u0440\u0435, \u0432\u044b\u0441\u043e\u043a\u0438\u0439 \u03b5 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u0435\u0442\u044c \u0430\u043a\u0442\u0438\u0432\u043d\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u0437\u0438\u0446\u0438\u0438 self-play, \u0430 \u043d\u0435 \u0431\u044b\u0441\u0442\u0440\u043e \u0437\u0430\u0446\u0438\u043a\u043b\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e &#171;\u043f\u043e\u043d\u0440\u0430\u0432\u0438\u0432\u0448\u0438\u0445\u0441\u044f&#187; \u043b\u0438\u043d\u0438\u044f\u0445 \u0438\u0433\u0440\u044b.\u043a \u043a\u043e\u043d\u0446\u0443 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0435\u0442\u0438 \u0443\u0436\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0442\u043e\u0447\u043d\u044b, \u043d\u0438\u0437\u043a\u0438\u0439 \u03b5 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0435\u0442\u0438 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c \u0438\u0433\u0440\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0435\u0434\u0435\u043b\u0435 \u0441\u0432\u043e\u0438\u0445 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439, \u043b\u0438\u0448\u044c \u0438\u0437\u0440\u0435\u0434\u043a\u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u044f\u0441\u044c \u0434\u043b\u044f \u0442\u043e\u0447\u0435\u0447\u043d\u043e\u0433\u043e \u0434\u043e\u043e\u0431\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.\u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e \u03b5-greedy \u0432\u043b\u0438\u044f\u0435\u0442 \u0438 \u043d\u0430 \u0442\u043e, \u043a\u0430\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u0438\u0434\u0438\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 (\u0434\u043b\u044f on-policy \u043c\u0435\u0442\u043e\u0434\u043e\u0432) \u043d\u0430 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 \u0441\u0430\u043c\u043e\u0433\u043e target-\u0430. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 Online TD(0) \u0441\u0435\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u043e\u0439 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0438\u0433\u0440\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0438\u0435 \u0445\u043e\u0434\u044b (\u044d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u0442\u043e, \u0447\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442 on-policy \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0442 off-policy, \u0433\u0434\u0435 Q-learning \u0447\u0435\u0440\u0435\u0437 max \u0446\u0435\u043b\u0438\u0442\u0441\u044f \u0432 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u0443 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u03b5).2. \u0410\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 \u0441\u0435\u0442\u0438\u0414\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0430 \u0441\u0445\u0435\u043c\u0430 \u0441 \u043e\u0434\u043d\u0438\u043c \u0441\u043a\u0440\u044b\u0442\u044b\u043c \u0441\u043b\u043e\u0435\u043c \u0438 tanh-\u0434\u043b\u044f \u0430\u043a\u0442\u0438\u0432\u0430\u0446\u0438\u0438: \u0432\u0445\u043e\u0434 \u2192 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (tanh) \u2192 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u0441\u043b\u043e\u0439 (tanh) \u2192 \u0432\u044b\u0445\u043e\u0434\u0421\u0435\u0442\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 NumPy. \u042f \u043d\u0435 \u0443\u0432\u0435\u0440\u0435\u043d, \u0447\u0442\u043e \u044d\u0442\u043e \u043b\u0443\u0447\u0448\u0430\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0430 (\u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0441\u0432\u044f\u0437\u043d\u044b\u0439 \u043f\u0435\u0440\u0446\u0435\u043f\u0442\u0440\u043e\u043d) \u0434\u043b\u044f \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0451 \u0432\u043f\u043e\u043b\u043d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e. \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441, \u0442\u043e \u0432 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0435 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0438 \u0441\u043e\u0441\u0442\u0430\u0432 \u0441\u043b\u043e\u0451\u0432.\u0421\u0438\u0433\u043d\u0430\u043b\u044b \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0441\u0435\u0442\u0438: \u22121  \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0448, 0 &#8212; \u043d\u0438\u0447\u044c\u044f\/\u043d\u0435\u0439\u0442\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0437\u0438\u0446\u0438\u044f, +1  \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0438\u0433\u0440\u044b\u0448. \u0414\u043b\u044f V(s)-\u0441\u0435\u0442\u0438 (Backward TD(0), Batch TD(0), Online TD(0), Monte Carlo): 9 \u0432\u0445\u043e\u0434\u043e\u0432, \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043d\u0430 \u043a\u043b\u0435\u0442\u043a\u0443 \u0434\u043e\u0441\u043a\u0438. \u041a\u043b\u0435\u0442\u043a\u0430 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a +1 (X), \u22121 (O) \u0438\u043b\u0438 0 (\u043f\u0443\u0441\u0442\u043e). \u041d\u0430 \u0441\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u043b\u043e\u0435 27 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u0434\u0438\u043d.\u0414\u043b\u044f Q(s, a)-\u0441\u0435\u0442\u0438 (Q-learning): 18 \u0432\u0445\u043e\u0434\u043e\u0432: 9 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (\u0434\u043e\u0441\u043a\u0430, \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0433\u0440\u043e\u043a\u0430, \u0441\u0432\u043e\u0438 \u0444\u0438\u0448\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 +1, \u0447\u0443\u0436\u0438\u0435 \u22121) \u043f\u043b\u044e\u0441 9 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f.  \u041d\u0430 \u0441\u043a\u0440\u044b\u0442\u043e\u043c \u0441\u043b\u043e\u0435 36 \u043d\u0435\u0439\u0440\u043e\u043d\u043e\u0432, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043e\u0434\u0438\u043d.3. \u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b\u041c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u043d\u0438\u0436\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0434\u043e\u0431\u0435\u043d \u0434\u043b\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f. 3.1 Backward Temporal Difference \/ Backward TD(0) \u0421\u043c. \u0444\u0430\u0439\u043b: tic_tac_toe_backwardTD.py\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430: \u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u043e\u0442\u043b\u043e\u0436\u0435\u043d\u043e \u0434\u043e \u043a\u043e\u043d\u0446\u0430 \u043f\u0430\u0440\u0442\u0438\u0438. \u0421\u0435\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0435 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f(bootstrapping) &#8212; \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0435\u043d\u0438\u0435\u043c TD-\u043e\u0446\u0435\u043d\u043a\u0438.\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\u0418\u0433\u0440\u0430 \u0438\u0433\u0440\u0430\u0435\u0442\u0441\u044f \u0434\u043e \u043a\u043e\u043d\u0446\u0430, \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 history = [S1,S2,&#8230;,Sn]\u041e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u0434\u0451\u0442 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442 i = n \u043a i = 1, \u043f\u0440\u0438\u0447\u0451\u043c \u043a\u0430\u0436\u0434\u043e\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0441\u0440\u0430\u0437\u0443 \u043c\u0435\u043d\u044f\u0435\u0442 \u0432\u0435\u0441\u0430 \u0441\u0435\u0442\u0438:\u0414\u043b\u044f i = n: target = result, \u0432\u0435\u0441\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f.\u0414\u043b\u044f i &lt; n: target = V(S{i+1}). \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 target \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043a\u0430\u043a \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0435\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f (\u0443\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0437\u0434\u043d\u0438\u0445 \u0445\u043e\u0434\u0430\u0445). \u0417\u0430\u0442\u0435\u043c \u0432\u0435\u0441\u0430 \u0441\u043d\u043e\u0432\u0430 \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u044e\u0442\u0441\u044f\u041f\u043e\u044f\u0441\u043d\u044f\u044e\u0449\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c \u0432\u044b\u0438\u0433\u0440\u0430\u043b X. \u041f\u0443\u0441\u0442\u044c \u044d\u0442\u043e\u043c\u0443 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 S5, \u0442.\u0435.: S1 \u2192 S2 \u2192 S3 \u2192 S4 \u2192 S5(\u043f\u043e\u0431\u0435\u0434\u0430). S5 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 result = 1.0.\u0422\u0435\u043f\u0435\u0440\u044c \u044d\u0442\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u043e\u0442\u044f\u0433\u0438\u0432\u0430\u0435\u0442\u0441\u044f(\u0431\u0443\u0442\u0441\u0442\u0440\u0435\u043f\u0438\u0442\u0441\u044f) \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043a \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c\u0443:S5 \u2192 target=result=1.0  S4 \u2192 target=V(S5)  S3 \u2192 target=V(S4)  S2 \u2192 target=V(S3)  S1 \u2192 target=V(S2)\u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0446\u0438\u044f TD-\u043e\u0448\u0438\u0431\u043a\u0438\u0442\u0435\u043a\u0443\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 S\u1d62        \u2502        \u25bc   V(S\u1d62) = net.forward(S\u1d62)     # \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0441\u0435\u0442\u0438        \u2502        \u25bc   target = V(S\u1d62\u208a\u2081)            # &#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-490295","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490295","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=490295"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/490295\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=490295"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=490295"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=490295"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}