{"id":444401,"date":"2025-01-09T09:11:09","date_gmt":"2025-01-09T09:11:09","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=444401"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=444401","title":{"rendered":"<span>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b \u0432 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0438<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041d\u0430 \u0441\u0432\u044f\u0437\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 X5 Tech. \u041c\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044b Reinforcement Learning \u0434\u043b\u044f \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043e\u043f\u0438\u0448\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0438\u0445.<\/p>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0432\u0443\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u00a0Reinforcement Learning (RL) \u0432 \u0432\u0438\u0434\u0435 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 (multi-armed bandits) \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0446\u0435\u043d \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0446\u0435\u043d\u043e\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0412\u00a0<a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/783390\/\">\u043f\u0435\u0440\u0432\u043e\u0439<\/a>\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u0432\u0430\u0440. \u0412\u043e <a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/826400\/\">\u0432\u0442\u043e\u0440\u043e\u0439<\/a> \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0443\u0447\u0435\u0441\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u0441\u0432\u0435\u0434\u044f \u0437\u0430\u0434\u0430\u0447\u0443 \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043e\u0439 \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438. <br \/>\u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u044b \u043f\u043e\u043b\u0430\u0433\u0430\u043b\u0438, \u0447\u0442\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u0438 \u0435\u0434\u0438\u043d\u043e\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0446\u0435\u043d\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0438, \u0447\u0442\u043e \u0441\u043f\u0440\u043e\u0441 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043f\u0440\u043e\u0441\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u043c, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u0440\u0430\u0442\u044c \u043e\u0442\u043a\u043b\u0438\u043a \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u0432\u044b\u043d\u0443\u0436\u0434\u0430\u0435\u0442 \u043d\u0430\u0441 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u0430\u0436\u0438 \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u044b\u043c\u0438, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0435\u0437\u043e\u043d\u043d\u044b\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u0442\u0440\u0435\u043d\u0434\u044b \u0438 \u0442. \u0434. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u0441\u0435 \u044d\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0443\u0447\u0442\u0435\u043d\u044b \u0432 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<h2>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 RL<\/h2>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 RL \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e <a href=\"https:\/\/arxiv.org\/pdf\/2201.09746\"><u>\u043a\u043d\u0438\u0433\u0435<\/u><\/a>:<\/p>\n<p><strong>Meta-heuristic \u2013<\/strong> \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u00abblack box \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438\u00bb, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0438\u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0435\u0434\u043e\u0439 \u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u043c. \u0421\u044e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u0438 \u043e\u0442\u0436\u0438\u0433\u0430 \u0438 \u043f\u0440.\u00a0<\/p>\n<p><strong>Policy gradient<\/strong> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 (REINFORCE).\u00a0<\/p>\n<p><strong>Value-based<\/strong> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043d\u0435\u044f\u0432\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0438\u044e \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439(Q-learning, DQN).<\/p>\n<p><strong>Model-based<\/strong> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0443\u0447\u0430\u0442 \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0435\u0434\u044b (MAB, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 MAB).<\/p>\n<p>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0430\u043c\u044b\u043c\u0438 \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043c\u0435\u0442\u0430-\u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445, \u0430 \u0441\u0430\u043c\u044b\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0442\u044f\u0436\u0435\u043b\u043e\u0432\u0435\u0441\u043d\u044b\u043c\u0438, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u044b model-based, \u0447\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043d\u0438\u0436\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/fab\/051\/1a9\/fab0511a9ddb5fb8c5d3e3b7e2c6bd06.png\" alt=\"\u0412\u0437\u044f\u0442\u043e \u0438\u0437 https:\/\/arxiv.org\/pdf\/2201.09746\" title=\"\u0412\u0437\u044f\u0442\u043e \u0438\u0437 https:\/\/arxiv.org\/pdf\/2201.09746\" width=\"1551\" height=\"335\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fab\/051\/1a9\/fab0511a9ddb5fb8c5d3e3b7e2c6bd06.png\"\/><\/p>\n<div><figcaption>\u0412\u0437\u044f\u0442\u043e \u0438\u0437 <a href=\"https:\/\/arxiv.org\/pdf\/2201.09746\"><u>https:\/\/arxiv.org\/pdf\/2201.09746<\/u><\/a><\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 RL, \u043c\u044b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0442\u0435\u0445 \u0438\u0437 \u043d\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. <\/strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 RL<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">MAB<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CMAB<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Q-learning<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">DQN<\/p>\n<\/td>\n<td>\n<p align=\"left\">DDGP<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\"> \u0422\u0438\u043f \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0412\u044b\u0431\u043e\u0440 \u0438\u0437 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0431\u043e\u0440 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0445<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0415\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0415\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0415\u0441\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u043d\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u043d\u043e\u0432\u0430<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Q-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0430\u0434<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (Actor-Critic)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u03b5-\u0436\u0430\u0434\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, UCB, Thompson sampling<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u03b5-\u0436\u0430\u0434\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, UCB, Thompson sampling<\/p>\n<\/td>\n<td>\n<p align=\"left\">Q-learning<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">DQN, Double DQN, Dueling DQN<\/p>\n<\/td>\n<td>\n<p align=\"left\">Actor-Critic, TD3, Twin Delayed DDPG<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0435, \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0424\u043e\u0440\u043c\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u043d\u0430\u0433\u0440\u0430\u0434\u0430\u043c\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\"> \u0422\u0430\u0431\u043b\u0438\u0446\u0430 Q-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0432\u0435 \u0441\u0435\u0442\u0438 (Actor \u0438 Critic)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041a\u043b\u0430\u0441\u0441 RL\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">model-based<\/p>\n<\/td>\n<td>\n<p align=\"left\">model-based<\/p>\n<\/td>\n<td>\n<p align=\"left\">value-based<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">value-based<\/p>\n<\/td>\n<td>\n<p align=\"left\">value-based + policy gradient<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u0432 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c CMAB \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>\u042d\u0442\u043e model-based \u043f\u043e\u0434\u0445\u043e\u0434, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0435\u0441\u0442\u044c \u043d\u0430\u0448\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u0437\u0430\u0434\u0430\u0447\u0435.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043c \u0432\u0430\u0436\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u043f\u043e\u0442\u0435\u0440\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0441 \u0447\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f CMAB.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442 \u0432 \u043f\u043e\u043b\u043d\u043e\u0439 \u043c\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c value-based \u0438 policy gradient \u043f\u043e\u0434\u0445\u043e\u0434\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0425\u043e\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0434\u043b\u044f \u043b\u044e\u0431\u044b\u0445 \u0446\u0435\u043d, \u0432\u044b\u0431\u0438\u0440\u0430\u044f \u0438\u0437 \u043d\u0438\u0445 \u043b\u0443\u0447\u0448\u0443\u044e.\u00a0<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon-\" alt=\"\\epsilon-\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d66\/3d2\/5ef\/d663d25ef7d39e15f6b7a1a31977b724.svg\" width=\"23\" height=\"16\"\/>greedy, softmax, UCB, Thompson Sampling \u0434\u043b\u044f MAB \u0431\u044b\u043b\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u044b \u0440\u0430\u043d\u0435\u0435, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0432 \u043d\u0430\u0448\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/783390\/\"><u>\u044d\u0442\u043e\u0439<\/u><\/a>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 CMAB \u0434\u043b\u044f \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u043e\u0431\u0437\u043e\u0440 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h2>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b<\/h2>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b(CMAB) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432. \u0426\u0435\u043b\u044c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043f\u0440\u0435\u0436\u043d\u0435\u0439 \u2013 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0440\u0443\u0447\u043a\u0443, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0443\u0447\u043a\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u2013 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0431 \u043e\u0431\u044a\u0435\u043a\u0442\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u0430\u043d\u0434\u0438\u0442 \u0432\u0438\u0434\u0438\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438 \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u043a\u043b\u0438\u043a \u043e\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0443\u0447\u0435\u043a. \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0439 \u0431\u0430\u043d\u0434\u0438\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0443\u0447\u0435\u043a, \u043d\u043e \u0438 \u0441\u0432\u044f\u0437\u0438 \u0440\u0443\u0447\u0435\u043a \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u0440\u0443\u0447\u043a\u0430\u043c\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u0446\u0435\u043d, \u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0438\u0449\u0435\u043c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0443\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0430\u0440\u0436\u0438. \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u0435\u0442 \u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0434\u0430\u0442\u0430 (\u0441\u0435\u0437\u043e\u043d), \u043c\u0430\u0433\u0430\u0437\u0438\u043d (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0433\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u2013 \u043f\u043b\u043e\u0449\u0430\u0434\u044c, \u0430\u0441\u0441\u043e\u0440\u0442\u0438\u043c\u0435\u043d\u0442, \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043a \u043c\u0435\u0442\u0440\u043e \u0438 \u0442. \u043f.), \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u0441\u043e\u0441\u0442\u0430\u0432 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432), \u043f\u043e\u0433\u043e\u0434\u0430. \u0412 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0438 \u0441\u0435\u0437\u043e\u043d \u0432 \u0432\u0438\u0434\u0435 \u043d\u043e\u043c\u0435\u0440\u0430 \u043d\u0435\u0434\u0435\u043b\u0438. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h3>\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0421\u043f\u0440\u043e\u0441 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u0443\u0434\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda(t, m, p)\" alt=\"\\lambda(t, m, p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc3\/873\/ee1\/bc3873ee18be5e7844dafd898d21b47a.svg\" width=\"78\" height=\"22\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\xi_{t,m,p} \\sim Poisson(\\lambda(t, m, p)),\" alt=\"\\xi_{t,m,p} \\sim Poisson(\\lambda(t, m, p)),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0a6\/fb5\/0cc\/0a6fb50cc44001a01ac70b5480746a60.svg\" width=\"238\" height=\"23\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/60e\/d0d\/4d1\/60ed0d4d1b297eca404da9710c3c014b.svg\" width=\"7\" height=\"16\"\/> \u2013 \u0432\u0440\u0435\u043c\u044f, \u043e\u0442\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u0432 \u043d\u0435\u0434\u0435\u043b\u044f\u0445, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043d\u0443\u043b\u044f;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m\" alt=\"m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/48d\/7ef\/df9\/48d7efdf9c53f186d1cedbf70aab6b40.svg\" width=\"17\" height=\"12\"\/> \u2013 \u043d\u043e\u043c\u0435\u0440 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430;<br \/> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf0\/69e\/1c6\/cf069e1c61547903d88a9ee560b71529.svg\" width=\"11\" height=\"15\"\/>\u2013 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u0446\u0435\u043d\u0430 \u043d\u0430 \u0442\u043e\u0432\u0430\u0440;<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u0440\u043e\u043c\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443 \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430. \u0418\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0434\u0430\u0436:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\lambda(t, m, p) = q_{m} \\cdot s(t) \\cdot r(p) = q_{m}\\exp \\left\\{ a_{1}\\sin(\\omega_{0}t) \\right\\} \\cdot \\exp\\left\\{ a_{2}\\frac{p-p_0}{p_0} \\right\\}, \\tag{1}\" alt=\"\\lambda(t, m, p) = q_{m} \\cdot s(t) \\cdot r(p) = q_{m}\\exp \\left\\{ a_{1}\\sin(\\omega_{0}t) \\right\\} \\cdot \\exp\\left\\{ a_{2}\\frac{p-p_0}{p_0} \\right\\}, \\tag{1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/045\/59c\/301\/04559c301cee8d099a14a72420d01e9f.svg\" width=\"697\" height=\"50\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_m\" alt=\"q_m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/799\/61a\/430\/79961a43014878d77c5cdf43661d47c2.svg\" width=\"23\" height=\"15\"\/> \u2013 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0434\u0430\u0436 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 m \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b5f\/048\/c51\/b5f048c513bdcdbf43341a18c7b1bdbe.svg\" width=\"7\" height=\"16\"\/>=0 \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p=p_0\" alt=\"p=p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1d\/097\/4c1\/c1d0974c1939c16f39219ae3c5928ea0.svg\" width=\"55\" height=\"15\"\/>;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s(t)\" alt=\"s(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/053\/a6b\/036\/053a6b036bff0d39c35f0aac1ef0b285.svg\" width=\"31\" height=\"22\"\/> \u2013 \u0441\u0435\u0437\u043e\u043d\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u0438\u043b\u0438 \u0441\u0435\u0437\u043e\u043d\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r(p)\" alt=\"r(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/762\/73f\/121\/76273f12126c5de49a7d0dd41c826269.svg\" width=\"34\" height=\"22\"\/> \u2013 \u0447\u0430\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0437\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_1\" alt=\"a_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d44\/8cb\/e78\/d448cbe78050cfbce2006a38d0fccfa6.svg\" width=\"19\" height=\"14\"\/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0441\u0438\u043b\u0443 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 \u043d\u0430 \u043f\u0440\u043e\u0434\u0430\u0436\u0438;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_2\" alt=\"a_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e9\/81b\/89d\/3e981b89dbf9078ebff082de8df73a4e.svg\" width=\"19\" height=\"14\"\/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0441\u0438\u043b\u0443 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0446\u0435\u043d\u044b \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_0\" alt=\"p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/73d\/fe9\/6f9\/73dfe96f973cd183fddaf048f2b00e12.svg\" width=\"19\" height=\"15\"\/> \u043d\u0430 \u043f\u0440\u043e\u0434\u0430\u0436\u0438;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\omega_0\" alt=\"\\omega_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99f\/443\/289\/99f443289db91b25611798e4840972af.svg\" width=\"21\" height=\"15\"\/> \u2013 \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 (\u0440\u0430\u0434.\/\u043d\u0435\u0434.);<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_0\" alt=\"p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62f\/276\/5d5\/62f2765d5a779c1f87512157ee1549b5.svg\" width=\"19\" height=\"15\"\/> \u2013 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043f\u043e\u0440\u043d\u0430\u044f \u0446\u0435\u043d\u0430, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_m\" alt=\"q_m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/227\/3a4\/aaf\/2273a4aaf7b614d1438daaccbb12ed39.svg\" width=\"23\" height=\"15\"\/>, \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t = 0\" alt=\"t = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9d\/1fa\/95b\/d9d1fa95bbf0b34bb069cb8372370c58.svg\" width=\"43\" height=\"17\"\/>.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439, \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0434\u0430\u0436 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/461\/095\/e64\/461095e64745d54381faf5901a1adce9.svg\" width=\"11\" height=\"17\"\/> \u0438 \u043c\u0430\u0440\u0436\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M = \\lambda(0, m, p) \\cdot (p-c)\" alt=\"M = \\lambda(0, m, p) \\cdot (p-c)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d6\/48d\/b03\/0d648db03b0c06bd0db6da08b75ec9ed.svg\" width=\"199\" height=\"22\"\/> \u043e\u0442 \u0446\u0435\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0430 \u0440\u0438\u0441. 1-3:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7b5\/58e\/217\/7b558e217ffdc23d1ef78b404bb6ac91.png\" alt=\"\u0420\u0438\u0441. 1. \u0426\u0435\u043d\u043e\u0432\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0438  = 48,  = -1.5\" title=\"\u0420\u0438\u0441. 1. \u0426\u0435\u043d\u043e\u0432\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0438  = 48,  = -1.5\" width=\"695\" height=\"452\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b5\/58e\/217\/7b558e217ffdc23d1ef78b404bb6ac91.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 1<\/strong>. \u0426\u0435\u043d\u043e\u0432\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p_0\" alt=\"p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/30\/300\/300e8f5ec4863b76b9c7e4e76b349545.svg\" width=\"auto\" height=\"auto\"\/> = 48, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_2\" alt=\"a_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/115\/bc0\/3e6\/115bc03e65403a397bc7f74d892a1d78.svg\" width=\"16\" height=\"11\"\/> = -1.5<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/eae\/a2b\/c28\/eaea2bc28c3fbd7473a2a5b64562df05.png\" alt=\"\u0420\u0438\u0441. 2. \u0421\u0435\u0437\u043e\u043d\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u0438  =  \u2013 \u0433\u043e\u0434\u043e\u0432\u0430\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0441\u0442\u044c, \" title=\"\u0420\u0438\u0441. 2. \u0421\u0435\u0437\u043e\u043d\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u0438  =  \u2013 \u0433\u043e\u0434\u043e\u0432\u0430\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0441\u0442\u044c, \" width=\"695\" height=\"452\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eae\/a2b\/c28\/eaea2bc28c3fbd7473a2a5b64562df05.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 2.<\/strong> \u0421\u0435\u0437\u043e\u043d\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\omega_0\" alt=\"\\omega_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be7\/f68\/eb8\/be7f68eb8bba046e885ab3918be52f57.svg\" width=\"17\" height=\"13\"\/> = <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"2\\pi \/ (365.25 \/ 7)\" alt=\"2\\pi \/ (365.25 \/ 7)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee5\/1c3\/5d3\/ee51c35d3bbb00b144d3b89ed0d0495c.svg\" width=\"98\" height=\"18\"\/> \u2013 \u0433\u043e\u0434\u043e\u0432\u0430\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0441\u0442\u044c, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_1 = 0.5\" alt=\"a_1 = 0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/565\/757\/c14\/565757c144e3586c75bb85934e44fc7a.svg\" width=\"57\" height=\"16\"\/><\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a94\/20d\/dfd\/a9420ddfd845c845b8f9bb50d117f9f2.png\" alt=\"\u0420\u0438\u0441. 3. \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438  \u043f\u0440\u0438 \" title=\"\u0420\u0438\u0441. 3. \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438  \u043f\u0440\u0438 \" width=\"699\" height=\"452\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a94\/20d\/dfd\/a9420ddfd845c845b8f9bb50d117f9f2.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 3.<\/strong> \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t=0\" alt=\"t=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fb\/516\/727\/4fb5167270f4d1abb2a29957a962ad92.svg\" width=\"35\" height=\"14\"\/> \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c=20\" alt=\"c=20\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f26\/c66\/06a\/f26c6606ae277cd247cb849ce268da61.svg\" width=\"44\" height=\"14\"\/><\/figcaption><\/div>\n<\/figure>\n<h2>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h2>\n<h3>Thompson Sampling(TS) \u0438 UCB<\/h3>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c TS, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0433\u0440\u0430\u0434, \u0447\u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u043c\u0443 \u0432\u044b\u0432\u043e\u0434\u0443 \u2013 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u044b.<\/p>\n<p>\u0414\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 TS \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" i\" alt=\" i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/914\/758\/0b2\/9147580b2061511e51ba68cba4e4fd16.svg\" width=\"7\" height=\"16\"\/> \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t =\" alt=\"t =\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8dd\/1b4\/41e\/8dd1b441ef6b0b6b32933a8d5f517790.svg\" width=\"28\" height=\"16\"\/> \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043d\u043e\u043c\u0435\u0440 \u043d\u0435\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432 \u0440\u043e\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0432\u044b\u0431\u043e\u0440 \u0442\u043e\u0439 \u0446\u0435\u043d\u044b \u0438\u0437 \u0441\u0435\u0442\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P\" alt=\"P\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/606\/d15\/19e\/606d1519e6f1c6cb3705e18400d0c985.svg\" width=\"15\" height=\"17\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u0448 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u2013 \u043c\u0430\u0440\u0436\u0443:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat{p}_{t, m}^{*} = \\arg\\max_{p \\in P}  \\left[(p-c)\\cdot \\hat{\\xi}(\\theta, x_{t, m, p}) \\right] \\tag{2},\" alt=\"\\hat{p}_{t, m}^{*} = \\arg\\max_{p \\in P}  \\left[(p-c)\\cdot \\hat{\\xi}(\\theta, x_{t, m, p}) \\right] \\tag{2},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f70\/c0b\/e33\/f70c0be335812a2a14cc0a2f25994a59.svg\" width=\"697\" height=\"43\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{\\xi}(\\theta, x_{t, m, p})\" alt=\"\\hat{\\xi}(\\theta, x_{t, m, p})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d1a\/d3f\/038\/d1ad3f0388abbff856e90691df8ac975.svg\" width=\"90\" height=\"27\"\/>\u2013 \u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043f\u0440\u043e\u0441\u0430 \u0432 \u0442\u043e\u0447\u043a\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_{t, m, p}\" alt=\"x_{t, m, p}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/01b\/1ca\/440\/01b1ca4409fccf07a0a8906a4940ce6c.svg\" width=\"45\" height=\"17\"\/> \u043f\u0440\u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043e\u043c \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\theta \\sim p(\\theta|D_{t})\" alt=\"\\theta \\sim p(\\theta|D_{t})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/502\/ab4\/54d\/502ab454dafad94f0046e176354255dc.svg\" width=\"98\" height=\"22\"\/>.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430 UCB (\u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430), \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440 \u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0430\u0445 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u0438\u0445 \u043e\u0446\u0435\u043d\u043e\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat{p}^*_{t,m} = \\arg\\max_{p \\in P} \\left[ (p-c) \\cdot \\big(\\overline{\\xi}(\\theta, x_{t,m,p}) + \\beta \\cdot \\delta(\\theta, x_{t,m,p}) \\big) \\right], \\tag{3}\" alt=\"\\hat{p}^*_{t,m} = \\arg\\max_{p \\in P} \\left[ (p-c) \\cdot \\big(\\overline{\\xi}(\\theta, x_{t,m,p}) + \\beta \\cdot \\delta(\\theta, x_{t,m,p}) \\big) \\right], \\tag{3}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c61\/785\/03a\/c6178503a401f4b9c1711c7e8962cebe.svg\" width=\"697\" height=\"43\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\overline{\\xi}(\\theta, x_{t,m,p})\" alt=\"\\overline{\\xi}(\\theta, x_{t,m,p})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/242\/274\/029\/242274029b01dabb8c4b2ab62b9b6577.svg\" width=\"88\" height=\"29\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta(\\theta, x_{t,m,p})\" alt=\"\\delta(\\theta, x_{t,m,p})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f63\/ab7\/8e7\/f63ab78e710f001ece5bd47786c34f04.svg\" width=\"87\" height=\"23\"\/>\u2013 \u044d\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0430 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0441\u043f\u0440\u043e\u0441\u0430 \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u0447\u043a\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_{t, m, p}\" alt=\"x_{t, m, p}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b2\/081\/ef3\/3b2081ef3b04d2f6cceea3fc151d239c.svg\" width=\"45\" height=\"17\"\/>, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f8\/a34\/2a2\/2f8a342a27ad6702a692d5635527454f.svg\" width=\"11\" height=\"20\"\/>\u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0443\u0440\u043e\u0432\u043d\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<h2>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h2>\n<p>\u0414\u043b\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0442\u043a\u043b\u0438\u043a \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2013 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441.\u00a0<\/p>\n<h3>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/h3>\n<p>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f(\u0411\u041b\u0420) \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u043f\u0440\u043e\u0434\u0430\u0436\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u043e \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q \\sim Poisson(\\lambda)\" alt=\"q \\sim Poisson(\\lambda)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/630\/8fc\/280\/6308fc280c6575d2e15338bd03f845c0.svg\" width=\"132\" height=\"22\"\/>, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0431\u043e\u0431\u0449\u0451\u043d\u043d\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u0447\u0435\u0440\u0435\u0437 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b:<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\lambda = \\exp(\\theta \\cdot x)\" alt=\" \\lambda = \\exp(\\theta \\cdot x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/624\/749\/039\/6247490397d4bf501c345459359412cc.svg\" width=\"117\" height=\"22\"\/><\/p>\n<p>\u0426\u0435\u043b\u044c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u2013 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\theta|D)\" alt=\"p(\\theta|D)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d1a\/6ca\/107\/d1a6ca107c2fa685fcd4e67f6fd55bcc.svg\" width=\"57\" height=\"22\"\/> \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"D\" alt=\"D\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebf\/2bb\/a8a\/ebf2bba8a9f2ecb0c8bd7a495541382e.svg\" width=\"16\" height=\"17\"\/> \u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\theta)\" alt=\"p(\\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04e\/89f\/5a2\/04e89f5a206862b458c6106cb48c7dc4.svg\" width=\"35\" height=\"22\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(\\theta|D) = p(D|\\theta) \\cdot p(\\theta) \/ p(D),\" alt=\"p(\\theta|D) = p(D|\\theta) \\cdot p(\\theta) \/ p(D),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c83\/f7a\/bc8\/c83f7abc8a76b92c78370250b819eac6.svg\" width=\"244\" height=\"22\"\/><\/p>\n<p>\u0437\u0434\u0435\u0441\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(D|\\theta)\" alt=\"p(D|\\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/183\/77b\/04a\/18377b04aa1ed8c6e81775a4680c1292.svg\" width=\"57\" height=\"22\"\/> \u2013 \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435.\u00a0<\/p>\n<p>\u0412\u044b\u043f\u0438\u0448\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f CMAB:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\lambda(p, m, t) = \\exp\\{w_0 +  \\sum_{i=1}^{n} w_i I[i=m] + \\\\ a_1 \\cdot \\sin(\\omega_0 \\cdot t) + \\ a_2 \\cdot \\cos(\\omega_0 \\cdot t) + \\\\ e_1 \\cdot \\ln(p) + e_2 \\cdot p\\} \\tag{4},\" alt=\"\\lambda(p, m, t) = \\exp\\{w_0 +  \\sum_{i=1}^{n} w_i I[i=m] + \\\\ a_1 \\cdot \\sin(\\omega_0 \\cdot t) + \\ a_2 \\cdot \\cos(\\omega_0 \\cdot t) + \\\\ e_1 \\cdot \\ln(p) + e_2 \\cdot p\\} \\tag{4},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3e3\/029\/87f\/3e302987f1a812f39f21f47dcb3649e0.svg\" width=\"697\" height=\"113\"\/><\/p>\n<p>\u0433\u0434\u0435<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_0\" alt=\"w_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/12a\/06d\/350\/12a06d35073d0870a60ac0e272c404d3.svg\" width=\"23\" height=\"15\"\/> \u2013 \u044d\u0442\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435(\u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430);<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_i\" alt=\"w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4ad\/909\/d8c\/4ad909d8cbdb53dc49609b5f78ec928b.svg\" width=\"21\" height=\"15\"\/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0440\u043e\u0434\u0430\u0436 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u043f\u043e\u0434 \u043d\u043e\u043c\u0435\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c2a\/455\/6e3\/c2a4556e3995c73da89bea272a99324b.svg\" width=\"7\" height=\"16\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0434\u0435\u0441\u044c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u043b\u0438 one-hot-encoding, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u0432 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u043e\u0434\u0430\u0436 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_1, a_2\" alt=\"a_1, a_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d74\/c63\/483\/d74c634837e1250a35ac01b6adc06877.svg\" width=\"47\" height=\"15\"\/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044e \u0432 \u0440\u044f\u0434 \u0424\u0443\u0440\u044c\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u043b\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0433\u043e\u0434\u043e\u0432\u043e\u0439 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0441 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\omega_0\" alt=\"\\omega_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bec\/8e7\/dc1\/bec8e7dc180423db547b439aa4c48b15.svg\" width=\"21\" height=\"15\"\/>;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e_1, e_2\" alt=\"e_1, e_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0cb\/9e0\/06c\/0cb9e006c53359460c6a01e757d6ddb7.svg\" width=\"45\" height=\"15\"\/> \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0435 \u0437\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u0446\u0435\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de2\/3b3\/8e6\/de23b38e6a92928e522f6e40eb9d87c4.svg\" width=\"11\" height=\"15\"\/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 <em>log-log<\/em> \u0438 <em>log-lin<\/em> \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b. <br \/>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (1), \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e_2 = a_2 \/ p_0\" alt=\"e_2 = a_2 \/ p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a9a\/7d0\/f7c\/a9a7d0f7c09d3d9c49ea322e6e926eda.svg\" width=\"92\" height=\"22\"\/>.\u00a0<br \/>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0445 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e TS \u0438\u043b\u0438 UCB.<br \/>\u0421\u0445\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043e\u043f\u0438\u0448\u0435\u043c \u043d\u0438\u0436\u0435 \u0432 \u201c\u0421\u0445\u0435\u043c\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u201d.<br \/>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 (4) \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Python \u0434\u043b\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f PyMC. \u042d\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0438\u0441\u043a\u043e\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u044d\u0442\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Monte Carlo Markov Chain (MCMC) &#8212; \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0435\u0433\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 NUTS(No-U-Turn Sampler) \u2013 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u043f\u043e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Hamiltonian_Monte_Carlo\">\u0441\u0441\u044b\u043b\u043a\u0435<\/a>.<br \/>\u0422\u0430\u043a \u043a\u0430\u043a \u0441\u044d\u043c\u043f\u043b\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\theta_i, i=1,s\\}\" alt=\"\\{\\theta_i, i=1,s\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/25c\/6c4\/af5\/25c6c4af5cc11c6750523ed810fdbf78.svg\" width=\"105\" height=\"22\"\/> \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u2013 \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f TS, \u0430 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u044d\u043c\u043f\u043b\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u2013 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{\\mu}(t, m, p) = \\frac{1}{s}\\sum_{i=1}^{s} \\lambda(t, m, p|\\theta_i) , \\ \\hat{\\sigma}^2(t, m, p) = \\frac{1}{s} \\sum_{i=1}^{s} \\lambda(t, m, p|\\theta_i)^2 -\u00a0 \\hat{\\mu}^2(t, m, p)\" alt=\"\\hat{\\mu}(t, m, p) = \\frac{1}{s}\\sum_{i=1}^{s} \\lambda(t, m, p|\\theta_i) , \\ \\hat{\\sigma}^2(t, m, p) = \\frac{1}{s} \\sum_{i=1}^{s} \\lambda(t, m, p|\\theta_i)^2 -\u00a0 \\hat{\\mu}^2(t, m, p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d5\/c17\/7ea\/1d5c177ea00ba27c9b52c5fa6f856d19.svg\" width=\"654\" height=\"57\"\/>.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043f\u0438\u0448\u0435\u043c \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<h3>\u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b<\/h3>\n<p>\u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b (\u0413\u041f) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, GP \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, \u0437\u0430\u0434\u0430\u0432\u0430\u044f \u0438\u0445 \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e (\u044f\u0434\u0440\u043e).<br \/>GP \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u044e\u0431\u043e\u0435 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 f(x) \u043f\u043e\u0434\u0447\u0438\u043d\u044f\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u043c\u0443 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"f(X) \\sim \\mathcal{N}(m(X), K(X, X)),\" alt=\"f(X) \\sim \\mathcal{N}(m(X), K(X, X)),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d45\/5e4\/930\/d455e4930758ecfce91464aa401e0cdc.svg\" width=\"241\" height=\"23\"\/><\/p>\n<p>\u0433\u0434\u0435<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m(X)\" alt=\"m(X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d1\/b64\/45f\/1d1b6445f6947d697fdb1c4d99a2d9e7.svg\" width=\"49\" height=\"22\"\/> \u2014 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u0430\u044f \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c\u0430\u044f \u0440\u0430\u0432\u043d\u043e\u0439 0 \u0434\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K(X, X)\" alt=\"K(X, X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c45\/ece\/d9d\/c45eced9d31a1a9c243ab0d84c0d99f2.svg\" width=\"75\" height=\"22\"\/> \u2014 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u044f\u0434\u0440\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" k(x, x')\" alt=\" k(x, x')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c9\/1ce\/2fd\/5c91ce2fd02418e36c091f9bf334ac37.svg\" width=\"62\" height=\"23\"\/>.<br \/>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u044f\u0434\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"k(x, x')\" alt=\"k(x, x')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dbf\/dc4\/2e5\/dbfdc42e5fa625d3048ae447a80e24e1.svg\" width=\"62\" height=\"23\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438: \u0433\u043b\u0430\u0434\u043a\u043e\u0441\u0442\u044c, \u043f\u0435\u0440\u0438\u043e\u0434\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u0442. \u0434. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044f\u0434\u0440\u043e \u0440\u0430\u0434\u0438\u0430\u043b\u044c\u043d\u043e-\u0431\u0430\u0437\u0438\u0441\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (RBF):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"k(x, x') = \\sigma_f^2 \\exp\\left(-\\frac{(x - x')^2}{2l^2}\\right),\" alt=\"k(x, x') = \\sigma_f^2 \\exp\\left(-\\frac{(x - x')^2}{2l^2}\\right),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bbf\/f3f\/b7e\/bbff3fb7e3f444f2626b77d7ec31195a.svg\" width=\"275\" height=\"52\"\/><\/p>\n<p>\u0433\u0434\u0435<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\sigma_f^2\" alt=\" \\sigma_f^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f68\/a66\/bee\/f68a66bee38fa799a4618ac0472e2fb5.svg\" width=\"21\" height=\"28\"\/> \u2014 \u043c\u0430\u0441\u0448\u0442\u0430\u0431 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0439, \u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" l\" alt=\" l\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/000\/583\/cf3\/000583cf3ce49cdf2662b494272d4071.svg\" width=\"6\" height=\"17\"\/> \u2014 \u0434\u043b\u0438\u043d\u0430 \u043c\u0430\u0441\u0448\u0442\u0430\u0431\u0430 (\u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438).<br \/>\u0415\u0441\u043b\u0438 \u043e\u0442\u043a\u043b\u0438\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f69\/941\/97b\/f6994197b0a7cc867d74618d8dbe3e0a.svg\" width=\"10\" height=\"16\"\/> \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0448\u0443\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon \\sim \\mathcal{N}(0, \\sigma_n^2))\" alt=\"\\epsilon \\sim \\mathcal{N}(0, \\sigma_n^2))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a09\/45a\/6b5\/a0945a6b5ede9983f011019cc8c59df8.svg\" width=\"116\" height=\"23\"\/>, \u044d\u0442\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0448\u0443\u043c\u0430 \u043a \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u0430\u0442\u0440\u0438\u0446\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\" K(X, X) \\to K(X, X) + \\sigma_n^2 I.\" alt=\" K(X, X) \\to K(X, X) + \\sigma_n^2 I.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/959\/2d9\/219\/9592d921957df7197f75eadddd5348d1.svg\" width=\"241\" height=\"23\"\/><\/p>\n<p>\u0411\u043e\u043b\u044c\u0448\u0435 \u043f\u0440\u043e \u0432\u044b\u0431\u043e\u0440 \u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u044f\u0434\u0435\u0440 \u043c\u043e\u0436\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0437\u043d\u0430\u0442\u044c <a href=\"https:\/\/www.cs.toronto.edu\/~duvenaud\/cookbook\/\">\u0437\u0434\u0435\u0441\u044c<\/a>.\u00a0<br \/>\u0414\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0431\u043e\u0440\u0435 \u0442\u043e\u0447\u0435\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"X_* = \\{x_1, x_2, \\dots, x_m\\}\" alt=\"X_* = \\{x_1, x_2, \\dots, x_m\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/321\/038\/2de\/3210382de5954ca73a4b654a9f30f397.svg\" width=\"189\" height=\"22\"\/> \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u00a0\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(X_*)\" alt=\"f(X_*)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c25\/6b5\/2e2\/c256b52e21dd909a1910d64349c09dff.svg\" width=\"51\" height=\"22\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"f(X_*) \\sim \\mathcal{N}(\\mu_*, \\Sigma_*),\" alt=\"f(X_*) \\sim \\mathcal{N}(\\mu_*, \\Sigma_*),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fca\/c14\/312\/fcac143123c6372a85edc58080a42f0e.svg\" width=\"169\" height=\"23\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p>c\u0440\u0435\u0434\u043d\u0435\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu_* = K(X_*, X)[K(X, X) + \\sigma_n^2 I]^{-1} y\" alt=\"\\mu_* = K(X_*, X)[K(X, X) + \\sigma_n^2 I]^{-1} y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/456\/a0d\/e92\/456a0de9224158e99b383d01053f4279.svg\" width=\"300\" height=\"25\"\/>,<br \/>\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430:<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Sigma_* = K(X_*, X_*) - K(X_*, X)[K(X, X) + \\sigma_n^2 I]^{-1}K(X, X_*);\" alt=\"\\Sigma_* = K(X_*, X_*) - K(X_*, X)[K(X, X) + \\sigma_n^2 I]^{-1}K(X, X_*);\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b3\/d89\/c75\/6b3d89c759e05c2da812e5c38558cbba.svg\" width=\"497\" height=\"25\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K(X_*, X_*)\" alt=\"K(X_*, X_*)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/25d\/6db\/698\/25d6db69898f14c07b2efa59ba56ccb2.svg\" width=\"92\" height=\"22\"\/> \u2014 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0434\u043b\u044f \u043d\u043e\u0432\u044b\u0445 \u0442\u043e\u0447\u0435\u043a;<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K(X_*, X)\" alt=\"K(X_*, X)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2fd\/1a0\/15b\/2fd1a015ba5a7e5c05e9309d27efa61a.svg\" width=\"83\" height=\"22\"\/> \u2014 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c\u0438 \u0438 \u043d\u043e\u0432\u044b\u043c\u0438 \u0442\u043e\u0447\u043a\u0430\u043c\u0438.<\/p>\n<p>\u0414\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043c\u0430\u0440\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\log p(y|X) = -\\frac{1}{2} y^\\top K^{-1} y - \\frac{1}{2} \\log|K| - \\frac{n}{2} \\log(2\\pi),\" alt=\"\\log p(y|X) = -\\frac{1}{2} y^\\top K^{-1} y - \\frac{1}{2} \\log|K| - \\frac{n}{2} \\log(2\\pi),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/289\/59f\/ac4\/28959fac435888a490738b4d0bca5fb7.svg\" width=\"420\" height=\"43\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"K = K(X, X) + \\sigma_n^2 I.\" alt=\"K = K(X, X) + \\sigma_n^2 I.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/262\/d16\/53f\/262d1653f17683a892d8b74c93e22787.svg\" width=\"179\" height=\"23\"\/>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u044f\u0434\u0440\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma_f^2, l, \\sigma_n^2 \" alt=\"\\sigma_f^2, l, \\sigma_n^2 \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f9\/2a7\/1d6\/9f92a71d666bf71a0046c6b7f543b4ae.svg\" width=\"65\" height=\"28\"\/>.<\/p>\n<p>\u0414\u043b\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 GP \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e \u0441 TS \u0438\u043b\u0438 UCB:<\/p>\n<ul>\n<li>\n<p>TS: \u0421\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" f(x)\" alt=\" f(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a17\/9c8\/bca\/a179c8bcab22985f4f922b5139daa81d.svg\" width=\"37\" height=\"22\"\/>, \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_*\" alt=\"x_*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a94\/19b\/b99\/a9419bb9914de1217f673c882df86fe1.svg\" width=\"20\" height=\"14\"\/> \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p>UCB (Upper Confidence Bound): \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430:<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"UCB(x) = \\mu(x) + \\beta \\cdot\\sigma(x)\" alt=\"UCB(x) = \\mu(x) + \\beta \\cdot\\sigma(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e03\/deb\/842\/e03deb842d57267a0debcd7be98d917f.svg\" width=\"222\" height=\"22\"\/>,<br \/>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu(x)\" alt=\"\\mu(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03f\/b5d\/20e\/03fb5d20ec8017d6ca1cb19935c95575.svg\" width=\"38\" height=\"22\"\/> \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma(x)\" alt=\"\\sigma(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b1\/c01\/67d\/3b1c0167d697ea5a5274c1153c1c9cc1.svg\" width=\"38\" height=\"22\"\/> \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f6\/337\/47e\/0f633747e0f67a6fc07a86a332912576.svg\" width=\"11\" height=\"20\"\/> \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <em>\u0440\u0430\u0437\u0440\u0435\u0436\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435\u043c<\/em> (\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f <a href=\"https:\/\/etheses.whiterose.ac.uk\/9968\/1\/Damianou_Thesis.pdf#section.2.2\">\u0437\u0434\u0435\u0441\u044c<\/a>, \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0435\u0441\u0442\u044c \u0432 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 <a href=\"https:\/\/docs.pyro.ai\/en\/stable\/contrib.gp.html#module-pyro.contrib.gp.models.sgpr\">pyro<\/a>), \u0447\u0442\u043e\u0431\u044b \u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u0441 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0443\u0447\u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0440\u043e\u0434\u0443 \u0434\u0430\u043d\u043d\u044b\u0445.<br \/>\u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e, \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f <em>\u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u044f\u0434\u0440\u0430<\/em> \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0431\u043a\u043e\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445. \u042d\u0442\u043e\u0442 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e\u0434\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0438\u0437 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u0438. \u0422\u0430\u043a \u043a\u0430\u043a \u0443 \u043d\u0430\u0441 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u043b\u043e\u0441\u0441, \u044d\u0442\u0430 \u0441\u0435\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u043e\u0431\u0443\u0447\u0430\u0442\u044c\u0441\u044f \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u044f\u0434\u0440\u0430\u043c\u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u043c\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u043e\u0434\u0430\u043c\u0438.<\/p>\n<h2>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n<h4>\u0421\u0445\u0435\u043c\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h4>\n<p>\u041e\u043f\u0438\u0448\u0435\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0448\u0430\u0433\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430:<\/p>\n<ol>\n<li>\n<p>\u0420\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0446\u0435\u043d \u0438\u0437 \u0441\u0435\u0442\u043a\u0438 \u043d\u0430 \u0432\u0441\u0435 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0432 \u0432\u0438\u0434\u0435 \u043f\u0440\u043e\u0434\u0430\u0436 \u0441\u043f\u0443\u0441\u0442\u044f \u043e\u0434\u0438\u043d \u043f\u0435\u0440\u0438\u043e\u0434.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<ol>\n<li>\n<p>\u0421\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u0434\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 TS.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u0435\u0440\u0445\u043d\u0435\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u0434\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 UCB.<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<li>\n<p>\u0412\u044b\u0431\u043e\u0440 \u0446\u0435\u043d \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0444\u043e\u0440\u043c\u0443\u043b (2) \u0438 (3) \u0434\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 TS \u0438 UCB \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0446\u0435\u043d \u043a \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u0430\u043b\u0435\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u044e\u0442\u0441\u044f \u0448\u0430\u0433\u0438 1-6 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u0432, \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0434\u0438\u043d \u043f\u0435\u0440\u0438\u043e\u0434 \u2013 \u043d\u0435\u0434\u0435\u043b\u044f.<br \/>\u0426\u0435\u043b\u044c \u2013 \u043d\u0430\u0439\u0442\u0438 \u0435\u0434\u0438\u043d\u0443\u044e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0446\u0435\u043d\u0443 \u043d\u0430 \u0432\u0441\u0435 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b.<br \/>\u0412\u0441\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u044f \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 \u0434\u043b\u044f TS \u0438 UCB \u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 \u043e\u0442\u043e\u0431\u0440\u0430\u0437\u0438\u043b\u0438 \u043d\u0430 \u0441\u0445\u0435\u043c\u0435 \u043d\u0438\u0436\u0435:<\/p>\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/5d9\/a5a\/e96\/5d9a5ae9699c9c71d27fc015fe1f37db.jpg\" alt=\"\u0420\u0438\u0441. 4. \u0421\u0445\u0435\u043c\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f TS \u0438 UCB \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438(\u0411\u041b\u0420) \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c(\u0413\u041f)\" title=\"\u0420\u0438\u0441. 4. \u0421\u0445\u0435\u043c\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f TS \u0438 UCB \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438(\u0411\u041b\u0420) \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c(\u0413\u041f)\" width=\"5034\" height=\"3177\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d9\/a5a\/e96\/5d9a5ae9699c9c71d27fc015fe1f37db.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 4.<\/strong> \u0421\u0445\u0435\u043c\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f TS \u0438 UCB \u0441 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438(\u0411\u041b\u0420) \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c(\u0413\u041f)<\/figcaption><\/div>\n<\/figure>\n<h4>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445<\/h4>\n<p>\u0414\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0431\u044b\u043b\u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:<br \/>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n = 300\" alt=\"n = 300\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/023\/3a0\/9b9\/0233a09b9bf3c7d461fd773aac2f8a74.svg\" width=\"67\" height=\"17\"\/><\/p>\n<p>\u0421\u0435\u0442\u043a\u0430 \u0446\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_{g} = [40.0, 44.0, 48.0, 52.0, 56.0]\" alt=\"p_{g} = [40.0, 44.0, 48.0, 52.0, 56.0]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac0\/43d\/82c\/ac043d82cb58150db21e713d43bdead9.svg\" width=\"265\" height=\"23\"\/><\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_m\" alt=\"q_m\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ab\/f99\/290\/1abf99290e469d697cad2a75126a7764.svg\" width=\"23\" height=\"15\"\/> \u0434\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 (1) \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0438\u0437 \u0433\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Gamma(shape=4.0, scale=3.5)\" alt=\"Gamma(shape=4.0, scale=3.5)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec9\/2ff\/989\/ec92ff9892dd326faac9247882cdeda5.svg\" width=\"289\" height=\"22\"\/><br \/>\u042d\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u043f\u0440\u043e\u0434\u0430\u0436\u0430\u043c 14.0 \u043d\u0430 \u043c\u0430\u0433\u0430\u0437\u0438\u043d \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u043c\u0443 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044e 7.0,\u00a0<br \/>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_0\" alt=\"p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e3e\/ef4\/be8\/e3eef4be8a37ad9640db2d10cf1fa9eb.svg\" width=\"19\" height=\"15\"\/> = 33.0,<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_1 = 0.5\" alt=\"a_1 = 0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/631\/5df\/617\/6315df617f0f08c6f3e34bfa098e833b.svg\" width=\"70\" height=\"19\"\/>, <br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_2 = -1.5\" alt=\"a_2 = -1.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/594\/6ad\/701\/5946ad7018d60d5421f962291b25d3cd.svg\" width=\"86\" height=\"19\"\/>,<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c = 28,\" alt=\"c = 28,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b9c\/00e\/4e6\/b9c00e4e68af9c73c7e84398e9f4d2d2.svg\" width=\"60\" height=\"20\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\omega_0 = 2*\\pi \/(365.25\/7)\" alt=\"\\omega_0 = 2*\\pi \/(365.25\/7)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e8\/bbc\/04a\/2e8bbc04a523f013399d524ddf72b3c7.svg\" width=\"186\" height=\"22\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T = 11\" alt=\"T = 11\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03f\/442\/a71\/03f442a71348ad8e4e666e90926eecf9.svg\" width=\"59\" height=\"17\"\/> &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u0432(\u043d\u0435\u0434\u0435\u043b\u044c)(\u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043d\u0443\u043b\u0435\u0432\u0443\u044e \u0441 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0446\u0435\u043d \u043f\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430\u043c).<br \/>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n_{iter} = 1\" alt=\"n_{iter} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/845\/297\/f6a\/845297f6a7010262d1a48d110cf4af6c.svg\" width=\"72\" height=\"20\"\/>.<br \/>\u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0446\u0435\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_k \" alt=\"p_k \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7c\/aa4\/916\/b7caa49165ca8deaed85b231de1774b6.svg\" width=\"20\" height=\"15\"\/>\u0438\u0437 \u0441\u0435\u0442\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_g\" alt=\"p_g\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/224\/f5c\/5c8\/224f5c5c8ffe7192c8933f61b6295a38.svg\" width=\"19\" height=\"17\"\/> \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t=0\" alt=\"t=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b5b\/fe3\/e32\/b5bfe3e32d3db3cd42bc290701199c95.svg\" width=\"43\" height=\"17\"\/>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{p_k} = \\sum_{i=1}^{n} (p_k - c) \\cdot \\lambda(0, i, p_k)\" alt=\"M_{p_k} = \\sum_{i=1}^{n} (p_k - c) \\cdot \\lambda(0, i, p_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1dc\/b8f\/b0c\/1dcb8fb0c006e96f74d6bfb5fa50a1b2.svg\" width=\"249\" height=\"57\"\/><\/p>\n<p>\u043a\u043e\u0442\u043e\u0440\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u043e \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435 2. \u0422\u0430\u043c \u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043e, \u043a\u0430\u043a\u0443\u044e \u0434\u043e\u043b\u044e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043c\u0430\u0440\u0436\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430 \u0432 \u0442\u043e\u0447\u043a\u0435 52.0. \u0417\u0430\u043c\u0435\u0442\u0438\u043c \u0442\u0430\u043a\u0436\u0435, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0432 \u0442\u043e\u0447\u043a\u0435 52.0 \u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (1) \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u0413\u0440\u0430\u0444\u0438\u043a \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 5.<\/p>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 2. <\/strong>\u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">\u0426\u0435\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0430\u0440\u0436\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u043b\u044f \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430, %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">40<\/p>\n<\/td>\n<td>\n<p align=\"left\">35891<\/p>\n<\/td>\n<td>\n<p align=\"left\">86.3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">44<\/p>\n<\/td>\n<td>\n<p align=\"left\">39899<\/p>\n<\/td>\n<td>\n<p align=\"left\">95.9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">48<\/p>\n<\/td>\n<td>\n<p align=\"left\">41582<\/p>\n<\/td>\n<td>\n<p align=\"left\">99.9<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">52<\/p>\n<\/td>\n<td>\n<p align=\"left\">41503<\/p>\n<\/td>\n<td>\n<p align=\"left\">100.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"234\" width=\"234\">\n<p align=\"left\">56<\/p>\n<\/td>\n<td>\n<p align=\"left\">49468<\/p>\n<\/td>\n<td>\n<p align=\"left\">97.3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7a2\/205\/294\/7a22052942bc2964d06a2ea2987280f9.png\" alt=\"\u0420\u0438\u0441. 5. \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 t=0\" title=\"\u0420\u0438\u0441. 5. \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 t=0\" width=\"717\" height=\"452\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7a2\/205\/294\/7a22052942bc2964d06a2ea2987280f9.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 5.<\/strong> \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 t=0<\/figcaption><\/div>\n<\/figure>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 \u0434\u043b\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430.<\/p>\n<h4>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/h4>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0440\u0430\u0441\u0447\u0451\u0442, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438:\u00a0<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_0 \\sim Normal(0.0, 1.0)\" alt=\"w_0 \\sim Normal(0.0, 1.0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc5\/b1b\/611\/cc5b1b611d287e0d5e990bedceb1583a.svg\" width=\"192\" height=\"22\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_i \\sim Normal(2.63, 2)\" alt=\"w_i \\sim Normal(2.63, 2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41c\/d74\/34c\/41cd7434cf98894c79b99416267a590a.svg\" width=\"184\" height=\"22\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a_1, a_2 \\sim Normal(0.0, 2.0)\" alt=\"a_1, a_2 \\sim Normal(0.0, 2.0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/deb\/c5e\/e70\/debc5ee70223ed246c05e48b22d7e74e.svg\" width=\"216\" height=\"22\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e_1 \\sim Normal(0.0, 10.0)\" alt=\"e_1 \\sim Normal(0.0, 10.0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d14\/6fd\/2c9\/d146fd2c9a8bd9091d564517d9deba31.svg\" width=\"197\" height=\"22\"\/><br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e_2\u223cNormal(0.0,0.1)\" alt=\"e_2\u223cNormal(0.0,0.1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e72\/82c\/7fe\/e7282c7fe52981001832a48d0ea5de5e.svg\" width=\"187\" height=\"22\"\/><\/p>\n<h4>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h4>\n<p>\u0412 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u044b\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u0442\u0440\u0438 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438: TS, UCB-1, UCB-2 (\u0447\u0438\u0441\u043b\u043e \u043f\u043e\u0441\u043b\u0435 \u0442\u0438\u0440\u0435 \u2013 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\" alt=\"\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/07b\/6d1\/5ee\/07b6d15ee4af5184429aab998b686f22.svg\" width=\"11\" height=\"20\"\/> \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0435 (3)).<br \/>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0438\u0441\u044c, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0445\u0435\u043c\u0435 \u043d\u0430 \u0440\u0438\u0441. 4 \u0434\u043b\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438. \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439 \u0431\u044b\u043b\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0432 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 10 \u2013 \u044d\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0432\u0435\u0441\u044c \u0440\u044f\u0434 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0437\u0430 \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f, \u043d\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043e\u043d \u0432 11 \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u0432 \u0432 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438 \u0443\u0445\u043e\u0434\u0438\u043b\u043e 20-30 \u043c\u0438\u043d\u0443\u0442.\u00a0<br \/>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0432 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445.<br \/>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 regret \u0438 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0439 regret \u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445 \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u044b \u043d\u0430 \u0440\u0438\u0441. 6. Regret \u0437\u0434\u0435\u0441\u044c \u0441\u0447\u0438\u0442\u0430\u043b\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u0435\u0434\u0435\u043b\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u043b\u043e\u0441\u044c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043c\u0430\u0440\u0436\u0438 \u043f\u0440\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u0435, \u0434\u0430\u043b\u0435\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u044b\u0447\u0438\u0442\u0430\u043b\u043e\u0441\u044c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043c\u0430\u0440\u0436\u0438 \u043f\u0440\u0438 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0446\u0435\u043d\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"regret_{t} =M_{t, opt} -M_{t} = \\sum_{i=1}^{s}(p_{opt} - c) \\cdot \\lambda(p_{opt}, i, t) - \\sum_{i=1}^{s} (p_i - c) \\cdot \\lambda(p_i, i, t),\u00a0\" alt=\"regret_{t} =M_{t, opt} -M_{t} = \\sum_{i=1}^{s}(p_{opt} - c) \\cdot \\lambda(p_{opt}, i, t) - \\sum_{i=1}^{s} (p_i - c) \\cdot \\lambda(p_i, i, t),\u00a0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c8\/4d2\/996\/6c84d299659e2b050a60e721c1221461.svg\" width=\"629\" height=\"57\"\/><\/p>\n<p>regret % \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u0440\u043e\u0446\u0435\u043d\u0442 regret \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 t: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"regret_t \\%= 100\\% \\cdot M_t \/M_{t,opt}\" alt=\"regret_t \\%= 100\\% \\cdot M_t \/M_{t,opt}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/99a\/a82\/acc\/99aa82accdc02b22a657bac988d9c651.svg\" width=\"246\" height=\"23\"\/><\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/47f\/179\/adb\/47f179adbaed3bc409368efe9bc229b4.png\" alt=\"\u0420\u0438\u0441. 6. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 Regret \u0434\u043b\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438\" title=\"\u0420\u0438\u0441. 6. \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 Regret \u0434\u043b\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438\" width=\"1427\" height=\"707\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/47f\/179\/adb\/47f179adbaed3bc409368efe9bc229b4.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 6.<\/strong> \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 Regret \u0434\u043b\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b UCB-1 \u0438\u00a0UCB-2 \u043e\u0431\u0433\u043e\u043d\u044f\u044e\u0442 TS, \u043c\u0435\u0436\u0434\u0443 UCB-1\u00a0\u0438 UCB-2 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439.\u00a0<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/98d\/1ac\/484\/98d1ac48480c465d1c76af5daec3c0ab.png\" alt=\"\u0420\u0438\u0441. 7. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0434\u043e\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432\" title=\"\u0420\u0438\u0441. 7. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0434\u043e\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432\" width=\"1428\" height=\"947\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/98d\/1ac\/484\/98d1ac48480c465d1c76af5daec3c0ab.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 7.<\/strong> \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0434\u043e\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0435 \u0446\u0435\u043d \u043d\u0430 \u0440\u0438\u0441. 7 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432\u0441\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043a \u0448\u0430\u0433\u0443 1 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0441\u0430\u043c\u0443\u044e \u0445\u0443\u0434\u0448\u0443\u044e \u0446\u0435\u043d\u0443 \u043d\u0430 \u0441\u0435\u0442\u043a\u0435 40.0, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 13.7%(\u0442\u0430\u0431\u043b\u0438\u0446\u0430 2), \u043a \u0448\u0430\u0433\u0443 2 \u043e\u043d\u0430 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0441\u043a\u043b\u044e\u0447\u0435\u043d\u0430 \u043a\u0430\u043a \u0431\u0435\u0441\u043f\u0435\u0440\u0441\u043f\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f. \u041a \u0448\u0430\u0433\u0443 2 \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432\u0442\u043e\u0440\u0443\u044e \u0445\u0443\u0434\u0448\u0443\u044e \u0446\u0435\u043d\u0443 44.0. \u0422\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0440\u0430\u0437\u0443 \u0438\u0441\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0446\u0435\u043d\u0443 40.0, \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0442\u0435\u043c, \u0447\u0442\u043e \u0443\u0436\u0435 \u043d\u0430 0 \u0448\u0430\u0433\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0446\u0435\u043d\u043e\u0432\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c. \u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 8 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0430 \u0433\u0438\u0441\u0442\u043e\u0433\u0440\u0430\u043c\u043c\u0430 \u0441\u044d\u043c\u043f\u043b\u043e\u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e_1\" alt=\"e_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f5\/516\/33f\/5f551633fe7e807ff3d73c1071a99608.svg\" width=\"18\" height=\"14\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"e_2\" alt=\"e_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7b\/4a1\/9f5\/e7b4a19f5c475a5f46a243b65577d439.svg\" width=\"18\" height=\"14\"\/> (\u0432\u0437\u044f\u0442\u044b\u0445 \u0438\u0437 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0438 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439), \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0445 \u0437\u0430 \u0446\u0435\u043d\u043e\u0432\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0441\u0434\u0432\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043a \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c(\u0440\u0438\u0441. 8).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a07\/541\/563\/a075415635eab2cb27732f993ad7cef8.png\" alt=\"\u0420\u0438\u0441. 8. \u0410\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0438 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 \u0446\u0435\u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\" title=\"\u0420\u0438\u0441. 8. \u0410\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0438 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 \u0446\u0435\u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c\" width=\"760\" height=\"415\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a07\/541\/563\/a075415635eab2cb27732f993ad7cef8.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 8. <\/strong>\u0410\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0438 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 \u0446\u0435\u043d\u043e\u0432\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0430 \u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 9. \u0417\u0434\u0435\u0441\u044c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043e\u043c \u0441\u0435\u0440\u043e\u0433\u043e \u043e\u0442 \u0442\u0451\u043c\u043d\u043e\u0433\u043e \u043a \u0441\u0432\u0435\u0442\u043b\u043e\u043c\u0443 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0432 1, 2, 3 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u044b\u0445 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f. \u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0446\u0435\u043d\u0430 40 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0445\u0443\u0436\u0435 \u0442\u0435\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 44.0.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/655\/0b1\/7b1\/6550b17b1a0274c54c1d58d5ed70706b.png\" alt=\"\u0420\u0438\u0441. 9. \u041e\u0446\u0435\u043d\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0441 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u043c\u0438\" title=\"\u0420\u0438\u0441. 9. \u041e\u0446\u0435\u043d\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0441 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u043c\u0438\" width=\"651\" height=\"448\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/655\/0b1\/7b1\/6550b17b1a0274c54c1d58d5ed70706b.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 9<\/strong>. \u041e\u0446\u0435\u043d\u043a\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0441 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u043c\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0441\u0440\u0435\u0434\u0438 \u0434\u0432\u0443\u0445 \u0446\u0435\u043d 48.0 \u0438 52.0, \u043a \u0434\u0435\u0441\u044f\u0442\u043e\u043c\u0443 \u0448\u0430\u0433\u0443 \u0447\u0430\u0449\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043d\u0430 52.0 (\u0442\u0430\u0431\u043b\u0438\u0446\u0430 3).<\/p>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 3<\/strong>. \u0421\u0440\u0435\u0434\u043d\u0438\u0435 \u0434\u043e\u043b\u0438 \u0446\u0435\u043d \u0432 % \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td colspan=\"5\">\n<p align=\"left\">\u0426\u0435\u043d\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">40<\/p>\n<\/td>\n<td>\n<p align=\"left\">44<\/p>\n<\/td>\n<td>\n<p align=\"left\">48<\/p>\n<\/td>\n<td>\n<p align=\"left\">52<\/p>\n<\/td>\n<td>\n<p align=\"left\">56<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">TS<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">36.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">63.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">UCB-1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">40.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">UCB-2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">39.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">60.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0422\u0430\u043a\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435\u00a0\u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043c\u0430\u0440\u0436\u0430 \u0432 \u044d\u0442\u0438\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0430 0.1%, \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0442\u044c \u044d\u0442\u0438 \u0434\u0432\u0435 \u0442\u043e\u0447\u043a\u0438 \u0438\u0437-\u0437\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u043c\u0430\u043b\u043e\u0433\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f, \u043d\u043e \u0432 \u0446\u0435\u043b\u043e\u043c, \u0435\u0441\u043b\u0438 \u0441\u0443\u0434\u0438\u0442\u044c \u043f\u043e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0435 TS, \u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0430\u0431\u043e\u0440\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0447\u0430\u0449\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0446\u0435\u043d\u0430 \u043f\u043e \u043c\u0435\u0440\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0432 \u0442\u0430\u043a\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u0435\u0441\u0442\u044c \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0443\u0431\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b.\u00a0<br \/>\u0415\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c \u2013 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0441\u0430\u043c\u0443\u044e \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0449\u0443\u044e\u0441\u044f \u0446\u0435\u043d\u0443 \u0437\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 3 \u043d\u0435\u0434\u0435\u043b\u0438, \u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b UCB \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u043c\u0435\u0436\u0434\u0443 \u0446\u0435\u043d\u0430\u043c 48.0 \u0438 52.0 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e 50\/50%, \u0430 TS \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0432 90% \u0441\u043b\u0443\u0447\u0430\u0435\u0432.<\/p>\n<h4>\u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441<\/h4>\n<p>\u042d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0441 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\u043c\u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u043b\u0441\u044f \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u043c\u0443 \u043f\u043e \u0441\u0445\u0435\u043c\u0435 \u0438\u0437 \u0440\u0438\u0441\u0443\u043d\u043a\u0430 4. \u0417\u0434\u0435\u0441\u044c \u0434\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0433\u0438\u0431\u043a\u043e\u0441\u0442\u0438 \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u044f\u0434\u0440\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u044f\u0434\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"NN \\to \\prod_i {RBF(z_i, z_{i}\u2019)}\" alt=\"NN \\to \\prod_i {RBF(z_i, z_{i}\u2019)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cc0\/ddb\/5b5\/cc0ddb5b57e7279524c5b96b1abd6367.svg\" width=\"193\" height=\"45\"\/>.\u00a0\u041e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043e\u043d \u0432 11 \u043d\u0435\u0434\u0435\u043b\u044c \u0437\u0430\u043d\u0438\u043c\u0430\u043b \u043e\u043a\u043e\u043b\u043e 3-4 \u043c\u0438\u043d\u0443\u0442. \u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u043d \u0440\u0438\u0441\u0443\u043d\u043e\u043a 10 \u0441 \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u043e\u0439 regret % \u0438 cumulative regret % \u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0430 4 \u0441 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f\u043c\u0438 \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0435\u0439:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3c9\/099\/7b5\/3c90997b5e18ea50b479410bc8a8c599.png\" alt=\"\u0420\u0438\u0441.10 \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 Regret \u0434\u043b\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\" title=\"\u0420\u0438\u0441.10 \u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 Regret \u0434\u043b\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430\" width=\"1427\" height=\"707\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c9\/099\/7b5\/3c90997b5e18ea50b479410bc8a8c599.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441.10 <\/strong>\u041f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 Regret \u0434\u043b\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 4.<\/strong> \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u043f\u043e \u043d\u0435\u0434\u0435\u043b\u044f\u043c 0-10 \u0432\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p align=\"left\">\u041c\u043e\u0434\u0435\u043b\u044c<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">Regret %<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p align=\"left\">\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">TS<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.66<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p align=\"left\">\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">UCB-1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.56<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">UCB-2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.55<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p align=\"left\">\u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">TS<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p align=\"left\">\u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">UCB-1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"305\" width=\"305\">\n<p align=\"left\">\u0413\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441<\/p>\n<\/td>\n<td data-colwidth=\"206\" width=\"206\">\n<p align=\"left\">UCB-2<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.6<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041f\u043e \u0442\u0430\u0431\u043b\u0438\u0446\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0441 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c \u043f\u043e\u0434\u0445\u043e\u0434 UCB \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435. \u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434\u0445\u043e\u0434 UCB \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0430\u0445 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0435\u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043d\u0430 \u0440\u0438\u0441. 11 \u2013 \u0434\u043e\u043b\u044f \u0446\u0435\u043d \u0434\u043b\u044f UCB \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043a\u0430\u0447\u0435\u0442, \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u043a TS, \u0445\u043e\u0442\u044c \u0438 \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u043e, \u043d\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u043e \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f, \u0447\u0430\u0449\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0438 \u0441\u0443\u0431\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0446\u0435\u043d\u0443. \u041c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 TS \u043e\u0431\u0443\u0441\u043b\u043e\u0432\u043b\u0435\u043d\u0430 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430. <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/534\/d64\/fe4\/534d64fe423f82c245da98235b0c1db6.png\" alt=\"\u0420\u0438\u0441. 11 \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0434\u043e\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441 \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c\" title=\"\u0420\u0438\u0441. 11 \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0434\u043e\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441 \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c\" width=\"1428\" height=\"947\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/534\/d64\/fe4\/534d64fe423f82c245da98235b0c1db6.png\"\/><\/p>\n<div><figcaption><strong>\u0420\u0438\u0441. 11<\/strong> \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u0434\u043e\u043b\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0441 \u0413\u0430\u0443\u0441\u0441\u043e\u0432\u044b\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u043c<\/figcaption><\/div>\n<\/figure>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041c\u044b \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 RL \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u044b\u043b \u0432\u044b\u0431\u0440\u0430\u043d \u043c\u0435\u0442\u043e\u0434 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043c\u043d\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432. \u0414\u0430\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e \u0438\u0437\u0443\u0447\u0438\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b UCB \u0438 TS \u0434\u043b\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0438 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430.  \u041f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438\u043c \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0432\u044b\u0432\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043d\u0430 \u0431\u0430\u0437\u0435 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438:<\/p>\n<ul>\n<li>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0441\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0435\u0448\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<li>\n<p>UCB \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u043b\u0443\u0447\u0448\u0438\u0435, \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 TS, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044e regret.<\/p>\n<\/li>\n<li>\n<p>UCB \u043f\u0440\u043e\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 TS, \u0435\u0441\u043b\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u044b\u0431\u043e\u0440\u0430 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u2013 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c\u0430\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0446\u0435\u043d\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u0430\u0436\u043d\u043e \u043e\u0440\u0438\u0435\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0442\u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u0435\u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f  \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430:<\/p>\n<ul>\n<li>\n<p>UCB \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0435\u0431\u044f \u043b\u0443\u0447\u0448\u0435, \u043d\u043e TS \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0435\u0431\u044f \u0431\u043e\u043b\u0435\u0435 \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u044b\u043c.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0434\u043b\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u0434\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u0430\u0441 \u0434\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u043f\u0443\u0442\u0451\u043c \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u044f\u0434\u0440\u0430 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u0431\u0449\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u2013 \u043f\u043e\u0434\u0445\u043e\u0434 \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u043c\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u043c\u0438 \u0431\u0430\u043d\u0434\u0438\u0442\u0430\u043c\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0433\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430 \u0432 \u043f\u0440\u043e\u0434\u0430\u0436\u0430\u0445.    <\/p>\n<p>\u041d\u0430\u0434 \u0441\u0442\u0430\u0442\u044c\u0451\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 <a href=\"https:\/\/ru.linkedin.com\/in\/mikhail-budylin-15b25220a\">\u041c\u0438\u0445\u0430\u0438\u043b \u0411\u0443\u0434\u044b\u043b\u0438\u043d<\/a>, \u0415\u0433\u043e\u0440 \u0413\u043e\u0440\u044e\u043d\u043e\u0432 \u0438 <a href=\"https:\/\/www.linkedin.com\/in\/anton-denisov-71b98715a\/\">\u0410\u043d\u0442\u043e\u043d \u0414\u0435\u043d\u0438\u0441\u043e\u0432<\/a>.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/870012\/\"> https:\/\/habr.com\/ru\/articles\/870012\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041d\u0430 \u0441\u0432\u044f\u0437\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 X5 Tech. \u041c\u044b \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u0435\u043c \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0445\u043e\u0434\u044b Reinforcement Learning \u0434\u043b\u044f \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438, \u043e\u043f\u0438\u0448\u0435\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0438\u0445.<\/p>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0434\u0432\u0443\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u00a0Reinforcement Learning (RL) \u0432 \u0432\u0438\u0434\u0435 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 (multi-armed bandits) \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0446\u0435\u043d \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0446\u0435\u043d\u043e\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0412\u00a0<a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/783390\/\">\u043f\u0435\u0440\u0432\u043e\u0439<\/a>\u00a0\u0441\u0442\u0430\u0442\u044c\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u043d\u0430 \u043e\u0434\u0438\u043d \u0442\u043e\u0432\u0430\u0440. \u0412\u043e <a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/826400\/\">\u0432\u0442\u043e\u0440\u043e\u0439<\/a> \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0443\u0447\u0435\u0441\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u0441\u0432\u0435\u0434\u044f \u0437\u0430\u0434\u0430\u0447\u0443 \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043e\u0439 \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438. <br \/>\u0412 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u044b \u043f\u043e\u043b\u0430\u0433\u0430\u043b\u0438, \u0447\u0442\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0439 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u0438 \u0435\u0434\u0438\u043d\u043e\u0439 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0446\u0435\u043d\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0447\u0438\u0442\u0430\u043b\u0438, \u0447\u0442\u043e \u0441\u043f\u0440\u043e\u0441 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0441\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0435\u043c. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043f\u0440\u043e\u0441\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043e\u043d \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u043c, \u0438\u0437-\u0437\u0430 \u0447\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0441\u0442\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0443\u0441\u043b\u043e\u0436\u043d\u044f\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u043e \u0432\u0441\u0435\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445 \u043f\u043e\u0434\u0440\u0430\u0437\u0443\u043c\u0435\u0432\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u0440\u0430\u0442\u044c \u043e\u0442\u043a\u043b\u0438\u043a \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u0432\u044b\u043d\u0443\u0436\u0434\u0430\u0435\u0442 \u043d\u0430\u0441 \u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u043f\u0440\u043e\u0434\u0430\u0436\u0438 \u043c\u0435\u0436\u0434\u0443 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u044b\u043c\u0438, \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0441\u0435\u0437\u043e\u043d\u043d\u044b\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u0442\u0440\u0435\u043d\u0434\u044b \u0438 \u0442. \u0434. \u041e\u0434\u043d\u0430\u043a\u043e \u0432\u0441\u0435 \u044d\u0442\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0443\u0447\u0442\u0435\u043d\u044b \u0432 \u043f\u043e\u0434\u0445\u043e\u0434\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<h2>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 RL<\/h2>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 RL \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e <a href=\"https:\/\/arxiv.org\/pdf\/2201.09746\"><u>\u043a\u043d\u0438\u0433\u0435<\/u><\/a>:<\/p>\n<p><strong>Meta-heuristic \u2013<\/strong> \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u00abblack box \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438\u00bb, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0438\u043a\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0443 \u0432\u0437\u0430\u0438\u043c\u043e\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0435\u0434\u043e\u0439 \u0438 \u0430\u0433\u0435\u043d\u0442\u043e\u043c. \u0421\u044e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043e\u0442\u043d\u0435\u0441\u0442\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0433\u0435\u043d\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b, \u0438\u043c\u0438\u0442\u0430\u0446\u0438\u0438 \u043e\u0442\u0436\u0438\u0433\u0430 \u0438 \u043f\u0440.\u00a0<\/p>\n<p><strong>Policy gradient<\/strong> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u0430 \u043f\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 (REINFORCE).\u00a0<\/p>\n<p><strong>Value-based<\/strong> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043d\u0435\u044f\u0432\u043d\u043e \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0438\u044e \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439(Q-learning, DQN).<\/p>\n<p><strong>Model-based<\/strong> \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0443\u0447\u0430\u0442 \u0438\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0440\u0435\u0434\u044b (MAB, \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 MAB).<\/p>\n<p>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u0430\u043c\u044b\u043c\u0438 \u043d\u0435\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u044b, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043c\u0435\u0442\u0430-\u044d\u0432\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u0445, \u0430 \u0441\u0430\u043c\u044b\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u043c\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0442\u044f\u0436\u0435\u043b\u043e\u0432\u0435\u0441\u043d\u044b\u043c\u0438, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u044b model-based, \u0447\u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0430 \u043d\u0438\u0436\u0435:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0412\u0437\u044f\u0442\u043e \u0438\u0437 <a href=\"https:\/\/arxiv.org\/pdf\/2201.09746\"><u>https:\/\/arxiv.org\/pdf\/2201.09746<\/u><\/a><\/figcaption><\/div>\n<\/figure>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u044b\u0445 \u0432\u0438\u0434\u043e\u0432 RL, \u043c\u044b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0442\u0435\u0445 \u0438\u0437 \u043d\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0442 \u0434\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n<p><strong>\u0422\u0430\u0431\u043b\u0438\u0446\u0430 1. <\/strong>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 RL<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">MAB<\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>CMAB<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\">Q-learning<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">DQN<\/p>\n<\/td>\n<td>\n<p align=\"left\">DDGP<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\"> \u0422\u0438\u043f \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0412\u044b\u0431\u043e\u0440 \u0438\u0437 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0412\u044b\u0431\u043e\u0440 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0445<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u044f\u0445 \u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0415\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u0442<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0415\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0415\u0441\u0442\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u043d\u0435 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0414\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0441\u043d\u043e\u0432\u0430<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0430\u0434\u044b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u0430 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">Q-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0433\u0440\u0430\u0434<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u043e\u043b\u0438\u0442\u0438\u043a\u0438 \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0446\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (Actor-Critic)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u03b5-\u0436\u0430\u0434\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, UCB, Thompson sampling<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u03b5-\u0436\u0430\u0434\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f, UCB, Thompson sampling<\/p>\n<\/td>\n<td>\n<p align=\"left\">Q-learning<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">DQN, Double DQN, Dueling DQN<\/p>\n<\/td>\n<td>\n<p align=\"left\">Actor-Critic, TD3, Twin Delayed DDPG<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0421\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0411\u044b\u0441\u0442\u0440\u0430\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0435\u0434\u043b\u0435\u043d\u043d\u0430\u044f<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041c\u0435\u0434\u043b\u0435\u043d\u043d\u043e\u0435, \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043c\u043d\u043e\u0433\u043e \u0434\u0430\u043d\u043d\u044b\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0417\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u0447\u0438<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0424\u043e\u0440\u043c\u0430 \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u0422\u0430\u0431\u043b\u0438\u0446\u0430 \u0441 \u043d\u0430\u0433\u0440\u0430\u0434\u0430\u043c\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\"> \u0422\u0430\u0431\u043b\u0438\u0446\u0430 Q-\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041d\u0435\u0439\u0440\u043e\u043d\u043d\u0430\u044f \u0441\u0435\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f Q-\u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u0432\u0435 \u0441\u0435\u0442\u0438 (Actor \u0438 Critic)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">\u041a\u043b\u0430\u0441\u0441 RL\u00a0<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">model-based<\/p>\n<\/td>\n<td>\n<p align=\"left\">model-based<\/p>\n<\/td>\n<td>\n<p align=\"left\">value-based<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">value-based<\/p>\n<\/td>\n<td>\n<p align=\"left\">value-based + policy gradient<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u043b\u044f \u043d\u0430\u0448\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u0432 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c CMAB \u043f\u043e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>\u042d\u0442\u043e model-based \u043f\u043e\u0434\u0445\u043e\u0434, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0443\u0447\u0435\u0441\u0442\u044c \u043d\u0430\u0448\u0438 \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u0437\u0430\u0434\u0430\u0447\u0435.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043c \u0432\u0430\u0436\u043d\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0435\u043d\u0435\u0436\u043d\u044b\u0435 \u043f\u043e\u0442\u0435\u0440\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f, \u0441 \u0447\u0435\u043c \u0442\u0430\u043a\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f CMAB.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e \u043d\u0435 \u0434\u0430\u0451\u0442 \u0432 \u043f\u043e\u043b\u043d\u043e\u0439 \u043c\u0435\u0440\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c value-based \u0438 policy gradient \u043f\u043e\u0434\u0445\u043e\u0434\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0425\u043e\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0435, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0434\u043b\u044f \u043b\u044e\u0431\u044b\u0445 \u0446\u0435\u043d, \u0432\u044b\u0431\u0438\u0440\u0430\u044f \u0438\u0437 \u043d\u0438\u0445 \u043b\u0443\u0447\u0448\u0443\u044e.\u00a0<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0434\u0445\u043e\u0434\u044b greedy, softmax, UCB, Thompson Sampling \u0434\u043b\u044f MAB \u0431\u044b\u043b\u0438 \u0438\u0437\u0443\u0447\u0435\u043d\u044b \u0440\u0430\u043d\u0435\u0435, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0432 \u043d\u0430\u0448\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/783390\/\"><u>\u044d\u0442\u043e\u0439<\/u><\/a>. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 CMAB \u0434\u043b\u044f \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u043e\u0431\u0437\u043e\u0440 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0438\u043d\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<h2>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b<\/h2>\n<p>\u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0435 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b(CMAB) \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435\u043c \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432. \u0426\u0435\u043b\u044c \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f \u043f\u0440\u0435\u0436\u043d\u0435\u0439 \u2013 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0440\u0443\u0447\u043a\u0443, \u043d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0443\u0447\u043a\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u2013 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0431 \u043e\u0431\u044a\u0435\u043a\u0442\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0431\u0430\u043d\u0434\u0438\u0442 \u0432\u0438\u0434\u0438\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0438 \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u043e\u0442\u043a\u043b\u0438\u043a \u043e\u0442 \u0440\u0430\u0437\u043d\u044b\u0445 \u0440\u0443\u0447\u0435\u043a. \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0439 \u0431\u0430\u043d\u0434\u0438\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0440\u0443\u0447\u0435\u043a, \u043d\u043e \u0438 \u0441\u0432\u044f\u0437\u0438 \u0440\u0443\u0447\u0435\u043a \u0441 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044e \u0440\u0443\u0447\u043a\u0430\u043c\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0431\u043e\u0440 \u0446\u0435\u043d, \u0441\u0440\u0435\u0434\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0438\u0449\u0435\u043c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0443\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0430\u0440\u0436\u0438. \u041a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u0435\u0442 \u044f\u0432\u043b\u044f\u0442\u044c\u0441\u044f \u0434\u0430\u0442\u0430 (\u0441\u0435\u0437\u043e\u043d), \u043c\u0430\u0433\u0430\u0437\u0438\u043d (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0433\u043e \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0438 \u2013 \u043f\u043b\u043e\u0449\u0430\u0434\u044c, \u0430\u0441\u0441\u043e\u0440\u0442\u0438\u043c\u0435\u043d\u0442, \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u043a \u043c\u0435\u0442\u0440\u043e \u0438 \u0442. \u043f.), \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u043a\u0440\u0443\u0436\u0435\u043d\u0438\u0435 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u0441\u043e\u0441\u0442\u0430\u0432 \u043a\u043e\u043d\u043a\u0443\u0440\u0435\u043d\u0442\u043e\u0432), \u043f\u043e\u0433\u043e\u0434\u0430. \u0412 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u0438 \u0441\u0435\u0437\u043e\u043d \u0432 \u0432\u0438\u0434\u0435 \u043d\u043e\u043c\u0435\u0440\u0430 \u043d\u0435\u0434\u0435\u043b\u0438. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043b\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<h3>\u041c\u043e\u0434\u0435\u043b\u044c \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<p>\u0421\u043f\u0440\u043e\u0441 \u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u0443\u0434\u0435\u043c \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0441 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 :<\/p>\n<p>\u0433\u0434\u0435  \u2013 \u0432\u0440\u0435\u043c\u044f, \u043e\u0442\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c\u043e\u0435 \u0432 \u043d\u0435\u0434\u0435\u043b\u044f\u0445, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u043d\u0443\u043b\u044f;<br \/> \u2013 \u043d\u043e\u043c\u0435\u0440 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430;<br \/> \u2013 \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u0430\u044f \u0446\u0435\u043d\u0430 \u043d\u0430 \u0442\u043e\u0432\u0430\u0440;<\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u0440\u043e\u043c\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0437\u0430\u043b\u043e\u0436\u0438\u0442\u044c \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u0443\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u043a\u0443 \u0438 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430. \u0418\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0431\u044b\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0434\u0430\u0436:<\/p>\n<p>\u0433\u0434\u0435  \u2013 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0434\u0430\u0436 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 m \u043f\u0440\u0438 =0 \u0438 ;<br \/> \u2013 \u0441\u0435\u0437\u043e\u043d\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u0438\u043b\u0438 \u0441\u0435\u0437\u043e\u043d\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c;<br \/> \u2013 \u0447\u0430\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u0430\u044f \u0437\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b;<br \/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0441\u0438\u043b\u0443 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 \u043d\u0430 \u043f\u0440\u043e\u0434\u0430\u0436\u0438;<br \/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0441\u0438\u043b\u0443 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0446\u0435\u043d\u044b \u043e\u0442  \u043d\u0430 \u043f\u0440\u043e\u0434\u0430\u0436\u0438;<br \/> \u2013 \u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0447\u0430\u0441\u0442\u043e\u0442\u0430 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 (\u0440\u0430\u0434.\/\u043d\u0435\u0434.);<br \/> \u2013 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u043f\u043e\u0440\u043d\u0430\u044f \u0446\u0435\u043d\u0430, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u043d\u043e\u0441\u0442\u044c , \u043f\u0440\u0438 .<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439, \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043f\u0440\u043e\u0434\u0430\u0436  \u0438 \u043c\u0430\u0440\u0436\u0438  \u043e\u0442 \u0446\u0435\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u043d\u0430 \u0440\u0438\u0441. 1-3:<\/p>\n<figure class=\"full-width\">\n<div><figcaption><strong>\u0420\u0438\u0441. 1<\/strong>. \u0426\u0435\u043d\u043e\u0432\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0438  = 48,  = -1.5<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\">\n<div><figcaption><strong>\u0420\u0438\u0441. 2.<\/strong> \u0421\u0435\u0437\u043e\u043d\u043d\u0430\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0430\u044f \u043f\u0440\u0438  =  \u2013 \u0433\u043e\u0434\u043e\u0432\u0430\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0441\u0442\u044c, <\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\">\n<div><figcaption><strong>\u0420\u0438\u0441. 3.<\/strong> \u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043c\u0430\u0440\u0436\u0438 \u043e\u0442 \u0446\u0435\u043d\u044b \u0432 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438  \u043f\u0440\u0438 <\/figcaption><\/div>\n<\/figure>\n<h2>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h2>\n<h3>Thompson Sampling(TS) \u0438 UCB<\/h3>\n<p>\u0414\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c TS, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043d\u0430\u0433\u0440\u0430\u0434, \u0447\u0442\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u043c\u0443 \u0432\u044b\u0432\u043e\u0434\u0443 \u2013 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0433\u0440\u0430\u0434\u044b.<\/p>\n<p>\u0414\u043b\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 TS \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0440\u0435\u043c\u044f  \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043d\u043e\u043c\u0435\u0440 \u043d\u0435\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u044e\u0442 \u0432 \u0440\u043e\u043b\u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0430. \u0414\u0430\u043b\u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0432\u044b\u0431\u043e\u0440 \u0442\u043e\u0439 \u0446\u0435\u043d\u044b \u0438\u0437 \u0441\u0435\u0442\u043a\u0438 , \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u0448 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u2013 \u043c\u0430\u0440\u0436\u0443:<\/p>\n<p>\u0433\u0434\u0435 \u2013 \u0442\u043e\u0447\u0435\u0447\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u043f\u0440\u043e\u0441\u0430 \u0432 \u0442\u043e\u0447\u043a\u0435  \u043f\u0440\u0438 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043e\u043c \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0434\u0445\u043e\u0434\u0430 UCB (\u0432\u0435\u0440\u0445\u043d\u044f\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430), \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432\u044b\u0431\u043e\u0440 \u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043e\u0446\u0435\u043d\u043a\u0430\u0445 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0439 \u043d\u0430\u0433\u0440\u0430\u0434\u044b \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u0438\u0445 \u043e\u0446\u0435\u043d\u043e\u043a:<\/p>\n<p>\u0433\u0434\u0435 \u0438 \u2013 \u044d\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0430 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0441\u043f\u0440\u043e\u0441\u0430 \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u0447\u043a\u0435 , \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0443\u0440\u043e\u0432\u043d\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<h2>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/h2>\n<p>\u0414\u043b\u044f \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043d\u044b\u0445 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0442\u043a\u043b\u0438\u043a \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u0432. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0432\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2013 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0438 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441.\u00a0<\/p>\n<h3>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/h3>\n<p>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0430\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f(\u0411\u041b\u0420) \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u043c\u0435\u0436\u0434\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0441\u0432\u044f\u0437\u044c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u043f\u0440\u043e\u0434\u0430\u0436\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043f\u043e \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0443 , \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u043e\u0431\u043e\u0431\u0449\u0451\u043d\u043d\u0443\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0441\u0432\u044f\u0437\u044c \u0447\u0435\u0440\u0435\u0437 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0442\u044b:<\/p>\n<p>\u0426\u0435\u043b\u044c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430 \u2013 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432  \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445  \u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 :<\/p>\n<\/p>\n<p>\u0437\u0434\u0435\u0441\u044c  \u2013 \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435.\u00a0<\/p>\n<p>\u0412\u044b\u043f\u0438\u0448\u0435\u043c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u044c, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u043c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0434\u043b\u044f CMAB:<\/p>\n<p>\u0433\u0434\u0435<br \/> \u2013 \u044d\u0442\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u0435(\u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430);<br \/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0439 \u0437\u0430 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043f\u0440\u043e\u0434\u0430\u0436 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430 \u043f\u043e\u0434 \u043d\u043e\u043c\u0435\u0440\u043e\u043c , \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0434\u0435\u0441\u044c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u0440\u043e\u0432\u0435\u043b\u0438 one-hot-encoding, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u0432 \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u0440\u043e\u0434\u0430\u0436 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432;<br \/> \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u044e \u0432 \u0440\u044f\u0434 \u0424\u0443\u0440\u044c\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u0434\u043b\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044f \u0433\u043e\u0434\u043e\u0432\u043e\u0439 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u0441 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 ;<br \/> \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0449\u0438\u0435 \u0437\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442 \u0446\u0435\u043d\u044b  \u2013 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0438 <em>log-log<\/em> \u0438 <em>log-lin<\/em> \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e\u0438\u0441\u043a\u0430 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b. <br \/>\u0421\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 (1), \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u044c \u043c\u0435\u0436\u0434\u0443 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 .\u00a0<br \/>\u041f\u043e\u043b\u0443\u0447\u0438\u0432 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0435\u0439, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u044b\u0445 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e TS \u0438\u043b\u0438 UCB.<br \/>\u0421\u0445\u0435\u043c\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0434\u0445\u043e\u0434\u043e\u0432 \u043e\u043f\u0438\u0448\u0435\u043c \u043d\u0438\u0436\u0435 \u0432 \u201c\u0421\u0445\u0435\u043c\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u201d.<br \/>\u0411\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 (4) \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 Python \u0434\u043b\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f PyMC. \u042d\u0442\u0430 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u044c \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u0438\u0441\u043a\u043e\u043c\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u044d\u0442\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c Monte Carlo Markov Chain (MCMC) &#8212; \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e \u0435\u0433\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439 NUTS(No-U-Turn Sampler) \u2013 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f \u043f\u043e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Hamiltonian_Monte_Carlo\">\u0441\u0441\u044b\u043b\u043a\u0435<\/a>.<br \/>\u0422\u0430\u043a \u043a\u0430\u043a \u0441\u044d\u043c\u043f\u043b\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0438\u0437 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u2013 \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043b\u044f TS, \u0430 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-444401","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/444401","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=444401"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/444401\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=444401"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=444401"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=444401"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}