{"id":364070,"date":"2024-05-21T02:09:29","date_gmt":"2024-05-21T02:09:29","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=364070"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=364070","title":{"rendered":"<span>\u041c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0438\u0442\u0435\u0439\u043b\u0430<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"bordered full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/285\/6b3\/8d1\/2856b38d12a3f7f2736f9ebf90f037f2.png\" width=\"780\" height=\"440\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/285\/6b3\/8d1\/2856b38d12a3f7f2736f9ebf90f037f2.png\"\/><\/figure>\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0442 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 Reinforcement Learning \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e <strong><em>\u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 (multi-armed bandits).<\/em><\/strong>\u00a0\u0422\u0430\u043a\u0436\u0435 \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u043e\u0431\u0441\u0443\u0434\u0438\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u043e\u043f\u0438\u0448\u0435\u043c \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432 \u043d\u0451\u043c \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0438\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u041c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b \u2013 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b<\/h3>\n<p>\u0418\u0434\u0435\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 (\u201c\u0440\u0443\u0447\u0435\u043a\u201d) \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0440\u0443\u0447\u043a\u0443 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c \u0438 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438 \u043d\u0430 \u043f\u043e\u0438\u0441\u043a \u044d\u0442\u043e\u0439 \u0441\u0430\u043c\u043e\u0439 \u0440\u0443\u0447\u043a\u0438. \u041f\u043e\u0434\u0445\u043e\u0434 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439\/\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0446\u0435\u043b\u0435\u043d\u044b \u043d\u0430 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f, \u043d\u043e \u043e\u0431 \u043e\u0442\u043a\u043b\u0438\u043a\u0435 \u043d\u0430 \u044d\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043c\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c.<\/p>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0433\u0434\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430 \u0442\u0430\u043a\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u0430<\/strong><br \/>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u043d\u0430\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0435 \u0431\u0430\u043b\u043b\u044b \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c \u0441 \u0446\u0435\u043b\u044c\u044e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u041a\u043b\u0438\u0435\u043d\u0442\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c 500, 1000 \u0438\u043b\u0438 1500 \u0431\u0430\u043b\u043b\u043e\u0432 \u0438, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043f\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u0435\/\u0442\u0440\u0430\u0444\u0438\u043a\u0443 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043d\u044b\u043c\u0438.<br \/>\u0415\u0449\u0451 \u0441\u0445\u043e\u0436\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u0437 \u0440\u0438\u0442\u0435\u0439\u043b\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0438: \u043f\u0440\u0438 \u043f\u043e\u043a\u0443\u043f\u043a\u0435 \u0441\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u043a\u0438\u0434\u043a\u0443 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u0430\u043a\u0441\u0435\u0441\u0441\u0443\u0430\u0440\u0430(\u043e\u0432), \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432 \u0442\u0430\u043a\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0439 \u0431\u0430\u043d\u0434\u0438\u0442 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u043f\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c \u0441\u043a\u0438\u0434\u043a\u0438, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\">\u0423\u0441\u043b\u043e\u0432\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0430\u043a\u0441\u0435\u0441\u0441\u0443\u0430\u0440\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u0421\u043a\u0438\u0434\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u0421\u043f\u0440\u043e\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u21161<\/p>\n<\/td>\n<td>\n<p align=\"center\">1000<\/p>\n<\/td>\n<td>\n<p align=\"center\">500<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u21162<\/p>\n<\/td>\n<td>\n<p align=\"center\">1500<\/p>\n<\/td>\n<td>\n<p align=\"center\">500<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u21163<\/p>\n<\/td>\n<td>\n<p align=\"center\">2000<\/p>\n<\/td>\n<td>\n<p align=\"center\">1000<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/strong><br \/>\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u0440\u043e\u0434\u0430\u0436 \u0442\u043e\u0432\u0430\u0440\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443 \u0446\u0435\u043d\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437-\u0437\u0430 \u043d\u043e\u0432\u0438\u0437\u043d\u044b \u0442\u043e\u0432\u0430\u0440\u0430, \u0438\u043b\u0438 \u0438\u0437-\u0437\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0441\u043f\u0440\u043e\u0441\u0430. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043c\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0431\u044b \u043e\u043d \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0446\u0435\u043d\u0435. \u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0446\u0435\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0438\u043b\u0438 \u0432\u0430\u043b\u043e\u0432\u043e\u0433\u043e \u0434\u043e\u0445\u043e\u0434\u0430, \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\">\u0446\u0435\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"center\">80<\/p>\n<\/td>\n<td>\n<p align=\"center\">90<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">100<\/p>\n<\/td>\n<td>\n<p align=\"center\">110<\/p>\n<\/td>\n<td>\n<p align=\"center\">120<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u043f\u0440\u043e\u0434\u0430\u0436\u0438, \u0448\u0442.<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">500<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u043f\u0440\u043e\u0434\u0430\u0436\u0438, \u0440\u0443\u0431.<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">500000<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0432\u0430\u043b\u043e\u0432\u044b\u0439 \u0434\u043e\u0445\u043e\u0434, \u0440\u0443\u0431.<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">100000<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u043e\u0438\u0441\u043a \u043a\u0440\u0430\u0442\u0447\u0430\u0439\u0448\u0435\u0433\u043e \u043f\u0443\u0442\u0438<\/strong><br \/>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0431\u044b\u043b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438\u00a0<a href=\"https:\/\/arxiv.org\/abs\/1707.02038\"><u>\u0441\u0442\u0430\u0442\u044c\u0438<\/u><\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0432 \u0433\u0440\u0430\u0444\u0435 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. \u041f\u0440\u043e \u0433\u0440\u0430\u0444 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0441\u0432\u044f\u0437\u0435\u0439, \u043d\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b (\u0442\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u043e\u0432), \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u043c, \u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432.<\/p>\n<p><strong>\u0421\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0441\u0435\u0442\u0438 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432<\/p>\n<p><\/strong>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0434 <strong><em>\u0441\u0440\u0435\u0434\u043e\u0439<\/em><\/strong> \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u0442\u043e\u0432\u0430\u0440, \u0430 <strong><em>\u0430\u0433\u0435\u043d\u0442\u043e\u043c<\/em><\/strong> \u0431\u0443\u0434\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0430\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u044b \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0446\u0435\u043d. \u0412 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0435 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0444\u043b\u0430\u0439\u043d \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430:<\/p>\n<ul>\n<li>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0446\u0435\u043d\u0443 \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0435 \u043d\u0435 \u0447\u0430\u0449\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0430 \u0432 \u043d\u0435\u0434\u0435\u043b\u044e;<\/p>\n<\/li>\n<li>\n<p>\u0426\u0435\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u043d\u0430 10%.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w780q1\/getpro\/habr\/upload_files\/df7\/dc3\/270\/df7dc3270ed9b86d2da88004d9cc50c4.jpg\" alt=\"\u0420\u0438\u0441 1. \u0421\u0445\u0435\u043c\u0430 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430\" title=\"\u0420\u0438\u0441 1. \u0421\u0445\u0435\u043c\u0430 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430\" width=\"5067\" height=\"3157\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/df7\/dc3\/270\/df7dc3270ed9b86d2da88004d9cc50c4.jpg\" data-blurred=\"true\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441 1. \u0421\u0445\u0435\u043c\u0430 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e <strong>\u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u043e\u0441\u0430<\/strong> (\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/685590\/\"><u>\u043e\u0434\u043d\u043e\u0439<\/u><\/a> \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439):<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\lambda(p) = Q_0 \\cdot \\exp\\bigg(E \\cdot \\Big(\\frac{p}{p_0} - 1\\Big)\\bigg),\" alt=\"\\lambda(p) = Q_0 \\cdot \\exp\\bigg(E \\cdot \\Big(\\frac{p}{p_0} - 1\\Big)\\bigg),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d86\/b5c\/443\/d86b5c443ac50a4429e56def2d680d18.svg\" width=\"273\" height=\"50\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Q(p) \\sim Poisson(\\lambda(p)),\" alt=\"Q(p) \\sim Poisson(\\lambda(p)),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac0\/bc7\/967\/ac0bc7967175198b06e410b6e837818c.svg\" width=\"194\" height=\"22\"\/><\/p>\n<p>\u0433\u0434\u0435<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q_0\" alt=\"Q_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f6\/e64\/082\/4f6e64082310398093c591be4e75c5a7.svg\" width=\"24\" height=\"20\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0441\u043f\u0440\u043e\u0441 \u0432 \u0448\u0442\/\u043a\u0433,<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_0\" alt=\"p_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a8a\/420\/8b9\/a8a4208b9e1343f143cbf38907e684ef.svg\" width=\"19\" height=\"15\"\/> &#8212; \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0446\u0435\u043d\u0430,<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" p\" alt=\" p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c29\/ef4\/cb1\/c29ef4cb1f41f1a7caa675ab524b7df8.svg\" width=\"11\" height=\"15\"\/> &#8212; \u0438\u0441\u043a\u043e\u043c\u0430\u044f \u0446\u0435\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0438\u0437 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0438 \u0446\u0435\u043d(\u0440\u0443\u0447\u0435\u043a), <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p \\in \\{P_1, P_2, ..., P_m \\}\" alt=\"p \\in \\{P_1, P_2, ..., P_m \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bac\/730\/b06\/bac730b067613afab4a4a06e883c67b3.svg\" width=\"176\" height=\"22\"\/>, <br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E\" alt=\"E\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b36\/025\/97e\/b3602597ee68bb3ccaa1776822c6e0eb.svg\" width=\"15\" height=\"17\"\/> &#8212; \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b.<\/p>\n<p>\u041e\u0431\u043e\u0440\u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"S\" alt=\"S\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/835\/999\/9d6\/8359999d6e27e0fc1de47cc2767aba5d.svg\" width=\"13\" height=\"17\"\/> \u0438 \u043f\u0440\u0438\u0431\u044b\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/adb\/d3c\/4d3\/adbd3c4d35e5771f0c54425800ab66eb.svg\" width=\"21\" height=\"17\"\/> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"S = p \\cdot Q(p),\" alt=\"S = p \\cdot Q(p),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/305\/b2c\/7a4\/305b2c7a4f1b01ad7709c9127ab61a40.svg\" width=\"109\" height=\"22\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"M = (p - c) \\cdot Q(p),\" alt=\"M = (p - c) \\cdot Q(p),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb8\/6eb\/90d\/eb86eb90da852513dc26b577aaf2267c.svg\" width=\"164\" height=\"22\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/647\/727\/f66\/647727f66ed76a03b1fcc45ea32d790c.svg\" width=\"8\" height=\"12\"\/> &#8212; \u0441\u0435\u0431\u0435\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u0430.<\/p>\n<p>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u0446\u0435\u043d\u0435 \u0434\u043b\u044f \u043f\u0440\u0438\u0431\u044b\u043b\u0438 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p^* = (c \\cdot E - p_0) \/ E\" alt=\"p^* = (c \\cdot E - p_0) \/ E\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1cf\/205\/dc5\/1cf205dc5dc222ad63e24b8ba0c6da0f.svg\" width=\"166\" height=\"22\"\/>.<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u0438 \u043f\u0440\u0438\u0431\u044b\u043b\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u043f\u043e \u043f\u0440\u0438\u0431\u044b\u043b\u0438 \u0432 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d8d\/950\/312\/d8d9503126ebaf253072d843b8be869d.png\" alt=\"\u0420\u0438\u0441. 2. \u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\" title=\"\u0420\u0438\u0441. 2. \u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439\" width=\"1500\" height=\"700\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d8d\/950\/312\/d8d9503126ebaf253072d843b8be869d.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441. 2. \u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u042d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c<\/strong><br \/>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0446\u0435\u043d\u0430\u0445, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0434\u0430\u0436 \u043e\u0442 \u0446\u0435\u043d\u044b, \u043e\u0442\u043a\u0443\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\lambda(p) = \\exp(a \\cdot p + b),\" alt=\"\\lambda(p) = \\exp(a \\cdot p + b),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/54c\/6b0\/e0a\/54c6b0e0af0d4e6bef76f95840a53acb.svg\" width=\"180\" height=\"22\"\/><\/p>\n<p>\u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\lambda(p) = Q_0 \\cdot \\exp\\bigg(E \\cdot \\Big(\\frac{p}{p_0} - 1\\Big)\\bigg) = \\exp\\bigg(\\frac{E}{p_0}\\cdot p + \\ln(Q_0) - E\\bigg)\" alt=\"\\lambda(p) = Q_0 \\cdot \\exp\\bigg(E \\cdot \\Big(\\frac{p}{p_0} - 1\\Big)\\bigg) = \\exp\\bigg(\\frac{E}{p_0}\\cdot p + \\ln(Q_0) - E\\bigg)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebb\/556\/de9\/ebb556de9b24fed46cf010d448c84eaa.svg\" width=\"521\" height=\"50\"\/><\/p>\n<p>\u043c\u043e\u0436\u043d\u043e, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f, \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u044b\u0448\u0435 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043f\u0440\u043e\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a, b \" alt=\"a, b \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0b\/46e\/dcb\/a0b46edcb29218ca6772a32d9cd4a24e.svg\" width=\"27\" height=\"20\"\/> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E = a\\cdot p_0, Q_0 = \\exp(b + a\\cdot p_0)\" alt=\"E = a\\cdot p_0, Q_0 = \\exp(b + a\\cdot p_0)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b5\/80f\/75e\/0b580f75e22199d103265584e65045cf.svg\" width=\"264\" height=\"22\"\/>. <br \/>\u041d\u0430\u0439\u0434\u0435\u043d\u043d\u0443\u044e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0435 \u0446\u0435\u043d, \u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u043c \u0434\u0430\u043b\u0435\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0441 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<h3>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432<\/h3>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0432 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0435 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0449\u0435 \u043f\u043e\u044f\u0441\u043d\u044f\u0442\u044c.<br \/>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <strong><em>\u0440\u0443\u0447\u043a\u043e\u0439<\/em><\/strong> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u043d\u0430 \u0442\u043e\u0432\u0430\u0440, <strong><em>\u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439 \u0438\u043b\u0438 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u043c<\/em><\/strong> \u2013 \u043f\u0440\u0438\u0431\u044b\u043b\u044c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0446\u0435\u043d\u044b, \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u0435 (<strong><em>Regret<\/em><\/strong>) \u2013 \u043d\u0435\u0434\u043e\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043f\u0440\u0438\u0431\u044b\u043b\u044c. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u043e Regret \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 (\u0435\u0441\u043b\u0438 \u0442\u043e\u0447\u043d\u0435\u0435, \u0442\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0430\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443 \u0446\u0435\u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430<\/p>\n<p><strong>\u0416\u0430\u0434\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 greedy\/epsilon-greedy\/epsilon-decay<\/strong><\/p>\n<p>\u0416\u0430\u0434\u043d\u0430\u044f (<strong>greedy<\/strong>) \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0431\u043e\u0440\u0435 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u043f\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0442\u043a\u043b\u0438\u043a\u0443. \u0415\u0441\u043b\u0438 \u043e\u0442\u043a\u043b\u0438\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0438 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u043c, \u0442\u043e \u0434\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0442\u043e\u0447\u043d\u043e \u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043b\u0443\u0447\u0448\u0430\u044f. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043a\u043b\u0438\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0443\u0447\u043a\u0430 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435\u0439.<\/p>\n<p>\u0412 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u0436\u0430\u0434\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0410\u0411-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0440\u0443\u0447\u0435\u043a, \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0446\u0435\u043d\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430\u0445 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u043d\u0430 \u0432\u0441\u044e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0434\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u0443.<\/p>\n<p>\u042d\u043f\u0441\u0438\u043b\u043e\u043d-\u0436\u0430\u0434\u043d\u0430\u044f (<strong>eps-greedy) <\/strong>\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f<strong> <\/strong>\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439 <strong>greedy<\/strong> \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438.\u00a0<br \/>\u0412 \u043d\u0435\u0439 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1- \\epsilon\" alt=\"1- \\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62c\/1a6\/274\/62c1a6274d8ab9ff29ebd16fcb00af2b.svg\" width=\"42\" height=\"18\"\/> \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0443\u044e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0440\u0443\u0447\u043a\u0443, \u0430 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e eps \u2013 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u043b\u044e\u0431\u0443\u044e \u0434\u0440\u0443\u0433\u0443\u044e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0443\u0447\u043a\u0438, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0448\u0430\u043d\u0441\u044b \u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u0432 \u0445\u043e\u0434\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.\u00a0<\/p>\n<p>\u0412 eps-greedy \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u044b \u0430\u0441\u0438\u043c\u043f\u0442\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"100 \\cdot \\epsilon \\ \\%\" alt=\"100 \\cdot \\epsilon \\ \\%\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f63\/827\/177\/f63827177dcb860d95d6b279f69d11e4.svg\" width=\"73\" height=\"19\"\/> \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0442\u0440\u0430\u0442\u0438\u043c \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e. \u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f <strong>eps-decay<\/strong> \u0441\u043d\u0438\u0436\u0430\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a57\/1d6\/f5e\/a571d6f5e9d25f0b069a2d4b5f9b8ea6.svg\" width=\"8\" height=\"12\"\/> \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon_0\/(1 + j \\cdot d)\" alt=\"\\epsilon_0\/(1 + j \\cdot d)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/038\/ce5\/313\/038ce53134693e83f471c6ce5ae03a79.svg\" width=\"108\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e08\/9af\/4df\/e089af4df720ab895c86ab0a93e537f4.svg\" width=\"8\" height=\"20\"\/> \u2013 \u043d\u043e\u043c\u0435\u0440 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1c9\/a96\/54c\/1c9a9654c19120759793dba8a60be495.svg\" width=\"10\" height=\"17\"\/> \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a1\/d55\/443\/5a1d55443b3be0266666993e7b2d08c7.svg\" width=\"8\" height=\"12\"\/>. \u0415\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d=0\" alt=\"d=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e49\/10c\/693\/e4910c6938b016285b574f5218c5b4c7.svg\" width=\"46\" height=\"17\"\/> , \u0442\u043e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 <strong>eps\u2013greedy<\/strong> \u043f\u0440\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon = \\epsilon_0\" alt=\"\\epsilon = \\epsilon_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/259\/64c\/10e\/25964c10ed75ea7731a7bfbb763e5a92.svg\" width=\"51\" height=\"15\"\/>.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0438\u0441 3. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 EpsGreedy<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1e3\/ad8\/336\/1e3ad83367782c49fd6b20d22eeb12e5.png\" alt=\"\u0420\u0438\u0441 3.1 \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 EpsGreedy \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 Q0\" title=\"\u0420\u0438\u0441 3.1 \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 EpsGreedy \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 Q0\" width=\"1978\" height=\"1211\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e3\/ad8\/336\/1e3ad83367782c49fd6b20d22eeb12e5.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441 3.1 \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 EpsGreedy \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 Q0<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3d1\/959\/9c2\/3d19599c220969a65ae14e616e34d733.png\" width=\"1970\" height=\"1217\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d1\/959\/9c2\/3d19599c220969a65ae14e616e34d733.png\"\/><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>Softmax<\/strong><br \/>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f (\u0435\u0451 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u043a\u0430\u043a Boltzman Exploration) \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0435 \u0440\u0443\u0447\u0435\u043a \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P_i = \\frac{\\exp(Q_i \/ \\tau)}{\\sum_{i=1}^{m}\\exp(Q_i\/\\tau)}\" alt=\"P_i = \\frac{\\exp(Q_i \/ \\tau)}{\\sum_{i=1}^{m}\\exp(Q_i\/\\tau)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d1\/f53\/803\/1d1f538031fcf97f4d428e1a99bbd56c.svg\" width=\"188\" height=\"52\"\/>,<\/p>\n<p>\u0437\u0434\u0435\u0441\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P_i\" alt=\"P_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7f\/405\/e0e\/b7f405e0e21500fc7f9619dc3f2ceb22.svg\" width=\"19\" height=\"20\"\/> \u2013 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u0440\u0443\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef0\/439\/2cf\/ef04392cf7880f50b4b4290a56314fd5.svg\" width=\"7\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q_i\" alt=\"Q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7cf\/860\/8b6\/7cf8608b673b083f90c8598e390307de.svg\" width=\"22\" height=\"20\"\/> \u2013 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0439\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b\u00a0\u0440\u0443\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e4\/f54\/048\/1e4f54048c47658a0c7275b0dd747a7f.svg\" width=\"7\" height=\"16\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f03\/ea0\/725\/f03ea0725fbe773eed93834fd03ac463.svg\" width=\"10\" height=\"12\"\/> \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b.<br \/>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0440\u0443\u0447\u043a\u0443 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f, \u0430 \u0441\u0430\u043c\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b . \u0415\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/369\/fb5\/184\/369fb51847d61b21fa56ef4ac7f83e8d.svg\" width=\"10\" height=\"12\"\/> \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u0432\u0441\u0435 \u0440\u0443\u0447\u043a\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0431\u0430\u043d\u0434\u0438\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0440\u0443\u0447\u0435\u043a. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0441\u043b\u0438 tau \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a \u043d\u0443\u043b\u044e, \u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a 1, \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0431\u0430\u043d\u0434\u0438\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438, \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u0432 \u0436\u0430\u0434\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u0414\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0437\u0430\u0434\u0430\u0432\u0430\u044f \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76b\/12e\/1d9\/76b12e1d9fd044d1af5917a02543688f.svg\" width=\"10\" height=\"12\"\/> (\u043a\u0430\u043a \u0432 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\epsilon\" alt=\"\\epsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/495\/4e1\/994\/4954e1994f3f0c4945c568588fa8b666.svg\" width=\"8\" height=\"12\"\/>-decay) \u2013 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u044d\u0442\u043e \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/108\/e40\/b25\/108e40b25fc1b27ddb113bff63a04ffa.svg\" width=\"10\" height=\"12\"\/>. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0431\u0440\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\tau\" alt=\"\\tau\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa6\/ed7\/e9d\/aa6ed7e9d1279d3ca3c027679f2937e5.svg\" width=\"10\" height=\"12\"\/>\u00a0\u0440\u0430\u0432\u043d\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0438\u0441 4. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 SoftMax \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f92\/b5b\/dc5\/f92b5bdc5b9523285708c167eed384a2.png\" alt=\"\" title=\"\" width=\"1971\" height=\"1217\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f92\/b5b\/dc5\/f92b5bdc5b9523285708c167eed384a2.png\"\/><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>UCB<\/strong><br \/>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f Upper Confidence Bounds \u0438\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e UCB \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u2013 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0443 \u0440\u0443\u0447\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"Q_{i} + c \\cdot \\sqrt{\\frac{\\ln{n}}{n_i}},\" alt=\"Q_{i} + c \\cdot \\sqrt{\\frac{\\ln{n}}{n_i}},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e33\/f23\/327\/e33f233277ac1eaf66690b4b9fa3f9a8.svg\" width=\"132\" height=\"63\"\/><\/p>\n<p> \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/021\/97c\/d00\/02197cd00fd6e0f44a555a66256890d1.svg\" width=\"7\" height=\"16\"\/> &#8212; \u043d\u043e\u043c\u0435\u0440 \u0440\u0443\u0447\u043a\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q_i\" alt=\"Q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0bb\/ba2\/eac\/0bbba2eac05735205b32f132680b42a9.svg\" width=\"22\" height=\"20\"\/> \u2013 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0434\u043b\u044f \u0440\u0443\u0447\u043a\u0438, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/09f\/8d1\/4e8\/09f8d14e89fc56c38215141bb8afbe09.svg\" width=\"12\" height=\"12\"\/> \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043b\u044e\u0431\u0430\u044f \u0440\u0443\u0447\u043a\u0430), <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n_i\" alt=\"n_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b9\/4ac\/0c4\/3b94ac0c4d39a1361ecd7030fadb81d3.svg\" width=\"18\" height=\"15\"\/> \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u0440\u0443\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1d\/9d5\/a2c\/c1d9d5a2c5e3664a0b6ab6ad6f3d6736.svg\" width=\"7\" height=\"16\"\/>.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u043a \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u2013 \u0437\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0443\u0447\u0435\u043a. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/402\/f6b\/0bb\/402f6b0bb780944c374548c0147b90c8.svg\" width=\"8\" height=\"12\"\/>\u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\/\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0435\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c=0\" alt=\"c=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3c5\/6c8\/540\/3c56c854054b162487145279ad49e73b.svg\" width=\"44\" height=\"17\"\/> \u2013 \u0442\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0436\u0430\u0434\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0435\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c \\to \\infty\" alt=\"c \\to \\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b6b\/cf4\/378\/b6bcf4378c0570e4d5ef37a3b5feac36.svg\" width=\"58\" height=\"14\"\/>,\u00a0\u0442\u043e \u0432\u0441\u0435 \u0440\u0443\u0447\u043a\u0438 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0432\u043d\u043e\u043f\u0440\u0430\u0432\u043d\u044b \u2013 \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. \u041e\u0442\u043c\u0435\u0442\u0438\u043c \u0442\u0430\u043a\u0436\u0435, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c\" alt=\"c\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2df\/794\/9e3\/2df7949e3972dd1b7c073f4b9d6711e0.svg\" width=\"8\" height=\"12\"\/>\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u043b\u0443\u0447\u0448\u0435\u0439 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0440\u0443\u0447\u043a\u0430\u0445. <\/p>\n<p><strong>UCB+QBC<br \/><\/strong>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <strong>UCB, <\/strong>\u043a \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Active_learning_(machine_learning)\"><u>\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e<\/u><\/a> \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0417\u0434\u0435\u0441\u044c, \u0435\u0441\u043b\u0438 \u0440\u0443\u0447\u043a\u0438 \u2013 \u044d\u0442\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438\u0437 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043e\u0442 \u044d\u0442\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u043f\u0440\u0438\u0447\u0451\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u043e\u0439, \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u043e\u0439 \u0438 \u0442.\u043f.) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u0432 \u2013 \u0442\u0430\u043a\u0430\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Query by Committee (\u0438\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e <strong>QBC<\/strong>). \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0431\u043e\u0440\u0435 \u0442\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat{F}(p_i) + c \\sqrt{\\frac{\\ln{n}}{n_i}} + d\\sqrt{\\frac{1}{M}\\sum_{j=1}^M\\bigg(F_j(p_i) - \\hat{F}(p_i)\\bigg)^2},\" alt=\"\\hat{F}(p_i) + c \\sqrt{\\frac{\\ln{n}}{n_i}} + d\\sqrt{\\frac{1}{M}\\sum_{j=1}^M\\bigg(F_j(p_i) - \\hat{F}(p_i)\\bigg)^2},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/251\/d29\/429\/251d29429b1ba145e1594603fefbf754.svg\" width=\"417\" height=\"69\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\hat{F}(p_i) = \\frac{1}{M} \\sum_{j=1}^{M}F_j(p_i),\" alt=\"\\hat{F}(p_i) = \\frac{1}{M} \\sum_{j=1}^{M}F_j(p_i),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c6f\/236\/5c7\/c6f2365c72772f94ed5aeb8daea6a98d.svg\" width=\"193\" height=\"63\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5bb\/847\/fa7\/5bb847fa762397404c611aa1fc163a17.svg\" width=\"21\" height=\"17\"\/> \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442\u043a\u043b\u0438\u043a\u0430; <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"F_j\" alt=\"F_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a0\/876\/cf3\/2a0876cf3062a0ff95639401f17f685f.svg\" width=\"20\" height=\"22\"\/>\u2013 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"j\" alt=\"j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10d\/b00\/5e3\/10db005e34e5de53b82ff9a0d9bfa659.svg\" width=\"8\" height=\"20\"\/> \u2013 \u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M\" alt=\"M\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/002\/4b0\/3e8\/0024b03e88121f1f1680f8dc27711bce.svg\" width=\"21\" height=\"17\"\/> \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0435\u0440\u0432\u044b\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0438\u0433\u0440\u0430\u044e\u0442 \u0442\u0443 \u0436\u0435 \u0440\u043e\u043b\u044c, \u0447\u0442\u043e \u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c UCB, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0432\u044b\u0448\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0442 \u043e\u0446\u0435\u043d\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\hat{F}(p_i)\" alt=\"\\hat{F}(p_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c0d\/63a\/3f5\/c0d63a3f5a3671ad33fd02aaa2d0e380.svg\" width=\"47\" height=\"26\"\/>, \u0442\u0440\u0435\u0442\u044c\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043a\u043e\u043c\u0438\u0442\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u0443\u0447\u043a\u0438(QBC).<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 7 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c. \u041f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438\u043c \u0438\u0445:<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u0432<\/summary>\n<div class=\"spoiler__content\">\n<p>1) <a href=\"https:\/\/en.wikipedia.org\/wiki\/Skew_normal_distribution\">\u0424\u0443\u043d\u043a\u0446\u0438\u044f<\/a>, \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\phi(x)\" alt=\"\\phi(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c8\/83e\/606\/4c883e6067e27c0c6dc7c3d1a4e3feb2.svg\" width=\"38\" height=\"22\"\/>&#8212; \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435.<br \/>\u0412\u0432\u0435\u0434\u0451\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Phi(x) = 0.5 \\cdot(1 + erf(x))\" alt=\"\\Phi(x) = 0.5 \\cdot(1 + erf(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7b\/1ec\/b98\/e7b1ecb985e8f4588f7ac4643efc8c33.svg\" width=\"210\" height=\"22\"\/> , \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"erf(x)\" alt=\"erf(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a1\/9df\/afc\/9a19dfafc20ad4d67c726b852d235515.svg\" width=\"55\" height=\"22\"\/> \u2013 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0422\u043e\u0433\u0434\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F(x) = c\\cdot2\\phi\\bigg(\\frac{x-x_0}{s}\\bigg)\\Phi\\bigg(a\\cdot\\frac{(x-x_0)}{s}\\bigg),\" alt=\"F(x) = c\\cdot2\\phi\\bigg(\\frac{x-x_0}{s}\\bigg)\\Phi\\bigg(a\\cdot\\frac{(x-x_0)}{s}\\bigg),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d83\/21d\/c14\/d8321dc1456a8568fb9b509f2f3f2038.svg\" width=\"353\" height=\"50\"\/><\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46c\/cf4\/579\/46ccf457911aebdb1a559b05e3a6e2d2.svg\" width=\"10\" height=\"12\"\/> \u2013 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u201c\u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u201d \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x_0\" alt=\"x_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d4f\/454\/d6b\/d4f454d6bcb07e53f5da2ac9efa29c22.svg\" width=\"20\" height=\"15\"\/> \u2013 \u0446\u0435\u043d\u0442\u0440 \u043d\u0435\u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"s\" alt=\"s\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55c\/5cb\/399\/55c5cb3999aa94abd695dc52102805f5.svg\" width=\"9\" height=\"12\"\/> \u2013 \u0448\u0438\u0440\u0438\u043d\u0430 \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430<\/p>\n<p>2) \u041a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F(x) = a \\cdot(x-x_0)^2 + b\" alt=\"F(x) = a \\cdot(x-x_0)^2 + b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd9\/164\/090\/fd9164090ff4845502e241c9c676e346.svg\" width=\"203\" height=\"25\"\/><\/p>\n<p>3) \u0424\u0443\u043d\u043a\u0446\u0438\u044f, \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0433\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F(x) = a \\cdot x^b \\cdot \\exp(-c \\cdot x)\" alt=\"F(x) = a \\cdot x^b \\cdot \\exp(-c \\cdot x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/055\/4ca\/774\/0554ca77471bc5d8a6bb2a121b4b9ae6.svg\" width=\"219\" height=\"25\"\/><\/p>\n<p>4) \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F = a \\cdot x + b\" alt=\"F = a \\cdot x + b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/330\/014\/2cc\/3300142ccdccecd7a271886ee5deb17d.svg\" width=\"109\" height=\"18\"\/><\/p>\n<p>5) \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0413\u0430\u0443\u0441\u0441\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F(x) = a \\cdot \\exp\\bigg(-\\Big(\\frac{x-b}{c}\\Big)^2\\bigg)\" alt=\"F(x) = a \\cdot \\exp\\bigg(-\\Big(\\frac{x-b}{c}\\Big)^2\\bigg)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/734\/c3a\/7c2\/734c3a7c29876081feb508a9da918e9a.svg\" width=\"253\" height=\"50\"\/><\/p>\n<p>6) \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u041b\u043e\u0440\u0435\u043d\u0446\u0430:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"F(x) = \\frac{a}{1+\\big(\\frac{x-b}{c}\\big)^2}\" alt=\"F(x) = \\frac{a}{1+\\big(\\frac{x-b}{c}\\big)^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a52\/541\/c5e\/a52541c5e577645d7db4cf5d2efd9e65.svg\" width=\"162\" height=\"51\"\/><\/p>\n<p>7) <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/generated\/sklearn.ensemble.RandomForestRegressor.html\">\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441<\/a> \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 sklearn \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043a\u0440\u043e\u043c\u0435 max_depth=2.<\/p>\n<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 UCB+QBC<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a20\/2bf\/be6\/a202bfbe63192c4f9b600eb686c4aaf2.png\" width=\"640\" height=\"480\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a20\/2bf\/be6\/a202bfbe63192c4f9b600eb686c4aaf2.png\"\/><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>Thompson sampling<\/strong><br \/>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u0443\u0447\u043a\u0435 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 (\u0442\u043e\u0447\u043d\u0435\u0435, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u00a0\u0435\u0433\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f) \u0438 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u043c \u0448\u0430\u0433\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u0438\u0437 \u044d\u0442\u0438\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439, \u0434\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0440\u0443\u0447\u043a\u0430 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c. \u041f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430.<\/p>\n<p>\u0412 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0434\u043b\u044f \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u043f\u0440\u043e\u0434\u0430\u0436\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q_i\" alt=\"Q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/22d\/286\/bc2\/22d286bc22d5f34c63db09b86a215d2b.svg\" width=\"22\" height=\"20\"\/> \u043f\u043e \u0446\u0435\u043d\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_i\" alt=\"p_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/968\/873\/ac5\/968873ac564df561e660e8cc2f9102e4.svg\" width=\"17\" height=\"15\"\/> \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A0%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B5_%D0%9F%D1%83%D0%B0%D1%81%D1%81%D0%BE%D0%BD%D0%B0\"><u>\u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430<\/u><\/a>, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_i\" alt=\"\\lambda_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a9\/cfe\/ee4\/2a9cfeee4c70148f27086c56c046c1ac.svg\" width=\"18\" height=\"20\"\/> \u2013 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q_i\" alt=\"Q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ad6\/54c\/3a7\/ad654c3a779581360d6428df13651b58.svg\" width=\"22\" height=\"20\"\/> . \u0421\u043e\u043f\u0440\u044f\u0436\u0451\u043d\u043d\u044b\u043c \u0434\u043b\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u041f\u0443\u0430\u0441\u0441\u043e\u043d\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0433\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Gamma(\\alpha, \\beta)\" alt=\"\\Gamma(\\alpha, \\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/836\/ed1\/b5e\/836ed1b5ebe06258d6d6b0982f365000.svg\" width=\"60\" height=\"22\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Conjugate_prior#:~:text=When%20the%20likelihood%20function%20is%20a%20discrete%20distribution\">\u0411\u0430\u0439\u0435\u0441\u0443<\/a>, \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043e\u0446\u0435\u043d\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha\/\\beta\" alt=\"\\alpha\/\\beta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6d\/e25\/35b\/e6de2535b6edfe696766ee4cc6384b13.svg\" width=\"34\" height=\"22\"\/>, \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha\/\\beta^2\" alt=\"\\alpha\/\\beta^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/629\/476\/da3\/629476da3149491ceb4bdf5465de7788.svg\" width=\"42\" height=\"25\"\/>, \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0433\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha \\gets \\alpha + d\" alt=\"\\alpha \\gets \\alpha + d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/572\/666\/4cd\/5726664cd45ee498bb1c2f53a58bdf82.svg\" width=\"90\" height=\"18\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta\\gets\\beta+1\" alt=\"\\beta\\gets\\beta+1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c9\/c0e\/2f5\/0c9c0e2f59afcf0411e4ea428437f624.svg\" width=\"87\" height=\"20\"\/> , \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\" alt=\"d\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/236\/213\/b18\/236213b182d4ae4fcb61beaae88de816.svg\" width=\"10\" height=\"17\"\/>\u2013 \u044d\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u0437 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c \u043f\u043e\u0438\u0441\u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0430 \u0432\u0430\u043b\u043e\u0432\u043e\u0439 \u043c\u0430\u0440\u0436\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(p_i - c) \\cdot Q_i\" alt=\"(p_i - c) \\cdot Q_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1f\/17e\/f39\/a1f17ef3909c9d2be7136535eb163d2c.svg\" width=\"101\" height=\"22\"\/>, \u043e\u043d\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(p_i - c)\" alt=\"(p_i - c)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7cd\/b01\/715\/7cdb01715a78333aa4970f92ebce0059.svg\" width=\"64\" height=\"22\"\/>, \u0438 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u043a\u0430\u043a \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u0433\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\Gamma((p_i-c)\\cdot\\alpha, \\beta)\" alt=\"\\Gamma((p_i-c)\\cdot\\alpha, \\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b4\/2b9\/ecd\/7b42b9ecd410f2cdedeb717e0173591d.svg\" width=\"138\" height=\"22\"\/>, \u0438 \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0436\u0435 \u0432\u0438\u0434, \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c d \u2013 \u044d\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0430\u043b\u043e\u0432\u043e\u0439 \u043c\u0430\u0440\u0436\u0438.<\/p>\n<p>\u0418\u0442\u043e\u0433\u043e: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u0443\u0447\u043a\u0438 (\u0446\u0435\u043d\u044b) \u0437\u0430\u0434\u0430\u0451\u043c \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0413\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\rho(\\theta) = \\Gamma(\\alpha_i, \\beta_i)\" alt=\"\\rho(\\theta) = \\Gamma(\\alpha_i, \\beta_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ece\/d35\/b7d\/eced35b7db9117efa1cee2d65c1e3344.svg\" width=\"134\" height=\"22\"\/>. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0430\u043b\u043e\u0432\u043e\u0439 \u043c\u0430\u0440\u0436\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u0443\u0447\u043a\u0438-\u0446\u0435\u043d\u044b. \u0414\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0440\u0443\u0447\u043a\u0438 \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442. \u0414\u0430\u043b\u0435\u0435:<\/p>\n<ol>\n<li>\n<p>\u041e\u0431\u043d\u043e\u0432\u043b\u044f\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha_i \\gets\\alpha_i + d_i\" alt=\"\\alpha_i \\gets\\alpha_i + d_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d55\/d6b\/f3e\/d55d6bf3e40ab0221f5f2484401dac5c.svg\" width=\"110\" height=\"20\"\/> \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u043b\u0438\u043a\u0430, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\beta_i \\gets \\beta_i + n_i\" alt=\"\\beta_i \\gets \\beta_i + n_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a84\/49e\/b16\/a8449eb1669e50624f4cb238ba759eee.svg\" width=\"108\" height=\"20\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430 \u0441\u0443\u043c\u043c\u0443 \u043f\u0440\u0438\u0431\u044b\u043b\u0438 \u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0434\u043b\u044f \u0440\u0443\u0447\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"i.\" alt=\"i.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/021\/890\/119\/0218901199aecc7f3934743444af8212.svg\" width=\"12\" height=\"16\"\/><\/p>\n<\/li>\n<li>\n<p>\u0421\u0435\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0440\u0443\u0447\u043a\u0438 \u0438\u0437 \u043e\u0431\u043d\u043e\u0432\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0443 \u0440\u0443\u0447\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u043c \u0435\u0451 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<\/li>\n<\/ol>\n<p>\u0421 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u043c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u0438 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0435\u0439 \u0440\u0430\u0431\u043e\u0442\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u043c\u043e\u0436\u043d\u043e \u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u0442\u044c\u0441\u044f <a href=\"https:\/\/blog.griddynamics.com\/dynamic-pricing-algorithms\/\"><u>\u0442\u0443\u0442<\/u><\/a>.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0438\u0441 6. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 Thompson Sampling \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 Q<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d32\/787\/378\/d32787378ce366ced940147f570d0069.png\" width=\"1979\" height=\"1220\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d32\/787\/378\/d32787378ce366ced940147f570d0069.png\"\/><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p>\u0420\u0430\u0437\u043e\u0431\u0440\u0430\u0432\u0448\u0438\u0441\u044c \u0441 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f.<\/p>\n<h3>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432<\/h3>\n<p>\u0417\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P_0=500\" alt=\"P_0=500\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7af\/202\/334\/7af2023345aff5749ca353158d4838af.svg\" width=\"77\" height=\"20\"\/> , <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"c=400\" alt=\"c=400\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d7\/b35\/bec\/3d7b35bec9c6d41218c8a3a76c33be13.svg\" width=\"64\" height=\"17\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"E=-5\" alt=\"E=-5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fec\/6e0\/831\/fec6e0831d31ebffbe6f34e34c34c583.svg\" width=\"66\" height=\"18\"\/> . \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u0434\u0435\u043b\u044c \u2013 6, \u0434\u043b\u0438\u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u2013 60 \u0434\u043d\u0435\u0439, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0443\u0447\u0435\u043a \u2013 7, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u2013 100, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u2013 500.<\/p>\n<p>\u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c <strong><em>\u0434\u043e\u043b\u044e \u0432\u0435\u0440\u043d\u043e \u0443\u0433\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0446\u0435\u043d \u043d\u0430 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0439 \u043d\u0435\u0434\u0435\u043b\u0435<\/em><\/strong> \u0438 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 <strong>Regret<\/strong>,<strong> <\/strong>\u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435<strong> \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0446\u0435\u043d<\/strong>.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0443\u0447\u043a\u043e\u0439\/\u0440\u0443\u0447\u043a\u0430\u043c\u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0438\u0431\u044b\u043b\u0438 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c 99% \u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0430 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0441\u0435\u0442\u043a\u0435; \u0446\u0435\u043d\u044b \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043d\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 \u0446\u0435\u043d \u0441 \u0448\u0430\u0433\u043e\u043c \u0432 5 \u0440\u0443\u0431\u043b\u0435\u0439, \u0430 \u0446\u0435\u043d\u044b \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u2013 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e \u0434\u0435\u043b\u044f\u0442 \u0438\u0441\u043a\u043e\u043c\u044b\u0439 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. \u0422\u0430\u043a\u0436\u0435 \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0446\u0435\u043d\u044b \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0446\u0435\u043d, \u0442\u0430\u043a \u043a\u0430\u043a \u0431\u044b\u043b\u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0446\u0435\u043d \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0446\u0435\u043d\u044b \u043d\u0430 10%.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cf5\/e45\/82f\/cf5e4582f65157e725a77ad87dcb2e1d.png\" width=\"1188\" height=\"565\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf5\/e45\/82f\/cf5e4582f65157e725a77ad87dcb2e1d.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/523\/079\/f7a\/523079f7a513f336da162095fa0ddfa6.png\" alt=\"\u0420\u0438\u0441 7 \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0446\u0435\u043d \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438\" title=\"\u0420\u0438\u0441 7 \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0446\u0435\u043d \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438\" width=\"1188\" height=\"565\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/523\/079\/f7a\/523079f7a513f336da162095fa0ddfa6.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441 7 \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0446\u0435\u043d \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u0440\u0438 \u0440\u043e\u0441\u0442\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0446\u0435\u043d \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u0435\u0435, \u0447\u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u043e\u0447\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u0435\u0451 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0442\u0430\u043a \u0443\u0433\u0430\u0434\u0430\u0442\u044c, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u043c \u044d\u0442\u0443 \u043c\u043e\u0434\u0435\u043b\u044c \u0438\u0437 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0434\u0430\u043b\u0435\u0435.<br \/>\u041b\u0443\u0447\u0448\u0435\u0439 \u043f\u043e \u0434\u043e\u043b\u0435 \u0432\u0435\u0440\u043d\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0440\u0443\u0447\u0435\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u0430\u0441\u044c \u043c\u043e\u0434\u0435\u043b\u044c TS \u0438 Greedy, \u043d\u043e \u043f\u043e Regret Greedy \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0445\u0443\u0434\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0430 TS \u2013 \u043b\u0443\u0447\u0448\u0438\u0439 \u0432\u043e \u0432\u0441\u0435\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445. \u0425\u0443\u0434\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0443\u00a0EpsGreedy\/Decay \u0438 SoftMax.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e44\/ce1\/282\/e44ce12822d3acb80e1fae8ebb7c885b.png\" width=\"1188\" height=\"565\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e44\/ce1\/282\/e44ce12822d3acb80e1fae8ebb7c885b.png\"\/><\/figure>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c9a\/00f\/dea\/c9a00fdea0eba6a3440182460eef873b.png\" alt=\"\u0420\u0438\u0441 8. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0443\u0447\u0435\u043a (\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438)\" title=\"\u0420\u0438\u0441 8. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0443\u0447\u0435\u043a (\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438)\" width=\"1188\" height=\"565\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9a\/00f\/dea\/c9a00fdea0eba6a3440182460eef873b.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441 8. \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0435 \u0440\u0443\u0447\u0435\u043a (\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438)<\/figcaption><\/div>\n<\/figure>\n<p>\u042f\u0432\u043d\u043e\u0433\u043e \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0443\u0447\u0435\u043a \u043d\u0435\u0442. \u0414\u043b\u044f 5 \u0438 7 \u0440\u0443\u0447\u0435\u043a \u043b\u0443\u0447\u0448\u0438\u043c\u0438 \u043f\u043e \u0434\u043e\u043b\u0435 \u0432\u0435\u0440\u043d\u043e \u0443\u0433\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c TS \u0438 Greedy, \u0434\u043b\u044f 11 \u0438 13 \u0440\u0443\u0447\u0435\u043a \u2013 UcbQbc, TS \u0438 Greedy. \u041a\u0430\u043a \u0438 \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 Greedy \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u0440\u043e\u0433\u043e \u043e\u0431\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 Regret.\u00a0<br \/>\u0420\u0435\u0437\u043a\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 9 \u0440\u0443\u0447\u043a\u0430\u043c\u0438 \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0432 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0430 \u0446\u0435\u043d\u0430, \u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f 7 \u0440\u0443\u0447\u0435\u043a \u2013 \u0434\u0432\u0435, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0434\u043e\u043b\u044f \u043f\u043e\u043f\u0430\u0434\u0430\u043d\u0438\u0439 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432 \u0434\u0432\u0435 \u0440\u0443\u0447\u043a\u0438 \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0448\u0435, \u0447\u0435\u043c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u043e\u0434\u043d\u043e\u0439.<\/p>\n<p><strong>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432.<br \/><\/strong>\u0412 \u043e\u0444\u043b\u0430\u0439\u043d \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u043c\u0435\u043d\u0430 \u0446\u0435\u043d\u043d\u0438\u043a\u0430 \u0441\u0442\u043e\u0438\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443 (\u0442\u0440\u0443\u0434 \u043d\u0430 \u043f\u0435\u0440\u0435\u043a\u043b\u0435\u0439\u043a\u0443 \u0446\u0435\u043d\u043d\u0438\u043a\u0430, \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043f\u0435\u0447\u0430\u0442\u044c \u2013 \u044d\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0438\u0435), \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0446\u0435\u043b\u0435\u0441\u043e\u043e\u0431\u0440\u0430\u0437\u043d\u043e \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043c\u0435\u043d \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0440\u0443\u0447\u043a\u0438 \u043f\u0440\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0438. \u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u044d\u0442\u0438\u043c \u0432 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0430 \u043b\u043e\u0433\u0438\u043a\u0430 \u043f\u0435\u0440\u0435\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u201c\u0440\u0430\u0431\u043e\u0442\u0443\u201d \u043d\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430\u0445, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%BE_%D0%BD%D0%B0%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F%D1%85\"><u>\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445<\/u><\/a> \u0438 \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/docs.scipy.org\/doc\/scipy\/reference\/generated\/scipy.optimize.linear_sum_assignment.html\"><u>\u043f\u0430\u043a\u0435\u0442\u043e\u043c<\/u><\/a> SciPy.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/119\/e10\/fa8\/119e10fa8c05e53073517bb97b3d7ea0.png\" alt=\"\u0420\u0438\u0441 9. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \/ \u0431\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438)\" title=\"\u0420\u0438\u0441 9. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \/ \u0431\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438)\" width=\"1188\" height=\"565\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/119\/e10\/fa8\/119e10fa8c05e53073517bb97b3d7ea0.png\"\/><\/p>\n<div><figcaption>\u0420\u0438\u0441 9. \u0418\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 (\u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 \/ \u0431\u0435\u0437 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438)<\/figcaption><\/div>\n<\/figure>\n<p>\u041e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043d\u0438\u0436\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0446\u0435\u043d\u043d\u0438\u043a\u043e\u0432 \u0434\u043b\u044f Softmax \u0438 EpsDecay. \u0414\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442.<\/p>\n<h3>\u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h3>\n<p>\u041c\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u043b\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432, \u0441\u0440\u0430\u0432\u043d\u0438\u043b\u0438 \u0438\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u041e\u0446\u0435\u043d\u0438\u0432\u0430\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0451\u0442\u043e\u0432, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044f\u043c\u0438 \u0441\u0442\u0430\u043b\u0438 TS, UcbQbc. Greedy \u043f\u043e \u0434\u043e\u043b\u0435 \u0432\u0435\u0440\u043d\u043e \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u0440\u0443\u0447\u0435\u043a \u0434\u0430\u0451\u0442 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043f\u043e\u00a0Regret. \u041d\u0430\u0434\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0438\u043d\u044b\u043c \u0434\u043b\u044f \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441\u043f\u0440\u043e\u0441\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<p>\u041d\u0430\u0434 \u0441\u0442\u0430\u0442\u044c\u0451\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438 \u0411\u0443\u0434\u044b\u043b\u0438\u043d \u041c\u0438\u0445\u0430\u0438\u043b \u0438 \u0414\u0435\u043d\u0438\u0441\u043e\u0432 \u0410\u043d\u0442\u043e\u043d.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/783390\/\"> https:\/\/habr.com\/ru\/articles\/783390\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<figure class=\"bordered full-width\"><\/figure>\n<h2>\u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435<\/h2>\n<p>\u0412 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043d\u0430\u0431\u0438\u0440\u0430\u044e\u0442 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 Reinforcement Learning \u0434\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e <strong><em>\u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 (multi-armed bandits).<\/em><\/strong>\u00a0\u0422\u0430\u043a\u0436\u0435 \u043c\u044b:<\/p>\n<ul>\n<li>\n<p>\u043e\u0431\u0441\u0443\u0434\u0438\u043c, \u043a\u0430\u043a\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439;<\/p>\n<\/li>\n<li>\n<p>\u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u043e\u043f\u0438\u0448\u0435\u043c \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c \u044d\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432 \u043d\u0451\u043c \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u0438\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<h3>\u041c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b \u2013 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b<\/h3>\n<p>\u0418\u0434\u0435\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u0442\u0441\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 (\u201c\u0440\u0443\u0447\u0435\u043a\u201d) \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0440\u0443\u0447\u043a\u0443 \u0441 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0432\u044b\u0438\u0433\u0440\u044b\u0448\u0435\u043c \u0438 \u0441 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0442\u0440\u0430\u0442\u0430\u043c\u0438 \u043d\u0430 \u043f\u043e\u0438\u0441\u043a \u044d\u0442\u043e\u0439 \u0441\u0430\u043c\u043e\u0439 \u0440\u0443\u0447\u043a\u0438. \u041f\u043e\u0434\u0445\u043e\u0434 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445, \u043a\u043e\u0433\u0434\u0430 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439\/\u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0446\u0435\u043b\u0435\u043d\u044b \u043d\u0430 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f, \u043d\u043e \u043e\u0431 \u043e\u0442\u043a\u043b\u0438\u043a\u0435 \u043d\u0430 \u044d\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u043c\u044b \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c.<\/p>\n<p>\u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0433\u0434\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043c\u0430 \u0442\u0430\u043a\u0430\u044f \u043b\u043e\u0433\u0438\u043a\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u0430<\/strong><br \/>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u043d\u0430\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0431\u043e\u043d\u0443\u0441\u043d\u044b\u0435 \u0431\u0430\u043b\u043b\u044b \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c \u0441 \u0446\u0435\u043b\u044c\u044e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u0438\u0445-\u0442\u043e \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u044b\u0445 \u0437\u0430\u0434\u0430\u0447. \u041a\u043b\u0438\u0435\u043d\u0442\u0443 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c 500, 1000 \u0438\u043b\u0438 1500 \u0431\u0430\u043b\u043b\u043e\u0432 \u0438, \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043f\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u0435\/\u0442\u0440\u0430\u0444\u0438\u043a\u0443 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043d\u044b\u043c\u0438.<br \/>\u0415\u0449\u0451 \u0441\u0445\u043e\u0436\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0438\u0437 \u0440\u0438\u0442\u0435\u0439\u043b\u0430 \u0442\u0435\u0445\u043d\u0438\u043a\u0438: \u043f\u0440\u0438 \u043f\u043e\u043a\u0443\u043f\u043a\u0435 \u0441\u043c\u0430\u0440\u0442\u0444\u043e\u043d\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0441\u043a\u0438\u0434\u043a\u0443 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u0430\u043a\u0441\u0435\u0441\u0441\u0443\u0430\u0440\u0430(\u043e\u0432), \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0432 \u0442\u0430\u043a\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0439 \u0431\u0430\u043d\u0434\u0438\u0442 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u043f\u043e \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c \u0441\u043a\u0438\u0434\u043a\u0438, \u0447\u0442\u043e \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043e \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\">\u0423\u0441\u043b\u043e\u0432\u0438\u0435<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u041c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0430\u043a\u0441\u0435\u0441\u0441\u0443\u0430\u0440\u043e\u0432<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u0421\u043a\u0438\u0434\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"center\">\u0421\u043f\u0440\u043e\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u21161<\/p>\n<\/td>\n<td>\n<p align=\"center\">1000<\/p>\n<\/td>\n<td>\n<p align=\"center\">500<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u21162<\/p>\n<\/td>\n<td>\n<p align=\"center\">1500<\/p>\n<\/td>\n<td>\n<p align=\"center\">500<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u21163<\/p>\n<\/td>\n<td>\n<p align=\"center\">2000<\/p>\n<\/td>\n<td>\n<p align=\"center\">1000<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/strong><br \/>\u0414\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0447\u0430\u0441\u0442\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f, \u043a\u043e\u0433\u0434\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u044f \u043f\u0440\u043e\u0434\u0430\u0436 \u0442\u043e\u0432\u0430\u0440\u0430 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0443 \u0446\u0435\u043d\u0443, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437-\u0437\u0430 \u043d\u043e\u0432\u0438\u0437\u043d\u044b \u0442\u043e\u0432\u0430\u0440\u0430, \u0438\u043b\u0438 \u0438\u0437-\u0437\u0430 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0441\u043f\u0440\u043e\u0441\u0430. \u0412 \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445, \u043c\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0431\u044b \u043e\u043d \u043f\u0440\u043e\u0434\u0430\u0432\u0430\u043b\u0441\u044f \u043f\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0446\u0435\u043d\u0435. \u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0446\u0435\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0438\u043b\u0438 \u0432\u0430\u043b\u043e\u0432\u043e\u0433\u043e \u0434\u043e\u0445\u043e\u0434\u0430, \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043b\u044f \u0432\u044b\u0431\u043e\u0440\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0446\u0435\u043d\u044b \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0435 \u0431\u0430\u043d\u0434\u0438\u0442\u044b:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\">\u0446\u0435\u043d\u0430<\/p>\n<\/td>\n<td>\n<p align=\"center\">80<\/p>\n<\/td>\n<td>\n<p align=\"center\">90<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">100<\/p>\n<\/td>\n<td>\n<p align=\"center\">110<\/p>\n<\/td>\n<td>\n<p align=\"center\">120<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u043f\u0440\u043e\u0434\u0430\u0436\u0438, \u0448\u0442.<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">500<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u043f\u0440\u043e\u0434\u0430\u0436\u0438, \u0440\u0443\u0431.<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">500000<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"center\">\u0432\u0430\u043b\u043e\u0432\u044b\u0439 \u0434\u043e\u0445\u043e\u0434, \u0440\u0443\u0431.<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"center\">100000<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<td>\n<p align=\"center\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u041f\u043e\u0438\u0441\u043a \u043a\u0440\u0430\u0442\u0447\u0430\u0439\u0448\u0435\u0433\u043e \u043f\u0443\u0442\u0438<\/strong><br \/>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432 \u0431\u044b\u043b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d \u0430\u0432\u0442\u043e\u0440\u0430\u043c\u0438\u00a0<a href=\"https:\/\/arxiv.org\/abs\/1707.02038\"><u>\u0441\u0442\u0430\u0442\u044c\u0438<\/u><\/a>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u0430\u0432\u0438\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u043e\u0438\u0441\u043a\u0430 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0443\u0442\u0438 \u0432 \u0433\u0440\u0430\u0444\u0435 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u044b \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. \u041f\u0440\u043e \u0433\u0440\u0430\u0444 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0441\u0432\u044f\u0437\u0435\u0439, \u043d\u043e \u043d\u0435 \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0435 \u0432\u0435\u0440\u0448\u0438\u043d\u044b (\u0442\u0430\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u043e\u0432), \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u044b\u0431\u043e\u0440 \u043c\u0430\u0440\u0448\u0440\u0443\u0442\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u043c, \u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432.<\/p>\n<p><strong>\u0421\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0441\u0435\u0442\u0438 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432<\/p>\n<p><\/strong>\u0421\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u043e\u0434 <strong><em>\u0441\u0440\u0435\u0434\u043e\u0439<\/em><\/strong> \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u043e\u0432 \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u0442\u043e\u0432\u0430\u0440, \u0430 <strong><em>\u0430\u0433\u0435\u043d\u0442\u043e\u043c<\/em><\/strong> \u0431\u0443\u0434\u0435\u0442 \u043a\u0430\u043a\u0430\u044f-\u0442\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0430\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u0440\u0435\u0434\u044b \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0451\u0442\u0430 \u0446\u0435\u043d. \u0412 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0435 \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f \u043e\u0444\u043b\u0430\u0439\u043d \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0430:<\/p>\n<ul>\n<li>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c \u0446\u0435\u043d\u0443 \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u0435 \u043d\u0435 \u0447\u0430\u0449\u0435 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u0430 \u0432 \u043d\u0435\u0434\u0435\u043b\u044e;<\/p>\n<\/li>\n<li>\n<p>\u0426\u0435\u043d\u0430 \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u043d\u0430 10%.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441 1. \u0421\u0445\u0435\u043c\u0430 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0430<\/figcaption><\/div>\n<\/figure>\n<p>\u0414\u043b\u044f \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e <strong>\u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u043e\u0441\u0430<\/strong> (\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u044b \u0443\u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u043b\u0438 \u0432 <a href=\"https:\/\/habr.com\/ru\/companies\/X5Tech\/articles\/685590\/\"><u>\u043e\u0434\u043d\u043e\u0439<\/u><\/a> \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u0435\u0439):<\/p>\n<p>\u0433\u0434\u0435<br \/> &#8212; \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0441\u043f\u0440\u043e\u0441 \u0432 \u0448\u0442\/\u043a\u0433,<br \/> &#8212; \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0446\u0435\u043d\u0430,<br \/> &#8212; \u0438\u0441\u043a\u043e\u043c\u0430\u044f \u0446\u0435\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0435\u0440\u0435\u0442\u0441\u044f \u0438\u0437 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0438 \u0446\u0435\u043d(\u0440\u0443\u0447\u0435\u043a), , <br \/> &#8212; \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b.<\/p>\n<p>\u041e\u0431\u043e\u0440\u043e\u0442  \u0438 \u043f\u0440\u0438\u0431\u044b\u043b\u044c  \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c\u0438 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f\u043c\u0438:<\/p>\n<p>\u0433\u0434\u0435  &#8212; \u0441\u0435\u0431\u0435\u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u043e\u0432\u0430\u0440\u0430.<\/p>\n<p>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043f\u043e \u0446\u0435\u043d\u0435 \u0434\u043b\u044f \u043f\u0440\u0438\u0431\u044b\u043b\u0438 \u0432 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438: .<\/p>\n<p>\u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0433\u0440\u0430\u0444\u0438\u043a\u0438 \u0441\u043f\u0440\u043e\u0441\u0430 \u0438 \u043f\u0440\u0438\u0431\u044b\u043b\u0438, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u043f\u043e \u043f\u0440\u0438\u0431\u044b\u043b\u0438 \u0432 \u044d\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438:<\/p>\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441. 2. \u0413\u0440\u0430\u0444\u0438\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439<\/figcaption><\/div>\n<\/figure>\n<p><strong>\u042d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u044c<\/strong><br \/>\u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u0441\u043f\u0440\u043e\u0441\u0430 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0446\u0435\u043d\u0430\u0445, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u043e\u0434\u0430\u0436 \u043e\u0442 \u0446\u0435\u043d\u044b, \u043e\u0442\u043a\u0443\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u044d\u043b\u0430\u0441\u0442\u0438\u0447\u043d\u043e\u0441\u0442\u0438. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430: <\/p>\n<p>\u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0447\u0442\u043e<\/p>\n<p>\u043c\u043e\u0436\u043d\u043e, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f, \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0432\u044b\u0448\u0435 \u0432\u044b\u0440\u0430\u0437\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u043f\u0440\u043e\u0441\u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438  \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: . <br \/>\u041d\u0430\u0439\u0434\u0435\u043d\u043d\u0443\u044e \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u043f\u0440\u043e\u0441\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u043e\u0438\u0441\u043a\u0430 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0435\u0442\u043a\u0435 \u0446\u0435\u043d, \u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u043c \u0434\u0430\u043b\u0435\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0441 \u0440\u0435\u0448\u0435\u043d\u0438\u044f\u043c\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<h3>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u043d\u043e\u0433\u043e\u0440\u0443\u043a\u0438\u0445 \u0431\u0430\u043d\u0434\u0438\u0442\u043e\u0432<\/h3>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043a\u0440\u0430\u0442\u043a\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0432 \u0441\u0438\u043c\u0443\u043b\u044f\u0442\u043e\u0440\u0435 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 \u044d\u0442\u043e\u043c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0435\u0442\u0430\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0449\u0435 \u043f\u043e\u044f\u0441\u043d\u044f\u0442\u044c.<br \/>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0446\u0435\u043d\u043e\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <strong><em>\u0440\u0443\u0447\u043a\u043e\u0439<\/em><\/strong> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438\u0437 \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0445 \u0446\u0435\u043d \u043d\u0430 \u0442\u043e\u0432\u0430\u0440, <strong><em>\u043d\u0430\u0433\u0440\u0430\u0434\u043e\u0439 \u0438\u043b\u0438 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u043c<\/em><\/strong> \u2013 \u043f\u0440\u0438\u0431\u044b\u043b\u044c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0446\u0435\u043d\u044b, \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u0435 (<strong><em>Regret<\/em><\/strong>) \u2013 \u043d\u0435\u0434\u043e\u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043f\u0440\u0438\u0431\u044b\u043b\u044c. \u0422\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0442\u043e\u0447\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u043e Regret \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u043e\u0432 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0438 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 (\u0435\u0441\u043b\u0438 \u0442\u043e\u0447\u043d\u0435\u0435, \u0442\u043e \u0431\u043b\u0438\u0436\u0430\u0439\u0448\u0430\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0443\u043c\u0443 \u0446\u0435\u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430<\/p>\n<p><strong>\u0416\u0430\u0434\u043d\u044b\u0435 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 greedy\/epsilon-greedy\/epsilon-decay<\/strong><\/p>\n<p>\u0416\u0430\u0434\u043d\u0430\u044f (<strong>greedy<\/strong>) \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0431\u043e\u0440\u0435 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u043f\u043e \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u043e\u043c\u0443 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u043e\u0442\u043a\u043b\u0438\u043a\u0443. \u0415\u0441\u043b\u0438 \u043e\u0442\u043a\u043b\u0438\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0438 \u0441\u0442\u0430\u0446\u0438\u043e\u043d\u0430\u0440\u043d\u044b\u043c, \u0442\u043e \u0434\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0442\u043e\u0447\u043d\u043e \u0441\u043a\u0430\u0436\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043b\u0443\u0447\u0448\u0430\u044f. \u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043a\u043b\u0438\u043a \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0440\u0443\u0447\u043a\u0430 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435\u0439.<\/p>\n<p>\u0412 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0435 \u0436\u0430\u0434\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u043c \u0410\u0411-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u044b\u0445 \u0440\u0443\u0447\u0435\u043a, \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0446\u0435\u043d\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430\u0445 \u043e\u0442\u043f\u0440\u0430\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0432 \u043c\u0430\u0433\u0430\u0437\u0438\u043d\u044b \u043d\u0430 \u0432\u0441\u044e \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0434\u0430\u043b\u0435\u0435 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043b\u0443\u0447\u0448\u0430\u044f \u0440\u0443\u0447\u043a\u0430 \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u0443.<\/p>\n<p>\u042d\u043f\u0441\u0438\u043b\u043e\u043d-\u0436\u0430\u0434\u043d\u0430\u044f (<strong>eps-greedy) <\/strong>\u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f<strong> <\/strong>\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439 <strong>greedy<\/strong> \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438.\u00a0<br \/>\u0412 \u043d\u0435\u0439 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043b\u0443\u0447\u0448\u0443\u044e \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0440\u0443\u0447\u043a\u0443, \u0430 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e eps \u2013 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u043b\u044e\u0431\u0443\u044e \u0434\u0440\u0443\u0433\u0443\u044e. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0440\u0443\u0447\u043a\u0438, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u0432\u044b\u0441\u0438\u0442\u044c \u0448\u0430\u043d\u0441\u044b \u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u0432 \u0445\u043e\u0434\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439.\u00a0<\/p>\n<p>\u0412 eps-greedy \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043c\u044b \u0430\u0441\u0438\u043c\u043f\u0442\u043e\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0439 \u0442\u0440\u0430\u0442\u0438\u043c \u043d\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u0442\u0440\u0430\u0442\u043d\u043e. \u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f <strong>eps-decay<\/strong> \u0441\u043d\u0438\u0436\u0430\u0435\u0442  \u0432\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u0443 , \u0433\u0434\u0435  \u2013 \u043d\u043e\u043c\u0435\u0440 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438,  \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u0438 \u0437\u0430\u0442\u0443\u0445\u0430\u043d\u0438\u044f . \u0415\u0441\u043b\u0438  , \u0442\u043e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 <strong>eps\u2013greedy<\/strong> \u043f\u0440\u0438 .<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0438\u0441 3. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 EpsGreedy<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\">\n<div><figcaption>\u0420\u0438\u0441 3.1 \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 EpsGreedy \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 Q0<\/figcaption><\/div>\n<\/figure>\n<figure class=\"full-width\"><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>Softmax<\/strong><br \/>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f (\u0435\u0451 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u043a\u0430\u043a Boltzman Exploration) \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u043c \u0432\u044b\u0431\u043e\u0440\u0435 \u0440\u0443\u0447\u0435\u043a \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435:<\/p>\n<p>,<\/p>\n<p>\u0437\u0434\u0435\u0441\u044c  \u2013 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u0440\u0443\u0447\u043a\u0438 ,  \u2013 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0439\u00a0\u043d\u0430\u0433\u0440\u0430\u0434\u044b\u00a0\u0440\u0443\u0447\u043a\u0438 ,  \u2013 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b.<br \/>\u041a\u0430\u043a \u0432\u0438\u0434\u0438\u043c \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0440\u0443\u0447\u043a\u0443 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0432\u043e\u0437\u043d\u0430\u0433\u0440\u0430\u0436\u0434\u0435\u043d\u0438\u044f, \u0430 \u0441\u0430\u043c\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0433\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b . \u0415\u0441\u043b\u0438  \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u0432\u0441\u0435 \u0440\u0443\u0447\u043a\u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0440\u0430\u0432\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0431\u0430\u043d\u0434\u0438\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0440\u0443\u0447\u0435\u043a. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0435\u0441\u043b\u0438 tau \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a \u043d\u0443\u043b\u044e, \u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a 1, \u0442\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0431\u0430\u043d\u0434\u0438\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0439 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438, \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u044f\u0441\u044c \u0432 \u0436\u0430\u0434\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e. \u0414\u0430\u043d\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0437\u0430\u0434\u0430\u0432\u0430\u044f \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430  (\u043a\u0430\u043a \u0432 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 -decay) \u2013 \u043a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u044d\u0442\u043e \u043e\u0445\u043b\u0430\u0436\u0434\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u0441\u0442\u0435\u043f\u0435\u043d\u043d\u043e\u0435 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b . \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0431\u0440\u0430\u0442\u044c \u00a0\u0440\u0430\u0432\u043d\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u043c\u0443 \u043e\u0442\u043a\u043b\u0438\u043a\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u0420\u0438\u0441 4. \u0414\u0438\u043d\u0430\u043c\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 SoftMax \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>UCB<\/strong><br \/>\u0421\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f Upper Confidence Bounds \u0438\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e UCB \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u2013 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0443 \u0440\u0443\u0447\u043a\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b:<\/p>\n<p> \u0433\u0434\u0435  &#8212; \u043d\u043e\u043c\u0435\u0440 \u0440\u0443\u0447\u043a\u0438,  \u2013 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0434\u043b\u044f \u0440\u0443\u0447\u043a\u0438,  \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 (\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0431\u044b\u043b\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u043b\u044e\u0431\u0430\u044f \u0440\u0443\u0447\u043a\u0430),  \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u0440\u0443\u0447\u043a\u0438 .<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043b\u0443\u0447\u0448\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u043a \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u0448\u0430\u0433\u0443, \u0430 \u0432\u0442\u043e\u0440\u043e\u0439 \u2013 \u0437\u0430 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0443\u0447\u0435\u043a. \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\/\u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435\u043c, \u0435\u0441\u043b\u0438  \u2013 \u0442\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0436\u0430\u0434\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0435\u0441\u043b\u0438 ,\u00a0\u0442\u043e \u0432\u0441\u0435 \u0440\u0443\u0447\u043a\u0438 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0432\u043d\u043e\u043f\u0440\u0430\u0432\u043d\u044b \u2013 \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f. \u041e\u0442\u043c\u0435\u0442\u0438\u043c \u0442\u0430\u043a\u0436\u0435, \u0447\u0442\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u043b\u0443\u0447\u0448\u0435\u0439 \u0441\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u043e, \u043d\u0430 \u0432\u044b\u0431\u043e\u0440 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0438 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043d\u0430 \u0432\u0441\u0435\u0445 \u0440\u0443\u0447\u043a\u0430\u0445. <\/p>\n<p><strong>UCB+QBC<br \/><\/strong>\u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0432\u0438\u0442\u0438\u0435\u043c \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 <strong>UCB, <\/strong>\u043a \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u044d\u043b\u0435\u043c\u0435\u043d\u0442 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Active_learning_(machine_learning)\"><u>\u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0433\u043e<\/u><\/a> \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0417\u0434\u0435\u0441\u044c, \u0435\u0441\u043b\u0438 \u0440\u0443\u0447\u043a\u0438 \u2013 \u044d\u0442\u043e \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u0438\u0437 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043e\u0442 \u044d\u0442\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439, \u043f\u0440\u0438\u0447\u0451\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0430\u0440\u0430\u0431\u043e\u043b\u043e\u0439, \u0433\u0430\u0443\u0441\u0441\u0438\u0430\u043d\u043e\u0439 \u0438 \u0442.\u043f.) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u0432 \u2013 \u0442\u0430\u043a\u0430\u044f \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f Query by Committee (\u0438\u043b\u0438 \u043a\u043e\u0440\u043e\u0442\u043a\u043e <strong>QBC<\/strong>). \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432\u044b\u0431\u043e\u0440\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0440\u0443\u0447\u043a\u0438 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0432\u044b\u0431\u043e\u0440\u0435 \u0442\u043e\u0439, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044e:<\/p>\n<p>\u0433\u0434\u0435  \u2013 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439-\u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0442\u043a\u043b\u0438\u043a\u0430; \u2013  \u2013 \u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438\u0437 \u043d\u0430\u0431\u043e\u0440\u0430  \u0440\u0430\u0437\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u043e\u0442 \u0446\u0435\u043d\u044b.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043f\u0435\u0440\u0432\u044b\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u0438\u0433\u0440\u0430\u044e\u0442 \u0442\u0443 \u0436\u0435 \u0440\u043e\u043b\u044c, \u0447\u0442\u043e \u0438 \u0432 \u043e\u0431\u044b\u0447\u043d\u043e\u043c UCB, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0432\u044b\u0448\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430 \u043f\u0435\u0440\u0432\u043e\u043c \u043c\u0435\u0441\u0442\u0435 \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043e\u0442 \u043e\u0446\u0435\u043d\u043e\u043a \u043c\u043e\u0434\u0435\u043b\u0438 , \u0442\u0440\u0435\u0442\u044c\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0432 \u043a\u043e\u043c\u0438\u0442\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0440\u0443\u0447\u043a\u0438(QBC).<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u0438 \u043c\u044b \u0432\u044b\u0431\u0440\u0430\u043b\u0438 7 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u0447\u0430\u0441\u0442\u044c \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d \u0433\u043b\u043e\u0431\u0430\u043b\u044c\u043d\u044b\u0439 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c. \u041f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438\u043c \u0438\u0445:<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u0432<\/summary>\n<div class=\"spoiler__content\">\n<p>1) <a href=\"https:\/\/en.wikipedia.org\/wiki\/Skew_normal_distribution\">\u0424\u0443\u043d\u043a\u0446\u0438\u044f<\/a>, \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0435 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <br \/>&#8212; \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435.<br \/>\u0412\u0432\u0435\u0434\u0451\u043c  , \u0433\u0434\u0435  \u2013 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0422\u043e\u0433\u0434\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p>\u0433\u0434\u0435  \u2013 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u0437\u0430 \u201c\u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u201d \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430,  \u2013 \u0446\u0435\u043d\u0442\u0440 \u043d\u0435\u0441\u043a\u043e\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430,  \u2013 \u0448\u0438\u0440\u0438\u043d\u0430 \u043a\u043e\u043b\u043e\u043a\u043e\u043b\u0430<\/p>\n<p>2) \u041a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<p>3) \u0424\u0443\u043d\u043a\u0446\u0438\u044f, \u043f\u043e\u0445\u043e\u0436\u0430\u044f \u043d\u0430 \u0433\u0430\u043c\u043c\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435:<\/p>\n<p>4) \u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f:<\/p>\n<p>5) \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0413\u0430\u0443\u0441\u0441\u0430:<\/p>\n<p>6) \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u041b\u043e\u0440\u0435\u043d\u0446\u0430:<\/p>\n<p>7) <a href=\"https:\/\/scikit-learn.org\/stable\/modules\/generated\/sklearn.ensemble.RandomForestRegressor.html\">\u0421\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u043b\u0435\u0441<\/a> \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 sklearn \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e, \u043a\u0440\u043e\u043c\u0435 max_depth=2.<\/p>\n<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u043c\u043e\u0434\u0435\u043b\u0438 UCB+QBC<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><\/figure>\n<\/p>\n<\/div>\n<\/details>\n<p><strong>Thompson sampling<\/strong><br \/>\u0412 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0439<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-364070","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/364070","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=364070"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/364070\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=364070"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=364070"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=364070"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}