{"id":327318,"date":"2022-01-10T08:50:52","date_gmt":"2022-01-10T08:50:52","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=327318"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=327318","title":{"rendered":"<span>ML-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0434\u043b\u044f A\/B-\u0442\u0435\u0441\u0442\u043e\u0432<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\" class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0414\u0438\u043c\u0430 \u041b\u0443\u043d\u0438\u043d, \u0438 \u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u0432 \u0410\u0432\u0438\u0442\u043e. \u041a\u0430\u043a \u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043d\u0430\u0448 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u2014 \u044d\u0442\u043e A\/B-\u0442\u0435\u0441\u0442\u044b. \u041c\u044b \u0443\u0434\u0435\u043b\u044f\u0435\u043c \u0438\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432. \u041f\u0440\u043e \u044d\u0442\u043e \u0432\u0441\u0451 \u043c\u044b \u0443\u0436\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0434\u0432\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440, \u0432\u043e\u0442\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c<\/a>, \u0430 \u0432\u043e\u0442 \u2014\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u0432\u0442\u043e\u0440\u0430\u044f<\/a>. <\/p>\n<p>\u0412 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0434\u043b\u044f A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0432\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0445 \u0435\u0449\u0451 \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438, \u0441\u0430\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"768\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/11c\/30b\/569\/11c30b569a0888f37e6a1e8d620c9d38.png\" data-width=\"1366\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0440\u0430\u0442\u043a\u043e, \u043e \u0447\u0451\u043c \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0441\u044c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 CUPED-\u043c\u0435\u0442\u043e\u0434. <\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. CUPAC, CUNOPAC \u0438 CUMPED \u2014 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043f\u0440\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Uplift-\u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. \u0417\u0434\u0435\u0441\u044c \u044f \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u0438 bootstrap-\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u043c\u0435\u0441\u0442\u0435\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u0441 \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439<\/a>\u00a0\u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 CUPED.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043a\u0430\u043a CUNOPAC, CUMPED, \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 Uplift-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0438\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u044b \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439.<\/p>\n<h2>\u0417\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432<\/h2>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0443 \u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u0445, \u0445\u043e\u0447\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0433\u043e\u0434\u044f\u0442\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043b\u0435\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b.<\/p>\n<p><strong>\u041f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0435 A\/B-\u0442\u0435\u0441\u0442\u044b.\u00a0<\/strong>\u0417\u0434\u0435\u0441\u044c \u0432\u044b \u043e\u0434\u043d\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0435 \u043d\u043e\u0432\u044b\u0439 \u0434\u0438\u0437\u0430\u0439\u043d, \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u0448\u043a\u0438 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435, \u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0432\u0441\u0451 \u043a\u0430\u043a \u0431\u044b\u043b\u043e. \u0416\u0434\u0451\u0442\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0440\u043e\u043a \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043f\u0440\u043e\u043a\u0440\u0430\u0448\u0435\u043d \u0442\u0435\u0441\u0442 \u0438\u043b\u0438 \u043d\u0435\u0442. <\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0432 \u0442\u0430\u043a\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439: \u0442\u0430\u043a \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u0432\u0440\u0435\u043c\u044f. \u0415\u0449\u0451 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0437\u0430\u0447\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0432\u044b\u0448\u0435.<\/p>\n<p>\u041d\u043e \u0431\u044b\u0432\u0430\u044e\u0442 \u0441\u043b\u0443\u0447\u0430\u0438, \u043a\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u043e\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u043d\u043e\u0432\u0443\u044e \u0440\u0435\u043a\u043b\u0430\u043c\u0443 \u043d\u0430 \u0431\u0438\u043b\u0431\u043e\u0440\u0434\u0430\u0445 \u0438\u043b\u0438 \u0442\u0435\u043b\u0435\u0432\u0438\u0434\u0435\u043d\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u0432\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0434\u043d\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0440\u0435\u043a\u043b\u0430\u043c\u0443, \u0430 \u0432\u0442\u043e\u0440\u044b\u043c \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0432\u044f\u0437\u0430\u0442\u044c \u0433\u043b\u0430\u0437\u0430. <\/p>\n<p>\u0422\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430\u043c\u0438. \u041c\u044b \u0432 \u0410\u0432\u0438\u0442\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0432\u043e\u0451 \u0432\u0440\u0435\u043c\u044f \u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442, \u0442\u043e \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0435 \u0431\u044b\u043b\u0438 \u0431\u044b \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439: \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u0443\u0441\u043b\u0443\u0433\u0430\u043c\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u043c\u0438. \u0418 \u044d\u0442\u043e \u043d\u0430\u0440\u0443\u0448\u0438\u043b\u043e \u0431\u044b \u0447\u0438\u0441\u0442\u043e\u0442\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430: \u043f\u0440\u0438 \u0440\u0430\u0441\u043a\u0430\u0442\u043a\u0435 \u0443 \u043d\u0430\u0441 \u0432\u0441\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u0443\u0441\u043b\u0443\u0433\u0430\u043c\u0438 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0435, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b A\/B \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0435. \u0417\u0434\u0435\u0441\u044c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u0442\u0438\u043f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p><strong>\u0420\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 A\/B-\u0442\u0435\u0441\u0442\u044b.\u00a0<\/strong>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u043d\u043e\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0435\u0434\u0438\u043d\u0438\u0446\u0435 \u2014 \u0440\u0435\u0433\u0438\u043e\u043d\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u0440\u0435\u043a\u043b\u0430\u043c\u0443 \u0438\u043b\u0438 \u0432\u0432\u0435\u0434\u0451\u043c \u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u0442\u043e\u043b\u044c\u043a\u043e\u00a0\u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u0447\u0435\u0441\u0442\u043d\u043e:\u00a0\u0440\u0435\u043a\u043b\u0430\u043c\u0443 \u0432 \u043e\u0434\u043d\u043e\u043c \u0440\u0435\u0433\u0438\u043e\u043d\u0435 \u043d\u0435 \u0443\u0432\u0438\u0434\u044f\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0442\u0435\u0445, \u043a\u0442\u043e \u0443\u0432\u0438\u0434\u0438\u0442, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0436\u0438\u043c\u043e \u043c\u0430\u043b\u043e). \u0418 \u0432\u044b\u0434\u0430\u0447\u0430 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043c. \u0422\u0430\u043a \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0420\u043e\u0441\u0442\u043e\u0432\u0441\u043a\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043a\u0443\u043f\u0438\u0442\u044c\u00a0\u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, \u0430 \u0432 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u043e\u043c \u043a\u0440\u0430\u0435 \u2014 \u043d\u0435\u0442, \u043e\u043d\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442.<\/p>\n<p>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 85\u00a0\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432-\u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432: 42 \u0438\u0437 \u043d\u0438\u0445 \u2014 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 43 \u2014 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0442\u0430\u0442\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041d\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0441\u0435\u0433\u043e 85, \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043b\u0438 \u043e\u043d\u0438 \u0441\u0435\u0431\u044f \u043f\u043e\u043a\u0430\u0436\u0443\u0442? \u041d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043b\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b?<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"538\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/330\/4b9\/5f3\/3304b95f3886ffdbe4d9371ef79b2789.png\" data-width=\"1223\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043a\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u2014 \u043e\u043d\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0448\u0443\u043c\u043d\u044b\u0435. \u0427\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u043e\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442, \u043d\u0430\u0434\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u0431\u044b\u043b \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u0438\u043b\u0438, \u0447\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e, \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0430, \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u0433\u0430\u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430.<\/p>\n<p>\u041d\u0430 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u044f \u0438 \u0431\u0443\u0434\u0443 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043b\u0435\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0438 \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435 \u043f\u043e\u043a\u0430\u0436\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0441\u0443\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438. \u041d\u0430\u0447\u043d\u0451\u043c \u0441 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<h2>CUPED<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/055\/f3d\/793\/055f3d79327eb6dc07bb0f4b7f087620.png\" data-width=\"1560\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>CUPED (Controlled-experiment Using Pre-Experiment Data)<\/strong>\u00a0\u2014\u00a0\u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438. \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0432\u0430\u0448\u0430\u00a0\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430, \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0434\u043b\u0438\u0442\u0441\u044f \u043c\u0435\u0441\u044f\u0446. \u0412\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u043a\u0430\u043a\u0430\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"243\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/861\/ae4\/e77\/861ae4e775d4e53f7e86eae037f1d797.png\" data-width=\"450\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0447\u0435\u043d\u044c \u0448\u0443\u043c\u043d\u044b\u0435: \u0432 \u0442\u0435\u0441\u0442\u0435 \u0434\u0430\u0436\u0435 \u043d\u0430 \u0442\u0440\u0451\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044f\u0442\u0441\u044f \u043e\u0442 50 \u0434\u043e 150, \u0430 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014 \u043e\u0442 20 \u0434\u043e 200 \u0440\u0443\u0431\u043b\u0435\u0439. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e T-test \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:\u00a0<strong>+10\u00b120 \u20bd<\/strong>\u00a0\u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c. \u041a\u0430\u043a \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c?<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0441 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0442\u0440\u0430\u0442\u0438\u043b\u0438 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432 \u043c\u0435\u0441\u044f\u0446<strong> \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.\u00a0<\/strong>\u041f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435 \u0442\u0435\u0441\u0442\u0430 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0422\u043e\u0433\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"722\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1d\/8f2\/b67\/e1d8f2b67fc625cf4f4bc622d7a823cc.png\" data-width=\"1174\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0411\u0443\u0434\u0435\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0434\u0435\u043b\u044c\u0442\u0443. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043c\u0438\u043d\u0443\u0441 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0432 \u043c\u0435\u0441\u044f\u0446.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043c\u043e\u0436\u043d\u043e? \u0412 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u043c\u044b \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u043c A\/B-\u0442\u0435\u0441\u0442\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0438 \u0442\u0435\u0441\u0442 \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0443, \u044d\u0442\u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"198\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/752\/a1f\/ca6\/752a1fca6395b607dc46cf941b099c02.png\" data-width=\"1071\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c:<\/p>\n<ul>\n<li>\n<p>T \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0442\u0435\u0441\u0442\u0435.<\/p>\n<\/li>\n<li>\n<p>C \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u0432\u0441\u0451 \u044d\u0442\u043e?<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432 delta: \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u043e\u0442 -10 \u0434\u043e 6 \u0440\u0443\u0431\u043b\u0435\u0439, \u0430 \u0432 \u0442\u0435\u0441\u0442\u0435 \u043e\u0442 -10 \u0434\u043e 20 \u0440\u0443\u0431\u043b\u0435\u0439. \u042d\u0442\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430, \u0447\u0442\u043e \u043c\u044b \u0432\u0438\u0434\u0435\u043b\u0438 \u0440\u0430\u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u0441\u044f: \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0442\u0430\u043d\u0435\u0442\u00a0<strong>+15\u00b15\u00a0\u20bd\u00a0<\/strong>\u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0438 \u043e\u043d \u0443\u0436\u0435 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c!\u00a0\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430.\u00a0<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 CUPED \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e.\u00a0<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f\u00a0\u0438\u0434\u0435\u044f CUPED-\u043c\u0435\u0442\u043e\u0434\u0430: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u044b\u0447\u0442\u0435\u043c \u0447\u0442\u043e-\u0442\u043e\u00a0\u0438\u0437 \u0442\u0435\u0441\u0442\u0430 \u0438 \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u00a0\u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u043a\u0430\u043a \u0438 \u0431\u044b\u043b\u043e. \u041d\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c \u0431\u044b:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"84\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/175\/76b\/1a0\/17576b1a0eb3b895c1f9e568b6e03fa6.png\" data-width=\"203\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0434\u0435 A \u0438 B \u2014 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b). \u0422\u043e\u0433\u0434\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0435\u0441\u043b\u0438\u00a0\u03b8\u00a0\u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439, \u043a\u0430\u043a \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0434\u0430\u043b\u0435\u0435, \u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"86\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f2\/cf9\/f03\/8f2cf9f036b1646c38cafb4f02514c76.png\" data-width=\"360\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435\u00a0\u03b8 \u044f \u0432\u0437\u044f\u043b \u0440\u0430\u0432\u043d\u043e\u0439 1, \u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043b\u0443\u0447\u0448\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435.\u00a0\u0422\u043e\u0433\u0434\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u043e\u0439:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"41\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cca\/08e\/e48\/cca08ee48a6fb5952d6acc1e963016e7.png\" data-width=\"477\"\/><figcaption><\/figcaption><\/figure>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"37\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efd\/f8d\/da0\/efdf8dda0c4e01d07f7e772a77190b38.png\" data-width=\"373\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f.<\/p>\n<p><strong>\u0422\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c<\/strong>: \u0447\u0442\u043e\u0431\u044b \u043c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f A \u0438 B \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"47\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/237\/7de\/c25\/2377dec257c0b7032074bed7fcd8029c.png\" data-width=\"542\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0415\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0438 \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u043e CUPED \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u043e <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0432 \u0440\u043e\u043b\u0438 A \u0438 B. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e\u00a0\u0434\u043b\u044f \u043d\u0438\u0445 \u0431\u0435\u0440\u0443\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043d\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043c\u044b \u0431\u0440\u0430\u043b\u0438\u00a0\u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u0437\u0430 \u043c\u0435\u0441\u044f\u0446. \u0427\u0435\u043c \u0445\u043e\u0440\u043e\u0448 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431:<\/p>\n<ol>\n<li>\n<p>\u041c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014 \u0438\u043d\u0430\u0447\u0435 \u0443 \u0432\u0430\u0441 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d A\/B-\u0442\u0435\u0441\u0442. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, CUPED \u0434\u0430\u0441\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u043c. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u043e \u043a\u0440\u043e\u043c\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b ML-\u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a \u0431\u0435\u0437 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430. \u0421 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<h2>CUPAC<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/474\/b4e\/f95\/474b4ef9545399e0a2e6f8998db06528.png\" data-width=\"1560\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>CUPAC (Controlled-experiment Using Prediction As Covariate)<\/strong>\u00a0\u2014\u00a0\u043f\u0435\u0440\u0432\u0430\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0435\u043c\u0443 CUPED \u0441 ML. \u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b \u0432\u044b\u0448\u0435, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b. \u0420\u0430\u0441\u043f\u0438\u0448\u0443 \u0441\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u00a0\u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u0414\u043b\u044f \u0432\u0430\u0448\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c A\/B-\u0442\u0435\u0441\u0442, \u0433\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>\u0414\u0430\u0442\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u2014 1 \u0438\u044e\u043d\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 1 \u043c\u0435\u0441\u044f\u0446.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0448\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>1 \u043c\u0435\u0441\u044f\u0446 \u0443\u0436\u0435 \u043f\u0440\u043e\u0448\u0451\u043b.<\/p>\n<\/li>\n<\/ul>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442, \u043c\u044b \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e\u00a0<strong>\u0438\u0437 \u0442\u0440\u0451\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432<\/strong>:<\/p>\n<ol>\n<li>\n<p>\u0421\u043e\u0431\u0435\u0440\u0451\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u00a0\u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u00a0(\u0438\u043b\u0438 \u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u00bb) \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043e\u0431\u0443\u0447\u0438\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u043c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0430 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0430\u0440\u0433\u0435\u0442, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0444\u0438\u0447\u0438 \u0441 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"636\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5d0\/10f\/da8\/5d010fda8b4cfe91f5fc2a5262cd99bc.png\" data-width=\"1764\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b?<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" alt=\"\" title=\"\" height=\"852\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c4d\/474\/064\/c4d4740643dbb8f4f3aac2fd48ce8bea.png\" data-width=\"1312\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0441\u0438\u043d\u0435-\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439, \u0430 \u0431\u0438\u0440\u044e\u0437\u043e\u0432\u044b\u0439 \u2014 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0434\u043e 1 \u0438\u044e\u043d\u044f. \u041e\u0434\u043d\u0438\u043c \u0446\u0432\u0435\u0442\u043e\u043c \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f, \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0446\u0432\u0435\u0442\u0430\u043c\u0438 \u2014 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0430.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u043f\u0438\u0448\u0435\u043c \u0441\u0430\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435. \u041f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u0432 \u0446\u0438\u043a\u043b\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0436\u0430\u043b\u043a\u043e:<\/p>\n<ol>\n<li>\n<p>\u0412\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0434\u0430\u0442\u044b \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0441 1 \u0438\u044e\u043d\u044f, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0434\u0430\u0442\u0443 1 \u043c\u0430\u044f, \u043f\u043e\u0442\u043e\u043c \u2014 1 \u0430\u043f\u0440\u0435\u043b\u044f \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0430\u0440\u0433\u0435\u0442. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044e\u0437\u0435\u0440\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0435\u0433\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0435 \u0442\u0440\u0430\u0442\u044b \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0437\u0430 \u044d\u0442\u043e\u0442 \u043c\u0435\u0441\u044f\u0446. \u0414\u043b\u044f 1 \u0438\u044e\u043d\u044f \u044d\u0442\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0437\u0430 \u0438\u044e\u043d\u044c (\u0438 \u0443\u0436\u0435 \u0437\u0430 \u0438\u044e\u043d\u044c \u0432\u0441\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430), \u0434\u043b\u044f \u043c\u0430\u044f \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0437\u0430 \u043c\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u0435\u0449\u0451 \u043d\u0435 \u0431\u044b\u043b\u043e \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0442\u043b\u0438\u0447\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c, \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<ul>\n<li>\n<p>\u0422\u0443\u0442 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0441\u0438\u043d\u0435-\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u043e\u0439 (\u0438 \u043e\u043d\u0430 \u043e\u0442\u043b\u0438\u0447\u043d\u0430 \u0443 \u0442\u0435\u0441\u0442\u0430 \u0441 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c) \u0438 \u043c\u043d\u043e\u0433\u043e \u0431\u0438\u0440\u044e\u0437\u043e\u0432\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u0433\u0434\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b. <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0418 \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0444\u0438\u0447\u0435\u0439. \u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0444\u0438\u0447\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0434\u0430\u0442\u044b. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u044f 1 \u0438\u044e\u043d\u044f \u0432\u0441\u0435 \u0444\u0438\u0447\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c <strong>\u0434\u043e 1 \u0438\u044e\u043d\u044f, <\/strong>\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u0442.<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u0445\u043e\u0434\u043e\u0432 \u043d\u0430 \u0441\u0430\u0439\u0442 \u0437\u0430 N \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0434\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0434\u0430\u0442\u044b (\u0437\u0430 2 \u043c\u0435\u0441\u044f\u0446\u0430 \u0434\u043e 1 \u0438\u044e\u043d\u044f; \u0437\u0430 2 \u043c\u0435\u0441\u044f\u0446\u0430 \u0434\u043e 1 \u043c\u0430\u044f \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435).<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 (\u0437\u0430 1 \u043c\u0435\u0441\u044f\u0446, \u0437\u0430 2 \u043c\u0435\u0441\u044f\u0446\u0430 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435).<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u043d\u0430\u0437\u0430\u0434 \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041d\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043d\u0435\u0442 \u0444\u0438\u0447\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0438\u043b\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430. \u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u0444\u0438\u0447\u0430\u043c \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b.<\/strong><\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c: \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b\u00a0\u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438. \u0410 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 ML-\u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u0438\u0441\u044c \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0414\u0430\u043b\u0435\u0435 \u0438\u0434\u0451\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u043c\u0443 \u0444\u0430\u043a\u0442\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u043e\u044f\u0441\u043d\u0435\u043d\u0438\u0435<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c X \u0438 Y \u2014 \u0444\u0438\u0447\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430\u0448\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u2014 \u044d\u0442\u043e \u0432\u0435\u043a\u0442\u043e\u0440 \u0444\u0438\u0447\u0435\u0439. \u0422\u043e\u0433\u0434\u0430, \u0435\u0441\u043b\u0438 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u044b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e (\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0438\u043b\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438):<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"26\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7fa\/389\/70d\/7fa38970d18abdc1093ca0ea893f3eaa.png\" data-width=\"148\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0427\u0442\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c? \u041e\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u0443\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432 \u0447\u0438\u0441\u043b\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 F. \u0422\u043e\u0433\u0434\u0430:\u00a0<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"37\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ecf\/0e1\/ead\/ecf0e1eadbf8d3643b3da0ae25b426e5.png\" data-width=\"466\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c A := F(X), B := F(Y). \u0422\u043e\u0433\u0434\u0430, \u043a\u0430\u043a \u044f \u043f\u0438\u0441\u0430\u043b \u0432\u044b\u0448\u0435 \u0432 CUPED, \u043c\u0435\u0442\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0435\u043d.<\/p>\n<\/div>\n<\/details>\n<p>\u0412\u043e\u0442 \u0438 \u0432\u0441\u0451! \u042d\u0442\u043e \u043f\u043e\u043b\u043d\u044b\u0439 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u0440\u0430\u0431\u043e\u0442\u044b CUPAC-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430. \u0422\u0435\u043f\u0435\u0440\u044c \u044f \u043f\u043e\u043f\u044b\u0442\u0430\u044e\u0441\u044c \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c, \u0437\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u0442\u043e\u0442 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0448\u0430\u0433.<\/p>\n<details class=\"spoiler\">\n<summary>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043a \u043c\u0435\u0442\u043e\u0434\u0443<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>\u0417\u0430\u0447\u0435\u043c \u043d\u0443\u0436\u0435\u043d \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442?<\/strong><\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u0431\u044b\u043b\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0442\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0437\u0430\u0443\u0436\u0430\u0435\u0442\u0441\u044f \u0438 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u043c. \u0418 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 5, \u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 15%. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0439.<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0431\u044b \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c \u043f\u0440\u044f\u043c\u043e \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0438 \u043d\u0430 \u043d\u0451\u043c \u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"312\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/537\/208\/4cb\/5372084cbc5e3847a357b466e6eb53c9.png\" data-width=\"300\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u00a0\u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430 \u0440\u044b\u0436\u0435\u0439 \u043b\u0438\u043d\u0438\u0435\u0439\u00a0\u043d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043b\u0435\u0433\u043a\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u043b\u0438\u043d\u043e\u043c 10-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438. \u041e\u0431\u0443\u0447\u0438\u043c \u0435\u0451 \u043d\u0430 \u0441\u0438\u043d\u0438\u0445 \u0442\u043e\u0447\u043a\u0430\u0445-\u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445 (\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 CUPAC). \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0436\u0435\u0442 \u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. <\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432 CUPED \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435, \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u044d\u0444\u0444\u0435\u043a\u0442 0 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e 0, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0435\u0437\u0434\u0435 \u0432\u0441\u0451 \u0432\u0435\u0440\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043b\u0430. \u0418\u043c\u0435\u0435\u0442 \u043b\u0438 \u044d\u0442\u043e \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u043a\u0430\u0440\u0442\u0438\u043d\u0435? \u041d\u0435\u0442! \u0412\u0438\u0434\u043d\u043e \u0434\u0430\u0436\u0435, \u0447\u0442\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u043d\u0438\u0435 \u0442\u043e\u0447\u043a\u0438 \u043d\u0435 \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u0440\u044b\u0436\u0435\u0439 \u043b\u0438\u043d\u0438\u0438, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0448\u0443\u043c \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0442\u043e\u0447\u043d\u043e \u0435\u0441\u0442\u044c.<\/p>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u043e\u0447\u043a\u0430\u0445, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c, \u043e\u043d\u0430 \u0432\u0435\u0434\u0451\u0442\u00a0\u0441\u0435\u0431\u044f \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u0435 \u0442\u0430\u043a,\u00a0\u043a\u0430\u043a \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438. \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043d\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0440\u0443\u0433\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0432 CUPED \u0431\u044b\u043b\u0438 \u0431\u044b \u0434\u0440\u0443\u0433\u0438\u043c\u0438! \u0418\u0442\u043e\u0433\u043e, \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043d\u0435 \u043d\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c, \u0430 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438\u0447\u043d\u044b\u0439, \u0443\u0432\u0438\u0434\u0435\u043d\u043d\u044b\u0439 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438, \u043f\u0440\u0438\u043c\u0435\u0440. \u042d\u0442\u043e \u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u043e\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0444\u0438\u0447\u0438 \u043d\u0430 \u0442\u043e\u043c \u0436\u0435 \u043f\u0435\u0440\u0438\u043e\u0434\u0435, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c?<\/strong><\/p>\n<p>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0442\u0430\u043a \u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u044d\u0442\u043e\u0442 \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u043c \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u043e\u043c. \u0418 \u0442\u043e\u0433\u0434\u0430 \u0444\u0438\u0447\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b \u0432 \u044d\u0442\u0438\u0445 \u0433\u0440\u0443\u043f\u043f\u0430\u0445, \u0430 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043d\u0430 \u0442\u0430\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0440\u0430\u0437\u043d\u043e\u0435 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0433\u0440\u0443\u043f\u043f\u044b. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, CUPED \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0435\u043b\u044c\u0437\u044f.<\/p>\n<p>\u041d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043c\u044b \u0442\u043e\u0436\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0442\u043e\u0433\u0434\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b \u043f\u043e \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435.<\/p>\n<p><strong>\u0417\u0430\u0447\u0435\u043c \u043b\u0435\u0437\u0442\u044c \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u043a\u043e \u0432 \u0438\u0441\u0442\u043e\u0440\u0438\u044e? \u041d\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043b\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0432\u0437\u044f\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f 1 \u043c\u0430\u044f?\u00a0<\/strong><\/p>\n<p>\u0412 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043f\u043e\u0434\u043e\u0439\u0434\u0451\u0442, \u043d\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043e\u0431\u0443\u0447\u0438\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u044c. \u041f\u043b\u044e\u0441 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0444\u0438\u0447\u0435\u0439: \u043d\u043e\u043c\u0435\u0440 \u0433\u043e\u0434\u0430, \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439\u043d\u0443\u044e \u0444\u0438\u0447\u0443 \u043c\u0435\u0441\u044f\u0446\u0430, \u0441\u0435\u0437\u043e\u043d.<\/p>\n<p><strong>\u0410 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u043d\u0430\u0448\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f?<\/strong><\/p>\n<p>\u0422\u0430\u043a \u0432\u043c\u0435\u0441\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0443 \u043d\u0430\u0441 \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u0418 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p><strong>\u041a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c?<\/strong><\/p>\n<p>\u041e\u0431 \u044d\u0442\u043e\u043c \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0434\u0430\u043b\u044c\u0448\u0435.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u041f\u0440\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f<\/strong>: \u043a\u0430\u043a \u0438 \u0440\u0430\u043d\u0435\u0435, \u044f \u0431\u0443\u0434\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u00ab\u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u00bb. \u0427\u0435\u043c \u043e\u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435.<\/p>\n<ul>\n<li>\n<p>\u041d\u0430 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445:\u00a0\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0430 1000 A\/A-\u0442\u0435\u0441\u0442\u0430\u0445\u00a0\u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 4% \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445:\u00a0\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0430 1000 A\/A-\u0442\u0435\u0441\u0442\u0430\u0445\u00a0 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430\u00a022%\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0415\u0441\u043b\u0438 \u0432\u044b \u0440\u0435\u0448\u0438\u0442\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e\u0442 \u0438\u043b\u0438 \u043b\u044e\u0431\u043e\u0439 \u0434\u0440\u0443\u0433\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u043e \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0435\u0433\u043e\u00a0<\/strong><a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\"><strong>\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c<\/strong><\/a><strong>!<\/strong><\/p>\n<p>\u042d\u0442\u043e \u0432\u0441\u0451, \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u00ab\u043d\u0435\u0447\u0435\u0441\u0442\u043d\u043e\u043c\u0443\u00bb CUPAC \u0438 \u0438\u0437\u0431\u0430\u0432\u0438\u043c\u0441\u044f \u043e\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u0448\u0430\u0433\u043e\u0432 \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435.<\/p>\n<h2>CUNOPAC<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/475\/fba\/e45\/475fbae459456b2dd7c2da6f55efc7a7.png\" data-width=\"1560\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>CUNOPAC (Controlled-experiment Using Not Overfitted Prediction As Covariate)\u00a0<\/strong>\u2014\u00a0\u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u0430\u044f, \u0447\u0443\u0442\u044c \u043c\u0435\u043d\u0435\u0435 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f \u0438 \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0447\u0435\u043c CUPAC. \u0412 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u0445 \u043a CUPAC \u044f \u043f\u0438\u0441\u0430\u043b, \u0447\u0442\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d, \u0432\u0435\u0434\u044c \u0438\u043d\u0430\u0447\u0435 \u043c\u043e\u0436\u0435\u0442 \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041d\u043e \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0437\u0430\u0431\u044b\u0442\u044c \u043f\u0440\u043e \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443!<\/p>\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435, \u043e \u0447\u0451\u043c \u043d\u0430\u0434\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 <strong>\u0432\u044b<\/strong> <strong>\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439! <\/strong>\u041e\u043d \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0437\u0430\u0443\u0436\u0435\u043d\u043d\u044b\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u0438 \u0432\u043c\u0435\u0441\u0442\u043e 95% \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0440\u044b\u0432\u0430\u0442\u044c \u043b\u0438\u0448\u044c 85%. \u041d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443 \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p><strong>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0442\u0430\u043a\u043e\u0439:<\/strong><\/p>\n<ol>\n<li>\n<p>\u0421\u043e\u0431\u0435\u0440\u0451\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u00a0\u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u043d\u0451\u043c \u043e\u0431\u0443\u0447\u0438\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u043c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0438 \u043d\u0430 \u043d\u0451\u043c \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0430\u0440\u0433\u0435\u0442, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0444\u0438\u0447\u0438 \u0441 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430. \u041e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0432\u0441\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0441\u0440\u0430\u0437\u0443! \u0418 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0432\u0435\u0441\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442. \u041d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u043e\u0442\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044e (\u0434\u0430, \u043c\u0435\u0442\u043e\u0434 \u0440\u0438\u0441\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439).<\/p>\n<\/li>\n<li>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"1002\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fa7\/41d\/32d\/fa741d32d900d2e1cc60c20eb21cf78a.png\" data-width=\"2440\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0414\u0430\u0442\u0430\u0441\u0435\u0442 \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0430\u043a\u0436\u0435, \u043a\u0430\u043a \u0438 \u0432 CUPAC-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435, \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043d\u0435 \u043d\u0443\u0436\u0435\u043d:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"494\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fac\/eb1\/c26\/faceb1c2609d8f7bf3856a7658420146.png\" data-width=\"1340\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u0441\u044f?<\/strong>\u00a0\u041c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0442\u0430\u043a: \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u0438\u0447\u0435\u0439 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440: \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u0432\u0437\u044f\u0442\u044c CatBoost-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438\u043b\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 ML-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f? \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 (\u0438\u043b\u0438 False Positive Rate), \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0430 1000 \u0410\/\u0410-\u0442\u0435\u0441\u0442\u0430\u0445:<\/p>\n<ul>\n<li>\n<p>\u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438: 0.055 (\u043f\u0440\u0438 alpha=0.05), \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e alpha.<\/p>\n<\/li>\n<li>\n<p>CatBoost:\u00a0<strong>0.14<\/strong>\u00a0(\u043f\u0440\u0438 alpha=0.05), \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c\u043e\u00a0<strong>\u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f<\/strong>\u00a0\u043e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e alpha!<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c\u00a0CatBoost \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 3 \u0440\u0430\u0437\u0430 \u0447\u0430\u0449\u0435, \u0447\u0435\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b! \u041e\u043d \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0437\u0430\u0443\u0436\u0430\u0435\u0442 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0435\u043d. \u0427\u0442\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435? \u0427\u0442\u043e \u0432\u044b \u0432 3 \u0440\u0430\u0437\u0430 \u0447\u0430\u0449\u0435 \u0431\u0443\u0434\u0435\u0442\u0435 \u043a\u0430\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u043a\u043e\u0442\u043e\u0440\u043e\u0435\u00a0\u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430.\u00a0\u041f\u043e\u044d\u0442\u043e\u043c\u0443\u00a0CatBoost \u043d\u0435\u043b\u044c\u0437\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0438 CUNOPAC, \u0430 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0436\u043d\u043e. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u044f \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u044e, \u0447\u0442\u043e\u00a0CatBoost \u043f\u043b\u043e\u0445\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c! \u041e\u043d \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0439, \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043d \u043b\u0435\u0433\u0447\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p>\u0415\u0441\u0442\u044c \u043b\u0438 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u0443 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438? \u041d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0435\u0441\u0442\u044c, \u043d\u043e \u043e\u043d\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0430\u043b\u043e, \u0447\u0442\u043e \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<details class=\"spoiler\">\n<summary>\u0410 \u043f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e CUNOPAC \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 CUPAC?<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u043f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 CUPAC?<\/p>\n<ol>\n<li>\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 CUNOPAC \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0442\u0440\u0435\u043d\u0434\u044b \u0438 \u0441\u0435\u0437\u043e\u043d\u043d\u043e\u0441\u0442\u044c, \u0430 \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 CUNOPAC \u044d\u0442\u0438 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u0443\u0431\u0440\u0430\u043d\u044b.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0448\u0430 \u0446\u0435\u043b\u044c \u2014 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0441 T-C, \u0432\u0435\u0434\u044c \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c. \u0410 \u0442\u0430\u043a \u043a\u0430\u043a \u0432 CUPAC \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 T (\u0430 \u043b\u0438\u0448\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0431\u0435\u0437 \u043a\u0430\u043a\u043e\u0433\u043e-\u043b\u0438\u0431\u043e \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430), \u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u043f\u043e\u043b\u043d\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u0435\u0435 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d, \u0447\u0435\u043c \u0443 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u0443\u0447\u0430\u043b\u0430\u0441\u044c \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 T. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443 CUNOPAC \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0443 CUPAC.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0443 \u0438 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u043d\u0430\u0448\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b, \u0432 CUPAC \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0442\u0430\u043a\u0436\u0435 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b\u0438\u00a0\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0447\u0442\u043e \u0431\u044b\u043b\u043e \u0434\u043b\u044f \u043d\u0430\u0441 \u0443\u0434\u0438\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0431\u0443\u0441\u0442\u0438\u043d\u0433\u0438 \u0438 \u0434\u0435\u0440\u0435\u0432\u044c\u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0441\u0435\u0431\u044f \u0445\u0443\u0436\u0435). CUNOPAC \u0434\u0430\u043b \u0431\u0443\u0441\u0442 \u043f\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u043e\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/details>\n<p>\u0427\u0442\u043e \u0435\u0449\u0451 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c: \u044d\u0442\u043e \u043e\u0447\u0435\u043d\u044c \u043e\u043f\u0430\u0441\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c! \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0437\u0430\u0443\u0436\u0430\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0438 \u043e\u0448\u0438\u0431\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0439.\u00a0<strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043d\u043e\u0432\u0430 \u043f\u0440\u0435\u0434\u0443\u043f\u0440\u0435\u0436\u0434\u0430\u044e: \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435 \u0432\u0430\u0448\u00a0<\/strong><a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\"><strong>\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439<\/strong><\/a><strong>!\u00a0<\/strong>\u00a0<\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041d\u0430 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445:\u00a0\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0430 9% \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445: \u043d\u0435 \u0443\u0434\u0430\u043b\u043e\u0441\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0445 5%, \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u043d\u0430 1000 A\/\u0410-\u0442\u0435\u0441\u0442\u0430\u0445.<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043e\u0431\u0441\u0443\u0434\u0438\u043c, \u043a\u0430\u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432.<\/p>\n<h2>\u0410\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f ML-\u0447\u0430\u0441\u0442\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432<\/h2>\n<p>\u041f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432. \u0427\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c: \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u043a\u0430\u0440\u043c\u043b\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 CUNOPAC \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442. \u0420\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u044f \u0432\u043e\u043f\u043b\u043e\u0442\u0438\u043b ML-\u0447\u0430\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432, \u043d\u043e \u044d\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0443 \u043c\u0435\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0430\u0446\u0438\u044f: \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0435. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043b\u043e\u0445\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442\u0435 \u0438\u0434\u0435\u0438 \u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u044d\u0442\u0443 \u0447\u0430\u0441\u0442\u044c. \u041e\u043d\u0430 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u043e\u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>\u041a\u0440\u0430\u0442\u043a\u0430\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"1156\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f2\/807\/a7f\/1f2807a7f3ac7857aa06764287dab9db.png\" data-width=\"2324\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>\u0428\u0430\u0433 1.<\/strong> \u0412\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u043b\u0430\u0441\u0441 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u043c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b:<\/p>\n<p>\u0414\u043b\u044f CUPAC:\u00a0<code>Lasso, Ridge, ARDRegression, CatBoostRegressor, RandomForestRegressor, SGD, XGBRegressor.<\/code><\/p>\n<p>\u0414\u043b\u044f CUNOPAC:\u00a0<code>Lasso, ARDRegression, Ridge.<\/code><\/p>\n<p>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e: \u0434\u043b\u044f \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u043e\u0441\u0442\u0438 \u044f \u043d\u043e\u0440\u043c\u0438\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e StandardScaler. <\/p>\n<p><strong>\u0428\u0430\u0433 2.<\/strong>\u00a0\u0412\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0444\u0438\u0447\u0438 \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043c \u0441\u0432\u0435\u0440\u0445\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0444\u0438\u0447\u0435\u0439 \u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432:<\/p>\n<ol>\n<li>\n<p>\u0416\u0430\u0434\u043d\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f\/\u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, SequentialFeatureSelector\u00a0\u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 scikit-learn \u043d\u0430 Python).<\/p>\n<\/li>\n<li>\n<p>\u0410\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 feature_importance \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0444\u0438\u0447\u0435\u0439 \u0443 \u043c\u043e\u0434\u0435\u043b\u0438 (SelectFromModel \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 scikit-learn \u043d\u0430 Python). \u0421\u0430\u043c\u044b\u0439 \u0431\u044b\u0441\u0442\u0440\u044b\u0439 \u0438\u0437 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>Add-del \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c (\u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0444\u0438\u0447\u0438, \u043f\u043e\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f, \u043f\u043e\u0442\u043e\u043c \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u0435\u043c \u0444\u0438\u0447\u0438,\u00a0\u043f\u043e\u043a\u0430 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442\u0441\u044f, \u043f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0441\u043d\u043e\u0432\u0430, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0441\u043e\u0439\u0434\u0451\u043c\u0441\u044f).<\/p>\n<\/li>\n<li>\n<p>\u0412\u0441\u0451, \u0447\u0442\u043e \u0435\u0449\u0451 \u043d\u0430\u0439\u0434\u0451\u0442\u0435 \u0438\u043b\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0435\u0442\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u0435\u0441\u043b\u0438 \u0443 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0442\u0431\u043e\u0440\u0430 \u0444\u0438\u0447\u0435\u0439 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u043b\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e-\u0441\u043a\u043e\u0440\u0440\u0435\u0440:<\/p>\n<pre><code class=\"python\">def cuped_std_loss_func(y_true, y_pred):     theta = np.cov(y_true, y_pred)[0, 1] \/ (np.var(y_pred) + 1e-5)     cuped_metric = y_true - theta *  y_pred     return np.std(cuped_metric)<\/code><\/pre>\n<p>\u0422\u0430\u043a \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0440\u043e\u0432\u043d\u043e \u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u2014 \u0448\u0438\u0440\u0438\u043d\u0443 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0443 CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p><strong>\u0428\u0430\u0433 3.<\/strong>\u00a0\u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430 \u2014 \u0432\u044b\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u041c\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442, \u0447\u0442\u043e \u0432\u0441\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0443\u0436\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u044b. \u0415\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b:<\/p>\n<ol>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0431\u043e\u0440 \u043f\u043e GridSearchCV.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0435\u0440\u0435\u0431\u043e\u0440 \u043f\u043e RandomizedSearchCV.<\/p>\n<\/li>\n<li>\n<p>\u0416\u0430\u0434\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0431\u043e\u0440 \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0443:<\/p>\n<ul>\n<li>\n<p>\u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 cuped_std_loss_func \u043f\u0435\u0440\u0432\u044b\u0439 \u0432 \u0441\u043f\u0438\u0441\u043a\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0442\u043e\u043c \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c \u0432\u0442\u043e\u0440\u043e\u0439 \u0432 \u0441\u043f\u0438\u0441\u043a\u0435, \u043f\u0440\u0438 \u0443\u0447\u0451\u0442\u0435 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0438 \u0442.\u0434. \u041f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043a\u043e\u0434\u043e\u043c: <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<pre><code class=\"python\">start_params = {     'random_state': [0, 2, 5, 7, 229, 13],     'loss': ['squared_loss', 'huber'],     'alpha': np.logspace(-4, 2, 200),     'l1_ratio': np.linspace(0, 1, 20), } # \u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u043b\u044f SGD def create_best_model_with_grid_search(pipeline, start_params, X, y):         final_params = {}         params = []         for param in start_params.items():             params_dict = {}             params_dict[param[0]] = param[1]             params.append(params_dict)                   score = make_scorer(cuped_std_loss_func, greater_is_better=False)         for param in params:             search_model = GridSearchCV(pipeline, param, cv = 2, n_jobs = -1,                                         scoring = score)             search_model.fit(X, y)             final_params = {**final_params, **search_model.best_params_}             pipeline.set_params(**final_params)         return pipeline, final_params<\/code><\/pre>\n<p>\u041f\u043b\u044e\u0441 \u0442\u0430\u043a\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430:\u00a0\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043f\u0435\u0440\u0432\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c. \u0412\u043c\u0435\u0441\u0442\u043e \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0437\u0434\u0435\u0441\u044c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432.\u00a0\u0412\u0441\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u044b \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u043e \u0432\u0442\u043e\u0440\u044b\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c.<\/p>\n<p>\u041c\u0438\u043d\u0443\u0441:\u00a0GridSearchCV \u0434\u0430\u0441\u0442 \u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e, \u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u044c\u0448\u0435.<\/p>\n<p>\u0415\u0449\u0451, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0439 \u0448\u0430\u0433 \u0441 \u044d\u0442\u0438\u043c: \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 \u0444\u0438\u0447\u0435\u0439 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e cuped_std_loss_func. \u041d\u043e \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u043b\u0433\u043e.\u00a0\u041c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0443\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u0445\u043e\u0434\u044f\u0449\u0443\u044e\u0441\u044f \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u0448\u0430\u0433\u043e\u0432: \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438, \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0441\u043d\u043e\u0432\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0441 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p><strong>\u0428\u0430\u0433 4.<\/strong>\u00a0\u041e\u0442\u043b\u0438\u0447\u043d\u043e, \u043f\u043e\u0441\u043b\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c N \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0441 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0448\u0430\u0433\u0430 \u0441 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043d\u0438\u0445. \u041e\u0442\u0431\u0435\u0440\u0451\u043c \u0438\u0437 \u043d\u0438\u0445 \u043e\u0434\u043d\u0443\u00a0\u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043f\u043e\u00a0cuped_std_loss_func. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0436\u0443, \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0443 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0442\u044c\u00a0Frankenstein-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.\u00a0<\/p>\n<p>\u0410 \u043f\u043e\u043a\u0430 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0442\u0440\u0435\u0442\u044c\u0435\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439, \u0433\u0440\u0443\u0431\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f ML-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c.<\/p>\n<h2>CUMPED<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f26\/8f5\/8ec\/f268f58ec7bb804f1ca6d5ee83a3bf60.png\" data-width=\"1560\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0430\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0443\u0436\u043d\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0430 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0430? \u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u043b\u044c\u0437\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 N \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442? \u0418\u043c\u0435\u043d\u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u0439 \u0438\u0434\u0435\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u00a0<strong>CUMPED<\/strong>\u00a0<strong>(Controlled-experiment Using Multiple Pre-Experiment Data).<\/strong><\/p>\n<p>\u0420\u0430\u043d\u0435\u0435 \u0432 CUPED \u0431\u044b\u043b\u043e \u0442\u0430\u043a:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"89\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/267\/850\/f34\/267850f34587811b2fc1353b1a49abc5.png\" data-width=\"237\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0432 CUMPED \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"89\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b30\/041\/bb9\/b30041bb941733f200db9d6ca11d5312.png\" data-width=\"357\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b, \u0438\u0445 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0443\u0433\u043e\u0434\u043d\u043e!<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"936\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/853\/d12\/6d4\/853d126d41fc9b3450a8c16aa874da55.png\" data-width=\"1812\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f N \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442? \u041f\u043e\u0447\u0435\u043c\u0443 \u043e\u0434\u043d\u043e\u0439 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e?<\/p>\n<p>\u041a\u0430\u043a \u044f \u043f\u0438\u0441\u0430\u043b \u0432 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435, \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a T \u0438 C \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0438\u0437 \u043a\u043e\u0432\u0430\u0440\u0430\u0438\u0442\u044b, \u043c\u044b \u0438 \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u043c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u0410 \u0435\u0441\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043e\u0434\u0438\u043d, \u0430 \u0441\u0440\u0430\u0437\u0443 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e, \u0442\u043e \u043c\u044b \u043b\u0443\u0447\u0448\u0435 \u043e\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 T \u0438 C, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u042d\u0442\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0438 \u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438: \u0447\u0442\u043e \u043b\u0443\u0447\u0448\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u043f\u0440\u0438\u0437\u043d\u0430\u043a \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0444\u0438\u0447\u0435\u0439? \u041e\u0431\u044b\u0447\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u044e\u0442 \u0432\u0442\u043e\u0440\u043e\u0435.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u043f\u0438\u0448\u0435\u043c\u00a0<strong>\u043f\u0435\u0440\u0432\u0443\u044e<\/strong>\u00a0\u0432\u0435\u0440\u0441\u0438\u044e \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 CUMPED:<\/p>\n<ol>\n<li>\n<p>\u0421\u043e\u0431\u0435\u0440\u0451\u043c \u043e\u0434\u0438\u043d \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442, \u043a\u0430\u043a \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u0432 CUNOPAC.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0446\u0438\u043a\u043b\u0435 \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0440\u0430\u043d\u0435\u0435 \u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u041e\u0431\u0440\u0430\u0437\u0443\u0435\u043c CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0443 T&#8217;, \u0421&#8217;, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442 \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u0432 \u0446\u0438\u043a\u043b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u044b\u0435 CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0446\u0438\u043a\u043b\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a T \u0438 C \u0431\u0443\u0434\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441\u0435\u0439\u0447\u0430\u0441 T&#8217;, C&#8217;.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u043c\u0438, \u0442\u043e:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"211\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be9\/719\/e6f\/be9719e6f10b19a4c4ea95b7683eb720.png\" data-width=\"707\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0434\u0435 \u043d\u0430\u0448\u0430 \u0438\u0442\u043e\u0433\u043e\u0432\u0430\u044f CUMPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u044d\u0442\u043e T^N, C^N, \u0430\u00a0A_i, B_i \u2014 \u044d\u0442\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u0420\u0430\u043d\u044c\u0448\u0435 \u043c\u044b \u043d\u0430 \u043d\u0438\u0445 \u043e\u0431\u0443\u0447\u0430\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u0430 \u0441\u0435\u0439\u0447\u0430\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442. \u041a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0442\u0435\u0442\u0430 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"347\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0dc\/572\/929\/0dc5729295d15c0915819c10f5ae504f.png\" data-width=\"569\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412\u043e\u0442 \u0438 \u0432\u0435\u0441\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u041d\u043e! \u0415\u0441\u043b\u0438 \u0431\u044b \u0432\u044b \u0435\u0433\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438, \u0442\u043e \u043e\u043d, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u043f\u043e\u043a\u0430\u0437\u0430\u043b \u0431\u044b \u0441\u0435\u0431\u044f \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u041f\u043e\u0447\u0435\u043c\u0443?<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u0435\u0441\u0442\u044c \u043e\u0434\u043d\u0430 \u0431\u0435\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"39\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c36\/e1d\/b01\/c36e1db015760178b953b7754f2fcc6a.png\" data-width=\"664\"\/><figcaption><\/figcaption><\/figure>\n<p><strong>\u041f\u043e\u0440\u044f\u0434\u043e\u043a \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f\u00a0\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u00a0\u0432\u0430\u0436\u0435\u043d!\u00a0<\/strong>\u0415\u0441\u043b\u0438 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0447\u0435\u0441\u0442\u044c \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443 A_1, \u0430 \u043f\u043e\u0442\u043e\u043c \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443 \u0410_2, \u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u0435\u0436\u0435\u043b\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0432\u044b\u0447\u0442\u0435\u0442\u0435 A_2, \u0430 \u043f\u043e\u0442\u043e\u043c A_1.\u00a0 \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u0430\u043c\u0438 \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b, \u0438 \u0443\u0432\u0438\u0434\u0435\u0442\u044c, \u0447\u0442\u043e \u0434\u0432\u0435 \u044d\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u0440\u0430\u0437\u043d\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e.<\/p>\n<p><strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b \u0432 \u00ab\u0436\u0430\u0434\u043d\u043e\u043c\u00bb \u043f\u043e\u0440\u044f\u0434\u043a\u0435<\/strong>: \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0438\u0449\u0435\u043c \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0449\u0443\u044e\u00a0\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u043f\u043e\u0442\u043e\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443, \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0449\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f T^1, C^1\u00a0 \u0438 \u0442. \u0434. \u0422\u043e \u0435\u0441\u0442\u044c \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043c\u044b \u0431\u0435\u0440\u0451\u043c \u043d\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443, \u0430 \u0442\u0443, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u00a0<strong>\u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439<\/strong>\u00a0\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c CUMPED:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"660\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/325\/209\/9e7\/3252099e79df40012b3f3a1d5ce80ac1.png\" data-width=\"1920\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"746\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3f4\/8c9\/002\/3f48c9002ee2855801154f5da8a32c54.png\" data-width=\"1434\"\/><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u0412\u043e\u043f\u0440\u043e\u0441\u044b \u0438 \u043e\u0442\u0432\u0435\u0442\u044b \u043a \u043c\u0435\u0442\u043e\u0434\u0443<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>\u041c\u043e\u0436\u043d\u043e \u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b theta_1, theta_2, &#8230; theta_N \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u043d\u0435\u043a\u0438\u043c \u0434\u0440\u0443\u0433\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u044b\u043b\u0430 \u043c\u0435\u043d\u044c\u0448\u0435?<\/strong><\/p>\n<p>\u0414\u0430, \u043c\u043e\u0436\u043d\u043e. \u0422\u0435\u043a\u0443\u0449\u0438\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0440\u0435\u0448\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443,<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"56\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd5\/970\/c0d\/cd5970c0d23953b098bf06794c367488.png\" data-width=\"1091\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0443 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 \u0431\u0443\u0434\u0435\u0442 \u0434\u0440\u0443\u0433\u0438\u043c! \u041d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e N \u0440\u0430\u0437 \u043f\u043e \u043a\u0430\u0436\u0434\u043e\u0439 theta, \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u044b\u0435 \u043a 0 \u0438 \u0440\u0435\u0448\u0438\u0442\u044c N \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e N \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445. \u041d\u0435 \u0441\u0430\u043c\u0430\u044f \u043f\u0440\u0438\u044f\u0442\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0445\u043e\u0442\u044f \u0435\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u043d\u0435\u0451. \u0422\u0430\u043a\u0436\u0435 \u044f \u043d\u0435 \u0441\u0447\u0438\u0442\u0430\u044e, \u0447\u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0432 \u0442\u0430\u043a\u043e\u043c \u0440\u0435\u0448\u0435\u043d\u0438\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u043c \u0436\u0430\u0434\u043d\u044b\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c. \u042f \u043d\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u043b \u0442\u0430\u043a\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u0442\u0430\u043a \u0447\u0442\u043e \u0431\u0443\u0434\u0443 \u0440\u0430\u0434, \u0435\u0441\u043b\u0438 \u043a\u0442\u043e-\u0442\u043e \u0440\u0435\u0448\u0438\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u044d\u0442\u0438 \u0434\u0432\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<p><strong>\u0410 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043c\u043e\u0436\u0435\u0442 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f? \u0415\u0441\u043b\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0431\u0443\u0434\u0435\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0442\u043e \u043a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0440\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f?<\/strong><\/p>\n<p>\u041d\u0438\u043a\u0430\u043a. \u0415\u0441\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0432 \u043d\u043e\u0432\u044b\u0445 CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u0445 \u043d\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0442\u0435\u043e\u0440\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442, \u043f\u0440\u043e\u0441\u0442\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u0438\u0437 \u043d\u0438\u0445 \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0443\u043b\u0435\u0432\u043e\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 theta.<\/p>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u0441\u0451 \u043d\u0435 \u0442\u0430\u043a \u0440\u0430\u0434\u0443\u0436\u043d\u043e: \u043a \u0441\u043e\u0436\u0430\u043b\u0435\u043d\u0438\u044e, \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b, \u0430 \u043b\u0438\u0448\u044c \u0435\u0451 \u0441\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u0410 \u043e\u0446\u0435\u043d\u043a\u0430, \u043a\u0430\u043a \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u00a0theta \u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u043d\u0443\u043b\u0451\u043c, \u0438\u00a0<strong>\u043c\u044b \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0431\u0443\u0434\u0435\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u0443\u044e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0430 \u043d\u0435 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b<\/strong>. \u0410 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043c\u044b \u0437\u0430\u0443\u0437\u0438\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u0438 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0439.<\/p>\n<p>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u043d \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u041f\u0440\u0438\u043c\u0435\u0440 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u043d \u043d\u0430 \u043e\u0434\u043d\u043e\u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u043c CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438.<\/p>\n<pre><code class=\"python\">import scipy.stats as sps import numpy as np import seaborn as sns   sample_size = 100   sample = sps.norm(scale=10).rvs(sample_size)   cumpled_std_samples = [] # \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 100 \u0440\u0430\u0437, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 for _ in range(100):     # \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f     estimated_mean_sample_std = np.std(sample) \/ np.sqrt(sample_size)     # \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0438-\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b \u0432 CUMPED, \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b \u0441 sample     feature_matrix = sps.norm().rvs((5000, sample_size))     # 1 \u0448\u0430\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430     for covariate in feature_matrix:         # CUPED part         theta = np.cov(sample, covariate)[0, 1] \/ np.var(covariate)         sample_std = np.std(sample - theta * covariate) \/ np.sqrt(sample_size)                   # \u0412\u044b\u0431\u043e\u0440 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0439 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b \u043f\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044e std \u0443 CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u041f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.         if sample_std &lt; estimated_mean_sample_std:             estimated_mean_sample_std = sample_std     cumpled_std_samples.append(estimated_mean_sample_std)   sns.distplot(cumpled_std_samples)<\/code><\/pre>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"308\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03d\/645\/017\/03d6450175fffc9003627419d012f0e1.png\" data-width=\"450\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0430 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0437 100 \u0431\u044b\u043b\u0430 \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f 1 \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e 10, \u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0432\u0435\u043d 100, \u0437\u043d\u0430\u0447\u0438\u0442 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0440\u0430\u0432\u043d\u043e 1. \u0410 \u044d\u0442\u043e \u043b\u0438\u0448\u044c \u043f\u0435\u0440\u0432\u044b\u0439 \u0448\u0430\u0433 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430!<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u0435 \u043d\u043e\u0432\u043e\u0441\u0442\u0438: \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0430, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u044d\u0442\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043a\u043e\u0433\u0434\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0432\u0435\u043d 10000. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0432\u0441\u0451 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u0443\u0436\u0430\u0442\u044c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u043d\u043e \u0432 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043d\u043e\u043c \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0431\u044b\u043b\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 100, \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0437\u0430\u0443\u0436\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u043b 8%.\u00a0\u0410 \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441\u0442\u0430\u043b\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c 10000, \u0442\u043e \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0437\u0430\u0443\u0436\u0435\u043d\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u043b 0,1%! <\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0430\u0443\u0436\u0435\u043d\u0438\u0435\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0447\u044c: \u043d\u0438\u0447\u0435\u0433\u043e \u043f\u043b\u043e\u0445\u043e \u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0451\u0442. \u0414\u0430, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 5%, \u0430 5,1%, \u043d\u043e \u044d\u0442\u043e \u0438 \u043d\u0435 \u0441\u0442\u0440\u0430\u0448\u043d\u043e. \u041f\u043b\u044e\u0441 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0447\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0435\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e,\u00a0<\/strong>\u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0432\u044b\u0448\u0435\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e, CUMPED \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430: \u0438 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438, \u0438 \u043d\u0430 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0445 1000 A\/A-\u0442\u0435\u0441\u0442\u0430\u0445. \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u0430 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445 \u0435\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c.\u00a0<strong>\u041d\u043e \u043d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445 \u0441 \u043d\u0438\u043c \u043d\u0430\u0434\u043e \u0431\u044b\u0442\u044c \u043e\u0441\u0442\u043e\u0440\u043e\u0436\u043d\u044b\u043c:\u00a0<\/strong>\u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u043d \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u043b\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0448\u0430\u0433\u043e\u0432 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0434\u043e 1.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041d\u0430 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445: \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u00a0<strong>\u043d\u0430 14%<\/strong>\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED. \u042d\u0442\u043e \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0445 \u0437\u0434\u0435\u0441\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445:\u00a0\u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0430 21% \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043b\u0438\u0448\u044c \u043e\u0434\u043d\u0443 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443! \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a, \u044f \u043e\u0442\u0432\u0435\u0442\u0438\u043b \u0432 \u0441\u043a\u0440\u044b\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0441 \u0432\u043e\u043f\u0440\u043e\u0441\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u043d\u0430 1000 A\/\u0410-\u0442\u0435\u0441\u0442\u0430\u0445.<\/p>\n<h2>Uplift-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439<\/h2>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"1080\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/605\/c14\/84b\/605c1484b3e70b1fe668665ef1d61b9e.png\" data-width=\"1920\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412\u0441\u0451, \u0437\u0430\u0431\u044b\u043b\u0438 \u043f\u0440\u043e CUPED \u0438 \u0432\u0441\u0451, \u0447\u0442\u043e \u0441 \u043d\u0438\u043c \u0441\u0432\u044f\u0437\u0430\u043d\u043e. \u0412 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u044f \u043f\u043e\u043a\u0430\u0436\u0443, \u043a\u0430\u043a \u0438\u0437 Uplift-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u041d\u043e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Uplift-\u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0431\u0435\u0440\u0451\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0442\u0430\u043a \u0436\u0435, \u043a\u0430\u043a \u0440\u0430\u043d\u0435\u0435 \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u043b\u0438 \u0432 CUNOPAC \u0438 \u0432 CUMPED, \u043d\u043e \u0432 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0444\u0438\u0447\u0443: \u043a\u0430\u043a\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. 1 \u2014 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u0442\u0435\u0441\u0442\u0435, 0 \u2014 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"646\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/099\/2c8\/6bd\/0992c86bd7e59a7ebcd83091c23e668a.png\" data-width=\"1626\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c:<\/p>\n<ol>\n<li>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043d\u0430 K \u0447\u0430\u0441\u0442\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0411\u0443\u0434\u0435\u043c \u0432 \u0446\u0438\u043a\u043b\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 K \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a\u0443. \u041d\u0430 \u043e\u0441\u0442\u0430\u0432\u0448\u0435\u0439\u0441\u044f \u0447\u0430\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0438\u043c ML-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. \u042d\u0442\u0438 \u0434\u0432\u0430 \u0448\u0430\u0433\u0430 \u0432 ML \u0437\u043e\u0432\u0443\u0442\u0441\u044f \u043a\u0440\u043e\u0441\u0441-\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0435\u0439.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0436\u0435\u043c \u0435\u0433\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0443, \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d \u0431\u044b\u043b \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0435\u0441\u043b\u0438 \u0431\u044b \u043e\u043d \u0431\u044b\u043b \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.\u00a0\u041a\u0430\u043a \u043c\u044b \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0435\u043c? \u041f\u043e\u043c\u0435\u043d\u044f\u0435\u043c \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0444\u0438\u0447\u0443 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \u043d\u0430 1, \u0435\u0441\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u043e\u0442 \u043d\u0435\u0433\u043e \u0432 \u0442\u0435\u0441\u0442\u0435, \u0438 \u043d\u0430 0, \u0435\u0441\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u0435\u0433\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u044d\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f T_p \u0438 C_p.\u00a0\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u0446\u0435\u043d\u043a\u0430 Uplift \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u2014 \u044d\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u0442\u0435\u0441\u0442\u0435 \u043c\u0438\u043d\u0443\u0441\u00a0\u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0432\u0442\u043e\u0440\u0438\u043c K \u0440\u0430\u0437 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c Uplift \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u044f \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u043f\u0438\u0441\u0430\u043b \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0442\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u043d\u0435\u0439:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"640\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b1\/997\/3ad\/8b19973adc029ebc3f51ae8aa8106a9e.png\" data-width=\"1614\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f. \u041e\u0434\u043d\u0430\u043a\u043e \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u00ab\u043d\u043e\u00bb:<\/p>\n<ol>\n<li>\n<p>\u041a\u0430\u043a \u0438\u0437 \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b?<\/p>\n<\/li>\n<li>\n<p>\u0410 \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u0430\u044f \u0438\u043b\u0438 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u0430\u044f? \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0430 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0433\u0440\u0443\u043f\u043f\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0435\u0431\u044f: \u0442\u043e\u0433\u0434\u0430 Uplift \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d 0,\u00a0\u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0442\u0430\u043a. \u0410 \u0435\u0441\u043b\u0438 \u0434\u043b\u044f \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u044e\u0437\u0435\u0440\u043e\u0432 \u043e\u043d \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435, \u0430 \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u044e\u0437\u0435\u0440\u043e\u0432 \u0437\u0430\u0432\u044b\u0448\u0430\u0435\u0442?<\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u043e\u0431\u044b \u0440\u0435\u0448\u0438\u0442\u044c \u043e\u0431\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u0432\u0432\u0435\u0434\u0451\u043c \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"89\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/88e\/269\/8cf\/88e2698cf5adef63703ca82824d0a4f1.png\" data-width=\"212\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u043e\u0433\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"42\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8c\/ae0\/b16\/f8cae0b16b208a8524757905fff9dadf.png\" data-width=\"549\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c\u00a0\u043d\u0430\u0448 Uplift \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d \u0440\u0430\u0437\u043d\u0438\u0446\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 + \u0440\u0430\u0437\u043d\u0438\u0446\u0435 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u041e\u0442\u043b\u0438\u0447\u0438\u0435 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441\u043e \u0441\u0442\u0430\u0440\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f: \u0435\u0441\u043b\u0438 \u043c\u044b \u0437\u0430\u043d\u0438\u0436\u0430\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u044e\u0437\u0435\u0440\u0430\u0445, \u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u0442\u0435\u0441\u0442\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439. \u0422\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u044e\u0437\u0435\u0440\u043e\u0432.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 Uplift \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"72\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f8\/d0b\/cf3\/2f8d0bcf379ed7ad7554154c743cf908.png\" data-width=\"550\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041d\u043e \u0438 \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430: \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0443 \u0442\u0440\u0451\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0439!\u00a0\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0430 \u0447\u0442\u043e \u043c\u044b \u0432\u043e\u043e\u0431\u0449\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432 \u0442\u0435\u0441\u0442\u0435:<\/p>\n<ul>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 (\u0438\u043b\u0438 T \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u0442\u0435\u0441\u0442\u0435\u00a0(\u0438\u043b\u0438 T_p \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u00a0(\u0438\u043b\u0438 C_p \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u0442\u0435\u0441\u0442\u0435 (\u0438\u043b\u0438 \u03b5_T \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435:<\/p>\n<ul>\n<li>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 (\u0438\u043b\u0438 C \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u0442\u0435\u0441\u0442\u0435\u00a0(\u0438\u043b\u0438 T_p \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u00a0(\u0438\u043b\u0438 C_p \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u00a0\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 (\u0438\u043b\u0438 \u03b5_C \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0432\u044b\u0448\u0435).<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0438\u043c:<\/p>\n<ul>\n<li>\n<p>T_p, \u0421_p: \u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440 \u0440\u0430\u0432\u0435\u043d \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435, \u0438\u043b\u0438 |T| + |C| .<\/p>\n<\/li>\n<li>\n<p>\u03b5_C: \u0440\u0430\u0437\u043c\u0435\u0440 \u044d\u0442\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0432\u0435\u043d \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435, \u0438\u043b\u0438\u00a0|C|.<\/p>\n<\/li>\n<li>\n<p>\u03b5_T: \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0432\u0435\u043d \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435, \u0438\u043b\u0438\u00a0|T|.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043a\u0440\u0430\u0442\u0446\u0435 \u044d\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"508\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/36e\/d21\/676\/36ed216767e740e456ea69066396e45c.png\" data-width=\"480\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412\u044b\u043f\u0438\u0448\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 Uplift \u0441 \u0443\u0447\u0451\u0442\u043e\u043c \u0432\u0441\u0435\u0445 \u0432\u0432\u043e\u0434\u043d\u044b\u0445:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"193\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/274\/ed7\/44d\/274ed744d2876325d5d138209a7db549.png\" data-width=\"600\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0430\u043a, \u0430 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u043f\u0440\u043e\u0441.\u00a0<strong>\u041a\u0430\u043a \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b?<\/strong>\u00a0\u0412\u0435\u0434\u044c\u00a0T_p, C_p,\u00a0\u03b5_T,\u00a0\u03b5_C \u0435\u0449\u0451 \u0438 \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u044e\u0442 \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439? \u041a\u0430\u043a \u044f \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043b \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445, \u0435\u0441\u043b\u0438 \u043d\u0435 \u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435\u00a0<strong>bootstrap.<\/strong>\u00a0\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0437\u0430\u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u0438\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u00a0\u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 T_p, \u0421_p, \u03b5_C, \u03b5_T. \u0414\u0430\u043b\u0435\u0435 \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043d\u0443\u0442\u0440\u0438 \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u0430 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043e\u0446\u0435\u043d\u043a\u0443 Uplift \u0434\u043b\u044f \u043d\u0438\u0445 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0432\u044b\u0448\u0435, \u0438 \u043f\u043e \u044d\u0442\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<details class=\"spoiler\">\n<summary>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0432\u044b\u0448\u0435 \u0435\u0441\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043f\u043e\u0434\u0432\u043e\u0445: \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u0431\u0443\u0442\u0441\u0440\u0430\u043f\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043d\u043e \u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0437\u0430\u043d\u043e\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c. \u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u0430\u0448\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0430 \u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0430\u043d\u043e\u0432\u044f\u0442\u0441\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0415\u0441\u043b\u0438 \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043c\u0441\u044f \u043d\u0430 \u043e\u0434\u043d\u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u0445, \u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u043e, \u0430 \u0435\u0441\u043b\u0438 \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445, \u0442\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f. <\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043f\u043e \u043b\u043e\u0433\u0438\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u044b \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430, \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0435 \u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u044b \u0432 \u043f\u0435\u0440\u0432\u044b\u0439 \u0440\u0430\u0437 \u043d\u0430 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435, \u0430 \u0437\u0430\u043d\u043e\u0432\u043e \u043e\u0431\u0443\u0447\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c K \u0440\u0430\u0437 (K \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u043a\u0440\u043e\u0441\u0441-\u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438) \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.\u00a0<\/p>\n<p>\u041d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0448\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043e\u0434\u0438\u043d \u0440\u0430\u0437 \u0438 \u043d\u0435 \u0437\u0430\u043c\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041d\u0430 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445: \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0430 4<strong>%<\/strong>\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445: \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u00a0<strong>\u043d\u0430 40%<\/strong>\u00a0\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED. \u042d\u0442\u043e \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2014 \u043e\u0431\u044b\u0433\u0440\u044b\u0432\u0430\u0435\u0442 CUPAC, CUMPED \u0432 2 \u0440\u0430\u0437\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0441\u0442\u043e\u043b\u044c \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043d\u0430 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043c\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0432 2 \u0440\u0430\u0437\u0430. \u0415\u0441\u043b\u0438 \u0440\u0430\u043d\u0435\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u044b\u043b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 42 \u043d\u0430 43 (\u0435\u0441\u043b\u0438 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 85), \u0442\u043e \u0441\u0435\u0439\u0447\u0430\u0441, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0440\u0435\u0433\u0438\u043e\u043d\u0430, \u0440\u0430\u0437\u043c\u0435\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430 \u0441\u0442\u0430\u043b 85 \u043d\u0430 85. \u0415\u0441\u0442\u044c, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043e\u0433\u043e\u0432\u043e\u0440\u043a\u0430, \u0447\u0442\u043e \u043c\u044b \u0442\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 \u0442\u043e\u043b\u044c\u043a\u043e\u00a0T_p \u0438 C_p, \u043d\u043e \u043a\u0430\u043a \u0432\u0438\u0434\u0438\u043c, \u044d\u0442\u043e \u043e\u0442\u043b\u0438\u0447\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p>\u041f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u043d\u0430 1000 A\/\u0410-\u0442\u0435\u0441\u0442\u0430\u0445.<\/p>\n<h3>Frankenstein-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439<\/h3>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ede\/189\/16e\/ede18916e89eb0b3db0dca7d4b3dba3c.png\" data-width=\"1560\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412\u043e\u0442 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0447\u0435\u0442\u044b\u0440\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u0430 \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u043e\u0439 \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c? \u0420\u0430\u043d\u0435\u0435 \u044f \u043f\u0438\u0441\u0430\u043b, \u0447\u0442\u043e CUMPED \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432, \u0430 Uplift \u2014 \u0434\u043b\u044f \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445.\u00a0<s>\u0410 \u0437\u0430\u0447\u0435\u043c \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043f\u0440\u043e \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435?<\/s>\u00a0\u041d\u043e \u0432\u0435\u0434\u044c \u043e\u043d\u0438 \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c, \u0430 \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043a\u043e\u0433\u0434\u0430-\u0442\u043e \u043b\u0443\u0447\u0448\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c CUPED, \u0430 \u043a\u043e\u0433\u0434\u0430-\u0442\u043e \u2014 CUPAC \u0438\u043b\u0438 CUNOPAC. \u0418 \u043a\u0430\u043a \u0432 \u043a\u0430\u0436\u0434\u043e\u043c A\/B-\u0442\u0435\u0441\u0442\u0435 \u0432\u044b\u0431\u0440\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441\u0435\u0439\u0447\u0430\u0441 \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c?<\/p>\n<p>\u0414\u043b\u044f \u043e\u0442\u0432\u0435\u0442\u0430 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0431\u044b\u043b \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439-\u0424\u0440\u0430\u043d\u043a\u0435\u043d\u0448\u0442\u0435\u0439\u043d. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u0441\u0445\u0435\u043c\u0443:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"1186\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76e\/836\/626\/76e8366267ea08f44babd804e8c422a0.png\" data-width=\"1676\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430 \u043f\u0440\u043e\u0441\u0442\u0430: \u0431\u0435\u0440\u0451\u043c N \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0438 \u0438\u0437 \u043d\u0438\u0445 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u043e\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0430 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0434\u0430\u0451\u0442 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<p>\u041a\u0430\u043a\u0438\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0438? \u0423 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043a\u0430\u0440\u0442\u0438\u043d\u0430.<\/p>\n<p>\u0414\u043b\u044f \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>CUNOPAC.<\/p>\n<\/li>\n<li>\n<p>CUMPED.<\/p>\n<\/li>\n<li>\n<p>CUPED.<\/p>\n<\/li>\n<\/ul>\n<p>CUPAC \u0438\u00a0Uplift-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0435 \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c\u00a0CUNOPAC \u0438\u00a0CUMPED.<\/p>\n<p>\u0410 \u0434\u043b\u044f \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0441\u0442\u043e\u0438\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>Uplift-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>CUPAC.<\/p>\n<\/li>\n<li>\n<p>CUMPED.<\/p>\n<\/li>\n<li>\n<p>CUPED.<\/p>\n<\/li>\n<\/ul>\n<details class=\"spoiler\">\n<summary>\u041f\u043e\u0447\u0435\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u0430\u043b\u0438\u0434\u0435\u043d?<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>\u0412\u043e\u043f\u0440\u043e\u0441 1.<\/strong>\u00a0\u041f\u043e\u0447\u0435\u043c\u0443 \u043d\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437? \u041c\u044b \u0436\u0435 \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 N \u0442\u0435\u0441\u0442\u043e\u0432, \u0438 \u043f\u043e-\u0445\u043e\u0440\u043e\u0448\u0435\u043c\u0443 \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c  <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9F%D0%BE%D0%BF%D1%80%D0%B0%D0%B2%D0%BA%D0%B0_%D0%BD%D0%B0_%D0%BC%D0%BD%D0%BE%D0%B6%D0%B5%D1%81%D1%82%D0%B2%D0%B5%D0%BD%D0%BD%D1%83%D1%8E_%D0%BF%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%BA%D1%83_%D0%B3%D0%B8%D0%BF%D0%BE%D1%82%D0%B5%D0%B7\">\u043f\u043e\u043f\u0440\u0430\u0432\u043a\u0443 \u0411\u043e\u043d\u0444\u0435\u0440\u0440\u043e\u043d\u0438\/\u0425\u043e\u043b\u043c\u0430<\/a>. \u0412\u0435\u0434\u044c \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0437\u043a\u0438\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043a\u0430\u043a-\u0442\u043e \u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442\u0430 \u0434\u0432\u0430.\u00a0\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e \u043d\u0430 1000 \u0410\/\u0410-\u0442\u0435\u0441\u0442\u0430\u0445. \u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 (\u0438\u043b\u0438\u00a0\u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430) \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u044b\u043b \u0440\u0430\u0432\u0435\u043d \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e.\u00a0\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0435\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435.\u00a0\u0415\u0441\u043b\u0438 \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0440\u043e\u0441\u0442\u043e, \u0442\u043e \u043c\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0435 \u043d\u0430 p-value, \u0430 \u043d\u0430 \u0448\u0438\u0440\u0438\u043d\u0443 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043d\u0435 \u043d\u0430\u0434\u043e. \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0447\u0443\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e:<\/p>\n<ul>\n<li>\n<p>\u0412\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u0430\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f\u00a0<a href=\"https:\/\/statisticaloddsandends.wordpress.com\/2019\/08\/25\/proof-that-sample-mean-is-independent-of-sample-variance-under-normality\/\"><strong>\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b<\/strong><\/a><strong>\u00a0<\/strong>(\u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438, \u0447\u0442\u043e CUPED-\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f).\u00a0\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0442\u043e \u043c\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u0435\u0433\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438. \u0418 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442, \u0435\u0441\u043b\u0438 \u043d\u0430\u0448\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0431\u044b\u043b\u0430 \u0431\u044b \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u0446\u0435\u043d\u043a\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0430\u00a0<strong>\u043d\u0438\u043a\u0430\u043a<\/strong>\u00a0\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, \u0432\u044b\u0431\u0438\u0440\u0430\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438, \u043c\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u043c \u043d\u0430 \u043e\u0446\u0435\u043d\u0451\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043d\u0435 \u043d\u0430\u0434\u043e. \u041c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0434\u043d\u0438\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u00ab\u043d\u043e\u00bb: \u0432\u0441\u0451 \u044d\u0442\u043e \u0432\u0435\u0440\u043d\u043e, \u0435\u0441\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0435 \u0442\u0430\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e\u00a0<a href=\"https:\/\/digitalcommons.wayne.edu\/cgi\/viewcontent.cgi?article=1454&amp;context=jmasm\">\u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0442\u044c<\/a>, \u0447\u0442\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0438 \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a 0 \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.\u00a0\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u043e\u0436\u0435\u0442 \u0438 \u0435\u0441\u0442\u044c, \u043d\u043e \u0437\u0434\u0435\u0441\u044c \u0438\u0433\u0440\u0430\u044e\u0442 \u0440\u043e\u043b\u044c \u0442\u0440\u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u0430: \u0435\u0441\u043b\u0438 \u0434\u0430\u0436\u0435 \u043e\u043d\u0430 \u0438 \u0435\u0441\u0442\u044c, \u0442\u043e \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u0430\u0434\u0435\u043a\u0432\u0430\u0442\u043d\u0443\u044e \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043a\u043e\u0433\u0434\u0430 \u043f\u0440\u0438 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0443\u0437\u043a\u043e\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439\/\u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0439 \u044d\u0444\u0444\u0435\u043a\u0442. \u0425\u043e\u0442\u044f \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438 \u044d\u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e. \u0414\u0430\u043b\u0435\u0435, \u0434\u043b\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0432\u044b\u0431\u043e\u0440\u043e\u0447\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b, \u043e\u0442\u0441\u044e\u0434\u0430 \u0435\u0441\u0442\u044c \u0448\u0430\u043d\u0441 \u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c,  \u0447\u0442\u043e \u0438 \u043d\u0430 \u0432\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438. \u041d\u0443 \u0438 \u0432-\u0442\u0440\u0435\u0442\u044c\u0438\u0445, \u0443 \u043d\u0430\u0441 \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0435\u043d\u043e. \u0412\u044b \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0443 \u0441\u0435\u0431\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0443\u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0451 \u0445\u043e\u0440\u043e\u0448\u043e.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0412\u043e\u043f\u0440\u043e\u0441 2.<\/strong>\u00a0\u041d\u0435 \u0437\u0430\u0443\u0436\u0430\u0435\u043c \u043b\u0438 \u043c\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b?<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432\u0441\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442 \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0439. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c CUPAC \u0438 CUNOPAC \u0441\u0442\u0440\u043e\u044f\u0442 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0438 \u0442\u043e\u0433\u043e \u0436\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430\u0441\u044c \u0440\u0430\u0437\u043d\u043e\u0439 \u0432 \u0434\u0432\u0443\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 (\u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f).<\/p>\n<p>\u0418 \u0432\u043e\u0442 \u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0442 \u043d\u0435\u0443\u0442\u0435\u0448\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439:\u00a0<strong>\u0434\u0430,\u00a0\u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0443\u0437\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b<\/strong>. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435 \u0441\u0435\u0431\u0435, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 N \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043f\u0435\u0440\u0438\u0440\u0443\u044e\u0442 \u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c Norm(0, 1). \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445 \u043a\u0430\u043a-\u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0435\u0433\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u0438 \u0438\u0437 \u0432\u0441\u0435\u0445 \u044d\u0442\u0438\u0445 \u043e\u0446\u0435\u043d\u043e\u043a \u043c\u044b \u0431\u0435\u0440\u0451\u043c \u043d\u0435 \u043b\u044e\u0431\u0443\u044e, \u0430 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0443\u044e! \u0415\u0441\u043b\u0438 \u0441\u0440\u0435\u0434\u0438 \u044d\u0442\u0438\u0445 N \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0446\u0435\u043d\u0438\u043b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u043e\u043d\u0430 \u0435\u0441\u0442\u044c \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u0442\u043e \u043c\u044b \u0437\u0430\u0443\u0437\u0438\u043b\u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0445\u043e\u0442\u044f \u0431\u044b \u0440\u0430\u0437 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043e\u0446\u0435\u043d\u043a\u0443 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0438 \u043e\u0448\u0438\u0431\u0451\u043c\u0441\u044f. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0443 \u043a\u043e\u0434:<\/p>\n<pre><code class=\"python\">import scipy.stats as sps import numpy as np import matplotlib.pyplot as plt   small_number_of_criteria_std = [] large_number_of_criteria_std = []   # \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 1000 \u0440\u0430\u0437, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u043a\u043e\u0435-\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 for i in range(1000):     # small_number_of_criteria, 5 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0424\u0440\u0430\u043d\u043a\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430     current_std_array = []     for i in range(5):         # \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439         sample = sps.norm().rvs(100)         # \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c std, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f         current_std_array.append(np.std(sample))     # \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 std, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0424\u0440\u0430\u043d\u043a\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430     small_number_of_criteria_std.append(min(current_std_array))           # large_number_of_criteria_std, 500 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0424\u0440\u0430\u043d\u043a\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430     current_std_array = []     for i in range(500):         # \u0442\u0435\u043a\u0443\u0449\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439         sample = sps.norm().rvs(100)         # \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c std, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f         current_std_array.append(np.std(sample))     # \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0442\u0435\u043a\u0443\u0449\u0435\u0435 std, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u043e\u0442 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0424\u0440\u0430\u043d\u043a\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430     large_number_of_criteria_std.append(min(current_std_array))     plt.hist(small_number_of_criteria_std, label='small number of criteria', bins='auto') plt.hist(large_number_of_criteria_std, label='large number of criteria', bins='auto') plt.xlabel('std') plt.legend() plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"\/img\/image-loader.svg\" height=\"884\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bc9\/902\/363\/bc9902363efa5393e8f8a584fabf6800.png\" data-width=\"1220\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u0442\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u043c\u0435\u0449\u0435\u043d\u0430 \u0432 \u043c\u0435\u043d\u044c\u0448\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u0422\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0443\u0437\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0438 \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.\u00a0<\/p>\n<p>\u041d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0432\u043e \u0432\u0441\u0435\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0441\u0451 \u0436\u0435 \u0440\u0430\u0437\u043d\u044b\u0435, \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0443 \u043d\u0430\u0441 \u0432\u0441\u0435\u0433\u043e 3 \u0438\u043b\u0438 4 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430\u0445, \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u0431\u044b\u043b \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 alpha%. \u041c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043b\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0430 1000 \u0410\/\u0410- \u0438 A\/B-\u0442\u0435\u0441\u0442\u0430\u0445, \u043a\u0430\u043a \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445, \u0442\u0430\u043a \u0438 \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445, \u0432\u0435\u0437\u0434\u0435 \u0432\u0441\u0451 \u0431\u044b\u043b\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e. \u0422\u0430\u043a \u0447\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0439\u00a0Frankenstein-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439\u00a0\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0435\u043d.\u00a0\u041d\u043e \u043a\u043e\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0443 \u0441\u0435\u0431\u044f, \u043d\u0435 \u0437\u0430\u0431\u0443\u0434\u044c\u0442\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c!<\/p>\n<\/div>\n<\/details>\n<h2>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b<\/h2>\n<p>\u041f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043d\u0430 14% \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED.<\/p>\n<\/li>\n<li>\n<p>\u0421 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/a>:\u00a0<strong>\u043d\u0430 21%.\u00a0<\/strong><\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u0441\u0442\u044b:<\/p>\n<ul>\n<li>\n<p>\u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u00a0<strong>\u0432\u00a01,5 \u0440\u0430\u0437\u0430\u00a0<\/strong>\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e CUPED.<\/p>\n<\/li>\n<li>\n<p>\u0421 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438<\/a>:\u00a0<strong>\u0432 2 \u0440\u0430\u0437\u0430\u00a0.<\/strong><\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b! \u041e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0434\u043b\u044f \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u043e\u0432.<\/p>\n<p>\u0418\u0442\u043e\u0433\u043e, \u0432 \u0434\u0430\u043d\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u043f\u043e\u0441\u0442\u0430\u0440\u0430\u043b\u0441\u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043f\u0440\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043a\u0430\u043a:<\/p>\n<ul>\n<li>\n<p>CUPED.<\/p>\n<\/li>\n<li>\n<p>CUPAC, CUNOPAC, CUNOPAC \u2014 \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u043d\u0430 \u0442\u0435\u043c\u0443 CUPED.<\/p>\n<\/li>\n<li>\n<p>Uplift-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u2014 \u043a\u0430\u043a \u0438\u0437 Uplift-\u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>Frankenstein-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u2014 \u043a\u0430\u043a \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0434\u0438\u043d.<\/p>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0438\u0448\u0438\u0442\u0435. \u041f\u043e\u0441\u0442\u0430\u0440\u0430\u044e\u0441\u044c \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c.<\/p>\n<\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/590105\/\"> https:\/\/habr.com\/ru\/company\/avito\/blog\/590105\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\" class=\"article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0414\u0438\u043c\u0430 \u041b\u0443\u043d\u0438\u043d, \u0438 \u044f \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u0432 \u0410\u0432\u0438\u0442\u043e. \u041a\u0430\u043a \u0438 \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043d\u0430\u0448 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442 \u0434\u043b\u044f \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u2014 \u044d\u0442\u043e A\/B-\u0442\u0435\u0441\u0442\u044b. \u041c\u044b \u0443\u0434\u0435\u043b\u044f\u0435\u043c \u0438\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435: \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c \u043d\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u043c\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u043c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432. \u041f\u0440\u043e \u044d\u0442\u043e \u0432\u0441\u0451 \u043c\u044b \u0443\u0436\u0435 \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0434\u0432\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430 \u0425\u0430\u0431\u0440, \u0432\u043e\u0442\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0435\u0440\u0432\u0430\u044f \u0447\u0430\u0441\u0442\u044c<\/a>, \u0430 \u0432\u043e\u0442 \u2014\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u0432\u0442\u043e\u0440\u0430\u044f<\/a>. <\/p>\n<p>\u0412 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u043f\u043e\u0441\u0442\u0435 \u044f \u0445\u043e\u0447\u0443 \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u0435\u0449\u0451 \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u0434\u043b\u044f A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0435 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435. \u0412 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u0430\u0445 \u0431\u0443\u0434\u0443 \u0441\u0441\u044b\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0432\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u0430\u043a \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0445 \u0435\u0449\u0451 \u043d\u0435 \u0447\u0438\u0442\u0430\u043b\u0438, \u0441\u0430\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0440\u0430\u0442\u043a\u043e, \u043e \u0447\u0451\u043c \u044f \u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0441\u044c \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 CUPED-\u043c\u0435\u0442\u043e\u0434. <\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c. CUPAC, CUNOPAC \u0438 CUMPED \u2014 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043f\u0440\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u043d\u0438\u0445.\u00a0<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c Uplift-\u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. \u0417\u0434\u0435\u0441\u044c \u044f \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e \u0432\u0441\u0435 \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u0438 bootstrap-\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0439.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0440\u0430\u0437\u0443 \u0434\u043b\u044f \u0434\u043e\u0441\u0442\u0438\u0436\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0435\u0439 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u0432\u043c\u0435\u0441\u0442\u0435\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u0441 \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439<\/a>\u00a0\u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 CUPED.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u043c\u0435\u0447\u0443, \u0447\u0442\u043e \u0442\u0430\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b, \u043a\u0430\u043a CUNOPAC, CUMPED, \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 Uplift-\u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u044e\u0449\u0438\u0439 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432, \u0431\u044b\u043b\u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u044b \u043d\u0430\u0448\u0435\u0439 \u043a\u043e\u043c\u0430\u043d\u0434\u043e\u0439.<\/p>\n<h2>\u0417\u0430\u0434\u0430\u0447\u0438 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432<\/h2>\n<p>\u041f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u0442\u044c \u043a \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0443 \u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u0445, \u0445\u043e\u0447\u0443 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0434\u043b\u044f \u043a\u0430\u043a\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0433\u043e\u0434\u044f\u0442\u0441\u044f \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0434\u0430\u043b\u0435\u0435 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b.<\/p>\n<p><strong>\u041f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0435 A\/B-\u0442\u0435\u0441\u0442\u044b.\u00a0<\/strong>\u0417\u0434\u0435\u0441\u044c \u0432\u044b \u043e\u0434\u043d\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0435 \u043d\u043e\u0432\u044b\u0439 \u0434\u0438\u0437\u0430\u0439\u043d, \u043d\u043e\u0432\u044b\u0435 \u0444\u0438\u0448\u043a\u0438 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435, \u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0435 \u0432\u0441\u0451 \u043a\u0430\u043a \u0431\u044b\u043b\u043e. \u0416\u0434\u0451\u0442\u0435 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0441\u0440\u043e\u043a \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043f\u0440\u043e\u043a\u0440\u0430\u0448\u0435\u043d \u0442\u0435\u0441\u0442 \u0438\u043b\u0438 \u043d\u0435\u0442. <\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0432 \u0442\u0430\u043a\u0438\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u0445 \u0445\u043e\u0447\u0435\u0442\u0441\u044f \u0438\u043c\u0435\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439: \u0442\u0430\u043a \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435\u0435 \u0432\u0440\u0435\u043c\u044f. \u0415\u0449\u0451 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0437\u0430\u0447\u0435\u043c \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u0432\u044b\u0448\u0435.<\/p>\n<p>\u041d\u043e \u0431\u044b\u0432\u0430\u044e\u0442 \u0441\u043b\u0443\u0447\u0430\u0438, \u043a\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u043e\u0435 \u043d\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u043d\u043e\u0432\u0443\u044e \u0440\u0435\u043a\u043b\u0430\u043c\u0443 \u043d\u0430 \u0431\u0438\u043b\u0431\u043e\u0440\u0434\u0430\u0445 \u0438\u043b\u0438 \u0442\u0435\u043b\u0435\u0432\u0438\u0434\u0435\u043d\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u0432\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u0434\u043d\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0432 \u041c\u043e\u0441\u043a\u0432\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u043e\u0432\u0443\u044e \u0440\u0435\u043a\u043b\u0430\u043c\u0443, \u0430 \u0432\u0442\u043e\u0440\u044b\u043c \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0437\u0430\u0432\u044f\u0437\u0430\u0442\u044c \u0433\u043b\u0430\u0437\u0430. <\/p>\n<p>\u0422\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430\u043c\u0438. \u041c\u044b \u0432 \u0410\u0432\u0438\u0442\u043e \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0432 \u0441\u0432\u043e\u0451 \u0432\u0440\u0435\u043c\u044f \u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442, \u0442\u043e \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0435 \u0431\u044b\u043b\u0438 \u0431\u044b \u0434\u0432\u0430 \u0442\u0438\u043f\u0430 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439: \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u0443\u0441\u043b\u0443\u0433\u0430\u043c\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0438 \u0441\u043e \u0441\u0442\u0430\u0440\u044b\u043c\u0438. \u0418 \u044d\u0442\u043e \u043d\u0430\u0440\u0443\u0448\u0438\u043b\u043e \u0431\u044b \u0447\u0438\u0441\u0442\u043e\u0442\u0443 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430: \u043f\u0440\u0438 \u0440\u0430\u0441\u043a\u0430\u0442\u043a\u0435 \u0443 \u043d\u0430\u0441 \u0432\u0441\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0441 \u043d\u043e\u0432\u044b\u043c\u0438 \u0443\u0441\u043b\u0443\u0433\u0430\u043c\u0438 \u0432 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0435, \u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b A\/B \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u0430 \u0441\u043c\u0435\u0448\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u043e\u0439 \u0432\u044b\u0434\u0430\u0447\u0435. \u0417\u0434\u0435\u0441\u044c \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0439 \u0442\u0438\u043f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<p><strong>\u0420\u0435\u0433\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u044b\u0435 A\/B-\u0442\u0435\u0441\u0442\u044b.\u00a0<\/strong>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u043d\u043e\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0435\u0434\u0438\u043d\u0438\u0446\u0435 \u2014 \u0440\u0435\u0433\u0438\u043e\u043d\u0443. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u0440\u0435\u043a\u043b\u0430\u043c\u0443 \u0438\u043b\u0438 \u0432\u0432\u0435\u0434\u0451\u043c \u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u0442\u043e\u043b\u044c\u043a\u043e\u00a0\u0432 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0435 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 \u0420\u043e\u0441\u0441\u0438\u0438. \u0422\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u0447\u0435\u0441\u0442\u043d\u043e:\u00a0\u0440\u0435\u043a\u043b\u0430\u043c\u0443 \u0432 \u043e\u0434\u043d\u043e\u043c \u0440\u0435\u0433\u0438\u043e\u043d\u0435 \u043d\u0435 \u0443\u0432\u0438\u0434\u044f\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0438\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432 (\u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u0442\u0435\u0445, \u043a\u0442\u043e \u0443\u0432\u0438\u0434\u0438\u0442, \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0435\u043d\u0435\u0431\u0440\u0435\u0436\u0438\u043c\u043e \u043c\u0430\u043b\u043e). \u0418 \u0432\u044b\u0434\u0430\u0447\u0430 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043d\u0435 \u043f\u0435\u0440\u0435\u0441\u0435\u043a\u0430\u0435\u0442\u0441\u044f \u043f\u043e \u0440\u0435\u0433\u0438\u043e\u043d\u0430\u043c. \u0422\u0430\u043a \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c \u0420\u043e\u0441\u0442\u043e\u0432\u0441\u043a\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0435\u0448\u0438\u0442\u044c \u043a\u0443\u043f\u0438\u0442\u044c\u00a0\u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, \u0430 \u0432 \u041a\u0440\u0430\u0441\u043d\u043e\u0434\u0430\u0440\u0441\u043a\u043e\u043c \u043a\u0440\u0430\u0435 \u2014 \u043d\u0435\u0442, \u043e\u043d\u0438 \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430 \u043d\u0435 \u0432\u043b\u0438\u044f\u044e\u0442.<\/p>\n<p>\u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u0433\u0438\u0433\u0430\u043d\u0442\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 85\u00a0\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432-\u0440\u0435\u0433\u0438\u043e\u043d\u043e\u0432: 42 \u0438\u0437 \u043d\u0438\u0445 \u2014 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 43 \u2014 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0441\u0442\u0430\u0442\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u043b\u044f \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432. \u041d\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u0441\u0435\u0433\u043e 85, \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043b\u0438 \u043e\u043d\u0438 \u0441\u0435\u0431\u044f \u043f\u043e\u043a\u0430\u0436\u0443\u0442? \u041d\u0435 \u0431\u0443\u0434\u0443\u0442 \u043b\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b?<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u0442\u0430\u043a\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u2014 \u043e\u043d\u0438 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0448\u0443\u043c\u043d\u044b\u0435. \u0427\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0445\u043e\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442, \u043d\u0430\u0434\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u0431\u044b\u043b \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0436\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u0438\u043b\u0438, \u0447\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e, \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u044d\u0444\u0444\u0435\u043a\u0442\u0430, \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u0433\u0430\u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430.<\/p>\n<p>\u041d\u0430 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u044f \u0438 \u0431\u0443\u0434\u0443 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0435 \u0434\u0430\u043b\u0435\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0438 \u043d\u0430 \u043d\u0438\u0445 \u0436\u0435 \u043f\u043e\u043a\u0430\u0436\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0441\u0443\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438. \u041d\u0430\u0447\u043d\u0451\u043c \u0441 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430.<\/p>\n<h2>CUPED<\/h2>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p><strong>CUPED (Controlled-experiment Using Pre-Experiment Data)<\/strong>\u00a0\u2014\u00a0\u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438. \u0427\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u043e\u043d \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0432\u0430\u0448\u0430\u00a0\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430, \u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0434\u043b\u0438\u0442\u0441\u044f \u043c\u0435\u0441\u044f\u0446. \u0412\u044b \u0441\u043e\u0431\u0440\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u043a\u0430\u043a\u0430\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0438\u0442\u043e\u0433\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0447\u0435\u043d\u044c \u0448\u0443\u043c\u043d\u044b\u0435: \u0432 \u0442\u0435\u0441\u0442\u0435 \u0434\u0430\u0436\u0435 \u043d\u0430 \u0442\u0440\u0451\u0445 \u0442\u043e\u0447\u043a\u0430\u0445 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u043d\u044f\u0442\u0441\u044f \u043e\u0442 50 \u0434\u043e 150, \u0430 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014 \u043e\u0442 20 \u0434\u043e 200 \u0440\u0443\u0431\u043b\u0435\u0439. \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e T-test \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:\u00a0<strong>+10\u00b120 \u20bd<\/strong>\u00a0\u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043d\u0435 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c. \u041a\u0430\u043a \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c?<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0441 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430: \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0442\u0440\u0430\u0442\u0438\u043b\u0438 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0432 \u043c\u0435\u0441\u044f\u0446<strong> \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.\u00a0<\/strong>\u041f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435 \u0442\u0435\u0441\u0442\u0430 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0422\u043e\u0433\u0434\u0430:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0411\u0443\u0434\u0435\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0434\u0435\u043b\u044c\u0442\u0443. \u042d\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043c\u0438\u043d\u0443\u0441 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0432 \u043c\u0435\u0441\u044f\u0446.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043c\u043e\u0436\u043d\u043e? \u0412 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u043c\u044b \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e \u0438 \u0442\u043e \u0436\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0451\u043d\u043d\u043e\u043c A\/B-\u0442\u0435\u0441\u0442\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0438 \u0442\u0435\u0441\u0442 \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0443, \u044d\u0442\u0438 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043d\u0438\u0432\u0435\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c:<\/p>\n<ul>\n<li>\n<p>T \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0442\u0435\u0441\u0442\u0435.<\/p>\n<\/li>\n<li>\n<p>C \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u0432\u0441\u0451 \u044d\u0442\u043e?<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0430\u0437\u0431\u0440\u043e\u0441 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0432 delta: \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u043e\u0442 -10 \u0434\u043e 6 \u0440\u0443\u0431\u043b\u0435\u0439, \u0430 \u0432 \u0442\u0435\u0441\u0442\u0435 \u043e\u0442 -10 \u0434\u043e 20 \u0440\u0443\u0431\u043b\u0435\u0439. \u042d\u0442\u043e \u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0442\u043e\u0433\u043e \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430, \u0447\u0442\u043e \u043c\u044b \u0432\u0438\u0434\u0435\u043b\u0438 \u0440\u0430\u043d\u0435\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u0441\u044f: \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0441\u0442\u0430\u043d\u0435\u0442\u00a0<strong>+15\u00b15\u00a0\u20bd\u00a0<\/strong>\u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0438 \u043e\u043d \u0443\u0436\u0435 \u0441\u0442\u0430\u0442\u0437\u043d\u0430\u0447\u0438\u043c!\u00a0\u041f\u043e\u0447\u0435\u043c\u0443 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u0447\u0430\u0441\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430.\u00a0<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 CUPED \u0431\u043e\u043b\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e.\u00a0<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f\u00a0\u0438\u0434\u0435\u044f CUPED-\u043c\u0435\u0442\u043e\u0434\u0430: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u044b\u0447\u0442\u0435\u043c \u0447\u0442\u043e-\u0442\u043e\u00a0\u0438\u0437 \u0442\u0435\u0441\u0442\u0430 \u0438 \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u00a0\u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u043a\u0430\u043a \u0438 \u0431\u044b\u043b\u043e. \u041d\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c \u0431\u044b:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0434\u0435 A \u0438 B \u2014 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b). \u0422\u043e\u0433\u0434\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0435\u0441\u043b\u0438\u00a0\u03b8\u00a0\u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439, \u043a\u0430\u043a \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0434\u0430\u043b\u0435\u0435, \u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a.<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435\u00a0\u03b8 \u044f \u0432\u0437\u044f\u043b \u0440\u0430\u0432\u043d\u043e\u0439 1, \u043d\u043e \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435, \u043b\u0443\u0447\u0448\u0435 \u0431\u044b\u043b\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u043e \u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0435.\u00a0\u0422\u043e\u0433\u0434\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0442\u0430\u043a\u043e\u0439:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f.<\/p>\n<p><strong>\u0422\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c<\/strong>: \u0447\u0442\u043e\u0431\u044b \u043c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f A \u0438 B \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0415\u0449\u0451 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0445 \u0438 \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u043c\u0435\u043d\u0442\u043e\u0432 \u043f\u0440\u043e CUPED \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043d\u043e <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571096\/\">\u0432 \u043f\u0440\u043e\u0448\u043b\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>. \u0412 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/p>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0432 \u0440\u043e\u043b\u0438 A \u0438 B. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e\u00a0\u0434\u043b\u044f \u043d\u0438\u0445 \u0431\u0435\u0440\u0443\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043d\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u0412 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043c\u044b \u0431\u0440\u0430\u043b\u0438\u00a0\u0441\u0440\u0435\u0434\u043d\u044e\u044e \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u0437\u0430 \u043c\u0435\u0441\u044f\u0446. \u0427\u0435\u043c \u0445\u043e\u0440\u043e\u0448 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431:<\/p>\n<ol>\n<li>\n<p>\u041c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014 \u0438\u043d\u0430\u0447\u0435 \u0443 \u0432\u0430\u0441 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d A\/B-\u0442\u0435\u0441\u0442. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, CUPED \u0434\u0430\u0441\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u043c. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u043e \u043a\u0440\u043e\u043c\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e\u00a0\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b ML-\u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a \u0431\u0435\u0437 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430. \u0421 \u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c.<\/p>\n<h2>CUPAC<\/h2>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p><strong>CUPAC (Controlled-experiment Using Prediction As Covariate)<\/strong>\u00a0\u2014\u00a0\u043f\u0435\u0440\u0432\u0430\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u043d\u0430 \u0442\u0435\u043c\u0443 CUPED \u0441 ML. \u041a\u0430\u043a \u044f \u0443\u0436\u0435 \u043f\u0438\u0441\u0430\u043b \u0432\u044b\u0448\u0435, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b. \u0420\u0430\u0441\u043f\u0438\u0448\u0443 \u0441\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u00a0\u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438. \u0414\u043b\u044f \u0432\u0430\u0448\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0438.<\/p>\n<p>\u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c A\/B-\u0442\u0435\u0441\u0442, \u0433\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>\u0414\u0430\u0442\u0430 \u043d\u0430\u0447\u0430\u043b\u0430 \u2014 1 \u0438\u044e\u043d\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0414\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 1 \u043c\u0435\u0441\u044f\u0446.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0448\u0430 \u043a\u043b\u044e\u0447\u0435\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>1 \u043c\u0435\u0441\u044f\u0446 \u0443\u0436\u0435 \u043f\u0440\u043e\u0448\u0451\u043b.<\/p>\n<\/li>\n<\/ul>\n<p>\u0427\u0442\u043e\u0431\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442, \u043c\u044b \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044e\u00a0<strong>\u0438\u0437 \u0442\u0440\u0451\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432<\/strong>:<\/p>\n<ol>\n<li>\n<p>\u0421\u043e\u0431\u0435\u0440\u0451\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u00a0\u0434\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u00a0(\u0438\u043b\u0438 \u00ab\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u00bb) \u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u043e\u0431\u0443\u0447\u0438\u043c \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u0434\u0431\u0435\u0440\u0451\u043c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0430 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0442\u0430\u0440\u0433\u0435\u0442, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0444\u0438\u0447\u0438 \u0441 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u043d\u043e\u0432\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0443 \u0438 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u044b\u0439 CUPED-\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u0430 \u0441\u0445\u0435\u043c\u0435 \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u043e\u0431\u0440\u0430\u0437\u0438\u0442\u044c \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b?<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0441\u0438\u043d\u0435-\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u2014 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439, \u0430 \u0431\u0438\u0440\u044e\u0437\u043e\u0432\u044b\u0439 \u2014 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0439 \u0434\u043e 1 \u0438\u044e\u043d\u044f. \u041e\u0434\u043d\u0438\u043c \u0446\u0432\u0435\u0442\u043e\u043c \u043e\u0442\u043c\u0435\u0447\u0435\u043d\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f, \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0446\u0432\u0435\u0442\u0430\u043c\u0438 \u2014 \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438 \u0435\u0441\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0430.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043e\u043f\u0438\u0448\u0435\u043c \u0441\u0430\u043c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0432 \u0442\u0435\u043a\u0441\u0442\u0435. \u041f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u0432 \u0446\u0438\u043a\u043b\u0435, \u043f\u043e\u043a\u0430 \u043d\u0435 \u0436\u0430\u043b\u043a\u043e:<\/p>\n<ol>\n<li>\n<p>\u0412\u044b\u0447\u0438\u0442\u0430\u0435\u043c \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0434\u0430\u0442\u044b \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u041d\u0430\u0447\u0438\u043d\u0430\u0435\u043c \u0441 1 \u0438\u044e\u043d\u044f, \u043f\u043e\u0442\u043e\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u0434\u0430\u0442\u0443 1 \u043c\u0430\u044f, \u043f\u043e\u0442\u043e\u043c \u2014 1 \u0430\u043f\u0440\u0435\u043b\u044f \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0442\u0430\u0440\u0433\u0435\u0442. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044e\u0437\u0435\u0440\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u043c \u0435\u0433\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0435 \u0442\u0440\u0430\u0442\u044b \u0443 \u043d\u0430\u0441 \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0437\u0430 \u044d\u0442\u043e\u0442 \u043c\u0435\u0441\u044f\u0446. \u0414\u043b\u044f 1 \u0438\u044e\u043d\u044f \u044d\u0442\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0437\u0430 \u0438\u044e\u043d\u044c (\u0438 \u0443\u0436\u0435 \u0437\u0430 \u0438\u044e\u043d\u044c \u0432\u0441\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430), \u0434\u043b\u044f \u043c\u0430\u044f \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0437\u0430 \u043c\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u0435\u0449\u0451 \u043d\u0435 \u0431\u044b\u043b\u043e \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u043e\u0442\u043b\u0438\u0447\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c, \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435.<\/p>\n<ul>\n<li>\n<p>\u0422\u0443\u0442 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u0441\u044f \u043e\u0434\u0438\u043d \u0441\u0438\u043d\u0435-\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u043e\u0439 (\u0438 \u043e\u043d\u0430 \u043e\u0442\u043b\u0438\u0447\u043d\u0430 \u0443 \u0442\u0435\u0441\u0442\u0430 \u0441 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c) \u0438 \u043c\u043d\u043e\u0433\u043e \u0431\u0438\u0440\u044e\u0437\u043e\u0432\u044b\u0445 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u0433\u0434\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0435\u0440\u0430\u0437\u043b\u0438\u0447\u0438\u043c\u044b. <\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0418 \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u043e\u0431\u0438\u0440\u0430\u0435\u043c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u0444\u0438\u0447\u0435\u0439. \u0413\u043b\u0430\u0432\u043d\u0430\u044f \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0444\u0438\u0447\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u0434\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0434\u0430\u0442\u044b. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u044f 1 \u0438\u044e\u043d\u044f \u0432\u0441\u0435 \u0444\u0438\u0447\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0441\u043e\u0431\u0440\u0430\u043d\u044b \u043f\u043e \u0434\u0430\u043d\u043d\u044b\u043c <strong>\u0434\u043e 1 \u0438\u044e\u043d\u044f, <\/strong>\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u0442.<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u0445\u043e\u0434\u043e\u0432 \u043d\u0430 \u0441\u0430\u0439\u0442 \u0437\u0430 N \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u0434\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 \u0434\u0430\u0442\u044b (\u0437\u0430 2 \u043c\u0435\u0441\u044f\u0446\u0430 \u0434\u043e 1 \u0438\u044e\u043d\u044f; \u0437\u0430 2 \u043c\u0435\u0441\u044f\u0446\u0430 \u0434\u043e 1 \u043c\u0430\u044f \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435).<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043a\u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 (\u0437\u0430 1 \u043c\u0435\u0441\u044f\u0446, \u0437\u0430 2 \u043c\u0435\u0441\u044f\u0446\u0430 \u0438 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435).<\/p>\n<\/li>\n<li>\n<p>\u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0441\u044f\u0446\u0435\u0432 \u043d\u0430\u0437\u0430\u0434 \u0437\u0430\u0440\u0435\u0433\u0438\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043b\u0441\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u041d\u0438 \u0432 \u043e\u0434\u043d\u043e\u043c \u0438\u0437 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432 \u043d\u0435\u0442 \u0444\u0438\u0447\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0438\u043b\u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0430. \u0412\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u0444\u0438\u0447\u0430\u043c \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0438\u0434\u0435\u043d\u0442\u0438\u0447\u043d\u044b.<\/strong><\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c: \u043d\u0443\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b\u00a0\u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043d\u043e\u0432\u044b\u0445 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438. \u0410 \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b<\/p>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-327318","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/327318","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=327318"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/327318\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=327318"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=327318"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=327318"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}