{"id":397378,"date":"2024-06-29T13:24:30","date_gmt":"2024-06-29T13:24:30","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=397378"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=397378","title":{"rendered":"<span>\u041a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0432\u0430\u0448\u0438 A\/B-\u0442\u0435\u0441\u0442\u044b: \u043b\u0430\u0439\u0444\u0445\u0430\u043a\u0438 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u0410\u0432\u0438\u0442\u043e. \u0427\u0430\u0441\u0442\u044c 2<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u042d\u0442\u043e \u0432\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c A\/B-\u0442\u0435\u0441\u0442\u044b. \u0421\u043e\u0432\u0435\u0442\u0443\u044e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e<\/a>, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b. \u0412 \u043d\u043e\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u044e\u0441\u044c \u043d\u0430 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0430\u0445: \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e CUPED, \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0438 \u043f\u0430\u0440\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/786\/7cd\/015\/7867cd015af6aeb5f6ea5017e07e7d68.png\" width=\"1560\" height=\"880\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/786\/7cd\/015\/7867cd015af6aeb5f6ea5017e07e7d68.png\"\/><figcaption><\/figcaption><\/figure>\n<h2>\u0422\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f<\/h2>\n<p>\u0415\u0449\u0451 \u0440\u0430\u0437 \u043d\u0430\u043f\u043e\u043c\u043d\u044e \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435:<\/p>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 0.<\/p>\n<p>\u041f\u0440\u043e\u043a\u0440\u0430\u0441 \u0442\u0435\u0441\u0442\u0430 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 0, \u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<p>\u0417\u0435\u043b\u0451\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u0441\u0442\u0430\u043b\u0430 \u043b\u0443\u0447\u0448\u0435.<\/p>\n<p>\u041a\u0440\u0430\u0441\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u0441\u0442\u0430\u043b\u0430 \u0445\u0443\u0436\u0435.<\/p>\n<p>\u0421\u0435\u0440\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 A\/B-\u0442\u0435\u0441\u0442\u0430 \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c.<\/p>\n<p>\u0422\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u2014 \u0444\u0438\u0447\u0430 \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0447\u044c\u0451 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0435 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435.<\/p>\n<p>MDE \u2014 <a href=\"https:\/\/help.optimizely.com\/Ideate_and_Hypothesize\/Use_minimum_detectable_effect_(MDE)_when_designing_an_experiment#:~:text=Minimum%20detectable%20effect%20(MDE)%20is,Baseline%20conversion%20rate\"><u>\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442<\/u><\/a>. \u0420\u0430\u0437\u043c\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u043b\u0436\u0435\u043d \u0438\u043c\u0435\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0442 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430, \u0447\u0442\u043e\u0431\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0435\u0433\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e). \u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 MDE, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435.<\/p>\n<p>\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0437\u0430\u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442, \u0435\u0441\u043b\u0438 \u043e\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0441\u0442\u044c. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u0442\u0435\u043c \u043e\u043d \u043a\u0440\u0443\u0447\u0435.\u00a0\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430: \u0447\u0435\u043c \u043e\u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u0435\u043c \u043c\u043e\u0449\u043d\u0435\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434 \u2014 \u043f\u0435\u0440\u0438\u043e\u0434 \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<h2>\u041c\u0435\u0442\u043e\u0434\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 AB-\u0442\u0435\u0441\u0442\u0430\u0445<\/h2>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0438\u0437 \u043a\u0430\u043a\u0438\u0445 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 AB\u2013\u0442\u0435\u0441\u0442:<\/p>\n<ol>\n<li>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0410\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u0442\u0435\u0441\u0442\u0430. \u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044e\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u043e\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0410\u043d\u0430\u043b\u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0434\u043b\u044f \u043f\u043e\u0434\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u0442\u043e\u0433\u043e\u0432 \u0442\u0435\u0441\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c.<\/p>\n<h3>\u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 A\/B-\u0442\u0435\u0441\u0442\u0430: \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430. \u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c, \u0447\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 \u0432\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u0442\u0435\u0441\u0442, \u0442\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043f\u043e\u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u042d\u0442\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<p>\u041d\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u0442\u0435\u0441\u0442, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u0437\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p>\u0412\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u043e\u0434\u0438\u043d \u0442\u0435\u0441\u0442 \u0434\u0432\u0430 \u043c\u0435\u0441\u044f\u0446\u0430 \u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u0442\u0435\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u043e\u0434\u0438\u043d \u0442\u0435\u0441\u0442 \u043e\u0434\u0438\u043d \u043c\u0435\u0441\u044f\u0446, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u0435\u0441\u044f\u0446 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c. \u0417\u0430\u0442\u043e \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8f4\/5e9\/68d\/8f45e968d681f360bc1403613c05a039.png\" width=\"500\" height=\"499\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f4\/5e9\/68d\/8f45e968d681f360bc1403613c05a039.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041d\u043e \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0440\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0434\u0432\u0430 \u0433\u043e\u0434\u0430, \u043d\u0435 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0431\u044b \u0432\u044b \u0434\u0435\u0440\u0436\u0430\u043b\u0438 \u0435\u0433\u043e \u0433\u043e\u0434. \u0423 \u043d\u0430\u0441 \u0447\u0430\u0441\u0442\u043e \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u044e\u0434\u0435\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u043e \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0448\u0443\u043c\u043d\u0435\u0435. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440: \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u043d\u0430\u0448\u0438\u0445 A\/B-\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043e\u0442 \u043d\u043e\u043c\u0435\u0440\u0430 \u043d\u0435\u0434\u0435\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/49c\/519\/675\/49c519675139fdf611ac7ae67c757215.png\" width=\"626\" height=\"441\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/49c\/519\/675\/49c519675139fdf611ac7ae67c757215.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0448\u0435\u0441\u0442\u044c \u043d\u0435\u0434\u0435\u043b\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0441\u044f, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0432\u0430\u0436\u043d\u043e, \u0432 \u043a\u0430\u043a\u0443\u044e \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u043d\u0435\u0434\u0435\u043b\u044c \u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0431\u044b \u0430\u043d\u0430\u043b\u0438\u0437: \u0432 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 A\/B-\u0442\u0435\u0441\u0442\u0430 \u044f \u0431\u044b \u043d\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u043b. \u041d\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u044f \u043f\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0448\u0435\u0441\u0442\u044c \u043d\u0435\u0434\u0435\u043b\u044c, \u0442\u043e \u0432\u043e \u0432\u0442\u043e\u0440\u044b\u0435 \u0448\u0435\u0441\u0442\u044c \u0431\u044b \u043c\u043e\u0433 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0438 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u0432 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e. <\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0432 \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u043e\u043a A\/B-\u0442\u0435\u0441\u0442\u0430. \u041a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0442\u0435\u0441\u0442 1 \u0438\u044e\u043d\u044f. \u0412\u044b \u0431\u0435\u0440\u0451\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<ul>\n<li>\n<p>\u0421 1 \u043f\u043e 8 \u043c\u0430\u0440\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0421 1 \u043f\u043e 15 \u043c\u0430\u0440\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>&#8230;<\/p>\n<\/li>\n<li>\n<p>\u0421 1 \u043c\u0430\u0440\u0442\u0430 \u043f\u043e 31 \u043c\u0430\u044f.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0414\u0435\u043b\u0438\u0442\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 \u043d\u0430 \u043d\u0438\u0445 \u0432\u0430\u0448 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u0448\u0438\u0440\u0438\u043d\u0443 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0438\u0441\u0443\u0435\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u043a\u0430\u043a \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0435 \u0441\u0440\u043e\u043a A\/B-\u0442\u0435\u0441\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u0441\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u043b\u0433\u043e \u0438 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u0432 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u044d\u0442\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b, \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0435 \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043e\u0442 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u043e\u0438\u0442 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e:<\/strong> \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u2014 \u0447\u0430\u0441\u0442\u043e \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c A\/B-\u0442\u0435\u0441\u0442\u0430, \u043d\u043e \u043b\u0438\u0448\u044c \u0434\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u043e\u043a\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u044d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0441\u0445\u0435\u043c\u0435: \u043c\u0435\u0442\u043e\u0434\u0430\u043c \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0430\u043d\u0430\u043b\u0438\u0437\u0435 A\/B-\u0442\u0435\u0441\u0442\u0430. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u0438 \u0441\u0430\u043c\u044b\u0439 \u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431, \u2014 \u0443\u0431\u0440\u0430\u0442\u044c \u0432\u044b\u0431\u0440\u043e\u0441\u044b \u0438\u043b\u0438 \u0442\u043e\u043f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u041d\u043e \u044d\u0442\u043e \u043c\u044b \u0443\u0436\u0435 \u043e\u0431\u0441\u0443\u0434\u0438\u043b\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/#outliers-in-data\">\u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>. \u0422\u0435\u043f\u0435\u0440\u044c \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0443.<\/p>\n<h2>\u041f\u043e\u0441\u0442\u0430\u043d\u0430\u043b\u0438\u0437: CUPED<\/h2>\n<p>CUPED (Controlled-experiment Using Pre-Experiment Data) \u2014 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0432\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043c\u0435\u0442\u043e\u0434\u0430 \u0442\u0430\u043a\u043e\u0432\u0430: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u044b\u0447\u0442\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u0438\u0437 \u0442\u0435\u0441\u0442\u0430 \u0438 \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u043a\u0430\u043a \u0431\u044b\u043b\u043e, \u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/157\/093\/bfc\/157093bfcf98fbf75d6db6a14c10a97a.png\" width=\"203\" height=\"84\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/157\/093\/bfc\/157093bfcf98fbf75d6db6a14c10a97a.png\"\/><figcaption><\/figcaption><\/figure>\n<p>A \u0438 B \u2014 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b). \u0422\u043e\u0433\u0434\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u03b8 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439, \u043a\u0430\u043a \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0434\u0430\u043b\u0435\u0435, \u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/273\/232\/c99\/273232c99f7d7171f77ca9c8855e53eb.png\" width=\"360\" height=\"86\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/273\/232\/c99\/273232c99f7d7171f77ca9c8855e53eb.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/ed4\/7d9\/26b\/ed47d926b161a01fbc312da902f4d977.png\" width=\"410\" height=\"80\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed4\/7d9\/26b\/ed47d926b161a01fbc312da902f4d977.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e0a\/a81\/8ed\/e0aa818ed1258f7a63011b46b774c31b.png\" width=\"477\" height=\"41\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0a\/a81\/8ed\/e0aa818ed1258f7a63011b46b774c31b.png\"\/><figcaption><\/figcaption><\/figure>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/62c\/35b\/e3b\/62c35be3be98a9644cc294865af8b4e2.png\" width=\"373\" height=\"37\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62c\/35b\/e3b\/62c35be3be98a9644cc294865af8b4e2.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u0447\u0442\u043e\u0431\u044b \u043c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f A \u0438 B \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e48\/86c\/9d6\/e4886c9d6927e981521855d314a75c81.png\" width=\"592\" height=\"47\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e48\/86c\/9d6\/e4886c9d6927e981521855d314a75c81.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0432 \u0440\u043e\u043b\u0438 A \u0438 B. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f \u043d\u0438\u0445 \u0431\u0435\u0440\u0443\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432\u044b\u0440\u0443\u0447\u043a\u0438, \u0442\u043e\u0433\u0434\u0430 \u0432 \u0440\u043e\u043b\u0438 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b A \u0438 B \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430 \u043c\u0435\u0441\u044f\u0446 \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u0427\u0435\u043c \u0445\u043e\u0440\u043e\u0448 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431:<\/p>\n<ol>\n<li>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014 \u0438\u043d\u0430\u0447\u0435 \u0443 \u0432\u0430\u0441 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d A\/B-\u0442\u0435\u0441\u0442. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, \u0438 CUPED \u0434\u0430\u0441\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u043c. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b ML-\u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a \u0431\u0435\u0437 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430. \u0421\u00a0\u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c \u0441 \u043d\u043e\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439, \u043d\u0430\u0434\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u041c\u043e\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c T-test \u0434\u043b\u044f CUPED-\u043c\u0435\u0442\u0440\u0438\u043a. \u0412\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445:\u00a0<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0430 AB, AA \u0442\u0435\u0441\u0442\u0430\u0445<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\"># 2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. def cuped_ttest(control, test, control_before, test_before):     theta = (np.cov(control, control_before)[0, 1] + np.cov(test, test_before)[0, 1]) \/\\                 (np.var(control_before) + np.var(test_before))      control_cup = control - theta * control_before     test_cup = test - theta * test_before     return absolute_ttest(control_cup, test_cup)    # 3. \u0417\u0430\u0432\u043e\u0434\u0438\u043c \u0441\u0447\u0451\u0442\u0447\u0438\u043a. bad_cnt = 0  # 4. \u0426\u0438\u043a\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. N = 30000 for i in tqdm_notebook(range(N)):     # 4.a. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u044e A\/B-\u0442\u0435\u0441\u0442.     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      test_before = sps.expon(scale=1000).rvs(1000)     test = test_before + sps.norm(loc=0, scale=100).rvs(1000)     test *= 1.1      # 4.b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.     _, _, _, left_bound, right_bound = cuped_ttest(control, test, control_before, test_before)          # 4.c. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u044e, \u043b\u0435\u0436\u0438\u0442 \u043b\u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.     if left_bound > 100 or right_bound &lt; 100:         bad_cnt += 1          # 5. \u0421\u0442\u0440\u043e\u044e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. left_real_level, right_real_level = proportion_confint(count = bad_cnt, nobs = N, alpha=0.05, method='wilson') # \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: {round(bad_cnt \/ N, 4)};\"       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 4)}, {round(right_real_level, 4)}]\")<\/code><\/pre>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0513; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0489, 0.0539].<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f A\/A-\u0442\u0435\u0441\u0442\u043e\u0432: \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0486; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0462, 0.0511].<\/p>\n<blockquote>\n<p><a href=\"https:\/\/github.com\/DimaLunin\/AB_lifehacks\/blob\/main\/CUPED.ipynb\">\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434 \u043d\u0430 \u0413\u0438\u0442\u0445\u0430\u0431\u0435. <\/a><\/p>\n<\/blockquote>\n<p>\u041f\u0440\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0443\u044e \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438<\/a>.<\/p>\n<\/div>\n<\/details>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0435\u0449\u0451 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c \u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0431\u044b\u0447\u043d\u044b\u043c T-test:<\/p>\n<pre><code class=\"python\"># 2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. def cuped_ttest(control, test, control_before, test_before):     theta = (np.cov(control, control_before)[0, 1] + np.cov(test, test_before)[0, 1]) \/\\                 (np.var(control_before) + np.var(test_before))  control_cup = control - theta * control_before test_cup = test - theta * test_before return absolute_ttest(control_cup, test_cup)   cuped_ci_lengths = [] ttest_ci_lengths = [] N = 30000 for i in tqdm_notebook(range(N)):     # 4.a. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u044e A\/B-\u0442\u0435\u0441\u0442.     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      test_before = sps.expon(scale=1000).rvs(1000)     test = test_before + sps.norm(loc=0, scale=100).rvs(1000)     test *= 1.1      # 4.b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.     _, _, cuped_ci, _, _ = cuped_ttest(control, test, control_before, test_before)     _, _, ttest_ci, _, _ = absolute_ttest(control, test)      cuped_ci_lengths.append(cuped_ci)     ttest_ci_lengths.append(ttest_ci)      coeff = np.mean(cuped_ci_lengths) \/ np.mean(ttest_ci_lengths) print(f\"\u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443: {round(coeff * 100, 3)}%\")<\/code><\/pre>\n<p>\u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443: 11.015%.<\/p>\n<p>\u041c\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 10 \u0440\u0430\u0437! \u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u044b \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043f\u0435\u0440\u0435\u0439\u0434\u044f \u043e\u0442 T-test \u043a CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e. \u0410 \u0435\u0449\u0451, <strong>CUPED \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u0441\u0435\u0433\u043e \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0441\u0442\u0440\u043e\u0447\u0435\u043a \u043a\u043e\u0434\u0430<\/strong>!<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435, \u0447\u0430\u0441\u0442\u043e \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0434\u043b\u044f CUPED:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a78\/538\/d23\/a78538d23e89d34bb7a1a106b94e6e2f.png\" width=\"335\" height=\"41\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a78\/538\/d23\/a78538d23e89d34bb7a1a106b94e6e2f.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b B, \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u043d\u0435\u0435, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435, \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u044b\u0447\u0442\u0435\u043d\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435. \u0422\u043e\u0433\u0434\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b \u0431\u0443\u0434\u0435\u0442 \u043d\u0443\u043b\u0435\u0432\u044b\u043c, \u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u043e\u0432\u044b\u0445 \u0448\u0442\u0440\u0438\u0445\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/868\/7ef\/e90\/8687efe900fbf230d9de1d09c130fca1.png\" width=\"509\" height=\"37\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/868\/7ef\/e90\/8687efe900fbf230d9de1d09c130fca1.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b \u043d\u0435 \u0442\u0435\u0440\u044f\u0435\u0442\u0435 \u0431\u0438\u0437\u043d\u0435\u0441-\u0441\u043c\u044b\u0441\u043b \u0443 \u0432\u0430\u0448\u0435\u0439 \u043d\u043e\u0432\u043e\u0439\u00a0 CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0438 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0438 \u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<p>\u0422\u0430\u043a \u0432\u043e\u0442, \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u0435: <strong>\u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0442\u0430\u043a\u0443\u044e CUPED\u2013\u043c\u0435\u0442\u0440\u0438\u043a\u0443!<\/strong> \u041f\u043e\u043a\u0430\u0436\u0443, \u043a \u0447\u0435\u043c\u0443 \u044d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u0438\u043c\u0435\u0440<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 C \u043d\u0435 \u043f\u043e\u043f\u0430\u043b\u043e \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f C&#187;:<\/p>\n<pre><code class=\"python\">bad_cnt = 0  N = 1000 for i in tqdm_notebook(range(N)):     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      control_cup = control - (control_before - np.mean(control_before))     std = np.std(control_cup) \/ np.sqrt(len(control_cup))     mean = np.mean(control_cup)      left_bound, right_bound = sps.norm(loc=mean, scale=std).ppf([0.025, 0.975])          if left_bound > 1000 or right_bound &lt; 1000:         bad_cnt += 1      left_real_level, right_real_level = proportion_confint(count = bad_cnt, nobs = N, alpha=0.05, method='wilson') print(f\"\u041d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 {round(bad_cnt \/ N, 4) * 100}% \u0441\u043b\u0443\u0447\u0430\u0435\u0432;\"       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 4) * 100}%, {round(right_real_level, 4) * 100}%]\")<\/code><\/pre>\n<p>\u041d\u0435 \u043f\u043e\u043f\u0430\u043b \u0432 85.2% \u0441\u043b\u0443\u0447\u0430\u0435\u0432; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [82.86%, 87.27%].<\/p>\n<p>\u041d\u043e\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u043c\u0435\u0435\u0442 \u0434\u0440\u0443\u0433\u043e\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435, \u043d\u0435\u0436\u0435\u043b\u0438 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f (\u0432 \u0442\u0435\u0445 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0430\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 t-test \u0438 \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0447\u0435\u0440\u0435\u0437 \u0426\u041f\u0422)! \u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0432\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0443 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0447\u0442\u043e \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043f\u043e\u043a\u0430\u0436\u0435\u0442 CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439:<\/p>\n<pre><code class=\"python\"># 2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. def incorrect_cuped(control, test, control_before, test_before):     theta = (np.cov(control, control_before)[0, 1] + np.cov(test, test_before)[0, 1]) \/\\                 (np.var(control_before) + np.var(test_before))          control_mean = np.mean(control_before)     test_mean    = np.mean(test_before)      control_cup = control - theta * (control_before - control_mean)     test_cup = test - theta * (test_before - test_mean)     return absolute_ttest(control_cup, test_cup)      # 4. \u0426\u0438\u043a\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. N = 30000 for i in tqdm_notebook(range(N)):          # 4.a. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u044e A\/A-\u0442\u0435\u0441\u0442.     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      test_before = sps.expon(scale=1000).rvs(1000)     test = test_before + sps.norm(loc=0, scale=100).rvs(1000)      # 4.b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.     _, _, _, left_bound, right_bound = incorrect_cuped(control, test, control_before, test_before)          # 4.c. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u044e, \u043b\u0435\u0436\u0438\u0442 \u043b\u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.     if left_bound > 0 or right_bound &lt; 0:         bad_cnt += 1          # 5. \u0421\u0442\u0440\u043e\u044e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. left_real_level, right_real_level = proportion_confint(count = bad_cnt, nobs = N, alpha=0.05, method='wilson') # \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: {round(bad_cnt \/ N, 4)};\"       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 4)}, {round(right_real_level, 4)}]\")<\/code><\/pre>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.8964; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.8929, 0.8998]. <\/p>\n<p>\u041e\u0448\u0438\u0431\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 80% \u0441\u043b\u0443\u0447\u0430\u0435\u0432! <\/p>\n<\/div>\n<\/details>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043a\u0430\u043a \u043f\u043e\u0440\u0442\u0438\u0442 CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0442\u0430\u043a \u0438 \u043d\u0435 \u0434\u0430\u0451\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>> \u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u0438 \u0432\u044b\u0432\u043e\u0434\u044b \u0438\u0437 \u043d\u0435\u0433\u043e<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0432 \u043a\u0430\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 T-test, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0435? <strong>\u0412 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432<\/strong>, \u0433\u0434\u0435 \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u043a\u0440\u043e\u0435\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u0430. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u043e\u043b\u0434\u0443\u0435\u043c.<\/p>\n<p>\u0412\u043e\u0437\u044c\u043c\u0451\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 mean(C_b) \u0438 \u0440\u0430\u0437\u043c\u043d\u043e\u0436\u0438\u043c \u0435\u0451 \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 N, \u0447\u0442\u043e \u043c\u044b \u0438 \u0434\u0435\u043b\u0430\u0435\u043c \u0432 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0439 CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0435. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0435\u0451 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432.<\/p>\n<ul>\n<li>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430 0, \u0432\u0435\u0434\u044c \u0432\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0438\u0437 \u043e\u0434\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435: \u0432\u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 N, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0443 \u044d\u0442\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e mean(C_b), \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB\"><u>\u043f\u043e \u0443\u0441\u0438\u043b\u0435\u043d\u043d\u043e\u043c\u0443 \u0437\u0430\u043a\u043e\u043d\u0443 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0447\u0438\u0441\u0435\u043b <\/u><\/a>\u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e \u0442\u0435\u043a\u0443\u0449\u0435\u043c\u0443 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e mean(C_b), \u0430 \u043d\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u043c\u0443 \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044e C_b.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0443\u043c\u0430\u044e, \u0432\u044b \u043f\u043e\u043d\u044f\u043b\u0438, \u043a \u0447\u0435\u043c\u0443 \u044f \u043a\u043b\u043e\u043d\u044e. \u0412 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/980\/713\/649\/98071364921a4e35c0484f8da2171bdf.png\" width=\"521\" height=\"198\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/980\/713\/649\/98071364921a4e35c0484f8da2171bdf.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0434\u0435 c_b \u2014 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430, \u0430 \u0442\u0430\u043a\u0436\u0435 T-test \u043e\u0436\u0438\u0434\u0430\u044e\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043d\u0430 \u0432\u0445\u043e\u0434 \u0442\u0430\u043a\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/19c\/1b7\/7f9\/19c1b77f9e1b055fafab7d7d4d8ea395.png\" width=\"364\" height=\"231\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/19c\/1b7\/7f9\/19c1b77f9e1b055fafab7d7d4d8ea395.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0434\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u044e\u0442 \u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u044f. \u0410 \u043c\u044b \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0451\u043c \u0442\u0430\u043a\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0438\u043d\u0434\u0435\u043a\u0441 \u0443 mean(C_b):<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d56\/a32\/f64\/d56a32f6411e31f41e62036c4ab5cdaa.png\" width=\"361\" height=\"236\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d56\/a32\/f64\/d56a32f6411e31f41e62036c4ab5cdaa.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u043d\u0435\u0435 \u043e\u0448\u0438\u0431\u043a\u0430.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e: <\/strong>\u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438, CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u0442 \u0432\u0430\u0441 \u043a \u043d\u0435\u0432\u0435\u0440\u043d\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0443! \u0410 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0438 \u0442\u0430 \u0436\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043f\u0440\u0438 \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441:\u00a0<\/p>\n<ol>\n<li>\n<p>\u041d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u043c\u0443\u0447\u0438\u0442\u044c\u0441\u044f, \u043f\u043e\u0441\u0442\u0440\u0430\u0434\u0430\u0442\u044c, \u043d\u043e \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u044b\u043f\u0438\u0441\u0430\u0442\u044c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0434\u043b\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u0432\u0441\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u043e\u0448\u0438\u0431\u0451\u0442\u0435\u0441\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f. \u0418 \u0442\u043e\u0433\u0434\u0430 \u043f\u043e\u0434\u043e\u0431\u043d\u0430\u044f \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u0440\u0438\u0447\u0451\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0434\u0432\u0430 \u0438 \u0442\u0440\u0438 \u043d\u0435 \u043d\u0435\u0441\u0443\u0442 \u0432 \u0441\u0435\u0431\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u0441\u043c\u044b\u0441\u043b\u0430, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043f\u043e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0438\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0442\u044c \u0443 \u0430\u043d\u0430\u043b\u043e\u0433\u043e\u0432 \u0431\u0435\u0437 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6e9\/afb\/428\/6e9afb4288d33e493e91b6bf243ffd85.png\" width=\"452\" height=\"356\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e9\/afb\/428\/6e9afb4288d33e493e91b6bf243ffd85.png\"\/><figcaption><\/figcaption><\/figure>\n<\/div>\n<\/details>\n<h3>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 CUPED<\/h3>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u043a\u0430\u043a \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c CUPED \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 A\/B-\u0442\u0435\u0441\u0442\u043e\u0432. \u0418 \u0437\u0434\u0435\u0441\u044c \u0432\u0441\u0451 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u0442\u0430\u043a \u0433\u043b\u0430\u0434\u043a\u043e. <\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043d\u0435\u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7d3\/fbb\/412\/7d3fbb4125815f501c3f955381c45ee2.png\" width=\"203\" height=\"91\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7d3\/fbb\/412\/7d3fbb4125815f501c3f955381c45ee2.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438\u0447\u0451\u043c \u0432 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u0435 \u0448\u0442\u0440\u0438\u0445\u043e\u0432\u0430\u043d\u043d\u044b\u0435 CUPED \u2014 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0431\u0435\u0437 \u0432\u044b\u0447\u0438\u0442\u0430\u043d\u0438\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0433\u043e \u0443 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b, \u0430 \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435 \u2014 \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043d\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435, \u0431\u0435\u0437 \u0448\u0442\u0440\u0438\u0445\u043e\u0432. \u0417\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0442\u0430\u043a\u043e\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e CUPED-\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0435 \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435.\u00a0<\/p>\n<p>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u0440\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u044d\u0442\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430, \u043a\u0430\u043a \u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 T-test \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0431\u0443\u0434\u0435\u0442 \u0432\u0435\u0440\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430. \u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438\u00a0 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u0430\u043a\u043e\u0435 \u0436\u0435, \u043a\u0430\u043a \u0438 \u0443 T-test \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438. \u0414\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u0434\u0435\u043b\u044c\u0442\u0430-\u043c\u0435\u0442\u043e\u0434, \u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0432 T-test.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/319\/065\/1c0\/3190651c0946cca225a05d24fab8865d.png\" width=\"1224\" height=\"109\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/319\/065\/1c0\/3190651c0946cca225a05d24fab8865d.png\"\/><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9cc\/a70\/f4c\/9cca70f4c02b911a254097c4a3776416.png\" width=\"1153\" height=\"109\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cc\/a70\/f4c\/9cca70f4c02b911a254097c4a3776416.png\"\/><figcaption><\/figcaption><\/figure>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u041a\u043e\u0434 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0430 A\/B- \u0438 A\/A-\u0442\u0435\u0441\u0442\u0430\u0445<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043a\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u044b\u043c. \u041d\u043e \u043e\u0447\u0435\u043d\u044c \u043c\u043d\u043e\u0433\u043e \u043a\u0443\u0441\u043a\u043e\u0432 \u0432\u0437\u044f\u0442\u043e \u0438\u0437 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 relative_ttest \u0438\u0437 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438<\/a>. <\/p>\n<pre><code class=\"python\"># 2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. def relative_cuped(control, test, control_before, test_before):     theta = (np.cov(control, control_before)[0, 1] + np.cov(test, test_before)[0, 1]) \/\\                 (np.var(control_before) + np.var(test_before))      control_cup = control - theta * control_before     test_cup = test - theta * test_before      mean_den = np.mean(control)     mean_num = np.mean(test_cup) - np.mean(control_cup)     var_mean_den  = np.var(control) \/ len(control)     var_mean_num  = np.var(test_cup) \/ len(test_cup) + np.var(control_cup) \/ len(control_cup)      cov = -np.cov(control_cup, control)[0, 1] \/ len(control)      relative_mu = mean_num \/ mean_den     relative_var = var_mean_num \/ (mean_den ** 2)  + var_mean_den * ((mean_num ** 2) \/ (mean_den ** 4))\\                 - 2 * (mean_num \/ (mean_den ** 3)) * cov          relative_distribution = sps.norm(loc=relative_mu, scale=np.sqrt(relative_var))     left_bound, right_bound = relative_distribution.ppf([0.025, 0.975])          ci_length = (right_bound - left_bound)     pvalue = 2 * min(relative_distribution.cdf(0), relative_distribution.sf(0))     effect = relative_mu     return ExperimentComparisonResults(pvalue, effect, ci_length, left_bound, right_bound)      # 3. \u0417\u0430\u0432\u043e\u0434\u0438\u043c \u0441\u0447\u0451\u0442\u0447\u0438\u043a. bad_cnt = 0  # 4. \u0426\u0438\u043a\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. N = 30000 cis = [] for i in tqdm_notebook(range(N)):     # 4.a. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u044e A\/B-\u0442\u0435\u0441\u0442.     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      test_before = sps.expon(scale=1000).rvs(1000)     test = test_before + sps.norm(loc=0, scale=100).rvs(1000)     test *= 1.1      # 4.b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.     _, _, ci, left_bound, right_bound = relative_cuped(control, test, control_before, test_before)     cis.append(ci)     # 4.c. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u044e, \u043b\u0435\u0436\u0438\u0442 \u043b\u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.     if left_bound > 0.1 or right_bound &lt; 0.1:         bad_cnt += 1  # 5. \u0421\u0442\u0440\u043e\u044e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. left_real_level, right_real_level = proportion_confint(count = bad_cnt, nobs = N, alpha=0.05, method='wilson') # \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: {round(bad_cnt \/ N, 4)};\"       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 4)}, {round(right_real_level, 4)}]\")<\/code><\/pre>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0506; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0481, 0.0531].<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f A\/A-\u0442\u0435\u0441\u0442\u043e\u0432: \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.048; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.046, 0.0503].<\/p>\n<\/div>\n<\/details>\n<p>\u041e\u0442\u043b\u0438\u0447\u043d\u043e! \u041c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0434\u043b\u044f CUPED, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e<\/strong>: \u0435\u0441\u043b\u0438 \u0432\u044b \u0435\u0449\u0451 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 CUPED \u0434\u043b\u044f A\/B-\u0442\u0435\u0441\u0442\u043e\u0432, \u0441\u0430\u043c\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c. \u041f\u0438\u0448\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c T-test, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0430\u0435\u0442 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/42b\/818\/7e7\/42b8187e7f137a4aaff3879c9369d162.png\" width=\"500\" height=\"384\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42b\/818\/7e7\/42b8187e7f137a4aaff3879c9369d162.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043f\u0440\u043e \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f-\u0430\u043d\u0430\u043b\u043e\u0433 CUPED\u2013\u043c\u0435\u0442\u043e\u0434\u0430.<\/p>\n<h2>\u041f\u043e\u0441\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430<\/h2>\n<p>\u0418\u0434\u0435\u044f \u043c\u0435\u0442\u043e\u0434\u0430 \u0442\u0430 \u0436\u0435, \u0447\u0442\u043e \u0438 \u0432 CUPED: \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0435\u0440\u0438\u043e\u0434. \u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0432\u044b\u0447\u0438\u0442\u0430\u043b\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u043d\u043e \u0432\u0435\u0434\u044c \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u044b\u0447\u0438\u0442\u0430\u0442\u044c, \u043d\u043e \u0438 \u0434\u0435\u043b\u0438\u0442\u044c:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/405\/a40\/213\/405a40213720fa079a6a7cadd7490157.png\" width=\"230\" height=\"88\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/405\/a40\/213\/405a40213720fa079a6a7cadd7490157.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u0442\u0435\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f. \u0412 \u0447\u0451\u043c \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043c\u044b\u0441\u043b \u0442\u0430\u043a\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438? \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043f\u043e\u0434\u0435\u043b\u0438\u043b\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c, \u043d\u043e \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435. \u0422\u043e\u0433\u0434\u0430 \u043e\u0447\u0435\u043d\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0438 \u0431\u0435\u0437 \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0431\u0443\u0434\u0443\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 2 \u0440\u0430\u0437\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u043c\u043d\u043e\u0436\u0438\u043c \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0430 2 \u0438 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u0443\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432 \u0433\u0440\u0443\u043f\u043f\u0430\u0445 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043b\u043e\u0433\u0438\u043a\u0430 \u043c\u0435\u0442\u043e\u0434\u0430 \u0442\u0430\u043a\u0430\u044f: \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u0448\u0443\u043c\u0430, \u0432\u043e\u0437\u043d\u0438\u043a\u0448\u0435\u0433\u043e \u043f\u0440\u0438 \u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c.<\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/62d\/ba3\/15c\/62dba315c9f01cbb526273055c0a94a9.png\" width=\"679\" height=\"89\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62d\/ba3\/15c\/62dba315c9f01cbb526273055c0a94a9.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c \u043c\u0430\u0442\u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f. \u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0442\u0435\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e18\/68b\/0f5\/e1868b0f5b21b71c07fb9eee0434bc64.png\" width=\"551\" height=\"41\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e18\/68b\/0f5\/e1868b0f5b21b71c07fb9eee0434bc64.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0410 \u0437\u043d\u0430\u0447\u0438\u0442:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/3da\/ad3\/ecd\/3daad3ecdd5ecef660a61cf69207ffe4.png\" width=\"720\" height=\"193\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3da\/ad3\/ecd\/3daad3ecdd5ecef660a61cf69207ffe4.png\"\/><figcaption><\/figcaption><\/figure>\n<\/div>\n<\/details>\n<p>\u0412 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u2014 \u0438\u0434\u0435\u044f \u0442\u0430 \u0436\u0435, \u0447\u0442\u043e \u0438 \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/361\/581\/1cd\/3615811cddea2794b2e8b5247adbc356.png\" width=\"245\" height=\"88\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/361\/581\/1cd\/3615811cddea2794b2e8b5247adbc356.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0440\u0430\u043d\u044c\u0448\u0435 \u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u0442\u0435\u0441\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044e. \u0415\u0441\u043b\u0438 \u0440\u0430\u043d\u044c\u0448\u0435 \u0442\u0435\u0441\u0442 \u0431\u044b\u043b \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0432 2 \u0440\u0430\u0437\u0430, \u0438 \u0441\u0435\u0439\u0447\u0430\u0441 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0442\u043e \u043d\u0430\u0448 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u043b \u043c\u0435\u0442\u0440\u0438\u043a\u0443.<\/p>\n<details class=\"spoiler\">\n<summary>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0414\u043b\u044f \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u044f \u043d\u0435 \u043c\u043e\u0433\u0443 \u0441\u043e\u0441\u043b\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0440\u044f\u0434 \u0422\u0435\u0439\u043b\u043e\u0440\u0430. \u041c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u0442\u044c \u0447\u0435\u0440\u0435\u0437 \u0443\u0441\u0438\u043b\u0435\u043d\u043d\u044b\u0439 \u0437\u0430\u043a\u043e\u043d \u0447\u0438\u0441\u0435\u043b, \u043d\u043e \u0434\u043b\u044f \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043f\u043e-\u0434\u0440\u0443\u0433\u043e\u043c\u0443.\u00a0\u00a0<\/p>\n<p>\u041f\u043e \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0435\u043b\u044c\u043d\u043e\u0439 \u0442\u0435\u043e\u0440\u0435\u043c\u0435 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0422\u0430\u043a \u0432\u043e\u0442 <a href=\"https:\/\/link.springer.com\/article\/10.1007\/s00362-012-0429-2\"><u>\u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f<\/u><\/a>, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0442\u0434\u0430\u043b\u0451\u043d \u043e\u0442 0, \u0442\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e, \u0435\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u0438\u0442\u043e\u0433\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 X \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u0441 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435\u043c, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435.<\/p>\n<\/div>\n<\/details>\n<p>\u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a \u0442\u0430\u043a\u043e\u0435 \u0441\u0447\u0438\u0442\u0430\u0442\u044c? \u0412\u044b\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u043d\u0435\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u0438 \u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0434\u0440\u0443\u0433 \u043d\u0430 \u0434\u0440\u0443\u0433\u0430 \u0443\u0436\u0435 \u0432\u043d\u0443\u0448\u0430\u0435\u0442 \u0441\u0442\u0440\u0430\u0445 \u043c\u043d\u043e\u0433\u0438\u043c \u0438\u0437 \u043d\u0430\u0441, \u0430 \u0442\u0443\u0442 \u0443 \u043d\u0430\u0441 \u0446\u0435\u043b\u044b\u0445 \u0447\u0435\u0442\u044b\u0440\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443! \u0417\u0434\u0435\u0441\u044c \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u043e\u0434\u0438\u043d \u0438\u0437 \u043b\u0443\u0447\u0448\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u0432 \u043b\u044e\u0431\u043e\u0439 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u2014 <strong>bootstrap<\/strong>.\u00a0<\/p>\n<p>\u0411\u0443\u0442\u0441\u0442\u0440\u0430\u043f \u2014 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0435\u0442\u043e\u0434, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u00ab\u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u00bb \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_(%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F_%D0%B2%D1%8B%D0%B1%D0%BE%D1%80%D0%BA%D0%B8)\"><u>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438<\/u><\/a>, \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0435\u0439 \u043e\u0442 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0446\u0435\u043b\u0438\u043a\u043e\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u0427\u0443\u0442\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043e \u043c\u0435\u0442\u043e\u0434\u0435 <\/summary>\n<div class=\"spoiler__content\">\n<p>\u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0423 \u043d\u0430\u0441 \u0432\u0441\u0435\u0433\u043e \u043e\u0434\u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 (\u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0447\u0430\u0441\u0442\u0435\u0439: \u0442\u0435\u0441\u0442, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0438 \u043e\u043d\u0438 \u0436\u0435 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435), \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0438 \u043e\u0434\u043d\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430. \u041d\u043e \u043f\u043e \u043e\u0434\u043d\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044e \u043d\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u0411\u0443\u0442\u0441\u0442\u0440\u0430\u043f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443.<\/p>\n<p>\u0414\u043b\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u044b \u043c\u0435\u0442\u043e\u0434\u0430 \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u0430\u043c\u0438. \u041f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432 \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438. \u041c\u0435\u0442\u043e\u0434 \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u0438\u0437 \u043e\u0434\u043d\u043e\u0439 \u044d\u0442\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e \u043c\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u043e\u043a. \u041a\u0430\u043a? \u0421 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u0438\u0437 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u0422\u043e\u0433\u0434\u0430 \u0443 \u043a\u0430\u0436\u0434\u043e\u0439 \u043d\u043e\u0432\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0432\u043e\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443, \u0438 \u043f\u043e \u044d\u0442\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435, \u043e \u0447\u0435\u043c \u043d\u0430\u0434\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u0440\u0430\u0437\u043c\u0435\u0440 \u043d\u043e\u0432\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u043a\u0430\u043a \u0438 \u0443 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u043c\u0435\u0442\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Bootstrapping_(statistics)\"><u>\u043d\u0430 \u0412\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438<\/u><\/a>.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c7b\/c8d\/54a\/c7bc8d54af0667a9ab59a822a2f7aced.png\" width=\"1496\" height=\"1240\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7b\/c8d\/54a\/c7bc8d54af0667a9ab59a822a2f7aced.png\"\/><figcaption><\/figcaption><\/figure>\n<\/div>\n<\/details>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438, \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0438 \u0432 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0445 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430\u0445. \u0415\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u2014 \u044d\u0442\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u0435\u0442\u043e\u0434 \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 A\/B-\u0442\u0435\u0441\u0442\u0430:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1db\/9fd\/0d2\/1db9fd0d2f28f33739872cf08abaefc9.png\" width=\"230\" height=\"88\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1db\/9fd\/0d2\/1db9fd0d2f28f33739872cf08abaefc9.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b01\/c4d\/c32\/b01c4dc32c19f7cb8c9f706aba534833.png\" width=\"245\" height=\"88\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b01\/c4d\/c32\/b01c4dc32c19f7cb8c9f706aba534833.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0415\u0441\u043b\u0438 \u0436\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0442\u044c \u0430\u043d\u0430\u043b\u043e\u0433 T-test \u0447\u0435\u0440\u0435\u0437 \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f, \u0442\u043e \u0432\u043d\u0443\u0442\u0440\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043d\u0430\u0434\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0ce\/46f\/273\/0ce46f2739617c29fdfbac6fee246345.png\" width=\"178\" height=\"32\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0ce\/46f\/273\/0ce46f2739617c29fdfbac6fee246345.png\"\/><figcaption><\/figcaption><\/figure>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/160\/3ec\/0c3\/1603ec0c3873614dc00930ccab5298ac.png\" width=\"176\" height=\"84\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/160\/3ec\/0c3\/1603ec0c3873614dc00930ccab5298ac.png\"\/><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>A\/A- \u0438 A\/B-\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>\u0411\u0443\u0442\u0441\u0442\u0440\u0430\u043f-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/strong> \u041a\u043e\u0434 \u043c\u043e\u0436\u0435\u0442 \u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u043c, \u043d\u043e \u044d\u0442\u043e \u043e\u0431\u043c\u0430\u043d. \u0421\u043c\u044b\u0441\u043b\u043e\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0437\u0434\u0435\u0441\u044c \u043c\u0430\u043b\u043e, \u0430 \u0432\u0441\u0451, \u0447\u0442\u043e \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043a \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435, \u0441\u043a\u0440\u044b\u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445 \u0441\u0442\u0440\u043e\u0447\u043a\u0430\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f.<\/p>\n<pre><code class=\"python\">def bootstrap(control, test, test_type='absolute'):     # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0434\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435.     absolute_func = lambda C, T: T - C     relative_func = lambda C, T: T \/ C - 1          boot_func = absolute_func if test_type == 'absolute' else relative_func     stat_sample = []          batch_sz = 100          # \u0412 \u0442\u0435\u043e\u0440\u0438\u0438 boot_samples_size \u0441\u0442\u043e\u0438\u0442\u044c \u0431\u0440\u0430\u0442\u044c \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043c\u043e\u0436\u043d\u043e \u0438 \u043c\u0435\u043d\u044c\u0448\u0435.     boot_samples_size = len(control)     for i in range(0, boot_samples_size, batch_sz):         N_c = len(control)         N_t = len(test)         # \u0412\u044b\u0431\u0438\u0440\u0430\u0435\u043c N_c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0441 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435\u043c \u0438\u0437 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438.          # \u0418 \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u043a\u043e\u0440\u0438\u0442\u044c \u044d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441, \u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u0441\u0440\u0430\u0437\u0443 batch_sz \u0440\u0430\u0437         # \u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0434\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c batch_sz \u0432\u044b\u0431\u043e\u0440\u043e\u043a         control_sample = np.random.choice(control, size=(len(control), batch_sz), replace=True)         test_sample    = np.random.choice(test, size=(len(test), batch_sz), replace=True)          C = np.mean(control_sample, axis=0)         T = np.mean(test_sample, axis=0)         assert len(T) == batch_sz                  # \u0414\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u043c \u0432 \u043c\u0430\u0441\u0441\u0438\u0432 \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u043d\u0435\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a batch_sz \u043d\u043e\u0432\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439         # X \u0432 \u0441\u0442\u0430\u0442\u044c\u0435 \u2013 \u044d\u0442\u043e boot_func(control_sample_mean, test_sample_mean)         stat_sample += list(boot_func(C, T))      stat_sample = np.array(stat_sample)     # \u0421\u0447\u0438\u0442\u0430\u0435\u043c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442     effect = boot_func(np.mean(control), np.mean(test))     left_bound, right_bound = np.quantile(stat_sample, [0.025, 0.975])          ci_length = (right_bound - left_bound)     # P-value - \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0436\u0430\u0442 \u043b\u0435\u0432\u0435\u0435 \u0438\u043b\u0438 \u043f\u0440\u0430\u0432\u0435\u0435 0.     pvalue = 2 * min(np.mean(stat_sample > 0), np.mean(stat_sample &lt; 0))     return ExperimentComparisonResults(pvalue, effect, ci_length, left_bound, right_bound)<\/code><\/pre>\n<p>A\/B-\u0442\u0435\u0441\u0442: \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0486; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0446, 0.053].<\/p>\n<p>A\/A-\u0442\u0435\u0441\u0442: \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0541; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0498, 0.0587].<\/p>\n<blockquote>\n<p><a href=\"https:\/\/github.com\/DimaLunin\/AB_lifehacks\/blob\/main\/bootstrap.ipynb\">\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434 \u043d\u0430 \u0413\u0438\u0442\u0445\u0430\u0431\u0435.<\/a><\/p>\n<\/blockquote>\n<p><strong>\u041f\u043e\u0441\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430.<\/strong><\/p>\n<pre><code class=\"python\">def post_normed_bootstrap(control, test, control_before, test_before, test_type='absolute'):     # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u0441\u0440\u0435\u0434\u043d\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0434\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0430 \u043a\u0430\u0436\u0434\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435.     absolute_func = lambda C, T, C_b, T_b: T - (T_b \/ C_b) * C     relative_func = lambda C, T, C_b, T_b: (T \/ C) \/ (T_b \/ C_b) - 1          boot_func = absolute_func if test_type == 'absolute' else relative_func     stat_sample = []          batch_sz = 100          #\u0412 \u0442\u0435\u043e\u0440\u0438\u0438 boot_samples_size \u0441\u0442\u043e\u0438\u0442\u044c \u0431\u0440\u0430\u0442\u044c \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u041d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043c\u043e\u0436\u043d\u043e \u0438 \u043c\u0435\u043d\u044c\u0448\u0435.     boot_samples_size = len(control)     for i in range(0, boot_samples_size, batch_sz):         N_c = len(control)         N_t = len(test)         # \u041d\u0430\u0434\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u044b \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0438\u043c\u0435\u043d\u043d\u043e \u044e\u0437\u0435\u0440\u043e\u0432         # \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u0437\u044f\u043b\u0438 n \u0440\u0430\u0437 i \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 control         # \u0422\u043e \u043d\u0430\u0434\u043e \u0441\u0442\u043e\u043b\u044c\u043a\u043e \u0436\u0435 \u0440\u0430\u0437 \u0432\u0437\u044f\u0442\u044c i \u044d\u043b\u0435\u043c\u0435\u043d\u0442 \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 control_before         # \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0431\u0443\u0434\u0435\u043c \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u043d\u0434\u0435\u043a\u0441\u044b         control_indices = np.arange(N_c)         test_indices = np.arange(N_t)         control_indices_sample = np.random.choice(control_indices, size=(len(control), batch_sz), replace=True)         test_indices_sample    = np.random.choice(test_indices, size=(len(test), batch_sz), replace=True)          C   = np.mean(control[control_indices_sample], axis=0)         T   = np.mean(test[test_indices_sample], axis=0)         C_b = np.mean(control_before[control_indices_sample], axis=0)         T_b = np.mean(test_before[test_indices_sample], axis=0)         assert len(T) == batch_sz         stat_sample += list(boot_func(C, T, C_b, T_b))      stat_sample = np.array(stat_sample)     # \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442     effect = boot_func(np.mean(control), np.mean(test), np.mean(control_before), np.mean(test_before))     left_bound, right_bound = np.quantile(stat_sample, [0.025, 0.975])          ci_length = (right_bound - left_bound)     # P-value - \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0435\u0436\u0430\u0442 \u043b\u0435\u0432\u0435\u0435 \u0438\u043b\u0438 \u043f\u0440\u0430\u0432\u0435\u0435 0.     pvalue = 2 * min(np.mean(stat_sample > 0), np.mean(stat_sample &lt; 0))     return ExperimentComparisonResults(pvalue, effect, ci_length, left_bound, right_bound)<\/code><\/pre>\n<p>A\/B-\u0442\u0435\u0441\u0442: \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0492; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0468, 0.0517].<\/p>\n<\/div>\n<\/details>\n<p>\u041a\u0430\u043a \u044f \u043f\u043e\u043a\u0430\u0436\u0443 \u0434\u0430\u043b\u0435\u0435, \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u0441\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0435 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c CUPED, \u043d\u043e \u043f\u0438\u0448\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0449\u0435: \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0441\u0442\u0440\u0430\u0448\u043d\u044b\u0445 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439 \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e:<\/strong> \u0433\u043b\u0430\u0432\u043d\u043e\u0435, \u0447\u0442\u043e \u043d\u0430\u0434\u043e \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u043e \u0431\u0443\u0441\u0442\u0440\u0430\u043f-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u0445:<\/p>\n<ul>\n<li>\n<p>\u041d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0434\u0443\u043c\u0430\u0442\u044c \u2014 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f! \u0412\u0441\u044f \u0442\u0435\u043e\u0440\u0438\u044f \u0437\u0430\u0448\u0438\u0442\u0430 \u0432 \u0441\u0430\u043c\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435, \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435 \u043d\u0430\u0434\u043e. \u0415\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430, \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f \u0441\u0440\u0430\u0437\u0443 \u0434\u043b\u044f \u043d\u0435\u0451 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u041e\u0442 \u0432\u0430\u0441 \u0432 \u043a\u043e\u0434\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043d\u0430\u0434\u043e \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u043e\u0434\u043d\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u043f\u043e\u0434\u0441\u0447\u0451\u0442\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043f\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0413\u043b\u0430\u0432\u043d\u044b\u0439 \u043c\u0438\u043d\u0443\u0441 \u2014 \u0442\u0430\u043a\u0438\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043d\u0443 \u043e\u0447\u0435\u043d\u044c \u0434\u043e\u043b\u0433\u0438\u0435. \u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u0435\u0441\u0442\u044c \u0445\u0430\u043a\u0438 \u0441 \u0440\u0430\u0441\u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u0438\u0432\u0430\u043d\u0438\u0435\u043c,\u00a0<a href=\"https:\/\/en.wikipedia.org\/wiki\/Bootstrapping_(statistics)\">\u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u043c \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u043e\u043c<\/a>\u00a0\u0438 \u0442. \u043f. \u041d\u043e \u043e\u043d\u0438 \u0432\u0441\u0451 \u0435\u0449\u0451 \u043d\u0435 \u0443\u0441\u043a\u043e\u0440\u044f\u0442 \u0435\u0433\u043e \u043d\u0430\u0441\u0442\u043e\u043b\u044c\u043a\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u043d \u0431\u044b\u043b \u0431\u044b\u0441\u0442\u0440\u0435\u0435 T-test \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432.<\/p>\n<\/li>\n<\/ul>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/338\/247\/418\/338247418ce4032941b28fd324ac4986.png\" width=\"500\" height=\"298\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/338\/247\/418\/338247418ce4032941b28fd324ac4986.png\"\/><figcaption><\/figcaption><\/figure>\n<h2>\u0423\u043b\u0443\u0447\u0448\u0435\u043d\u043d\u043e\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c<\/h2>\n<p>\u041c\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c A\/B\u2013\u0442\u0435\u0441\u0442\u043e\u0432, \u0443\u043b\u0443\u0447\u0448\u0430\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. \u041d\u043e \u043a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c, \u0447\u0442\u043e\u0431\u044b:<\/p>\n<ul>\n<li>\n<p>\u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u0431\u044b\u043b\u0438 \u0432\u0441\u0451 \u0442\u0430\u043a\u0436\u0435 \u0441\u0431\u0430\u043b\u0430\u043d\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u0442\u0435\u0441\u0442\u0430 \u0441 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c \u0441\u0442\u0430\u043b\u0430 \u0431\u044b \u0441\u0430\u043c\u0430 \u043f\u043e \u0441\u0435\u0431\u0435 \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043e \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<h3>\u0421\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f<\/h3>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0434\u043b\u044f \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438: \u043f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439-\u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a8c\/e97\/da0\/a8ce97da0f852529a26aa9ef6e67ea41.png\" width=\"823\" height=\"425\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a8c\/e97\/da0\/a8ce97da0f852529a26aa9ef6e67ea41.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041c\u044b \u0437\u0430\u0445\u043e\u0442\u0435\u043b\u0438 \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u043d\u0430 \u043d\u0438\u0445 A\/B-\u0442\u0435\u0441\u0442. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0440\u0430\u0437\u0434\u0430\u0442\u044c \u0441\u043a\u0438\u0434\u043a\u0438 \u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0438 \u0410\u0432\u0438\u0442\u043e. \u041f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u043c A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u043c \u0432\u0441\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c, \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443 \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/afa\/4b9\/1c9\/afa4b91c9db6f1a5e3def6f4c5b8774b.png\" width=\"1158\" height=\"632\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/afa\/4b9\/1c9\/afa4b91c9db6f1a5e3def6f4c5b8774b.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0414\u0430\u043b\u044c\u0448\u0435 \u043a \u044d\u0442\u043e\u043c\u0443 \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c T-test, \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f, CUPED \u0438 \u0442.\u0434. \u0438 \u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u043e \u0432\u043e\u043f\u0440\u043e\u0441: \u0430 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u041f\u0438\u043a\u0430\u0447\u0443 (\u0436\u0451\u043b\u0442\u0435\u043d\u044c\u043a\u0438\u0435) \u0440\u0435\u0430\u0433\u0438\u0440\u0443\u044e\u0442 \u043d\u0430 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u043d\u0435 \u0442\u0430\u043a, \u043a\u0430\u043a \u0421\u043b\u043e\u0443\u043f\u043e\u043a\u0438 (\u0440\u043e\u0437\u043e\u0432\u0435\u043d\u044c\u043a\u0438\u0435)? \u042d\u0442\u043e \u0432\u043d\u043e\u0441\u0438\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0448\u0443\u043c \u0432 \u0434\u0430\u043d\u043d\u044b\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u043e\u0434\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0442\u0440\u0438 \u041f\u0438\u043a\u0430\u0447\u0443, \u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u043e\u0434\u0438\u043d. <\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u043c \u0432\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0448\u0430\u0433 \u043f\u0440\u0438 \u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c. \u0421\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u043c \u0432\u0441\u0435\u0445 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432 \u043f\u043e \u0432\u0438\u0434\u0443, \u0430 \u043f\u043e\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u043c \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b (\u0438\u043b\u0438 \u0441\u0442\u0440\u0430\u0442\u044b) \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0443 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432 \u0432 \u0442\u0435\u0441\u0442, \u0430 \u0434\u0440\u0443\u0433\u0443\u044e \u2014 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c. \u042d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6d8\/388\/c1d\/6d8388c1d2614d8dd9bd7fc001ba1f90.png\" width=\"1032\" height=\"748\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d8\/388\/c1d\/6d8388c1d2614d8dd9bd7fc001ba1f90.png\"\/><figcaption><\/figcaption><\/figure>\n<p><a href=\"https:\/\/www.kdd.org\/kdd2016\/papers\/files\/adp0945-xieA.pdf\"><u>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f<\/u><\/a>, \u0447\u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0438 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0437\u043d\u043e\u0439.<\/p>\n<details class=\"spoiler\">\n<summary>\u0424\u043e\u0440\u043c\u0443\u043b\u044b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439<\/summary>\n<div class=\"spoiler__content\">\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/595\/3d0\/bda\/5953d0bdadeecad86ee4a76848d349e8.png\" width=\"555\" height=\"233\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/595\/3d0\/bda\/5953d0bdadeecad86ee4a76848d349e8.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0413\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>K \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0438\u0434\u043e\u0432 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432. <\/p>\n<\/li>\n<li>\n<p>p_k \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u0430 \u0432 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0431\u044b\u0442\u044c \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u043c \u0442\u0438\u043f\u0430 k. <\/p>\n<\/li>\n<li>\n<p>\u03c3_k \u2014 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u0433\u0440\u0443\u043f\u043f\u0435 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432 k. <\/p>\n<\/li>\n<li>\n<p>\u03bc_k \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 \u0433\u0440\u0443\u043f\u043f\u0435 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432 k. <\/p>\n<\/li>\n<li>\n<p>\u03bc \u2014 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0432\u0441\u0435\u0439 \u043f\u043e\u043f\u0443\u043b\u044f\u0446\u0438\u0438 \u043f\u043e\u043a\u0435\u043c\u043e\u043d\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u044b\u0445 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439 \u0432\u043d\u0443\u0442\u0440\u0438 \u0441\u0442\u0440\u0430\u0442. \u0410 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u2014 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u2014 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u00ab\u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u0430\u0442\u0430\u043c\u0438\u00bb. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0437\u0430 \u0441\u0447\u0451\u0442 \u0432\u044b\u043a\u0438\u0434\u044b\u0432\u0430\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u0430\u0442 \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0435\u0451 \u043b\u0438\u0448\u044c \u0432\u043d\u0443\u0442\u0440\u0438 \u0433\u0440\u0443\u043f\u043f.<\/p>\n<\/div>\n<\/details>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0436\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043c\u043e\u0436\u043d\u043e \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0441\u0442\u0440\u0430\u0442\u044b, \u2014 \u044d\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u043b;<\/p>\n<\/li>\n<li>\n<p>\u0432\u043e\u0437\u0440\u0430\u0441\u0442;<\/p>\n<\/li>\n<li>\n<p>\u0441\u0442\u0440\u0430\u043d\u0430\/\u0433\u043e\u0440\u043e\u0434 \u043f\u0440\u043e\u0436\u0438\u0432\u0430\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p>\u043a\u043e\u043c\u043f\u0430\u043d\u0438\u044f \u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u043d\u043e\u0435 \u043b\u0438\u0446\u043e;<\/p>\n<\/li>\n<li>\n<p>\u043a\u043b\u0430\u0441\u0442\u0435\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p>\u0432\u0441\u0451, \u0447\u0442\u043e \u043f\u0440\u0438\u0434\u0435\u0442 \u043d\u0430\u043c \u0432 \u0433\u043e\u043b\u043e\u0432\u0443.<\/p>\n<\/li>\n<\/ul>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0442\u0430\u043a\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430: \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f.<\/p>\n<h3>\u041f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u043f\u0430\u0440\u043d\u043e\u043c\u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e<\/h3>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0440\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0439 \u043c\u0435\u0442\u043e\u0434:<\/p>\n<ol>\n<li>\n<p>\u041e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0437\u043e\u0431\u044c\u0451\u043c \u0432\u0441\u0435\u0445 \u044e\u0437\u0435\u0440\u043e\u0432 \u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u044b \u2014 \u0441\u0442\u0440\u0430\u0442\u044b \u2014 \u0438\u0437 \u0434\u0432\u0443\u0445 \u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u043f\u043e\u0434\u0440\u044f\u0434 \u0447\u0435\u043b\u043e\u0432\u0435\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0437 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u0438\u043c \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c, \u0430 \u0434\u0440\u0443\u0433\u043e\u0433\u043e\u00a0\u2014 \u0432 \u0442\u0435\u0441\u0442.<\/p>\n<\/li>\n<\/ol>\n<p>\u0418\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b88\/d08\/1b0\/b88d081b045ba32d9a85c866815163b9.png\" width=\"2438\" height=\"836\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b88\/d08\/1b0\/b88d081b045ba32d9a85c866815163b9.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u0438\u0434\u0435\u0439\u043d\u043e \u043c\u0435\u0442\u043e\u0434 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0435\u043d\u0438\u0435\u043c \u0438\u0434\u0435\u0438 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u0422\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435 \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u0430\u0442\u044b \u0438 \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a \u0436\u0435 \u043f\u043e\u043b\u043e\u0432\u0438\u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u044b \u0443\u0445\u043e\u0434\u0438\u0442 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c, \u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u2014 \u0432 \u0442\u0435\u0441\u0442. \u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043b\u0438\u0448\u044c \u043f\u043e\u043c\u0435\u043d\u044f\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0434\u0435\u0440\u0436\u0430 \u0432 \u043f\u0430\u043c\u044f\u0442\u0438, \u0447\u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043f\u0440\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0438. \u041d\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u0431\u0435\u0434\u0430: \u043a\u0430\u043a \u044f \u043f\u043e\u043a\u0430\u0436\u0443 \u0434\u0430\u043b\u0435\u0435, \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0442\u0435\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0441\u0442\u0430\u043d\u0443\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438! \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0434\u0432\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 T \u0438 C.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8da\/ebe\/584\/8daebe5842b0c4317cec591dbd15e89d.png\" width=\"640\" height=\"472\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8da\/ebe\/584\/8daebe5842b0c4317cec591dbd15e89d.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u0438\u0445 \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c? \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u043d\u043e\u0432\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 Z=T-C. \u0414\u043b\u044f \u043d\u0435\u0451 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432 \u043f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u043c.<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/6a8\/888\/f07\/6a8888f073d85820e9cf4d45bda25527.png\" width=\"500\" height=\"489\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a8\/888\/f07\/6a8888f073d85820e9cf4d45bda25527.png\"\/><figcaption><\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u043a\u0430\u043a \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0413\u043b\u0430\u0432\u043d\u043e\u0435 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432 \u043d\u0435\u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f\u0445 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u0435 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435, \u0430 \u0432 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0445 <strong>\u043d\u0430\u0434\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u043d\u0438\u043c\u0438<\/strong>. \u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u043e\u0442\u043a\u0443\u0434\u0430 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f? \u042d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0442\u0435\u0441\u0442 \u0441 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430. \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/10f\/356\/36e\/10f35636e8ac89b15e29979b0f9d3a89.png\" width=\"1585\" height=\"1172\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10f\/356\/36e\/10f35636e8ac89b15e29979b0f9d3a89.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u0443 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e T-test \u043f\u043e\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0440\u043e\u0447\u043a\u0430 \u0441 \u043e\u0446\u0435\u043d\u043a\u043e\u0439 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438: \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u0443\u043c\u043c\u044b \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0439 \u0442\u0435\u043f\u0435\u0440\u044c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u0435 \u043d\u0435\u043d\u0443\u043b\u0435\u0432\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044e T \u0438 C. \u0414\u043b\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e T-test \u043d\u0430\u0434\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u043e\u0432\u043d\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0449\u0443\u044e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044e. \u042f \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u043b \u0435\u0451 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/#t-test\">\u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>.\u00a0<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 CUPED:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/b1e\/be4\/171\/b1ebe41716ca4c03114dcb99ff63d9d4.png\" width=\"1677\" height=\"1926\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1e\/be4\/171\/b1ebe41716ca4c03114dcb99ff63d9d4.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c \u043a\u0430\u043a \u0440\u0430\u0437 \u0432\u0438\u0434\u0430 \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043f\u043e\u0434\u0441\u0447\u0451\u0442\u0435 \u03b8, \u043d\u043e \u043e\u0431\u0430 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 \u044f \u0440\u0430\u0441\u043f\u0438\u0441\u0430\u043b \u0440\u0430\u043d\u0435\u0435.\u00a0<\/p>\n<p>\u0414\u043b\u044f \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u0430 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0435\u043c\u043d\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u0438\u0435: \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0434\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f\u043d\u044b\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 T \u0438 \u0421 \u043d\u0435 \u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0430 \u0432\u043c\u0435\u0441\u0442\u0435:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4cd\/3e7\/177\/4cd3e717742bac96fbdf1c7539a3a942.png\" width=\"1632\" height=\"2688\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cd\/3e7\/177\/4cd3e717742bac96fbdf1c7539a3a942.png\"\/><figcaption><\/figcaption><\/figure>\n<blockquote>\n<p><a href=\"https:\/\/github.com\/DimaLunin\/AB_lifehacks\/blob\/main\/paired_stratification%20.ipynb\">\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434 \u043d\u0430 \u0413\u0438\u0442\u0445\u0430\u0431\u0435. <\/a><\/p>\n<\/blockquote>\n<\/div>\n<\/details>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u043b\u044f T-test, \u0430 \u0435\u0449\u0451 \u043d\u0430 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432.<\/p>\n<details class=\"spoiler\">\n<summary>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0445 \u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\">def splitter(before_metrics):     size = len(before_metrics)          # \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u043c\u0430\u0441\u0441\u0438\u0432      sorted_array = np.sort(before_metrics)[::-1]     control = []     test = []     for i in range(0, size, 2):         if np.random.rand() &lt; 0.5:             control.append(sorted_array[i])             test.append(sorted_array[i + 1])         else:             control.append(sorted_array[i + 1])             test.append(sorted_array[i])      return np.array(control), np.array(test)    bad_cnt_paired = 0 paired_power = 0 bad_cnt = 0 power = 0 N = 30000 for i in tqdm_notebook(range(N)):     before = sps.expon(scale=1000).rvs(4000)     C_b, T_b = splitter(before)      C = C_b + sps.norm(loc=0, scale=100).rvs(2000)     T = T_b + sps.norm(loc=0, scale=100).rvs(2000)     T *= 1.01      _, _, _, left_bound, right_bound = relative_ttest(C, T)     _, _, _, left_bound_paired, right_bound_paired = paired_relative_ttest(C, T)      if left_bound > 0.01 or right_bound &lt; 0.01:         bad_cnt += 1              if left_bound_paired > 0.01 or right_bound_paired &lt; 0.01:         bad_cnt_paired += 1      if left_bound > 0:         power += 1      if left_bound_paired > 0:         paired_power += 1      left_real_level, right_real_level = proportion_confint(count = bad_cnt, nobs = N,                                                           alpha=0.05, method='wilson') left_real_level_paired, right_real_level_paired = proportion_confint(count = bad_cnt_paired, nobs = N,                                                           alpha=0.05, method='wilson') print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0440\u0438\u044f: {round(bad_cnt \/ N, 4)};\"\\       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 5)}, {round(right_real_level, 5)}]\") print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: {round(bad_cnt_paired \/ N, 4)};\"\\       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level_paired, 5)}, {round(right_real_level_paired, 5)}]\") print(f\"\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f vs. \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: {paired_power \/ N} VS. {power \/ N}\")<\/code><\/pre>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 0.0; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0, 0.00013]. <\/p>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 0.0513; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.04886, 0.05385].<\/p>\n<p>\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f vs. \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 0.8623 vs. 0.0.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u00ab\u0437\u0430\u0448\u0438\u0440\u044f\u0435\u0442\u00bb \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: \u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u043f\u0440\u0438\u0440\u043e\u0441\u0442 \u043f\u043e\u043f\u0430\u043b \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u0445\u043e\u0442\u044f \u0432 5% \u043d\u0435 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b. \u0427\u0435\u043c \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e? \u041e\u0431\u044b\u0447\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441\u0442\u0440\u043e\u0438\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430, \u0438 0 \u0432\u0441\u0451 \u0432\u0440\u0435\u043c\u044f \u0431\u0443\u0434\u0435\u0442 \u043b\u0435\u0436\u0430\u0442\u044c \u0432 \u044d\u0442\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435. \u0422\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0431\u043e\u0440\u0435\u043c\u0441\u044f \u0437\u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430. \u042d\u0442\u043e \u0432\u0438\u0434\u043d\u043e \u0438 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u0445 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438: \u043f\u0430\u0440\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438\u043c\u0435\u0435\u0442 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c 86%, \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u2014 0%.\u00a0<\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043d\u0435 \u0441\u043f\u0430\u0440\u0435\u043d\u044b:<\/p>\n<ul>\n<li>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 0.0503; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.04792, 0.05287].<\/p>\n<\/li>\n<li>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 0.0519; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.04939, 0.05446].<\/p>\n<\/li>\n<li>\n<p>\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f vs. \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 0.056 vs. 0.044.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0438\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435: \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 5% \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 86%. \u0410 \u0435\u0449\u0451 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043e\u0442\u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u0430\u043a \u043f\u0440\u0438 \u043f\u0430\u0440\u043d\u043e \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445, \u0442\u0430\u043a \u0438 \u043f\u0440\u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u043c \u0434\u0435\u043b\u0435\u043d\u0438\u0438.<\/p>\n<\/div>\n<\/details>\n<p>\u0412 \u0447\u0451\u043c \u043f\u0440\u0435\u043b\u0435\u0441\u0442\u044c \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u0432: <strong>\u043e\u043d\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u0438 \u0432 \u043d\u0435\u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445<\/strong>, \u043a\u043e\u0433\u0434\u0430 \u043d\u0435 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f. \u041e\u043d\u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435\u0442 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a. \u041f\u043e \u0438\u0434\u0435\u0435, \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0448\u0443\u043c\u0430 \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u043d\u043e \u043d\u0430\u0448\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0438 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442, \u0447\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0438\u043b\u0438 \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442, \u0438\u043b\u0438 \u0448\u0443\u043c \u043d\u0435\u0437\u0430\u043c\u0435\u0442\u0435\u043d \u0432 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u0441 \u0448\u0443\u043c\u043e\u043c \u0432 \u0441\u0430\u043c\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, <strong>\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0430\u0440\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u0432\u044b<\/strong> <strong>\u043d\u0435 \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b A\/B-\u0442\u0435\u0441\u0442\u043e\u0432<\/strong>. \u041d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0438\u0445 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u0414\u043b\u044f \u0442\u0435\u0445, \u043a\u0442\u043e \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u043b\u0441\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0438 \u043d\u0435 \u0431\u043e\u0438\u0442\u0441\u044f \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u0442\u0435\u043e\u0440\u0438\u044e, \u0441\u0442\u043e\u044f\u0449\u0443\u044e \u0437\u0430 \u043d\u0438\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u0422\u0435\u043e\u0440\u0438\u044f<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430 \u0442\u0435\u0445 \u0436\u0435 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0447\u0442\u043e \u0438 \u0440\u0430\u043d\u0435\u0435, \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 T \u0438 C:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1df\/d33\/5a5\/1dfd335a5f0378980748546db1085faa.png\" width=\"626\" height=\"457\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1df\/d33\/5a5\/1dfd335a5f0378980748546db1085faa.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0435 \u043d\u0443\u043b\u0435\u0432\u0430\u044f, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043d\u0435 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u044d\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0438.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u043a\u0430\u0436\u0435\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u043e\u0431\u0449\u0435 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u044e\u0442 \u0437\u0434\u0435\u0441\u044c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 T \u0438 C \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u043d\u0430\u0448\u0438 \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043c\u044b \u0441\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c, \u0438 \u0447\u0435\u0440\u0435\u0437 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0443\u044e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u03b5, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043a \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u043f\u0435\u0440\u0438\u043e\u0434\u0443.<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/db2\/60d\/0ea\/db260d0eaad9dd521b4d618e1bc866cd.png\" width=\"1010\" height=\"340\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/db2\/60d\/0ea\/db260d0eaad9dd521b4d618e1bc866cd.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u041e\u043d\u0430 \u0440\u0430\u0432\u043d\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/939\/32a\/267\/93932a267a0733e7fb8a38a42689c1b8.png\" width=\"850\" height=\"178\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/939\/32a\/267\/93932a267a0733e7fb8a38a42689c1b8.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f7f\/b42\/ff3\/f7fb42ff3570fdc2db93dd36c0924110.png\" width=\"1087\" height=\"439\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f7f\/b42\/ff3\/f7fb42ff3570fdc2db93dd36c0924110.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e T_b^i, C_b^i \u2014 \u044d\u0442\u043e <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9F%D0%BE%D1%80%D1%8F%D0%B4%D0%BA%D0%BE%D0%B2%D0%B0%D1%8F_%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0\">i-\u044b\u0435 \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438<\/a> \u0432 \u044d\u0442\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445. \u0410 \u0432 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0451\u043d\u043d\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 B \u2014 \u044d\u0442\u043e \u0434\u0432\u0435 \u043f\u043e\u0434\u0440\u044f\u0434 \u0441\u0442\u043e\u044f\u0449\u0438\u0445 \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u044b\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 B_(2i-1), B_(2i). \u041d\u043e \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u043c, B_(2i) = T_b^i \u0438\u043b\u0438 B_(2i)=C_b^i. \u0417\u0430\u0442\u043e \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0440\u0430\u0432\u043d\u0430 1\/2. \u0422\u043e\u0433\u0434\u0430 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c63\/28a\/264\/c6328a2649aa6d25aa938ce9c9384e55.png\" width=\"1458\" height=\"344\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c63\/28a\/264\/c6328a2649aa6d25aa938ce9c9384e55.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u044b\u043c\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439. \u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0434\u043b\u044f \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Order_statistic\"><u>\u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438<\/u><\/a>. \u041e\u0442\u0441\u044e\u0434\u0430 \u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u043c\u0438 \u0442\u0435\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u0425\u043e\u0442\u044f \u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u0432\u0441\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439. \u0422\u043e \u0435\u0441\u0442\u044c \u0443 \u043f\u0430\u0440\u043d\u043e \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0443 \u043e\u0431\u044b\u0447\u043d\u044b\u0445. \u0447.\u0442.\u0434.<\/p>\n<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0441\u0442\u0430\u0432\u0448\u0438\u0435\u0441\u044f \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435, \u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0449\u0438\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0440\u0430\u0437\u043d\u0438\u0446\u044b D[T-C]. \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e \u03b5 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430. \u0422\u043e\u0433\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/8c9\/7f5\/e00\/8c97f5e00b2f1275f1b701553f4ecc07.png\" width=\"832\" height=\"74\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c9\/7f5\/e00\/8c97f5e00b2f1275f1b701553f4ecc07.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041f\u0440\u0438\u0447\u0451\u043c \u044d\u0442\u043e\u0442 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430: \u0435\u0441\u043b\u0438 \u0431\u044b \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043d\u0435 \u0431\u044b\u043b\u043e, \u043d\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0441\u0442\u0430\u043b\u0441\u044f \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a\u0438\u043c \u0436\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u0442\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u041e\u0442\u0441\u044e\u0434\u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e:<\/p>\n<figure class=\"bordered\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e58\/4c4\/320\/e584c432077986f18175f754f3b76205.png\" width=\"362\" height=\"37\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e58\/4c4\/320\/e584c432077986f18175f754f3b76205.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0418\u0442\u043e\u0433\u043e, \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0443 \u043d\u0430\u0441 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u0442\u0430\u043d\u0435\u0442 \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439, \u043a\u043e\u0433\u0434\u0430 \u03b5 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0430:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/95b\/a22\/233\/95ba222336a05c92fb88ae7035ced39e.png\" width=\"569\" height=\"74\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/95b\/a22\/233\/95ba222336a05c92fb88ae7035ced39e.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041c\u043e\u0436\u0435\u0442 \u043b\u0438 \u0431\u044b\u0442\u044c \u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u044f \u0431\u044b\u043b\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439, \u043a\u0430\u043a \u043c\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u043b\u0438 \u0440\u0430\u043d\u0435\u0435, \u0430 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u2014 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0439? \u0412\u043e\u043e\u0431\u0449\u0435, \u0434\u0430, \u0435\u0441\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430\u0448 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u0442\u0430\u043a \u043f\u043e\u0432\u043b\u0438\u044f\u043b \u043d\u0430 \u0432\u044b\u0431\u043e\u0440\u043a\u0443, \u0447\u0442\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0440\u0430\u043d\u0435\u0435 \u0431\u044b\u043b\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u0441\u0435\u0439\u0447\u0430\u0441. \u0422\u0435, \u043a\u0442\u043e \u0440\u0430\u043d\u044c\u0448\u0435 \u043f\u043b\u0430\u0442\u0438\u043b \u043c\u0435\u043d\u044c\u0448\u0435 \u0432\u0441\u0435\u0433\u043e, \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u0447\u043d\u0443\u0442 \u043f\u043b\u0430\u0442\u0438\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0445. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0441\u0442\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u0443 \u043d\u0430\u0441 \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0435\u0440\u043a\u0430\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0430\u0437\u0438\u043b \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435, \u0430 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u043e\u043d\u0430 \u043e\u0441\u0442\u0430\u043b\u0430\u0441\u044c \u0442\u0430\u043a\u043e\u0439 \u0436\u0435. \u0422\u043e\u0433\u0434\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0448\u0438\u0440\u0438\u043d\u0443 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0430\u0440\u043d\u043e\u0433\u043e \u0438 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:<\/p>\n<pre><code class=\"python\">ci_NOT_splitted_length = [] ci_splitted_length = [] N = 1000 # \u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u0435 for i in tqdm_notebook(range(N)):     before = sps.expon(scale=1000).rvs(4000)     # \u0443\u0436\u0435 \u043e\u0442\u0441\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u044b     C_b, T_b = splitter(before)      C = C_b     T = -1 * T_b      _, _, ci_splitted_sample, _, _ = paired_ttest(C, T)     ci_splitted_length.append(ci_splitted_sample) ###################################      # \u043d\u0435 \u0431\u044b\u043b\u043e \u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u044f for i in tqdm_notebook(range(N)):     before = sps.expon(scale=1000).rvs(4000)     C_b, T_b = before[:2000], before[2000:]      C = C_b     T = -1 * T_b      _, _, ci_NOT_splitted_sample, _, _ = absolute_ttest(C, T)      ci_NOT_splitted_length.append(ci_NOT_splitted_sample) print(\"\u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f vs. \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:\"\\       f\" {round(np.mean(ci_NOT_splitted_length), 2)} VS. {round(np.mean(ci_splitted_length), 2)}\") print(f\"p-value \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f: {absolute_ttest(np.array(ci_NOT_splitted_length), np.array(ci_splitted_length)).pvalue}\")<\/code><\/pre>\n<p>\u0428\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f vs. \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f: 123.8 vs. 174.96. P-value \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f: 0.0.<\/p>\n<p>\u0422\u0430\u043a \u0447\u0442\u043e \u0434\u0430, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0447\u0442\u043e \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0451\u0442 \u043a \u0437\u0430\u0448\u0438\u0440\u0435\u043d\u0438\u044e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430. \u041d\u043e \u0434\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e, \u0447\u0442\u043e\u0431\u044b \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u00ab\u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0443\u043b\u00bb \u0432\u0430\u0448\u0438\u0445 \u044e\u0437\u0435\u0440\u043e\u0432 (\u0431\u044b\u043b\u0430 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0441\u0442\u0430\u043b\u0430 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u043e\u0439 \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442), \u0447\u0442\u043e \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0418\u0442\u043e\u0433\u043e<\/strong>: \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u2014 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c. \u0418 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043e\u043d \u0447\u0430\u0441\u0442\u043e \u0431\u044b\u0432\u0430\u0435\u0442 \u0445\u043e\u0440\u043e\u0448.<\/p>\n<h2>\u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432<\/h2>\n<p>\u0412\u0440\u0435\u043c\u044f \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u0441\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043d\u044b\u0435 \u0440\u0430\u043d\u0435\u0435 \u043c\u0435\u0442\u043e\u0434\u044b. \u0414\u043e \u044d\u0442\u043e\u0433\u043e \u044f \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u043e\u0432, \u043d\u043e \u043d\u0435 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043a \u0447\u0435\u043c\u0443 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0442\u0435 \u0438\u043b\u0438 \u0438\u043d\u044b\u0435 \u0445\u0430\u043a\u0438. \u041f\u043e\u0440\u0430 \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u0442\u043e\u0438\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438. \u041f\u0435\u0440\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0432 \u0433\u043e\u043b\u043e\u0432\u0443 \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u043c \u0441\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439, \u2014 \u044d\u0442\u043e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c. \u0422\u0430\u043a \u043a\u0430\u043a \u044f \u0431\u0443\u0434\u0443 \u0432 A\/B-\u0441\u0438\u043c\u0443\u043b\u044f\u0446\u0438\u044f\u0445 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0435 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b, \u0447\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435, \u0442\u043e \u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043b\u0435\u0432\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f. \u0422\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u043a\u043e\u0433\u0434\u0430 \u043b\u0435\u0432\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0431\u043e\u043b\u044c\u0448\u0435 0. \u041d\u043e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u0430 \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0438 \u0434\u0432\u0443\u0445 \u043c\u0435\u0442\u043e\u0434\u043e\u0432.\u00a0<\/p>\n<p>\u041a \u043f\u0440\u0438\u043c\u0435\u0440\u0443, \u0435\u0441\u043b\u0438 \u0435\u0441\u0442\u044c \u043e\u0433\u0440\u043e\u043c\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442, \u0442\u043e \u043b\u044e\u0431\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0445, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u0434\u0438\u043d \u0434\u0430\u0441\u0442 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u0430 \u0434\u0440\u0443\u0433\u043e\u0439 \u2014 \u0443\u0437\u043a\u0438\u0439. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043b\u0443\u0447\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441 \u0443\u0437\u043a\u0438\u043c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u043c. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0443\u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u0438\u0442\u044c\u0441\u044f \u0432 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u043e\u0432. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0435\u0449\u0451 \u043d\u0430\u043c \u043d\u0443\u0436\u0435\u043d \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438.\u00a0<\/p>\n<p>\u0418\u0442\u043e\u0433\u043e, \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u043e\u043b\u0436\u043d\u0430 \u0431\u044b\u0442\u044c 5%.<\/p>\n<\/li>\n<li>\n<p>\u041b\u0435\u0432\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0428\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430.<\/p>\n<\/li>\n<\/ul>\n<details class=\"spoiler\">\n<summary>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0422\u0430\u043a \u043a\u0430\u043a \u044f \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u044e \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u0443, \u0442\u0435\u043e\u0440\u0438\u044f \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u0432\u0438\u0434 [L,\u221e). \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043d\u0435 \u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430, \u0430 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043e\u0442 0 \u0434\u043e \u043b\u0435\u0432\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b L. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u044d\u0442\u043e \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435, \u0442\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043b\u0443\u0447\u0448\u0435. \u0414\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044e:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1a4\/5a5\/8ba\/1a45a58bac55ddf2ad8377a3526d6143.png\" width=\"1276\" height=\"446\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a4\/5a5\/8ba\/1a45a58bac55ddf2ad8377a3526d6143.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u043c\u0435\u0442\u043e\u0434\u0435 \u043e\u0434\u0438\u043d \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b (\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0439 \u0430\u043b\u044c\u0442\u0435\u0440\u043d\u0430\u0442\u0438\u0432\u044b) \u0448\u0438\u0440\u0435, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d \u0432\u0435\u0440\u043d\u043e \u043e\u0442\u0432\u0435\u0440\u0433\u0430\u0435\u0442 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043e \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0445. \u0410 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u043c\u0435\u0442\u043e\u0434\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442: \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0443\u0436\u0435, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043e\u043d \u043d\u0435 \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0435\u0442 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u0445. \u041a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u043e\u043b\u0435\u0437\u043d\u0435\u0439? \u041a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 \u043f\u0435\u0440\u0432\u044b\u0439.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430: \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043b\u0435\u0432\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u043e 0, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043d\u0430\u0434\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0415\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c: \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043b\u0435\u0432\u043e\u0439 \u0433\u0440\u0430\u043d\u0438\u0446\u044b \u0434\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e, \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043d\u0430\u0434\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<\/div>\n<\/details>\n<p>\u041a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u044f \u0431\u0443\u0434\u0443 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c:<\/p>\n<ul>\n<li>\n<p>T-test.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u043d\u044b\u0439 T-test.<\/p>\n<\/li>\n<li>\n<p>CUPED.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u043d\u044b\u0439 CUPED.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u043d\u044b\u0439 CUPED \u0431\u0435\u0437 \u044e\u0437\u0435\u0440\u043e\u0432, \u043e\u0442\u0432\u0435\u0447\u0430\u0432\u0448\u0438\u0445 \u0437\u0430 5% \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u042d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u0430 \u0431\u043e\u0440\u044c\u0431\u044b \u0441 \u0432\u044b\u0431\u0440\u043e\u0441\u0430\u043c\u0438 \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438.<\/p>\n<\/li>\n<li>\n<p>Bootstrap.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u043d\u044b\u0439 bootstrap.<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u043d\u0430\u044f \u043f\u043e\u0441\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0430.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0441\u0435 \u044d\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u0446\u0435\u043d\u0435\u043d\u044b \u043d\u0430 1000 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u043e\u0432, \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u043c\u0435\u0442\u043e\u0434\u0443, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u043c \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438. \u041c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u044f \u0441\u043c\u043e\u0442\u0440\u0435\u043b, \u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430. \u0412 \u0438\u0442\u043e\u0433\u0435 \u044f \u043f\u0440\u043e\u0432\u0451\u043b \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0442\u0435\u0441\u0442\u044b \u0432 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439\/\u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435, \u043d\u0430 A\/A-, A\/B-\u0442\u0435\u0441\u0442\u0430\u0445, \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0440\u043d\u043e \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a. \u041d\u043e \u0432\u0432\u0438\u0434\u0443 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e\u0441\u0442\u0438 \u0410\/\u0410-\u0442\u0435\u0441\u0442\u043e\u0432 (\u0432\u0435\u0434\u044c \u0435\u0441\u0442\u044c A\/B-\u0442\u0435\u0441\u0442\u044b, \u0430 \u0410\/\u0410 \u043d\u0443\u0436\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438), \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u044e \u0442\u043e\u043b\u044c\u043a\u043e A\/B-\u0442\u0435\u0441\u0442\u044b.\u00a0<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u0438\u043c\u0438:<\/p>\n<p><strong>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0430. <\/strong>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430 \u043e\u0431\u044b\u0447\u043d\u044b\u0445, \u043d\u0435 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/009\/fff\/b9f\/009fffb9f6b425298845721ba843bae8.png\" width=\"1312\" height=\"203\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/009\/fff\/b9f\/009fffb9f6b425298845721ba843bae8.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u0426\u0432\u0435\u0442\u043e\u0432\u0430\u044f \u043b\u0435\u0433\u0435\u043d\u0434\u0430: <\/p>\n<ul>\n<li>\n<p>\u0421\u0438\u043d\u0438\u0439 \u0446\u0432\u0435\u0442 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u2014 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043d\u044b\u0435 5%. <\/p>\n<\/li>\n<li>\n<p>\u0417\u0435\u043b\u0451\u043d\u044b\u0439 \u0446\u0432\u0435\u0442 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 \u2014 \u043f\u0440\u043e\u0446\u0435\u043d\u0442 \u043e\u0448\u0438\u0431\u043e\u043a \u0443 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 5%. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043a\u0430\u043a \u0437\u0430\u044f\u0432\u043b\u0435\u043d\u043e. <\/p>\n<\/li>\n<li>\n<p>\u0416\u0438\u0440\u043d\u044b\u0439 \u0448\u0440\u0438\u0444\u0442 \u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u0445 \u2014 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. <\/p>\n<\/li>\n<\/ul>\n<p>\u0411\u044b\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u043f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043a \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u043c:<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e65\/509\/ebb\/e65509ebbe0ead91cb12f2fcd81f09f5.png\" width=\"1310\" height=\"202\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e65\/509\/ebb\/e65509ebbe0ead91cb12f2fcd81f09f5.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b:<\/p>\n<ul>\n<li>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u043f\u0430\u0440\u043d\u044b\u0435 \u0438 \u043d\u0435\u043f\u0430\u0440\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e. \u0422\u0430\u043a \u0447\u0442\u043e \u0432\u044b \u0432\u0441\u0435\u0433\u0434\u0430 \u043c\u043e\u0436\u0435\u0442\u0435 \u0431\u0435\u0437\u0431\u043e\u043b\u0435\u0437\u043d\u0435\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043d\u0430 \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u043f\u0440\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0430\u0445 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430. <\/p>\n<\/li>\n<li>\n<p>CUPED \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 T-test \u0441\u043e\u043a\u0440\u0430\u0449\u0430\u0435\u0442 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b <strong>\u0432 \u043f\u043e\u043b\u0442\u043e\u0440\u0430 \u0440\u0430\u0437\u0430<\/strong> (\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a) \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043d\u0430 13% (\u043f\u0440\u0438 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u0435). \u0415\u0441\u043b\u0438 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043d\u0430\u0447\u0430\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0442\u043e \u0432 \u043f\u0435\u0440\u0432\u0443\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u044b\u0432\u0430\u0439\u0442\u0435 CUPED. \u0411\u043b\u0430\u0433\u043e \u043d\u0430 SQL \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0438\u0448\u0435\u0442\u0441\u044f. \u041d\u0435 \u0435\u0441\u043b\u0438 \u0432\u044b \u043f\u043e \u043a\u0430\u043a\u0438\u043c-\u0442\u043e \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c \u043d\u0435 \u0445\u043e\u0442\u0438\u0442\u0435 \u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0442\u043e \u043c\u043e\u0436\u0435\u0442\u0435 \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0441\u0442\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u043a\u0443 c \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c\u0438. <\/p>\n<\/li>\n<li>\n<p>\u041f\u0430\u0440\u043d\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f CUPED \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e <strong>\u043d\u0430 7%<\/strong> \u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043d\u0430 5%. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u0435\u0451, \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044e\u0442 \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043e\u043a, \u0447\u0435\u043c 5%, \u0437\u0430\u0448\u0438\u0440\u044f\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u0447\u0442\u043e \u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u043e \u0438\u0437 \u0442\u0435\u043e\u0440\u0438\u0438. <\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0442\u043e\u043f-\u044e\u0437\u0435\u0440\u043e\u0432 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435, \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0432 \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c, \u0442\u043e \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u043b\u044f \u0441\u043f\u0430\u0440\u0435\u043d\u043d\u043e\u0433\u043e CUPED \u043c\u043e\u0436\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0435\u0449\u0451 <strong>\u043d\u0430 3.5%<\/strong>. <\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 T-test, \u0442\u043e \u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0431\u044b\u043b\u0430 \u0431\u044b 0.14, \u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0433\u043e 16.6%. \u041d\u043e \u043f\u043e\u0441\u043b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043b\u0430\u0439\u0444\u0445\u0430\u043a\u043e\u0432 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u044c \u0435\u0433\u043e <strong>\u0432 1.66 \u0440\u0430\u0437\u0430<\/strong>, \u0430 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0434\u043d\u044f\u0442\u044c <strong>\u043d\u0430 22%<\/strong>. \u0425\u043e\u0447\u0435\u0442\u0441\u044f \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0443 \u043d\u0430\u0441 \u0441\u0430\u043c\u0430\u044f \u0448\u0443\u043c\u043d\u0430\u044f, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0434\u043b\u044f \u043d\u0435\u0451 \u0442\u0430\u043a\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u2014 \u044d\u0442\u043e \u0443\u0441\u043f\u0435\u0445.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0412 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0439 \u043f\u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0435<\/strong> \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0442\u0430\u043a\u0438\u0435 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0445 \u044f \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0436\u0443.<\/p>\n<h2>\u0418\u0442\u043e\u0433<\/h2>\n<p>\u042f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u0430\u043b \u0441\u0430\u043c\u043e\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435, \u0447\u0442\u043e \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0432\u0430\u0448\u0438 \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u0438 \u0431\u0443\u0434\u0443\u0449\u0438\u0435 A\/B-\u0442\u0435\u0441\u0442\u044b. \u041f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044e \u0435\u0449\u0451 \u0440\u0430\u0437, \u0447\u0442\u043e \u0441\u0442\u043e\u0438\u0442 \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0438\u0437 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438:\u00a0\u00a0<\/p>\n<ol>\n<li>\n<p>\u0411\u044b\u0432\u0430\u0435\u0442 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u043e \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u043b\u0433\u043e. \u0412\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0440\u044f \u0442\u0435\u0440\u044f\u0435\u0442\u0435 \u0432\u0440\u0435\u043c\u044f. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0447\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 \u0432\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u043e\u0434\u0438\u043d A\/B-\u0442\u0435\u0441\u0442, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u0443\u0441\u043f\u0435\u0432\u0430\u0435\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u0437\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u0441\u0440\u043e\u043a.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435 CUPED? \u041f\u043e\u0440\u0430 \u044d\u0442\u043e \u0438\u0441\u043f\u0440\u0430\u0432\u0438\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0441\u0442\u0440\u0430\u0448\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430, \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043d\u0430 A\/B-\u0442\u0435\u0441\u0442\u0435, \u0442\u043e \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0439\u0442\u0438 \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f.<\/p>\n<\/li>\n<li>\n<p>\u041b\u044e\u0431\u043e\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0443. \u0418\u043b\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0435\u0441\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c \u043f\u0430\u0440\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0431\u0430\u0432\u0438\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u043e\u043c \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435\u043c.<\/p>\n<\/li>\n<\/ol>\n<p>\u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u043e\u0441\u0442\u0430\u043b\u0438\u0441\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0438\u0441\u0430\u0442\u044c \u0438\u0445 \u043c\u043d\u0435 \u0432 \u0441\u043e\u0446 \u0441\u0435\u0442\u044f\u0445:<\/p>\n<ul>\n<li>\n<p>\u0442\u0433: @dimon2016<\/p>\n<\/li>\n<li>\n<p><a href=\"https:\/\/www.linkedin.com\/in\/dimon2016\/\">linkedin<\/a><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/571096\/\"> https:\/\/habr.com\/ru\/articles\/571096\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u042d\u0442\u043e \u0432\u0442\u043e\u0440\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c A\/B-\u0442\u0435\u0441\u0442\u044b. \u0421\u043e\u0432\u0435\u0442\u0443\u044e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0435\u0440\u0432\u0443\u044e<\/a>, \u0447\u0442\u043e\u0431\u044b \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b. \u0412 \u043d\u043e\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u044e\u0441\u044c \u043d\u0430 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0430\u0445: \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u043f\u0440\u043e CUPED, \u0431\u0443\u0442\u0441\u0442\u0440\u0430\u043f-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e \u0438 \u043f\u0430\u0440\u043d\u0443\u044e \u0441\u0442\u0440\u0430\u0442\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044e.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<h2>\u0422\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f<\/h2>\n<p>\u0415\u0449\u0451 \u0440\u0430\u0437 \u043d\u0430\u043f\u043e\u043c\u043d\u044e \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0431\u0443\u0434\u0443 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0441\u0442\u0430\u0442\u044c\u0435:<\/p>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043b\u0443\u0447\u0448\u0435 0.<\/p>\n<p>\u041f\u0440\u043e\u043a\u0440\u0430\u0441 \u0442\u0435\u0441\u0442\u0430 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 0, \u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<p>\u0417\u0435\u043b\u0451\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u0441\u0442\u0430\u043b\u0430 \u043b\u0443\u0447\u0448\u0435.<\/p>\n<p>\u041a\u0440\u0430\u0441\u043d\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u0441\u0442\u0430\u043b\u0430 \u0445\u0443\u0436\u0435.<\/p>\n<p>\u0421\u0435\u0440\u044b\u0439 \u0442\u0435\u0441\u0442 \u2014 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 A\/B-\u0442\u0435\u0441\u0442\u0430 \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c.<\/p>\n<p>\u0422\u0440\u0438\u0442\u043c\u0435\u043d\u0442 \u2014 \u0444\u0438\u0447\u0430 \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435, \u0447\u044c\u0451 \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0435 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435.<\/p>\n<p>MDE \u2014 <a href=\"https:\/\/help.optimizely.com\/Ideate_and_Hypothesize\/Use_minimum_detectable_effect_(MDE)_when_designing_an_experiment#:~:text=Minimum%20detectable%20effect%20(MDE)%20is,Baseline%20conversion%20rate\"><u>\u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442<\/u><\/a>. \u0420\u0430\u0437\u043c\u0435\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0434\u043e\u043b\u0436\u0435\u043d \u0438\u043c\u0435\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0442 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430, \u0447\u0442\u043e\u0431\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0435\u0433\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043b \u0441 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 (\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e). \u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 MDE, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435.<\/p>\n<p>\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0437\u0430\u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442, \u0435\u0441\u043b\u0438 \u043e\u043d \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0435\u0441\u0442\u044c. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u0442\u0435\u043c \u043e\u043d \u043a\u0440\u0443\u0447\u0435.\u00a0\u041c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430: \u0447\u0435\u043c \u043e\u043d\u0430 \u043c\u0435\u043d\u044c\u0448\u0435, \u0442\u0435\u043c \u043c\u043e\u0449\u043d\u0435\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434 \u2014 \u043f\u0435\u0440\u0438\u043e\u0434 \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<h2>\u041c\u0435\u0442\u043e\u0434\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0432 AB-\u0442\u0435\u0441\u0442\u0430\u0445<\/h2>\n<p>\u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0438\u0437 \u043a\u0430\u043a\u0438\u0445 3 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 AB\u2013\u0442\u0435\u0441\u0442:<\/p>\n<ol>\n<li>\n<p>\u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0410\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u0442\u0430\u0434\u0438\u044f \u0442\u0435\u0441\u0442\u0430. \u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u044e\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043f\u043e\u0442\u043e\u043c \u0431\u0443\u0434\u0435\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0410\u043d\u0430\u043b\u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432. \u0417\u0434\u0435\u0441\u044c \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438 \u0434\u043b\u044f \u043f\u043e\u0434\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0438\u0442\u043e\u0433\u043e\u0432 \u0442\u0435\u0441\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u043c\u043e\u0436\u043d\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c.<\/p>\n<h3>\u0423\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u0441\u0430\u043c\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u043e\u0433\u043e \u043c\u0435\u0442\u043e\u0434\u0430 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 A\/B-\u0442\u0435\u0441\u0442\u0430: \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430. \u0412 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c, \u0447\u0435\u043c \u0434\u043e\u043b\u044c\u0448\u0435 \u0432\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u0442\u0435\u0441\u0442, \u0442\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u0435\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043f\u043e\u0443\u0447\u0430\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u042d\u0442\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<p>\u041d\u043e \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u0442\u0435\u0441\u0442, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u0437\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a \u0432\u0440\u0435\u043c\u0435\u043d\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p>\u0412\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u043e\u0434\u0438\u043d \u0442\u0435\u0441\u0442 \u0434\u0432\u0430 \u043c\u0435\u0441\u044f\u0446\u0430 \u0438 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u0442\u0435\u0441\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b \u0434\u0435\u0440\u0436\u0438\u0442\u0435 \u043e\u0434\u0438\u043d \u0442\u0435\u0441\u0442 \u043e\u0434\u0438\u043d \u043c\u0435\u0441\u044f\u0446, \u0430 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u0435\u0441\u044f\u0446 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 \u0432\u0442\u043e\u0440\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043f\u0435\u0440\u0432\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043f\u0440\u0438 \u0430\u043d\u0430\u043b\u0438\u0437\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c. \u0417\u0430\u0442\u043e \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u0434\u0432\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b.<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u041d\u043e \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0440\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0434\u0432\u0430 \u0433\u043e\u0434\u0430, \u043d\u0435 \u0444\u0430\u043a\u0442, \u0447\u0442\u043e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u0435\u0441\u043b\u0438 \u0431\u044b \u0432\u044b \u0434\u0435\u0440\u0436\u0430\u043b\u0438 \u0435\u0433\u043e \u0433\u043e\u0434. \u0423 \u043d\u0430\u0441 \u0447\u0430\u0441\u0442\u043e \u0431\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u043b\u044e\u0434\u0435\u0439 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0431\u043e\u043b\u044c\u0448\u0435, \u043d\u043e \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0448\u0443\u043c\u043d\u0435\u0435. \u0418\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e \u043d\u0435 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440: \u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u043d\u0430\u0448\u0438\u0445 A\/B-\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432 \u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u043b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043e\u0442 \u043d\u043e\u043c\u0435\u0440\u0430 \u043d\u0435\u0434\u0435\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0448\u0435\u0441\u0442\u044c \u043d\u0435\u0434\u0435\u043b\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043e\u0441\u043e\u0431\u043e \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0441\u044f, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0430\u0441\u044c \u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0435 \u0432\u0430\u0436\u043d\u043e, \u0432 \u043a\u0430\u043a\u0443\u044e \u0438\u0437 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u043d\u0435\u0434\u0435\u043b\u044c \u044f \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u043b \u0431\u044b \u0430\u043d\u0430\u043b\u0438\u0437: \u0432 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 A\/B-\u0442\u0435\u0441\u0442\u0430 \u044f \u0431\u044b \u043d\u0435 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u043b. \u041d\u043e \u0435\u0441\u043b\u0438 \u0431\u044b \u044f \u043f\u043e\u0434\u0435\u0440\u0436\u0430\u043b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0448\u0435\u0441\u0442\u044c \u043d\u0435\u0434\u0435\u043b\u044c, \u0442\u043e \u0432\u043e \u0432\u0442\u043e\u0440\u044b\u0435 \u0448\u0435\u0441\u0442\u044c \u0431\u044b \u043c\u043e\u0433 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0438 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u0432 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043f\u0435\u0440\u0432\u043e\u0433\u043e. <\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0432 \u0442\u0430\u043a\u043e\u0439 \u0433\u0440\u0430\u0444\u0438\u043a \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u043e\u043a A\/B-\u0442\u0435\u0441\u0442\u0430. \u041a\u0430\u043a \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c:<\/p>\n<ol>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u043f\u043b\u0430\u043d\u0438\u0440\u0443\u0435\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0442\u0435\u0441\u0442 1 \u0438\u044e\u043d\u044f. \u0412\u044b \u0431\u0435\u0440\u0451\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f<\/p>\n<ul>\n<li>\n<p>\u0421 1 \u043f\u043e 8 \u043c\u0430\u0440\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0421 1 \u043f\u043e 15 \u043c\u0430\u0440\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>&#8230;<\/p>\n<\/li>\n<li>\n<p>\u0421 1 \u043c\u0430\u0440\u0442\u0430 \u043f\u043e 31 \u043c\u0430\u044f.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u0414\u0435\u043b\u0438\u0442\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0435 \u043d\u0430 \u043d\u0438\u0445 \u0432\u0430\u0448 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0421\u0447\u0438\u0442\u0430\u0435\u0442\u0435 \u0448\u0438\u0440\u0438\u043d\u0443 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0420\u0438\u0441\u0443\u0435\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u043a\u0430\u043a \u0432 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0432\u044b\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0435 \u0441\u0440\u043e\u043a A\/B-\u0442\u0435\u0441\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0440\u043e\u043a, \u0447\u0442\u043e\u0431\u044b \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u0441\u0442 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u0434\u043e\u043b\u0433\u043e \u0438 \u043d\u0435 \u043f\u043e\u0442\u0435\u0440\u044f\u0442\u044c \u0432 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f.<\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435: \u044d\u0442\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b, \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0435 \u0434\u043e\u043b\u0433\u043e\u0441\u0440\u043e\u0447\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043e\u0442 \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u0442\u043e\u0438\u0442 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e:<\/strong> \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0435 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u2014 \u0447\u0430\u0441\u0442\u043e \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043c\u0435\u0442\u043e\u0434 \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c A\/B-\u0442\u0435\u0441\u0442\u0430, \u043d\u043e \u043b\u0438\u0448\u044c \u0434\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u043e\u043a\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u044d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437.<\/p>\n<p>\u041f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0439 \u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0440\u0430\u0431\u043e\u0447\u0435\u0439 \u0441\u0445\u0435\u043c\u0435: \u043c\u0435\u0442\u043e\u0434\u0430\u043c \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u043f\u0440\u0438 \u043f\u043e\u0441\u0442\u0430\u043d\u0430\u043b\u0438\u0437\u0435 A\/B-\u0442\u0435\u0441\u0442\u0430. \u0421\u0430\u043c\u044b\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u043e \u0438 \u0441\u0430\u043c\u044b\u0439 \u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431, \u2014 \u0443\u0431\u0440\u0430\u0442\u044c \u0432\u044b\u0431\u0440\u043e\u0441\u044b \u0438\u043b\u0438 \u0442\u043e\u043f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u041d\u043e \u044d\u0442\u043e \u043c\u044b \u0443\u0436\u0435 \u043e\u0431\u0441\u0443\u0434\u0438\u043b\u0438 <a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/#outliers-in-data\">\u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>. \u0422\u0435\u043f\u0435\u0440\u044c \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u043a\u0430\u043a \u0441\u043e\u0437\u0434\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u043e\u0449\u043d\u044b\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0438, \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0443.<\/p>\n<h2>\u041f\u043e\u0441\u0442\u0430\u043d\u0430\u043b\u0438\u0437: CUPED<\/h2>\n<p>CUPED (Controlled-experiment Using Pre-Experiment Data) \u2014 \u043e\u0447\u0435\u043d\u044c \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0432\u00a0\u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0432\u0440\u0435\u043c\u044f \u043c\u0435\u0442\u043e\u0434 \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0438\u0434\u0435\u044f \u043c\u0435\u0442\u043e\u0434\u0430 \u0442\u0430\u043a\u043e\u0432\u0430: \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u044b\u0447\u0442\u0435\u043c \u0447\u0442\u043e-\u0442\u043e \u0438\u0437 \u0442\u0435\u0441\u0442\u0430 \u0438 \u0438\u0437 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043d\u043e\u0432\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u0442\u0430\u043a\u0438\u043c \u0436\u0435, \u043a\u0430\u043a \u0431\u044b\u043b\u043e, \u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c.<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>A \u0438 B \u2014 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b (\u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b). \u0422\u043e\u0433\u0434\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u03b8 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439, \u043a\u0430\u043a \u0443\u043a\u0430\u0437\u0430\u043d\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u0434\u0430\u043b\u0435\u0435, \u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0439 \u0434\u043b\u044f \u0442\u0430\u043a\u0438\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0443\u0434\u0435\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c: \u0447\u0442\u043e\u0431\u044b \u043c\u0435\u0442\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u043b \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f A \u0438 B \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u043b\u0438.<\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u041e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0432 \u0440\u043e\u043b\u0438 A \u0438 B. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u0434\u043b\u044f \u043d\u0438\u0445 \u0431\u0435\u0440\u0443\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0436\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432\u044b\u0440\u0443\u0447\u043a\u0438, \u0442\u043e\u0433\u0434\u0430 \u0432 \u0440\u043e\u043b\u0438 \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b A \u0438 B \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430 \u043c\u0435\u0441\u044f\u0446 \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u0427\u0435\u043c \u0445\u043e\u0440\u043e\u0448 \u0442\u0430\u043a\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431:<\/p>\n<ol>\n<li>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0438 \u0442\u0435\u043c \u0436\u0435 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014 \u0438\u043d\u0430\u0447\u0435 \u0443 \u0432\u0430\u0441 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d A\/B-\u0442\u0435\u0441\u0442. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442, \u0438 CUPED \u0434\u0430\u0441\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u0443\u0435\u0442 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u043e\u043c. \u041e\u0442\u0441\u044e\u0434\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u043f\u0440\u0435\u0434\u043f\u0435\u0440\u0438\u043e\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b ML-\u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a \u0431\u0435\u0437 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0442\u0440\u0438\u0442\u043c\u0435\u043d\u0442\u0430. \u0421\u00a0\u0445\u043e\u0440\u043e\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u043e\u0436\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438\u0441\u044c \u0441 \u043d\u043e\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439, \u043d\u0430\u0434\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c. \u041c\u043e\u0436\u043d\u043e \u0442\u043e\u0447\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c T-test \u0434\u043b\u044f CUPED-\u043c\u0435\u0442\u0440\u0438\u043a. \u0412\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u043e\u043a \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0442\u0435\u0441\u0442\u0430\u0445:\u00a0<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u0435\u0442\u043e\u0434\u0430 \u043d\u0430 AB, AA \u0442\u0435\u0441\u0442\u0430\u0445<\/summary>\n<div class=\"spoiler__content\">\n<pre><code class=\"python\"># 2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. def cuped_ttest(control, test, control_before, test_before):     theta = (np.cov(control, control_before)[0, 1] + np.cov(test, test_before)[0, 1]) \/\\                 (np.var(control_before) + np.var(test_before))      control_cup = control - theta * control_before     test_cup = test - theta * test_before     return absolute_ttest(control_cup, test_cup)    # 3. \u0417\u0430\u0432\u043e\u0434\u0438\u043c \u0441\u0447\u0451\u0442\u0447\u0438\u043a. bad_cnt = 0  # 4. \u0426\u0438\u043a\u043b \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438. N = 30000 for i in tqdm_notebook(range(N)):     # 4.a. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u044e A\/B-\u0442\u0435\u0441\u0442.     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      test_before = sps.expon(scale=1000).rvs(1000)     test = test_before + sps.norm(loc=0, scale=100).rvs(1000)     test *= 1.1      # 4.b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.     _, _, _, left_bound, right_bound = cuped_ttest(control, test, control_before, test_before)          # 4.c. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u044e, \u043b\u0435\u0436\u0438\u0442 \u043b\u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0441\u0440\u0435\u0434\u043d\u0438\u0445 \u0432 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.     if left_bound > 100 or right_bound &lt; 100:         bad_cnt += 1          # 5. \u0421\u0442\u0440\u043e\u044e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u0438 \u043e\u0448\u0438\u0431\u043e\u043a \u0443 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. left_real_level, right_real_level = proportion_confint(count = bad_cnt, nobs = N, alpha=0.05, method='wilson') # \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: {round(bad_cnt \/ N, 4)};\"       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 4)}, {round(right_real_level, 4)}]\")<\/code><\/pre>\n<p>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0513; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0489, 0.0539].<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u043b\u044f A\/A-\u0442\u0435\u0441\u0442\u043e\u0432: \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.0486; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0462, 0.0511].<\/p>\n<blockquote>\n<p><a href=\"https:\/\/github.com\/DimaLunin\/AB_lifehacks\/blob\/main\/CUPED.ipynb\">\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u043e\u0434 \u043d\u0430 \u0413\u0438\u0442\u0445\u0430\u0431\u0435. <\/a><\/p>\n<\/blockquote>\n<p>\u041f\u0440\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0443\u044e \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u0432\u00a0<a href=\"https:\/\/habr.com\/ru\/company\/avito\/blog\/571094\/\">\u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438<\/a>.<\/p>\n<\/div>\n<\/details>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0435\u0449\u0451 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043d\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0430\u0441\u044c \u0448\u0438\u0440\u0438\u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u043e\u0431\u044b\u0447\u043d\u044b\u043c T-test:<\/p>\n<pre><code class=\"python\"># 2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f. def cuped_ttest(control, test, control_before, test_before):     theta = (np.cov(control, control_before)[0, 1] + np.cov(test, test_before)[0, 1]) \/\\                 (np.var(control_before) + np.var(test_before))  control_cup = control - theta * control_before test_cup = test - theta * test_before return absolute_ttest(control_cup, test_cup)   cuped_ci_lengths = [] ttest_ci_lengths = [] N = 30000 for i in tqdm_notebook(range(N)):     # 4.a. \u0422\u0435\u0441\u0442\u0438\u0440\u0443\u044e A\/B-\u0442\u0435\u0441\u0442.     control_before = sps.expon(scale=1000).rvs(1000)     control = control_before + sps.norm(loc=0, scale=100).rvs(1000)      test_before = sps.expon(scale=1000).rvs(1000)     test = test_before + sps.norm(loc=0, scale=100).rvs(1000)     test *= 1.1      # 4.b. \u0417\u0430\u043f\u0443\u0441\u043a\u0430\u044e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439.     _, _, cuped_ci, _, _ = cuped_ttest(control, test, control_before, test_before)     _, _, ttest_ci, _, _ = absolute_ttest(control, test)      cuped_ci_lengths.append(cuped_ci)     ttest_ci_lengths.append(ttest_ci)      coeff = np.mean(cuped_ci_lengths) \/ np.mean(ttest_ci_lengths) print(f\"\u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443: {round(coeff * 100, 3)}%\")<\/code><\/pre>\n<p>\u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0448\u0438\u0440\u0438\u043d\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432 \u0434\u0440\u0443\u0433 \u043a \u0434\u0440\u0443\u0433\u0443: 11.015%.<\/p>\n<p>\u041c\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 10 \u0440\u0430\u0437! \u0412 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u044b \u043e\u0447\u0435\u043d\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0438 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043f\u0435\u0440\u0435\u0439\u0434\u044f \u043e\u0442 T-test \u043a CUPED-\u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044e. \u0410 \u0435\u0449\u0451, <strong>CUPED \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432\u0441\u0435\u0433\u043e \u0438\u0437 \u0447\u0435\u0442\u044b\u0440\u0451\u0445 \u0441\u0442\u0440\u043e\u0447\u0435\u043a \u043a\u043e\u0434\u0430<\/strong>!<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435, \u0447\u0430\u0441\u0442\u043e \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0434\u043b\u044f CUPED:<\/p>\n<figure class=\"\"><figcaption><\/figcaption><\/figure>\n<p>\u0412\u043c\u0435\u0441\u0442\u043e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0442\u044b B, \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0440\u0430\u043d\u0435\u0435, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430<\/p>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-397378","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/397378","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=397378"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/397378\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=397378"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=397378"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=397378"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}