{"id":471846,"date":"2025-08-23T15:13:37","date_gmt":"2025-08-23T15:13:37","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=471846"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=471846","title":{"rendered":"<span>\u041c\u0435\u0442\u043e\u0434\u0438\u0447\u043a\u0430 \u043f\u043e AB-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u043e\u0442 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u0410\u0432\u0438\u0442\u043e<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0414\u0438\u043c\u0430 \u041b\u0443\u043d\u0438\u043d, \u044f \u0430\u0432\u0442\u043e\u0440 \u043a\u0443\u0440\u0441\u0430 \u043f\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043c \u0432 <a href=\"https:\/\/clc.to\/LV3FBg\" rel=\"noopener noreferrer nofollow\">\u0410\u043a\u0430\u0434\u0435\u043c\u0438\u0438 \u0410\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u0410\u0432\u0438\u0442\u043e<\/a>. \u0412 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0447\u0443 &#171;\u043e\u0431\u043a\u0430\u0442\u0430\u0442\u044c&#187; \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043a\u0443\u0440\u0441\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u043e\u0439 \u043f\u043e \u0410\u0411-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0441 \u0440\u0435\u0431\u044f\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441\u0432\u043e\u0439 \u043f\u0443\u0442\u044c \u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435, \u043d\u043e \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0438 \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437. <\/p>\n<blockquote>\n<p>\u0426\u0435\u043b\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0443 A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0438 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u044f\u0442 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u043c \u0448\u0430\u0433\u043e\u043c \u043f\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u043d\u0430\u0431\u0436\u0435\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u0434\u0430 (\u0432\u0441\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/DimaLunin\/AB_manual\/tree\/main\/Lecture_1\" rel=\"noopener noreferrer nofollow\">\u0433\u0438\u0442\u0445\u0430\u0431\u0435<\/a>), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0441\u0435\u0431\u044f. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0437\u0430\u0442\u0440\u043e\u043d\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u043e A\/B, \u0430 \u043f\u0440\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437, \u0435\u0441\u043b\u0438 \u0441\u0442\u0430\u0442\u044c\u044f \u0432\u0430\u043c \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f!<\/p>\n<\/blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u043e:<\/strong>\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0443\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u043e\u0434\u0430, \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c. \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u043a\u0430\u043a \u0438 \u0432 \u043a\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 t-test, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e. \u0415\u0441\u043b\u0438 \u0432\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u0435\u043b\u044b \u0432 \u0437\u043d\u0430\u043d\u0438\u044f\u0445, \u0442\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u043e\u0432\u0435\u0442\u0443\u044e \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u00a0<a href=\"https:\/\/clc.to\/q2xDTQ\" rel=\"noopener noreferrer nofollow\">\u043a\u0443\u0440\u0441 \u043f\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u043e\u0442 \u0410\u0410\u0410<\/a>, \u043b\u0435\u043a\u0446\u0438\u0438 1-5.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c64\/5a9\/825\/c645a982590fcd4e18b384d9ab18dae0.jpg\" width=\"781\" height=\"441\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c64\/5a9\/825\/c645a982590fcd4e18b384d9ab18dae0.jpg 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c64\/5a9\/825\/c645a982590fcd4e18b384d9ab18dae0.jpg 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<h3>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435:<\/h3>\n<ol>\n<li>\n<p><a href=\"#section1\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u0434\u0430\u0447\u0430<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section2\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 1. \u041f\u0435\u0440\u0432\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section3\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 2. \u0425\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0410\u0411-\u0442\u0435\u0441\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section4\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 3. \u0413\u0440\u0430\u043c\u043e\u0442\u043d\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section5\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 4. \u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d A\/B-\u0442\u0435\u0441\u0442\u043e\u0432, \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section6\" rel=\"noopener noreferrer nofollow\">\u0418\u0442\u043e\u0433\u0438<\/a>. <\/p>\n<\/li>\n<\/ol>\n<p>\u0412\u0435\u0441\u044c \u0442\u0435\u043a\u0441\u0442 \u0434\u0430\u043b\u0435\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/DimaLunin\/AB_manual\/tree\/main\/Lecture_1\" rel=\"noopener noreferrer nofollow\">\u0433\u0438\u0442\u0445\u0430\u0431\u0435<\/a>!<\/p>\n<p><a class=\"anchor\" name=\"section1\" id=\"section1\"><\/a><\/p>\n<h3>\u0417\u0430\u0434\u0430\u0447\u0430<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043a \u0432\u0430\u043c \u043e\u0431\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432\u0430\u0448 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0441 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c:<\/p>\n<blockquote>\n<p>\u041c\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u0443\u0441\u043b\u0443\u0433 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0438 \u0438\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0445 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0438 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u041c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u043d\u0430\u0448\u0443 \u0443\u0441\u043b\u0443\u0433\u0443. \u041a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0441\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435?<\/p>\n<\/blockquote>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430\u00a0<strong>A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/strong>. \u041e\u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0448\u0430\u0433\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0435 \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0443\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0433\u0440\u0443\u043f\u043f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0434\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0438\u0442\u043e\u0433\u0438 \u0442\u0435\u0441\u0442\u0430: \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u0440\u0443\u043f\u043f\u0430\u0445 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f, \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u0430 \u0438\u043b\u0438 \u043d\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u043e:<\/strong> \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u043d\u0435 \u0432\u0441\u0435 \u0448\u0430\u0433\u0438 A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u043b\u0438\u0448\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0442\u044c.<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"section2\" id=\"section2\"><\/a><\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 1. \u041f\u0435\u0440\u0432\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442<\/h3>\n<h4>\u041f\u0435\u0440\u0432\u044b\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442.<\/h4>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 A\/B-\u0442\u0435\u0441\u0442. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c, \u043a\u0430\u043a\u0443\u044e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c: \u0440\u043e\u0441\u0442 \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u0410 \u0437\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438? \u0427\u0442\u043e\u0431\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u043e\u0441\u0442 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e.<\/p>\n<p><strong>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443?<\/strong>\u00a0\u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u043e (\u0438\u043b\u0438 &#171;\u0440\u0430\u0441\u043a\u0430\u0442\u0430\u043d\u043e&#187;) \u043d\u043e\u0432\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0438\u043b\u0438 \u0435\u0441\u043b\u0438 \u0435\u0433\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u0442? \u0427\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u0432 \u0434\u0432\u0443\u0445 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u0440\u0430\u0445: \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043c\u0438\u0440, \u0433\u0434\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0438\u0440, \u0433\u0434\u0435 \u0435\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e.<\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0434\u0432\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u0435\u0439\u0441\u0435:<\/p>\n<ul>\n<li>\n<p><strong>\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0432 \u043c\u0438\u0440\u0435 1<\/strong>:\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"T_1^w, T_2^w,..., T_{N}^w\" alt=\"T_1^w, T_2^w,..., T_{N}^w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72b\/72b1cdeccdf9022a826a860957a78737.svg\" width=\"120\" height=\"16\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72b\/72b1cdeccdf9022a826a860957a78737.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/72\/72b\/72b1cdeccdf9022a826a860957a78737.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 <strong>\u0432\u0441\u0435\u0445<\/strong> \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u0432 \u043c\u0438\u0440\u0435 (world, \u043e\u0442\u0441\u044e\u0434\u0430 \u0431\u0443\u043a\u0432\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f12\/f1290186a5d0b1ceab27f4e77c0c5d68.svg\" width=\"12\" height=\"12\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f12\/f1290186a5d0b1ceab27f4e77c0c5d68.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f1\/f12\/f1290186a5d0b1ceab27f4e77c0c5d68.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \ud83d\ude43), \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. <\/p>\n<\/li>\n<li>\n<p><strong>\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0432 \u043c\u0438\u0440\u0435 2<\/strong>:\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"C_1^w, C_2^w,..., C_{N}^w\" alt=\"C_1^w, C_2^w,..., C_{N}^w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/819\/8196f291d7e29ecdcdc3f3f214965584.svg\" width=\"120\" height=\"16\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/819\/8196f291d7e29ecdcdc3f3f214965584.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/81\/819\/8196f291d7e29ecdcdc3f3f214965584.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 <strong>\u0432\u0441\u0435\u0445<\/strong> \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u0432 \u043c\u0438\u0440\u0435, \u0433\u0434\u0435 \u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u0433\u0434\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0434\u043e \u043b\u0438 \u043a\u0430\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u043d\u0435\u0442, \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\sum T^w_i\" alt=\"\\sum T^w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f91\/f919cebfabf91fcc99f2fe4be7eaebdb.svg\" width=\"48\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f91\/f919cebfabf91fcc99f2fe4be7eaebdb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f9\/f91\/f919cebfabf91fcc99f2fe4be7eaebdb.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"\\sum C^w_i\" alt=\"\\sum C^w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/79a\/79a1a677311109bd572be7a4e3331aa4.svg\" width=\"48\" height=\"24\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/79a\/79a1a677311109bd572be7a4e3331aa4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/79a\/79a1a677311109bd572be7a4e3331aa4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>: \u0435\u0441\u043b\u0438 \u0441\u0443\u043c\u043c\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T^w\" alt=\"T^w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/659\/65915c19b1bda1fbeb613774ae89d4ac.svg\" width=\"24\" height=\"12\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/659\/65915c19b1bda1fbeb613774ae89d4ac.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/659\/65915c19b1bda1fbeb613774ae89d4ac.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u043e \u043d\u0430\u0434\u043e \u043a\u0430\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0430 \u0438\u043d\u0430\u0447\u0435 \u043d\u0435\u0442. \u041d\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u0442\u0430\u043a\u043e\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e: \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c 2 \u043c\u0438\u0440\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u0410\u0411-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 2 \u0433\u0440\u0443\u043f\u043f\u044b, \u043d\u043e \u0443\u0436\u0435 \u0432 1 \u043c\u0438\u0440\u0435.<\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438:<\/p>\n<ul>\n<li>\n<p><strong>\u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430<\/strong>:<img decoding=\"async\" class=\"formula inline\" source=\"T_1, T_2,..., T_{K}\" alt=\"T_1, T_2,..., T_{K}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08e\/0c2\/612\/08e0c2612c6324b45901791cfc994129.svg\" width=\"119\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08e\/0c2\/612\/08e0c2612c6324b45901791cfc994129.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08e\/0c2\/612\/08e0c2612c6324b45901791cfc994129.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0432 \u0433\u0440\u0443\u043f\u043f\u0435, \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u044d\u0442\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0431\u0443\u043a\u0432\u043e\u0439<img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5d\/eb0\/9bd\/c5deb09bdccbc19af82fa6ae3102bbd9.svg\" width=\"14\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5d\/eb0\/9bd\/c5deb09bdccbc19af82fa6ae3102bbd9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c5d\/eb0\/9bd\/c5deb09bdccbc19af82fa6ae3102bbd9.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p><strong>\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430<\/strong>:\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"C_1, C_2,..., C_{M}\u00a0\" alt=\"C_1, C_2,..., C_{M}\u00a0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b5\/6e2\/779\/9b56e277974c4600a1013fd47879c0fd.svg\" width=\"128\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b5\/6e2\/779\/9b56e277974c4600a1013fd47879c0fd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b5\/6e2\/779\/9b56e277974c4600a1013fd47879c0fd.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b, \u0433\u0434\u0435 \u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u042d\u0442\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0431\u0443\u043a\u0432\u043e\u0439\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce1\/802\/539\/ce1802539fa8d6297296ed69806b99de.svg\" width=\"15\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce1\/802\/539\/ce1802539fa8d6297296ed69806b99de.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ce1\/802\/539\/ce1802539fa8d6297296ed69806b99de.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<\/ul>\n<p>\u0413\u0434\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 + \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0433\u0440\u0443\u043f\u043f \u0440\u0430\u0432\u043d\u043e N:\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"K + M = N\" alt=\"K + M = N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/abf\/ecc\/bcc\/abfeccbcc0a5551383879e3859585c0b.svg\" width=\"105\" height=\"18\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/abf\/ecc\/bcc\/abfeccbcc0a5551383879e3859585c0b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/abf\/ecc\/bcc\/abfeccbcc0a5551383879e3859585c0b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u0412\u044b\u0431\u043e\u0440\u043a\u0438\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"T^w, C^w\" alt=\"T^w, C^w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a88\/667\/bf3\/a88667bf3a5de5aaffed53d6ed2727f6.svg\" width=\"62\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a88\/667\/bf3\/a88667bf3a5de5aaffed53d6ed2727f6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a88\/667\/bf3\/a88667bf3a5de5aaffed53d6ed2727f6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"T, C\" alt=\"T, C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/964\/c5b\/44d\/964c5b44d6264dd16b0879e6bbb90911.svg\" width=\"37\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/964\/c5b\/44d\/964c5b44d6264dd16b0879e6bbb90911.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/964\/c5b\/44d\/964c5b44d6264dd16b0879e6bbb90911.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0447\u0430\u0441\u0442\u0438 \u044e\u0437\u0435\u0440\u043e\u0432, \u043f\u0440\u0438\u0447\u0435\u043c \u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043b\u0438\u0431\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"T_i\" alt=\"T_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/341\/044\/0b8\/3410440b856dbe444508710d2642d8a6.svg\" width=\"18\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/341\/044\/0b8\/3410440b856dbe444508710d2642d8a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/341\/044\/0b8\/3410440b856dbe444508710d2642d8a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043b\u0438\u0431\u043e\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"C_i\" alt=\"C_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74e\/5b3\/b30\/74e5b3b306bd679f9cefdd1834664deb.svg\" width=\"21\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74e\/5b3\/b30\/74e5b3b306bd679f9cefdd1834664deb.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74e\/5b3\/b30\/74e5b3b306bd679f9cefdd1834664deb.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041a\u0430\u043a \u0443\u0437\u043d\u0430\u0442\u044c, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0438<img decoding=\"async\" class=\"formula inline\" source=\"\\sum T^w_i &gt; \\sum C^w_i\" alt=\"\\sum T^w_i &gt; \\sum C^w_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/522\/626\/cf6\/522626cf6009fdd1b4ce95a50699366b.svg\" width=\"142\" height=\"30\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/522\/626\/cf6\/522626cf6009fdd1b4ce95a50699366b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/522\/626\/cf6\/522626cf6009fdd1b4ce95a50699366b.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438\u043c\u0435\u044f \u0442\u043e\u043b\u044c\u043a\u043e <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7d\/23a\/aad\/a7d23aaadd6e38282011ae68cfa54c4e.svg\" width=\"14\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7d\/23a\/aad\/a7d23aaadd6e38282011ae68cfa54c4e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7d\/23a\/aad\/a7d23aaadd6e38282011ae68cfa54c4e.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"C\" alt=\"C\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/873\/166\/4fe\/8731664fe0fe1a2ebaefbcae51e7c5f1.svg\" width=\"15\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/873\/166\/4fe\/8731664fe0fe1a2ebaefbcae51e7c5f1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/873\/166\/4fe\/8731664fe0fe1a2ebaefbcae51e7c5f1.svg 781w\" loading=\"lazy\" decode=\"async\"\/>? \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e, \u0445\u043e\u0447\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0448\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u044b\u043b\u0438 \u0432\u0430\u043b\u0438\u0434\u043d\u044b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b3\/497\/ff2\/7b3497ff2681e5386383adc63d493997.svg\" width=\"17\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b3\/497\/ff2\/7b3497ff2681e5386383adc63d493997.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b3\/497\/ff2\/7b3497ff2681e5386383adc63d493997.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u044e\u0437\u0435\u0440\u0430\u043c\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0430 \u0441\u043b\u0435\u0434 \u043d\u0435\u0434\u0435\u043b\u0435, \u043d\u043e \u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438\u0437 \u0442\u043e\u0439 \u0436\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0432 \u043d\u0430\u0448 \u0441\u0435\u0440\u0432\u0438\u0441 \u043f\u0440\u0438\u0434\u0443\u0442 \u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0442\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043a\u043e\u043d \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0447\u0438\u0441\u0435\u043b (\u0417\u0411\u0427)<\/a>:\u00a0<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\dfrac{\\sum_1^N T^w_i \u2013 C^w_i}{N} \\stackrel{p}{\\rightarrow} \\mathbb{E} [T^w \u2013 C^w], \\ N \\rightarrow \\infty\" alt=\"\\dfrac{\\sum_1^N T^w_i \u2013 C^w_i}{N} \\stackrel{p}{\\rightarrow} \\mathbb{E} [T^w \u2013 C^w], \\ N \\rightarrow \\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe2\/79a\/9b4\/fe279a9b4466c735b09f7943de8716f1.svg\" width=\"313\" height=\"51\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe2\/79a\/9b4\/fe279a9b4466c735b09f7943de8716f1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fe2\/79a\/9b4\/fe279a9b4466c735b09f7943de8716f1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041d\u043e \u0432\u0435\u0434\u044c:\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"\\mathbb{E} [T^w] = \\mathbb{E} [T];\\ \\mathbb{E} [C^w] = \\mathbb{E} [C]\" alt=\"\\mathbb{E} [T^w] = \\mathbb{E} [T];\\ \\mathbb{E} [C^w] = \\mathbb{E} [C]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/271\/f48\/13c\/271f4813c3a9da2934cd39d5840399b0.svg\" width=\"244\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/271\/f48\/13c\/271f4813c3a9da2934cd39d5840399b0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/271\/f48\/13c\/271f4813c3a9da2934cd39d5840399b0.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\dfrac{\\sum_1^N T^w_i \u2013 C^w_i}{N} \\approx \\mathbb{E} [T] \u2013 \\mathbb{E} [C], \\ N \\rightarrow \\infty.\" alt=\"\\dfrac{\\sum_1^N T^w_i \u2013 C^w_i}{N} \\approx \\mathbb{E} [T] \u2013 \\mathbb{E} [C], \\ N \\rightarrow \\infty.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d1\/9d126aa725297152243f8910e3a5bc7b.svg\" width=\"280\" height=\"40\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d1\/9d126aa725297152243f8910e3a5bc7b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d1\/9d126aa725297152243f8910e3a5bc7b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043b\u0443\u0447\u0448\u0435 \u2014 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u043c \u0440\u0435\u0448\u0438\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u0440\u0430\u043d\u0435\u0435.<\/p>\n<hr\/>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H_0: \\mathbb{E} C = \\mathbb{E} T \\ vs. H_1: \\mathbb{E} C &lt; \\mathbb{E} T\" alt=\"H_0: \\mathbb{E} C = \\mathbb{E} T \\ vs. H_1: \\mathbb{E} C &lt; \\mathbb{E} T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0db\/fe3\/9eb\/0dbfe39eb72d218c7477a66e9bbb38c3.svg\" width=\"277\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0db\/fe3\/9eb\/0dbfe39eb72d218c7477a66e9bbb38c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0db\/fe3\/9eb\/0dbfe39eb72d218c7477a66e9bbb38c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c: \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0438 \u0441 \u043d\u0438\u043c.<\/p>\n<pre><code class=\"python\">np.random.seed(42) control_distribution = sps.gamma(a=4, scale=4) test_distribution = sps.gamma(a=5, scale=4)  x_ticks = np.linspace(0, 60, 1000)  plt.figure(figsize=(10, 5)) plt.title(\"\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.\", fontsize=12) plt.plot(x_ticks, control_distribution.pdf(x_ticks),           color='green', label='\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u043d\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f') plt.plot(x_ticks, test_distribution.pdf(x_ticks),           color='orange', label='\u0422\u0435\u0441\u0442: \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438 \u0443\u0441\u043b\u0443\u0433\u0443') plt.legend(fontsize=12) plt.xlabel('\u0412\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0440\u0443\u0431', fontsize=12) plt.ylabel('\u041f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f', fontsize=12) plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9f5\/a59\/af2\/9f5a59af215fdce276cdde8afb7aa91c.png\" width=\"882\" height=\"487\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9f5\/a59\/af2\/9f5a59af215fdce276cdde8afb7aa91c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9f5\/a59\/af2\/9f5a59af215fdce276cdde8afb7aa91c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0440\u044b\u0436\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435.<\/p>\n<p>\u041d\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<pre><code class=\"python\">control = control_distribution.rvs(10000) test = test_distribution.rvs(10000)<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 T-test, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u043e \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 (\u0438\u043b\u0438 FPR, false positive rate).<\/p>\n<hr\/>\n<h4>\u041a\u0430\u043a\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430?<\/h4>\n<p>\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0435 \u0441\u0430\u043c\u0430\u044f \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0442\u0440\u0435\u0439\u0434\u043e\u0444\u0444\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e \u0438 FPR (false positive rate). \u0415\u0441\u043b\u0438 alpha \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0442\u043e \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0447\u0430\u0441\u0442\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0435\u0433\u043e \u043d\u0435\u0442. \u0412\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0447\u0430\u0449\u0435 \u043a\u0430\u0442\u0438\u0442\u044c \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u0410 \u0435\u0441\u043b\u0438 alpha \u043c\u0430\u043b\u0430, \u0442\u043e \u0432\u0430\u0448 \u0431\u0438\u0437\u043d\u0435\u0441 \u0431\u0443\u0434\u0435\u0442 \u0432 \u0437\u0430\u0441\u0442\u043e\u0435: \u0432\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u0442\u0435 \u043a\u0430\u0442\u0438\u0442\u044c \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0449\u0438\u0435 \u0431\u0438\u0437\u043d\u0435\u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u0441 \u0447\u0435\u0433\u043e-\u0442\u043e \u043d\u0430\u0447\u0430\u0442\u044c, \u0442\u043e \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0431\u0440\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e\u00a0<code>alpha<\/code>\u00a0\u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 2.5%. \u042d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445:<\/p>\n<ol>\n<li>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u042d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0439 FPR \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0442\u0430\u043a\u0430\u044f\u00a0<code>alpha<\/code>\u00a0\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044f \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043a\u0435\u0439\u0441\u043e\u0432, \u0433\u0434\u0435 \u0432\u044b\u0431\u043e\u0440 \u0430\u043b\u044c\u0444\u044b 2.5% \u043f\u043b\u043e\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p>\u043d\u0435\u043b\u044c\u0437\u044f \u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e\u00a0<code>alpha<\/code>\u00a0(\u0433\u0434\u0435 \u0434\u0430\u0436\u0435 2.5% \u043c\u043d\u043e\u0433\u043e), \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0432\u0430\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u0430\u043b\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u043a \u0447\u0435\u043c\u0443-\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0443 \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u0435\u0442\u0440\u0438\u043a \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u0430 \u0410\u0432\u0438\u0442\u043e, \u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0430\u043b\u044c\u0444\u0443 \u0434\u0430\u0436\u0435 1% \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430. \u0412\u044b \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u0432\u0441\u0435 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u044b \u0437\u0434\u0435\u0441\u044c \u043b\u043e\u0436\u043d\u044b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u043b\u044c\u0437\u044f \u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e\u00a0<code>alpha<\/code>, \u0435\u0441\u043b\u0438 \u0432\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u044c \u0441\u0430\u0439\u0442. \u0412 \u044d\u0442\u043e\u043c \u043a\u0435\u0439\u0441\u0435 \u0432\u0430\u043c \u0432\u0430\u0436\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c\u00a0<code>alpha<\/code>\u00a0\u0432 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u0443\u044e \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u0443\u044e \u043a\u0430\u043c\u043f\u0430\u043d\u0438\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:\u00a0<strong>\u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f \u0430\u043b\u044c\u0444\u0430 \u0438 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f \u0430\u043b\u044c\u0444\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f!<\/strong>\u00a0\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u0443\u044e \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e\u00a0<code>alpha<\/code>\u00a0\u0432 2.5%. \u041d\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0440\u0435\u0448\u0438\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0442\u043e \u0435\u0433\u043e\u00a0<code>alpha<\/code>\u00a0\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u0441\u044f \u0434\u043e 5%.<\/p>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435 \u043c\u044b \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e \u0430\u043b\u044c\u0444\u0430 \u0440\u0430\u0432\u043d\u043e\u0439 5% \u043f\u043e 2 \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c:<\/p>\n<ol>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041c\u044b \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u044b\u0432\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 UX-\u0442\u0435\u0441\u0442\u043e\u0432). \u042d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u043a\u0435\u0439\u0441\u0430, \u0433\u0434\u0435 \u0430\u043b\u044c\u0444\u0443 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c.<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h4>\u041a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u044b\u0431\u0440\u0430\u0442\u044c: \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0438\u043b\u0438 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439?<\/h4>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0414\u0430 \u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u0430\u0448\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0439: \u0432\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 (\u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u0435) \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u0442\u0435 \u0440\u0430\u0441\u043a\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439 \u0432\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0442\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0438\u0445 \u0440\u043e\u0441\u0442, \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0435\u0433\u0447\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438\u00a0<code>alpha<\/code>\u00a0\u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0443\u044e.<\/p>\n<pre><code class=\"python\">sps.ttest_ind(test,\u00a0control,\u00a0equal_var=False,\u00a0alternative='two-sided').pvalue<\/code><\/pre>\n<blockquote>\n<p>0<\/p>\n<\/blockquote>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439\u00a0p-value&lt;0.1(=0.05\u22c52), \u043d\u043e \u043c\u044b \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0432 \u043a\u0430\u043a\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0443 \u043d\u0430\u0441 \u044d\u0444\u0444\u0435\u043a\u0442. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u0443\u0434\u043e\u0431\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e-\u043e\u0431\u0435\u0440\u0442\u043a\u0443 \u043d\u0430\u0434 T-test, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0432\u0430\u043b\u0430 \u0431\u044b \u0432\u0441\u044e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:\u00a0<code>pvalue<\/code>,\u00a0<code>effect<\/code>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0440\u043e\u0438\u043b\u0430 \u0431\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<pre><code class=\"python\">from collections import namedtuple   ExperimentComparisonResults = namedtuple('ExperimentComparisonResults',                                         ['pvalue', 'effect', 'ci_length',                                           'left_bound', 'right_bound'])  def absolute_ttest(control, test, two_sided_alpha):     mean_control = np.mean(control)     mean_test = np.mean(test)      var_mean_control  = np.var(control) \/ len(control)     var_mean_test  = np.var(test) \/ len(test)      difference_mean = mean_test - mean_control     difference_mean_var = var_mean_control + var_mean_test     difference_distribution = sps.norm(loc=difference_mean,                                         scale=np.sqrt(difference_mean_var))      left_bound, right_bound = difference_distribution\\           .ppf([two_sided_alpha \/ 2, 1 - two_sided_alpha \/ 2])     ci_length = (right_bound - left_bound)     pvalue = 2 * min(difference_distribution.cdf(0),                      difference_distribution.sf(0))     effect = difference_mean     return ExperimentComparisonResults(pvalue, effect, ci_length,                                        left_bound, right_bound)<\/code><\/pre>\n<pre><code class=\"python\">results = absolute_ttest(control, test, two_sided_alpha=0.1)  print(f'Effect: {round(results.effect, 3)},({round(results.left_bound, 3)},'\\       f' {round(results.right_bound, 3)})') print(f'two-sided pvalue: {round(results.pvalue * 100, 1)}%,'       f' one-sided pvalue: {round(results.pvalue \/ 2 * 100, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>Effect: 3.859,(3.662, 4.057) two-sided pvalue: 0.0%, one-sided pvalue: 0.0%<\/p>\n<\/blockquote>\n<p>\u042d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043e\u0442\u0432\u0435\u0440\u0433\u043d\u0443\u0442\u044c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u0432 \u043f\u043e\u043b\u044c\u0437\u0443\u00a0H1\u00a0\u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 5% (\u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u043c) \u0438 \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<hr\/>\n<h4>\u041a\u0430\u043a \u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439?<\/h4>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0434\u043b\u044f \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u043e\u0439 \u0440\u0430\u0431\u043e\u0442\u044b T-test \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e, \u0447\u0442\u043e\u0431\u044b \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0435 \u0433\u0440\u0443\u043f\u043f\u044b \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0431\u044b\u043b\u0438 \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u044b \u0434\u043b\u044f \u0440\u044b\u0436\u0435\u0433\u043e \u0438 \u0437\u0435\u043b\u0435\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 (\u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0438 \u0431\u0435\u0437 \u043d\u0435\u0433\u043e). \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u0435\u0440\u0432\u0438\u0441\u0430\u00a0<strong>\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e<\/strong>, \u0447\u0442\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0441\u0432\u043e\u0439\u0441\u0442\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0438 \u043f\u043e\u0441\u043b\u0435 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u043c\u0430\u0445\u0438\u043d\u0430\u0446\u0438\u0439 \u0441 \u0442\u0435\u043e\u0440\u0432\u0435\u0440\u043e\u043c. \u0423 \u0432\u0430\u0441 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u043e\u0433\u043e \u0441\u043c\u0435\u0449\u0435\u043d\u0438\u044f \u0438 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0432\u043d\u044b\u00a0ET<sup>w<\/sup>\u00a0\u0438\u00a0EC<sup>w<\/sup>\u00a0\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e.<\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u043a\u0435\u0439\u0441\u0435 \u0432\u044b \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442\u0435, \u0447\u0442\u043e \u0432\u0430\u0448\u0438 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0441\u043c\u0435\u0449\u0435\u043d\u044b \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u043f\u0440\u0435\u0437\u0435\u043d\u0442\u0430\u0442\u0438\u0432\u043d\u044b.<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u0438:<\/strong><\/p>\n<p>\u0418\u0437 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043c\u044b \u0432\u044b\u044f\u0441\u043d\u0438\u043b\u0438:<\/p>\n<ul>\n<li>\n<p>\u043a\u0430\u043a\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u043d\u0430\u0448\u0435\u043c A\/B-\u0442\u0435\u0441\u0442\u0435;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435;<\/p>\n<\/li>\n<li>\n<p>\u043a\u0430\u043a \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0433\u0440\u0443\u043f\u043f\u044b. \u0421\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u044b\u043c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0433\u043e\u0442\u043e\u0432\u044b \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a A\/B-\u0442\u0435\u0441\u0442\u0443 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0441\u044f.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c2f\/98c\/cd8\/c2f98ccd89ec9b1cf90a3f8a75198955.PNG\" alt=\"\u0422\u0443\u0442 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430\" title=\"\u0422\u0443\u0442 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430\" width=\"1320\" height=\"300\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/c2f\/98c\/cd8\/c2f98ccd89ec9b1cf90a3f8a75198955.PNG 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/c2f\/98c\/cd8\/c2f98ccd89ec9b1cf90a3f8a75198955.PNG 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><a href=\"https:\/\/clc.to\/Tr2fwQ\" rel=\"noopener noreferrer nofollow\">\u0422\u0443\u0442 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430<\/a><\/figcaption><\/div>\n<\/figure>\n<h3>A\/B-\u0442\u0435\u0441\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043f\u043b\u043e\u0445\u0438\u043c \u0434\u0438\u0437\u0430\u0439\u043d\u043e\u043c<\/h3>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435:<\/p>\n<ul>\n<li>\n<p><strong>\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430<\/strong>:\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"H_0:\" alt=\"H_0:\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fec\/612\/460\/fec61246082a56eace2d3e6d8c90e922.svg\" width=\"36\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fec\/612\/460\/fec61246082a56eace2d3e6d8c90e922.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fec\/612\/460\/fec61246082a56eace2d3e6d8c90e922.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c \u0438\u043b\u0438 \u0443\u043f\u0430\u043b\u0430 VS.\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"H1:\u00a0\" alt=\"H1:\u00a0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3e\/de0\/c49\/d3ede0c499ba7f42d3a3546234e82c3d.svg\" width=\"38\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3e\/de0\/c49\/d3ede0c499ba7f42d3a3546234e82c3d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d3e\/de0\/c49\/d3ede0c499ba7f42d3a3546234e82c3d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0430;<\/p>\n<\/li>\n<li>\n<p><strong>\u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439<\/strong>: \u043c\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0430 \u0434\u0432\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0443\u044e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e, \u043d\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e 10% \u043e\u0442 \u043e\u0431\u0449\u0435\u0433\u043e \u0442\u0440\u0430\u0444\u0438\u043a\u0430. \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u043d\u0430\u0448 A\/B \u043d\u0430 20% \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0410\u0432\u0438\u0442\u043e. \u0412 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435 \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u0441\u0435 \u043a\u0430\u043a \u0435\u0441\u0442\u044c, \u0430 \u0432 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u043d\u043e\u0432\u043e\u0435 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0443\u0441\u043b\u0443\u0433\u0438.<\/p>\n<ul>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043c\u0430\u043b\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435? \u041c\u044b \u043e\u043f\u0430\u0441\u0430\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u0434\u0440\u0443\u0433\u0438\u0435 A\/B-\u0442\u0435\u0441\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u043e, \u043c\u043e\u0433\u0443\u0442 \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043d\u0430\u0448\u0435\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0430 \u0438 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0445 \u043d\u0435\u0432\u0430\u043b\u0438\u0434\u043d\u044b\u043c\u0438. \u0427\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0442\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0430\u0439\u0442\u0438 \u00ab\u0447\u0438\u0441\u0442\u044b\u0445\u00bb \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043d\u0435 \u043d\u0430\u0445\u043e\u0434\u044f\u0449\u0438\u0445\u0441\u044f \u043d\u0438 \u0432 \u0447\u044c\u0435\u043c \u0434\u0440\u0443\u0433\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p><strong>\u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430<\/strong>: \u043a\u0430\u043a \u0438 \u0432 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043e\u0434\u043d\u043e\u0439 \u043d\u0435\u0434\u0435\u043b\u0438;<\/p>\n<\/li>\n<li>\n<p><strong>\u0430\u043d\u0430\u043b\u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432<\/strong>: \u043c\u044b \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f t-\u0442\u0435\u0441\u0442\u043e\u043c \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0442. \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u043a\u043e\u043d\u0435\u0446 \u043f\u0440\u0438\u0441\u0442\u0443\u043f\u0438\u043c \u043a \u0430\u043d\u0430\u043b\u0438\u0437\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445!<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/948\/622\/d34\/948622d34250f4982cf41a8f4899116c.png\" width=\"962\" height=\"534\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/948\/622\/d34\/948622d34250f4982cf41a8f4899116c.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/948\/622\/d34\/948622d34250f4982cf41a8f4899116c.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0423 \u043d\u0430\u0441 3 \u0441\u0442\u043e\u043b\u0431\u0446\u0430: \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c, \u0435\u0433\u043e \u0433\u0440\u0443\u043f\u043f\u0430 \u0438 \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043d\u0435\u0433\u043e \u0432 \u0443\u0441\u043b\u0443\u0433\u0430\u0445 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0430:<\/p>\n<pre><code class=\"python\">test = np.array(exp_df[(exp_df['group'] == 'test')]['promotion_revenue']) control = np.array(exp_df[(exp_df['group'] == 'control')]['promotion_revenue'])  plt.figure(figsize=(10, 5)) plt.title('\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435', fontsize=12) sns.distplot(test, label='test') sns.distplot(control, label='control') plt.legend(fontsize=12) plt.xlabel(\"\u0412\u044b\u0440\u0443\u0447\u043a\u0430\", fontsize=12) plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/022\/98f\/dde\/02298fddef143972710bf43d06d1b832.png\" width=\"917\" height=\"487\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/022\/98f\/dde\/02298fddef143972710bf43d06d1b832.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/022\/98f\/dde\/02298fddef143972710bf43d06d1b832.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u0430\u043a \u043c\u0435\u043b\u043a\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438, \u0442\u0430\u043a \u0438 \u043e\u0447\u0435\u043d\u044c \u043a\u0440\u0443\u043f\u043d\u044b\u0435.<\/p>\n<pre><code class=\"python\">test = np.array(exp_df[(exp_df['group'] == 'test')]['promotion_revenue']) control = np.array(exp_df[(exp_df['group'] == 'control')]['promotion_revenue'])<\/code><\/pre>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u043c, \u043a\u0430\u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u043b\u0430\u0441\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043d\u0430 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f:<\/p>\n<pre><code class=\"python\">revenue_uplift_per_user = np.mean(test) - np.mean(control) print(f\"\u043e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: \"\\       f\"{round(revenue_uplift_per_user, 2)} \u0440\u0443\u0431.\")<\/code><\/pre>\n<blockquote>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f: 16.31 \u0440\u0443\u0431.  <\/p>\n<\/blockquote>\n<pre><code class=\"python\">results = absolute_ttest(control, test, two_sided_alpha=0.1)  print(f'Effect: {round(results.effect, 1)} \u0440\u0443\u0431,'\\       f'({round(results.left_bound, 1)}, {round(results.right_bound, 1)})') print(f'two-sided pvalue: {round(results.pvalue * 100, 1)}%,'       f' one-sided pvalue: {round(results.pvalue \/ 2 * 100, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>Effect: 16.3 \u0440\u0443\u0431,(-11.9, 44.5) two-sided pvalue: 34.1%, one-sided pvalue: 17.1%<\/p>\n<\/blockquote>\n<p>\u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0442\u0435\u0441\u0442\u0430 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 p-value \u0431\u043e\u043b\u044c\u0448\u0435 5%, \u0447\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0442\u0435\u0441\u0442 \u0431\u044b\u043b \u00ab\u0441\u0435\u0440\u044b\u043c\u00bb. \u041c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0442\u043e\u0447\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0441\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435 \u0438\u043b\u0438 \u0445\u0443\u0436\u0435.<\/p>\n<p><strong>\u041a\u0430\u043a \u0431\u044b\u0442\u044c \u0432 \u0442\u0430\u043a\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438?<\/strong> \u041c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0432\u043d\u0435\u0434\u0440\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043d\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u043b\u0438 \u0432\u044b\u0440\u0443\u0447\u043a\u0443. \u0412 \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043d\u0435\u043e\u043f\u044b\u0442\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u0441\u0440\u0430\u0437\u0443 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u043d\u0435\u043b\u044c\u0437\u044f \u0432\u043d\u0435\u0434\u0440\u044f\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0430 \u0445\u043e\u0440\u043e\u0448\u0438\u0439 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a \u043d\u0438\u043a\u043e\u0433\u0434\u0430 \u0431\u044b \u043d\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b \u0442\u0430\u043a\u043e\u0439 \u0442\u0435\u0441\u0442.<\/p>\n<p><strong>\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u044b\u043b\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c, \u044d\u0442\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0432\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u043e\u0433\u043b\u0438 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435.<\/strong>\u00a0\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435\u00a0<a href=\"https:\/\/clc.to\/aHfWfg\" rel=\"noopener noreferrer nofollow\">MDE \u2014 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442<\/a>:<\/p>\n<ul>\n<li>\n<p>\u0435\u0441\u043b\u0438 MDE \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0443\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u043d\u0430 100%), \u0442\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043f\u043e\u0447\u0435\u043c\u0443 \u0432\u044b \u043d\u0435 \u0437\u0430\u043c\u0435\u0442\u0438\u043b\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430$<\/p>\n<\/li>\n<li>\n<p>\u0435\u0441\u043b\u0438 MDE \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0442\u043e \u0435\u0441\u0442\u044c \u043e\u043d \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u0432\u0430\u043c\u0438 \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0438, \u0442\u043e \u0432\u0430\u0448 A\/B-\u0442\u0435\u0441\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d, \u0438 \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043a\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b, \u043f\u043e\u0447\u0435\u043c\u0443 \u043e\u043d \u043d\u0435 \u0441\u0440\u0430\u0431\u043e\u0442\u0430\u043b. \u041d\u043e \u043e\u0431 \u044d\u0442\u043e\u043c \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432 \u0434\u0440\u0443\u0433\u043e\u0439 \u0440\u0430\u0437.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c MDE \u043d\u0430\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u043a\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 MDE \u0434\u043b\u044f t-\u0442\u0435\u0441\u0442\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"MDE = \\left(z_{1-\\alpha} + z_{1-\\beta}\\right)  \\cdot \\sqrt{\\dfrac{S^2_T}{N} + \\dfrac{S^2_C}{M}},\" alt=\"MDE = \\left(z_{1-\\alpha} + z_{1-\\beta}\\right)  \\cdot \\sqrt{\\dfrac{S^2_T}{N} + \\dfrac{S^2_C}{M}},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2db\/860\/7c3\/2db8607c3efdd8e94a747360ac757e9a.svg\" width=\"312\" height=\"62\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2db\/860\/7c3\/2db8607c3efdd8e94a747360ac757e9a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2db\/860\/7c3\/2db8607c3efdd8e94a747360ac757e9a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"N\" alt=\"N\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ab\/cbd\/949\/3abcbd949b0cc12eb39cc24f02494bdf.svg\" width=\"17\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ab\/cbd\/949\/3abcbd949b0cc12eb39cc24f02494bdf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3ab\/cbd\/949\/3abcbd949b0cc12eb39cc24f02494bdf.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0438\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"M\u00a0\" alt=\"M\u00a0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a9\/b8b\/d2c\/4a9b8bd2c1ab1c5cf1988becce7ce908.svg\" width=\"21\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a9\/b8b\/d2c\/4a9b8bd2c1ab1c5cf1988becce7ce908.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4a9\/b8b\/d2c\/4a9b8bd2c1ab1c5cf1988becce7ce908.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u0442\u0435\u0441\u0442\u0430 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f.  <\/p>\n<p><strong>\u041a\u0430\u043a\u0443\u044e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u0431\u0440\u0430\u0442\u044c?<\/strong> \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043e\u0437\u044c\u043c\u0435\u043c 80%: \u0435\u0441\u043b\u0438 \u044d\u0444\u0444\u0435\u043a\u0442 \u0435\u0441\u0442\u044c, \u0442\u043e \u0432 \u0447\u0435\u0442\u044b\u0440\u0435\u0445 \u0438\u0437 \u043f\u044f\u0442\u0438 \u043a\u0435\u0439\u0441\u043e\u0432 \u043c\u044b \u0435\u0433\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u043c.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u0448 MDE \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<pre><code class=\"python\">alpha = 0.05 beta = 0.2 MDE_absolute = (sps.norm().ppf(1 - alpha) + sps.norm().ppf(1 - beta)) \\       * np.sqrt(np.var(test) \/ len(test) + np.var(control)  \/ len(control)) MDE_absolute<\/code><\/pre>\n<blockquote>\n<p>42.3<\/p>\n<\/blockquote>\n<p>42 \u0440\u0443\u0431\u043b\u044f \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u2014 \u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u043c\u0430\u043b\u043e? \u0421\u043b\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u043e\u0439, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u044d\u0442\u0430 \u0441\u0443\u043c\u043c\u0430 \u0432\u0435\u043b\u0438\u043a\u0430.<\/p>\n<pre><code class=\"python\">MDE_rel = MDE_absolute \/ np.mean(control) print(f\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0432\u0435\u043d {round(MDE_rel * 100, 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0440\u0430\u0432\u0435\u043d 15.8%  <\/p>\n<\/blockquote>\n<p>\u0427\u0442\u043e\u0431\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432 \u0432\u044b\u0440\u0443\u0447\u043a\u0435, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0435\u0451 \u0432 \u043d\u0430\u0448\u0435\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u043d\u0430 16% \u0431\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u043d\u043e\u0432\u043e\u0432\u0432\u0435\u0434\u0435\u043d\u0438\u044e. \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0437\u0430\u0439\u043d\u0430 \u0432 \u0443\u0436\u0435 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u043c \u0441\u0435\u0440\u0432\u0438\u0441\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u0442\u0430\u043a\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u043d\u043d\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442 \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u043c.<\/p>\n<p>\u0410 \u043c\u043e\u0433\u043b\u0438 \u043b\u0438 \u043c\u044b \u044d\u0442\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u0434\u043e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442?<\/p>\n<h3>\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 MDE \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430<\/h3>\n<p>\u0421\u0435\u0433\u043e\u0434\u043d\u044f \u043c\u044b \u0443\u0436\u0435 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c MDE \u043f\u043e\u0441\u043b\u0435 \u0437\u0430\u0432\u0435\u0440\u0448\u0435\u043d\u0438\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u042d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u043d\u043e \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u043f\u043e\u0441\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0442\u0435\u0441\u0442\u0430, \u0447\u0442\u043e \u043e\u043d \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b\u043c, \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0435\u0440\u0430\u0437\u0443\u043c\u043d\u043e \u0438 \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u0431\u044b \u043a \u043f\u0443\u0441\u0442\u043e\u0439 \u0442\u0440\u0430\u0442\u0435 \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432 \u0438 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438.<\/p>\n<blockquote>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0430\u0436\u043d\u043e \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0431\u0443\u0434\u0435\u0442 \u043b\u0438 A\/B-\u0442\u0435\u0441\u0442 \u0438\u043c\u0435\u0442\u044c \u0441\u043c\u044b\u0441\u043b \u0438 \u043a\u0430\u043a\u043e\u0439 \u0443 \u043d\u0435\u0433\u043e \u0431\u0443\u0434\u0435\u0442 MDE. <\/p>\n<\/blockquote>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0431\u044b\u043b\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0430:<\/p>\n<ol>\n<li>\n<p>\u0421\u043e\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043d\u0430\u0431\u043e\u0440 \u0434\u0430\u043d\u043d\u044b\u0445, \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u044b\u0439 \u043a \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u043d\u0430\u0447\u0430\u043b\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e A\/B-\u0442\u0435\u0441\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0417\u0430\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f \u0410\u0410-\u0442\u0435\u0441\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0441\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0442\u0435\u043c\u0438 \u0436\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u0447\u0442\u043e \u0438 \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435. \u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0432 \u0410\u0410-\u0442\u0435\u0441\u0442\u0435 \u043d\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0430\u043c\u0438.<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0410\u0410-\u0442\u0435\u0441\u0442\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f MDE, \u043a\u0430\u043a \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c A\/B-\u0442\u0435\u0441\u0442.<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u0440\u0430\u043a\u0442\u0438\u043a\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0435\u0433\u043e \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438.<\/p>\n<hr\/>\n<h4>1. \u0421\u0431\u043e\u0440 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0430<\/h4>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4df\/633\/b7a\/4df633b7a456b344f6c459ccebabf7f2.png\" width=\"1178\" height=\"366\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/4df\/633\/b7a\/4df633b7a456b344f6c459ccebabf7f2.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/4df\/633\/b7a\/4df633b7a456b344f6c459ccebabf7f2.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0417\u0434\u0435\u0441\u044c \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0435\u0441\u0442\u044c \u0432\u0441\u0435 100% \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043f\u043e\u043c\u0438\u043c\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0438. \u0410 \u0442\u0430\u043a\u0436\u0435 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u043e \u043d\u0435\u0434\u0435\u043b\u044f\u043c.<\/p>\n<ul>\n<li>\n<p><code>user_id<\/code>\u00a0\u2014 id \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f;<\/p>\n<\/li>\n<li>\n<p><code>week_dt<\/code>\u00a0\u2014 \u043d\u0435\u0434\u0435\u043b\u044f \u0432 \u0433\u043e\u0434\u0443, \u0437\u0430 \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0441\u043e\u0431\u0438\u0440\u0430\u043b\u0438\u0441\u044c \u0434\u0430\u043d\u043d\u044b\u0435;<\/p>\n<\/li>\n<li>\n<p><code>promotion_revenue<\/code>\u00a0\u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u0443\u0441\u043b\u0443\u0433 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><em>\u0414\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e:<\/em><\/p>\n<ul>\n<li>\n<p><code>promotion_listings<\/code>\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439, \u043a \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0430 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p><code>promotion_listers<\/code>\u00a0\u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u0443\u043f\u0438\u0432\u0448\u0438\u0445 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0412\u0430\u0436\u043d\u043e:<\/strong><\/p>\n<ul>\n<li>\n<p>\u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043a\u043e\u043b\u043e\u043d\u043a\u0438\u00a0<code>group<\/code>, \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u043f\u043e\u043a\u0430 \u043d\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u0438\u043d \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u0435 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c 1 \u0440\u0430\u0437! \u042d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u044e\u0437\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0432\u0435\u0440\u0448\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0435 \u043d\u0435\u0434\u0435\u043b\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043e\u0437\u0434\u0430\u0434\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e-\u043f\u043e\u043c\u043e\u0449\u043d\u0438\u043a, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0437\u0430 \u0440\u0430\u0437\u043d\u044b\u0435 \u043d\u0435\u0434\u0435\u043b\u0438 \u0432 1 \u0441\u0442\u0440\u043e\u0447\u043a\u0443, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u043c\u044b\u0445 \u043d\u0435\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<pre><code class=\"python\">def make_grouped_user_dataset(before_df, weeks_in_test):     # \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u0430\u044f \u043d\u0435\u0434\u0435\u043b\u044f \u043f\u0440\u0438 \u0441\u0435\u0442\u0430\u043f\u0435 \u0442\u0435\u0441\u0442\u0430     max_week = before_exp_dataset['week_dt'].max()      # \u041e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u043d\u0435\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 max_week - weeks_in_test.     # \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u043c\u044b \u043e\u0442\u0431\u0435\u0440\u0435\u043c \u0440\u043e\u0432\u043d\u043e weeks_in_test \u043d\u0435\u0434\u0435\u043b\u044c.     curr_df = before_df[(before_df['week_dt'] &gt; max_week - weeks_in_test)][         ['user_id', 'promotion_revenue', 'promotion_listings',           'promotion_listers']     ]     # promotion_listers \u0433\u0440\u0443\u043f\u043f\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a `max`, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437      # \u043b\u043e\u0433\u0438\u043a\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438: \u0445\u043e\u0442\u044f \u0431\u044b \u0440\u0430\u0437 \u0437\u0430 \u0432\u0440\u0435\u043c\u044f \u0410\u0410-\u0442\u0435\u0441\u0442\u0430 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f      # \u0443\u0441\u043b\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f     curr_df = pd.DataFrame(curr_df.groupby(['user_id']).agg(         {'promotion_revenue': 'sum',          'promotion_listings': 'sum',          'promotion_listers': 'max'         }     ).reset_index()).fillna(0)      return curr_df<\/code><\/pre>\n<pre><code class=\"python\">np.random.seed(42) prepaired_for_aa_dataset = make_grouped_user_dataset(before_exp_dataset,                                                      weeks_in_test=1) # \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e 20 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432: 10 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 10 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 prepaired_for_aa_dataset = prepaired_for_aa_dataset.sample(frac=0.2)<\/code><\/pre>\n<h4>2. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u0410\u0410-\u0442\u0435\u0441\u0442\u0430<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0430 \u0434\u0432\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0443\u044e.<\/p>\n<pre><code class=\"python\">np.random.seed(42) prepaired_for_aa_dataset['group'] = np.random.choice(       ['test', 'control'], size=len(prepaired_for_aa_dataset))  metric = 'promotion_revenue' aa_test = np.array(prepaired_for_aa_dataset[(prepaired_for_aa_dataset['group'] == 'test')][metric]) aa_control = np.array(prepaired_for_aa_dataset[(prepaired_for_aa_dataset['group'] == 'control')][metric])<\/code><\/pre>\n<h4>3. \u0421\u0447\u0438\u0442\u0430\u0435\u043c MDE \u043d\u0430 AA-\u0442\u0435\u0441\u0442\u0435<\/h4>\n<pre><code class=\"python\">alpha = 0.05 beta = 0.2 MDE_absolute = (sps.norm().ppf(1 - alpha) + sps.norm().ppf(1 - beta)) * np.sqrt(np.var(aa_test) \/ len(aa_test) + np.var(aa_control)  \/ len(aa_control))  MDE_rel = MDE_absolute \/ np.mean(aa_control) print(f\"\u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0432\u0435\u043d {round(MDE_absolute, 1)} \u0440\u0443\u0431.\") print(f\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043d\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0440\u0430\u0432\u0435\u043d {round(MDE_rel * 100, 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u0410\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 ARPU \u0440\u0430\u0432\u0435\u043d 42.6 \u0440\u0443\u0431. <br \/>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 ARPU \u0440\u0430\u0432\u0435\u043d 18.5%  <\/p>\n<\/blockquote>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0439 MDE \u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0441\u0445\u043e\u0436\u0438 \u0441 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u043c\u0438. \u042d\u0442\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0443\u0435\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043c\u0435\u0442\u043e\u0434\u0438\u043a\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f MDE \u0434\u043e \u043d\u0430\u0447\u0430\u043b\u0430 \u0442\u0435\u0441\u0442\u0430 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442!<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0439 \u0436\u0438\u0437\u043d\u0438 \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0439 MDE, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 \u0432 \u0445\u043e\u0434\u0435 \u0410\u0410-\u0442\u0435\u0441\u0442\u0430, \u0437\u0430\u0447\u0430\u0441\u0442\u0443\u044e \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0438\u0437-\u0437\u0430 \u0432\u043b\u0438\u044f\u043d\u0438\u044f \u0441\u0435\u0437\u043e\u043d\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE, \u043a\u0430\u043a \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0430, \u043e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u044b\u043c.<\/p>\n<p><strong>\u041f\u043e\u0434\u0432\u043e\u0434\u044f \u0438\u0442\u043e\u0433:<\/strong>\u00a0\u043c\u044b \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c MDE \u0442\u0435\u0441\u0442\u0430 \u0435\u0449\u0435 \u0434\u043e \u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430. \u042d\u0442\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043e\u0434\u0438\u043d \u0438\u0437 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 A\/B-\u0442\u0435\u0441\u0442\u0430. \u041a\u0430\u043a \u043c\u044b \u0443\u0431\u0435\u0434\u0438\u043b\u0438\u0441\u044c, \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u043b\u0438 \u044d\u0442\u0443 \u043f\u0440\u043e\u0446\u0435\u0434\u0443\u0440\u0443 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0432 \u043d\u0430\u0448\u0435\u043c \u0438\u0441\u0445\u043e\u0434\u043d\u043e\u043c \u043a\u0435\u0439\u0441\u0435, \u0442\u043e \u0441\u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043f\u043b\u0430\u0447\u0435\u0432\u043d\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<p><strong>\u0412\u044b\u0432\u043e\u0434 \u0432\u0441\u0435\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430:<\/strong>\u00a0\u043d\u0435\u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0441\u0435\u0442\u0430\u043f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u2014 \u044d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e A\/B-\u0442\u0435\u0441\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u0441\u0435\u0440\u044b\u043c\u0438 \u0438 \u0431\u0435\u0441\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u043d\u044b\u043c\u0438.<\/p>\n<p><a class=\"anchor\" name=\"section3\" id=\"section3\"><\/a><\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 2. \u0425\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0410\u0411-\u0442\u0435\u0441\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/h3>\n<h4>2.1 \u0413\u0440\u0430\u043c\u043e\u0442\u043d\u0430\u044f \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0430 \u0442\u0435\u0441\u0442\u0430<\/h4>\n<p>\u041c\u044b \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c MDE \u0442\u0435\u0441\u0442\u0430 \u0437\u0430\u0440\u0430\u043d\u0435\u0435. \u041d\u043e \u0441\u0435\u0439\u0447\u0430\u0441 \u043d\u0430\u043c \u044d\u0442\u043e \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442: \u043c\u044b \u043b\u0438\u0448\u044c \u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u0442\u0435\u043a\u0443\u0449\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442 \u0437\u0430\u043c\u0435\u0440\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u0447\u0430\u043b\u043e\u043c \u0442\u0435\u0441\u0442\u0430 \u0432\u0430\u0436\u043d\u043e \u0442\u0449\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0434\u0443\u043c\u0430\u0442\u044c \u0435\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u0434\u0432\u0443\u0445 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0445 \u0432\u044b\u0448\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p><strong>\u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u0435.<\/strong>\u00a0\u041f\u0440\u043e\u0446\u0435\u043d\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0432\u044b\u0434\u0435\u043b\u044f\u0435\u043c\u044b\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b;<\/p>\n<\/li>\n<li>\n<p><strong>\u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430;<\/strong><\/p>\n<\/li>\n<li>\n<p><strong>\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430.<\/strong><\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 MDE.<\/p>\n<p>\u0412 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u043c \u043c\u044b \u0432\u0441\u0435 \u0432\u0440\u0435\u043c\u044f \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f \u0432 \u0441\u0435\u0442\u0430\u043f\u0435 \u0442\u0435\u0441\u0442\u0430, \u0438 \u043d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435. \u041e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e MDE, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0440\u0430\u0437\u0443 \u0436\u0435 \u0432\u044b\u043f\u0438\u0448\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u0435\u0433\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c.<\/p>\n<pre><code class=\"python\">def get_relative_MDE(test, control, alpha, beta):     MDE_absolute = (sps.norm().ppf(1 - alpha) + sps.norm().ppf(1 - beta)) * \\         np.sqrt(np.var(test) \/ len(test) + np.var(control)  \/ len(control))     MDE_rel = MDE_absolute \/ np.mean(control)     return MDE_rel<\/code><\/pre>\n<h4>2.1.1 \u0421\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439<\/h4>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f MDE \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0433\u0440\u0443\u043f\u043f. \u042d\u0442\u043e \u0441\u0430\u043c\u044b\u0439 \u043f\u0435\u0440\u0432\u044b\u0439 \u0438 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044f \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430. \u041f\u0443\u0441\u0442\u044c\u00a0N\u00a0\u2014 \u0447\u0438\u0441\u043b\u043e \u043b\u044e\u0434\u0435\u0439 \u0432 \u0441\u0435\u0440\u0432\u0438\u0441\u0435 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e. \u041f\u0443\u0441\u0442\u044c \u0432 \u0442\u0435\u0441\u0442\u0435 \u0443 \u043d\u0430\u0441 \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0431\u0443\u0434\u0435\u0442\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"a\" alt=\"a\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f2\/9db\/2d3\/7f29db2d330da446889c87306df32d88.svg\" width=\"10\" height=\"12\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f2\/9db\/2d3\/7f29db2d330da446889c87306df32d88.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f2\/9db\/2d3\/7f29db2d330da446889c87306df32d88.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u2014<img decoding=\"async\" class=\"formula inline\" source=\"\u00a0b\" alt=\"\u00a0b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b00\/928\/22b\/b0092822b1a2eac7e6851cb2e32ea35a.svg\" width=\"8\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b00\/928\/22b\/b0092822b1a2eac7e6851cb2e32ea35a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b00\/928\/22b\/b0092822b1a2eac7e6851cb2e32ea35a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0442\u0435\u0441\u0442\u0430 \u043e\u0442 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044f \u043d\u0438\u0447\u0435\u043c \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f (\u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0447\u0430\u0441\u0442\u043e \u0442\u0430\u043a \u0438 \u0431\u044b\u0432\u0430\u0435\u0442), \u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"S^2_T = S^2_\u0421 = S^2\" alt=\"S^2_T = S^2_\u0421 = S^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8ab\/8ab0731fe521d83fb098c3702f8b63b0.svg\" width=\"104\" height=\"16\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8ab\/8ab0731fe521d83fb098c3702f8b63b0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8a\/8ab\/8ab0731fe521d83fb098c3702f8b63b0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\begin{align} \\text{MDE}(a, b) &amp;= \\left(z_{1-\\alpha} + z_{1-\\beta}\\right) \\cdot \\sqrt{\\dfrac{S^2_T}{a \\cdot N} + \\dfrac{S^2_C}{b \\cdot N}} =\\\\&amp;= \\left(z_{1-\\alpha} + z_{1-\\beta}\\right)  \\cdot \\sqrt{\\dfrac{S^2}{N}}  \\cdot \\sqrt{ \\dfrac{1}{a} + \\dfrac{1}{b}} = \\\\     &amp;= \\text{const}  \\cdot \\sqrt{ \\dfrac{1}{a} + \\dfrac{1}{b}} \\end{align}\" alt=\"\\begin{align} \\text{MDE}(a, b) &amp;= \\left(z_{1-\\alpha} + z_{1-\\beta}\\right) \\cdot \\sqrt{\\dfrac{S^2_T}{a \\cdot N} + \\dfrac{S^2_C}{b \\cdot N}} =\\\\&amp;= \\left(z_{1-\\alpha} + z_{1-\\beta}\\right)  \\cdot \\sqrt{\\dfrac{S^2}{N}}  \\cdot \\sqrt{ \\dfrac{1}{a} + \\dfrac{1}{b}} = \\\\     &amp;= \\text{const}  \\cdot \\sqrt{ \\dfrac{1}{a} + \\dfrac{1}{b}} \\end{align}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/916\/187\/407\/9161874078277d3fce3d25ca69195f11.svg\" width=\"404\" height=\"170\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/916\/187\/407\/9161874078277d3fce3d25ca69195f11.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/916\/187\/407\/9161874078277d3fce3d25ca69195f11.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043f\u043e\u043d\u044f\u043b\u0438, \u043a\u0430\u043a MDE \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"a,\u00a0b\" alt=\"a,\u00a0b\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cf\/e51\/20f\/9cfe5120f54fd3841fc6075160ccf82a.svg\" width=\"27\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cf\/e51\/20f\/9cfe5120f54fd3841fc6075160ccf82a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9cf\/e51\/20f\/9cfe5120f54fd3841fc6075160ccf82a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0439 MDE \u0431\u0443\u0434\u0435\u0442, \u043a\u043e\u0433\u0434\u0430\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"a=b=0.5\" alt=\"a=b=0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27c\/b5f\/e8e\/27cb5fe8e34137772fba383420606059.svg\" width=\"96\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27c\/b5f\/e8e\/27cb5fe8e34137772fba383420606059.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27c\/b5f\/e8e\/27cb5fe8e34137772fba383420606059.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435, \u043a\u0430\u043a \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u0441\u044f MDE \u0438\u0437-\u0437\u0430 \u044d\u0442\u043e\u0433\u043e.<\/p>\n<pre><code class=\"python\">def compare_mde(current_a, current_b, new_a, new_b):     return np.sqrt(1\/current_a + 1\/current_b) \/ np.sqrt(1\/new_a + 1\/new_b)  compare_mde(0.1, 0.1, 0.5, 0.5)<\/code><\/pre>\n<blockquote>\n<p>2.24<\/p>\n<\/blockquote>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u0435\u0441\u043b\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0435 50:50 \u0432\u043c\u0435\u0441\u0442\u043e 10:10, \u0442\u043e \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u0442\u0441\u044f \u0432 2,2 \u0440\u0430\u0437\u0430! \u041d\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u0430 \u043d\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435. \u0414\u0430\u0432\u0430\u0439 \u0436\u0435 \u0435\u0433\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u0442\u0435\u0441\u0442\u0435 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438: \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u043b\u0438 \u0442\u0435\u043e\u0440\u0438\u044f \u0441 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u043e\u0439?<\/p>\n<pre><code class=\"python\">def check_mde_reduce_from_size(grouped_dataset, current_t, current_c, new_t, new_c):     \"\"\"     \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0434\u043b\u044f \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f MDE \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432 \u043d\u043e\u0432\u043e\u043c.     \u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b:         - grouped_dataset: \u0441\u0433\u0440\u0443\u043f\u043f\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043f\u043e\u044e\u0437\u0435\u0440\u043d\u044b\u0439 \u0434\u0430\u0442\u0430\u0441\u0435\u0442,                \u043d\u0430 \u043e\u0441\u043e\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0431\u0443\u0434\u0443\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c\u0441\u044f MDE         - current_t: \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0441\u0435\u0442\u0430\u043f\u0435         - current_c: \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0432 \u0442\u0435\u043a\u0443\u0449\u0435\u043c \u0441\u0435\u0442\u0430\u043f\u0435         - new_t: \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0432 \u043d\u043e\u0432\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435         - new_c: \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 \u0432 \u043d\u043e\u0432\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435     \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442:         - \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 MDE_current \/ MDE_new     \"\"\"       grouped_dataset['group_current'] =\\         np.random.choice(['test', 'control', '-'],                          p=[current_t, current_c, 1 - current_c - current_t],                          size=len(grouped_dataset))     grouped_dataset['group_new'] =\\         np.random.choice(['test', 'control', '-'],                          p=[new_t, new_c, 1 - new_t - new_c],                          size=len(grouped_dataset))     metric = 'promotion_revenue'       test_curr = np.array(         grouped_dataset[(grouped_dataset['group_current'] == 'test')][metric]     )     control_curr = np.array(         grouped_dataset[(grouped_dataset['group_current'] == 'control')][metric]     )      test_new = np.array(         grouped_dataset[(grouped_dataset['group_new'] == 'test')][metric]     )     control_new = np.array(         grouped_dataset[(grouped_dataset['group_new'] == 'control')][metric]     )      MDE_current = get_relative_MDE(test_curr, control_curr, alpha=0.05, beta=0.2)     MDE_new = get_relative_MDE(test_new, control_new, alpha=0.05, beta=0.2)     return MDE_current \/ MDE_new<\/code><\/pre>\n<pre><code class=\"python\">np.random.seed(42) grouped_dataset =  make_grouped_user_dataset(before_exp_dataset, 1) check_mde_reduce_from_size(grouped_dataset, current_t=0.1, current_c=0.1, new_t=0.5, new_c=0.5)<\/code><\/pre>\n<blockquote>\n<p>1.99<\/p>\n<\/blockquote>\n<p>\u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0431\u043b\u0438\u0437\u043a\u0438\u043c\u0438, \u043d\u043e \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u043b\u0438. \u042d\u0442\u043e \u043b\u043e\u0433\u0438\u0447\u043d\u043e: \u043c\u044b \u043f\u043e\u0434\u0435\u043b\u0438\u043b\u0438 \u0437\u0434\u0435\u0441\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442 \u043e\u0434\u043d\u0438\u043c \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c, \u0430 \u043c\u043e\u0433\u043b\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u043c. \u0410 \u0447\u0442\u043e, \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u044f\u0445? \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u0431\u0443\u0434\u0435\u043c \u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0434\u0430\u0442\u0430\u0441\u0435\u0442. \u0418 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a\u043e\u0435 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 MDE \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0430\u043f\u0430 \u043a MDE \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u0441\u0435\u0442\u0430\u043f\u0430?<\/p>\n<pre><code class=\"python\">np.random.seed(42)  mde_cmp = [] MC_size = 1000  grouped_dataset = make_grouped_user_dataset(before_exp_dataset, 1)  for _ in tqdm_notebook(range(MC_size)):     curr_mde_cmp = check_mde_reduce_from_size(         grouped_dataset, current_t=0.1, current_c=0.1, new_t=0.5, new_c=0.5     )     mde_cmp.append(curr_mde_cmp)  plt.figure(figsize=(15, 7)) plt.title('\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439 MDE \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u0441\u043f\u043b\u0438\u0442\u043e\u0432\u0430\u043d\u0438\u0438',            fontsize=15) sns.distplot(mde_cmp, label='test') plt.legend(fontsize=15) plt.xlabel(\"\u041e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 MDE\", fontsize=15) plt.show()  print(f'MDE_start_split \/ MDE_best_split: {round(np.mean(mde_cmp), 3)}')<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7df\/459\/05b\/7df45905b6c91e5190a0f38a9c98d9d5.png\" alt=\"\" title=\"\" width=\"1261\" height=\"645\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/7df\/459\/05b\/7df45905b6c91e5190a0f38a9c98d9d5.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/7df\/459\/05b\/7df45905b6c91e5190a0f38a9c98d9d5.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0414\u0430, \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f\u0445 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 MDE \u043c\u043e\u0436\u0435\u0442 \u043c\u0435\u043d\u044f\u0442\u044c\u0441\u044f, \u043d\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u043d\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043a\u043e\u043b\u043e 2,23, \u043a\u0430\u043a \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u043b\u043e\u0441\u044c! \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u043d\u0435 10:10%, \u043a\u0430\u043a \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043b\u0438, \u0430 50:50, \u0442\u043e \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432 \u0434\u0432\u0430 \u0440\u0430\u0437\u0430!<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0432 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435 \u043c\u044b \u0440\u0430\u0437\u043e\u0431\u044c\u0435\u043c \u0442\u0440\u0430\u0444\u0438\u043a 50:50.<\/p>\n<p><strong>\u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u043e\u0433\u0434\u0430 \u043a\u0430\u0436\u0434\u044b\u0439 \u0440\u0430\u0437 \u043d\u0435 \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0435\u0441\u0442 50 \u043d\u0430 50?<\/strong><\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0432\u044b\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u0447\u0438\u043d:<\/p>\n<ol>\n<li>\n<p>\u0423 \u0432\u0430\u0441 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043a\u0430\u0436\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0434\u0440\u0443\u0433 \u0434\u0440\u0443\u0433\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0430\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0440\u0438\u0441\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0434\u043b\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0438 \u043f\u043e\u0432\u043b\u0435\u0447\u044c \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u0435 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b \u0441\u0442\u0430\u0440\u0430\u0435\u0442\u0435\u0441\u044c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e \u0433\u0440\u0443\u043f\u043f\u0443 \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u0430\u0448 \u0442\u0435\u0441\u0442 \u043c\u043e\u0436\u0435\u0442 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u00ab\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u00bb \u043d\u0430 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0443\u044e \u0433\u0440\u0443\u043f\u043f\u0443. \u0427\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0432\u043b\u0438\u044f\u043d\u0438\u0435, \u0432\u044b \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b. \u0411\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u043e \u0441\u0435\u0442\u0435\u0432\u044b\u0445 \u044d\u0444\u0444\u0435\u043a\u0442\u0430\u0445 \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432 \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u0438\u0447\u043a\u0430\u0445 \u043f\u043e \u043a\u0443\u0440\u0441\u0443.<\/p>\n<\/li>\n<\/ol>\n<h4>2.1.2 \u0412\u044b\u0431\u043e\u0440 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430<\/h4>\n<p><strong>\u041a\u0430\u043a \u043d\u0435 \u043d\u0430\u0434\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430?<\/strong><\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0432 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442\u0435, \u043a\u0430\u043a \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430, \u0442\u043e \u043d\u0430\u0442\u043a\u043d\u0435\u0442\u0435\u0441\u044c \u043d\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 50 \u043d\u0430 50:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"N = 2 \\left(\\dfrac{z_{1 - \\alpha} + z_{1 - \\beta}}{\\text{MDE}}\\right)^2 S^2,\" alt=\"N = 2 \\left(\\dfrac{z_{1 - \\alpha} + z_{1 - \\beta}}{\\text{MDE}}\\right)^2 S^2,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e41\/e4183b3e76a4edd403266927468b3f28.svg\" width=\"200\" height=\"40\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e41\/e4183b3e76a4edd403266927468b3f28.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e4\/e41\/e4183b3e76a4edd403266927468b3f28.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0N\u00a0\u2014 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0434\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b, \u0430 MDE \u2014 \u0432\u0430\u0448 \u0436\u0435\u043b\u0430\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<p>\u041e\u043d\u0430 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0444\u043e\u0440\u043c\u0443\u043b\u044b:\u00a0<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{MDE} = \\left(z_{1-\\alpha} + z_{1-\\beta}\\right) \\cdot \\sqrt{\\dfrac{S^2_T}{N} + \\dfrac{S^2_C}{N}} \\approx \\left(z_{1-\\alpha} + z_{1-\\beta}\\right) \\cdot \\sqrt{2} \\cdot \\sqrt{\\dfrac{S^2}{N}}\" alt=\"\\text{MDE} = \\left(z_{1-\\alpha} + z_{1-\\beta}\\right) \\cdot \\sqrt{\\dfrac{S^2_T}{N} + \\dfrac{S^2_C}{N}} \\approx \\left(z_{1-\\alpha} + z_{1-\\beta}\\right) \\cdot \\sqrt{2} \\cdot \\sqrt{\\dfrac{S^2}{N}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/755\/7550b776eac79c0c07e83ce80a804596.svg\" width=\"504\" height=\"56\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/755\/7550b776eac79c0c07e83ce80a804596.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/75\/755\/7550b776eac79c0c07e83ce80a804596.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u0447\u0435\u043c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0442\u0430\u043a\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f? \u0418\u0445 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0434\u0432\u0435: <\/p>\n<ol>\n<li>\n<p>\u0412\u044b \u043d\u0435 \u0437\u043d\u0430\u0435\u0442\u0435, \u043a\u0430\u043a \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430 \u0431\u0443\u0434\u0435\u0442 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u044b\u0431\u043e\u0440\u043a\u0438. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 N \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430! <\/p>\n<\/li>\n<li>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438:\u00a0<strong>\u043e\u043d\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430!<\/strong>\u00a0\u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0443 \u043d\u0430\u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"N = 2 \\left(\\dfrac{z_{1 - \\alpha} + z_{1 - \\beta}}{\\text{MDE}}\\right)^2 \\cdot S^2(T)\" alt=\"N = 2 \\left(\\dfrac{z_{1 - \\alpha} + z_{1 - \\beta}}{\\text{MDE}}\\right)^2 \\cdot S^2(T)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f0\/7c2\/ca5\/8f07c2ca555cef2f706033ac26bcaa79.svg\" width=\"261\" height=\"54\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f0\/7c2\/ca5\/8f07c2ca555cef2f706033ac26bcaa79.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f0\/7c2\/ca5\/8f07c2ca555cef2f706033ac26bcaa79.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435<img decoding=\"async\" class=\"formula inline\" source=\" S^2(T)\" alt=\" S^2(T)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4c\/92f\/32b\/a4c92f32b03f350c049fbd2c077ee5c3.svg\" width=\"51\" height=\"25\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4c\/92f\/32b\/a4c92f32b03f350c049fbd2c077ee5c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a4c\/92f\/32b\/a4c92f32b03f350c049fbd2c077ee5c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2013 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 <\/p>\n<p>\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430. \u0427\u0435\u043c \u043e\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f. \u042d\u0442\u043e \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0438\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442, \u0430 \u0441\u0442\u0430\u0440\u044b\u0435 \u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0442\u0440\u0430\u0442\u0438\u0442\u044c \u0432\u0441\u0435 \u0431\u043e\u043b\u044c\u0448\u0435 \u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432 \u0441\u0435\u0440\u0432\u0438\u0441\u0435!<\/p>\n<\/li>\n<\/ol>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435, \u043a\u0430\u043a \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430:<\/p>\n<pre><code class=\"python\">weeks_length_array = np.arange(1, 9, 1)  metric = 'promotion_revenue'  S2_array = [] for weeks_length in weeks_length_array:     curr_df = make_grouped_user_dataset(before_exp_dataset, weeks_length)     S2 = np.var(curr_df[metric])     S2_array.append(S2)  plt.figure(figsize=(15, 7)) plt.title('\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c $S^2$ \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430', fontsize=15)  plt.plot(weeks_length_array, S2_array, label='$S^2$') plt.legend() plt.ylabel('$S^2$ ', fontsize=15) plt.xlabel('\u041d\u043e\u043c\u0435\u0440 \u043d\u0435\u0434\u0435\u043b\u0438 \u0442\u0435\u0441\u0442\u0430', fontsize=15) plt.ylim(0, max(S2_array) + 1) plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/078\/bff\/939\/078bff93990fd8d34b4a4f3b6670ce70.png\" width=\"1241\" height=\"651\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/078\/bff\/939\/078bff93990fd8d34b4a4f3b6670ce70.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/078\/bff\/939\/078bff93990fd8d34b4a4f3b6670ce70.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0413\u0440\u0430\u0444\u0438\u043a \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043e\u0439 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u043d\u0435\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442!<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/39f\/599\/070\/39f59907077303e8a7c4b219af1f185d.PNG\" alt=\"\u0416\u043c\u0438 \u0441\u044e\u0434\u0430!\" title=\"\u0416\u043c\u0438 \u0441\u044e\u0434\u0430!\" width=\"1320\" height=\"300\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/39f\/599\/070\/39f59907077303e8a7c4b219af1f185d.PNG 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/39f\/599\/070\/39f59907077303e8a7c4b219af1f185d.PNG 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><a href=\"https:\/\/clc.to\/MDY_jw\" rel=\"noopener noreferrer nofollow\">\u0416\u043c\u0438 \u0441\u044e\u0434\u0430!<\/a><\/figcaption><\/div>\n<\/figure>\n<p><strong>\u041a\u0430\u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430?<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c MDE \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0440\u0430\u0437\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043d\u0435\u0434\u0435\u043b\u044c \u0432 \u0410\u0410-\u0442\u0435\u0441\u0442\u0435.<\/p>\n<pre><code class=\"python\">MDE_week_array = [] metric = 'promotion_revenue'  weeks_length_array = np.arange(1, 10, 1) for weeks_length in weeks_length_array:     curr_df = make_grouped_user_dataset(before_exp_dataset, weeks_length)     curr_df['group'] = np.random.choice(['test', 'control'], size=len(curr_df))      test = np.array(curr_df[(curr_df['group'] == 'test')][metric])     control = np.array(curr_df[(curr_df['group'] == 'control')][metric])     MDE = get_relative_MDE(test, control, alpha=0.05, beta=0.2) * 100     MDE_week_array.append(MDE)   plt.figure(figsize=(15, 7)) plt.title('\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c MDE \u043e\u0442 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430', fontsize=15)  plt.plot(weeks_length_array, MDE_week_array, label=metric) plt.legend() plt.ylabel('MDE, %', fontsize=15) plt.xlabel('\u041d\u043e\u043c\u0435\u0440 \u043d\u0435\u0434\u0435\u043b\u0438 \u0442\u0435\u0441\u0442\u0430', fontsize=15) plt.ylim(0, max(MDE_week_array) + 1) plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a14\/813\/a04\/a14813a04626d03ff8cb944bee7dda77.png\" width=\"1235\" height=\"645\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/a14\/813\/a04\/a14813a04626d03ff8cb944bee7dda77.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/a14\/813\/a04\/a14813a04626d03ff8cb944bee7dda77.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0438 \u043d\u0435 \u043f\u0430\u0434\u0430\u0435\u0442 \u043a \u043d\u0443\u043b\u0443\u044e: \u043e\u043d\u0430 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0430\u0441\u044c \u043e\u043a\u043e\u043b\u043e 5% \u043d\u0430 7 \u043d\u0435\u0434\u0435\u043b\u044f\u0445. \u042d\u0442\u043e\u0433\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u043d\u0435\u0442.<\/p>\n<pre><code class=\"python\">MDE_week_array[0]\u00a0\/\u00a0MDE_week_array[6]<\/code><\/pre>\n<blockquote>\n<p>1.4<\/p>\n<\/blockquote>\n<p>\u0418\u0437-\u0437\u0430 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u043d\u0435 1 \u043d\u0435\u0434\u0435\u043b\u044e, \u0430 7, \u0442\u043e \u043c\u044b \u0432\u044b\u0438\u0433\u0440\u0430\u0435\u043c \u0432 1.4 \u0440\u0430\u0437\u0430!<\/p>\n<p><strong>\u041a\u0430\u043a\u0438\u0435 \u0435\u0449\u0451 \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u0432\u043b\u0438\u044f\u044e\u0442 \u043d\u0430 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430?<\/strong><\/p>\n<p>\u041f\u043e\u043c\u0438\u043c\u043e MDE, \u0432\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0430\u0448\u0438 \u0431\u0438\u0437\u043d\u0435\u0441-\u043f\u0430\u0440\u0442\u043d\u0451\u0440\u044b \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b A\/B-\u0442\u0435\u0441\u0442\u0430 \u0432 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u044b\u0435 \u0441\u0440\u043e\u043a\u0438. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u0440\u0430\u0437\u0443\u043c\u043d\u043e\u0433\u043e \u043a\u043e\u043c\u043f\u0440\u043e\u043c\u0438\u0441\u0441\u0430 \u0441 \u043d\u0438\u043c\u0438. \u0412\u0430\u0448\u0430 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0437\u0432\u0443\u0447\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u0435\u0441\u043b\u0438 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u0442\u0435\u0441\u0442 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 X \u043d\u0435\u0434\u0435\u043b\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 Y \u043d\u0435\u0434\u0435\u043b\u044c, \u0442\u043e \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0412\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u0432\u00a0\u03b1%, \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u043b\u043a\u0438\u0439 \u044d\u0444\u0444\u0435\u043a\u0442\u00a0\u03b2%, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0447\u0435\u043d\u044c \u0432\u0430\u0436\u043d\u043e.<\/p>\n<p>\u0412 \u0438\u0434\u0435\u0430\u043b\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u043e\u043b\u0435\u0437\u043d\u043e \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0435\u043d\u044c\u0433\u0430\u0445, \u0447\u0442\u043e\u00a0\u03b2%\u00a0\u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430, \u0438 \u043a\u0440\u0430\u0439\u043d\u0435 \u0432\u0430\u0436\u043d\u043e \u0438\u043c\u0435\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0432\u044b\u044f\u0432\u043b\u044f\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b.<\/p>\n<p>\u041d\u0430\u0448 \u0442\u0435\u043a\u0443\u0449\u0438\u0439 MDE:<\/p>\n<pre><code class=\"python\">print(f\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 promotion_revenue \u043f\u0440\u0438 \"\\       f\"\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435 \u0440\u0430\u0432\u0435\u043d {round(MDE_week_array[6], 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 promotion_revenue \u043f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435 \u0440\u0430\u0432\u0435\u043d 5.1%  <\/p>\n<\/blockquote>\n<p>\u041c\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438 \u043d\u0430\u0448 MDE \u0432 3 \u0440\u0430\u0437\u0430! \u041d\u043e 5% \u044d\u0442\u043e \u0432\u0441\u0435 \u0435\u0449\u0435 \u043c\u043d\u043e\u0433\u043e.<\/p>\n<h4>2.1.3 \u041c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438 \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/h4>\n<p>\u0415\u0449\u0435 \u043e\u0434\u0438\u043d \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u044b\u0439 \u043c\u0435\u0442\u043e\u0434 \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u043b\u043a\u0438\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u2014 \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u0440\u0430\u0431\u043e\u0442\u0430 \u0441 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>\u041a\u0430\u043a\u0430\u044f \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0445\u043e\u0440\u043e\u0448\u0430\u044f? \u041e\u043d\u0430 \u0434\u043e\u043b\u0436\u043d\u0430 \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0442\u044c \u0434\u0432\u0443\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c:<\/p>\n<ol>\n<li>\n<p>\u0411\u044b\u0442\u044c \u0441\u043e\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0441 \u0432\u0430\u0448\u0435\u0439 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439. \u042d\u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u0431\u0438\u0437\u043d\u0435\u0441-\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438: \u0435\u0441\u043b\u0438 \u043c\u044b \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u043b\u0438 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u2014 \u0437\u043d\u0430\u0447\u0438\u0442, \u043c\u044b \u0432\u044b\u0440\u0430\u0441\u0442\u0438\u043b\u0438 \u0438 \u043d\u0430\u0448\u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443.<\/p>\n<\/li>\n<li>\n<p>\u0418\u043c\u0435\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043d\u0435\u0436\u0435\u043b\u0438 \u0432\u0430\u0448\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430. \u042d\u0442\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u043e \u0443\u0436\u0435 \u043f\u0440\u043e\u0434\u0438\u043a\u0442\u043e\u0432\u0430\u043d\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0412\u043d\u0438\u043c\u0430\u043d\u0438\u0435! \u0412\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441\u043e\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0430 \u0441 \u0432\u0430\u0448\u0435\u0439 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439.<\/strong>\u00a0\u0415\u0441\u043b\u0438 \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043d\u0435 \u0442\u0430\u043a, \u0442\u043e \u0441\u043c\u044b\u0441\u043b\u0430 \u0432 \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043d\u0435\u0442. \u0422\u0430\u043a \u043a\u0430\u043a \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u043e, \u0442\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0432\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0430\u043f\u0430 \u0442\u0435\u0441\u0442\u0430 \u0441 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u043d\u0435 \u043f\u043e\u043c\u043e\u0433\u043b\u0438.<\/p>\n<hr\/>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u0442\u0435\u0441\u0442\u0435 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u2014 \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430. \u041a\u0430\u043a \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0443 \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 MDE 5%. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0434\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0443. \u041a\u0430\u043a \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u0434\u0445\u043e\u0434\u0438\u0442\u044c \u043a \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435?<\/p>\n<p><strong>\u041e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a \u2014 \u0440\u0430\u0437\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u0430\u0448\u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043d\u0430 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b.<\/strong>\u00a0\u0418\u043b\u0438 \u0436\u0435, \u0435\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0442\u0435\u0440\u043c\u0438\u043d\u044b, \u0442\u043e \u0432\u0437\u044f\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432\u044b\u0448\u0435 \u043f\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u043e\u0439 \u0432\u043e\u0440\u043e\u043d\u043a\u0435 \u0438\u043b\u0438 \u043f\u043e \u0434\u0435\u0440\u0435\u0432\u0443 \u043c\u0435\u0442\u0440\u0438\u043a.<\/p>\n<p>\u0415\u0441\u043b\u0438 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043d\u0430\u0448 \u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u043e:<\/p>\n<pre><code>promotion_revenue =     = promotion_listings * promotion_revenue_per_listing     = promotion_listers * promotion_listings_per_promotion_lister                          * promotion_revenue_per_listing<\/code><\/pre>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043d\u0430\u0448\u0435\u043c \u0442\u0435\u0441\u0442\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u00ab\u0431\u043e\u043b\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438\u00bb:<\/p>\n<ul>\n<li>\n<p><code>promotion_listings<\/code>\u00a0\u2014 \u0447\u0438\u0441\u043b\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u0441 \u043f\u043e\u043a\u0443\u043f\u043a\u043e\u0439 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p><code>promotion_listers<\/code>\u00a0\u2014 \u0447\u0438\u0441\u043b\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u0443\u043f\u0438\u0432\u0448\u0438\u0445 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438, \u043a\u0430\u043a\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0438 \u0431\u043e\u043b\u0435\u0435 \u0441\u043a\u043e\u0440\u0440\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430 \u0441 \u043d\u0430\u0448\u0435\u0439 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u0438.<\/p>\n<p>\u0412\u0441\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0438\u0437 \u043d\u0430\u0448\u0435\u0433\u043e \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0430\u043f\u0430 \u0434\u043b\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438: \u0441\u043e\u0431\u0435\u0440\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0435 \u0437\u0430 7 \u043d\u0435\u0434\u0435\u043b\u044c \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0441\u0435\u0442\u0430\u043f 50% \u043d\u0430 50%.<\/p>\n<pre><code class=\"python\">current_dataset =  make_grouped_user_dataset(before_exp_dataset, 7) current_dataset['group'] = np.random.choice(['test', 'control'],                                              size=len(current_dataset))  for metric in ['promotion_revenue', 'promotion_listings', 'promotion_listers']:     test = np.array(current_dataset[                       (current_dataset['group'] == 'test')][metric]                    )     control = np.array(current_dataset[                         (current_dataset['group'] == 'control')][metric]                   )      MDE = get_relative_MDE(test, control, alpha=0.05, beta=0.2)     print(f'{metric} MDE: {round(MDE * 100, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>promotion_revenue MDE: 5.2% <br \/>promotion_listings MDE: 4.1% <br \/>promotion_listers MDE: 1.7%  <\/p>\n<\/blockquote>\n<p>MDE \u0434\u043b\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438\u00a0<code>promotion_listers<\/code>\u00a0\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0430\u043c\u044b\u043c \u043d\u0438\u0437\u043a\u0438\u043c: \u043e\u043d \u043f\u043e\u0447\u0442\u0438 \u0432 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c \u0443\u00a0<code>promotion_revenue<\/code>.<\/p>\n<p><strong>\u0412\u0430\u0436\u043d\u043e\u0435 \u0434\u043e\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0435!<\/strong>\u00a0\u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c MDE, \u043d\u043e \u0432\u044b \u0442\u0430\u043a\u0436\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u043c\u0435\u0442\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043d\u0430 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u043b\u0438\u044f\u0442\u044c! \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0437\u043c\u0435\u043d\u044f\u0435\u0442\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u00ab\u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0447\u0435\u043a \u043d\u0430 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0435\u00bb \u0432 \u0432\u0430\u0448\u0435\u043c \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u043a\u0435\u0439\u0441\u0435 \u0438 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0435 \u0447\u0438\u0441\u043b\u043e \u044e\u0437\u0435\u0440\u043e\u0432, \u0442\u043e \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430 \u0431\u0440\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0<code>promotion_listers<\/code>, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0443 \u043d\u0435\u0435 \u043c\u0430\u043b\u044b\u0439 MDE.<\/p>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u00a0<code>promotion_listers<\/code>: \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u0443\u0434\u0430\u0441\u0442\u0441\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0443\u0441\u043b\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, \u0442\u043e \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0442\u0435\u0441\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u043c. \u042d\u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u043b\u043e\u0433\u0438\u0447\u043d\u043e: \u0435\u0441\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u043b\u044e\u0434\u0435\u0439 \u0445\u043e\u0442\u044f \u0431\u044b \u0440\u0430\u0437 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0443\u0441\u043b\u0443\u0433\u043e\u0439, \u044d\u0442\u043e \u043f\u0440\u0438\u043d\u0435\u0441\u0451\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0434\u0435\u043d\u0435\u0433 \u0441\u0435\u0440\u0432\u0438\u0441\u0443. \u041e\u0434\u043d\u0430\u043a\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0443 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043d\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u0441\u044f. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u043a\u0430\u0436\u0435\u0442\u0441\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u044b\u043c, \u043d\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u044d\u0442\u043e \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435. \u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0435 \u0441\u043d\u0438\u0437\u0438\u043b\u0430\u0441\u044c \u043b\u0438 ratio-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u00a0<code>promotion_revenue \/ promotion_listers<\/code>\u00a0\u0438 \u043d\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u043e\u0441\u044c \u043b\u0438 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u00a0<code>promotion_listings<\/code>. \u041e\u0434\u043d\u0430\u043a\u043e \u0441\u0442\u043e\u0438\u0442 \u0443\u0447\u0435\u0441\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0442\u043e\u0447\u043d\u043e \u0431\u0443\u0434\u0443\u0442 \u0431\u043e\u043b\u0435\u0435 \u0448\u0443\u043c\u043d\u044b\u043c\u0438, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438\u0445 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u043d\u043e\u0441\u0438\u0442 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u0448\u0430 \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H_0: P_C = P_T\\ vs. H_1:  P_C &lt; P_T,\" alt=\"H_0: P_C = P_T\\ vs. H_1:  P_C &lt; P_T,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb9\/cb92e095be92a9799db5f124896f1365.svg\" width=\"248\" height=\"16\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb9\/cb92e095be92a9799db5f124896f1365.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cb\/cb9\/cb92e095be92a9799db5f124896f1365.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435\u00a0P\u00a0\u2014 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044f \u0432 \u043f\u043e\u043a\u0443\u043f\u043a\u0443 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0437\u0430 N \u043d\u0435\u0434\u0435\u043b\u044c.<\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c 3 \u0432\u0430\u0436\u043d\u044b\u0445 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u044f \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a.<\/p>\n<p><strong>1.\u00a0\u041f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u043d\u0435 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0430! \u0412 \u043a\u0430\u0436\u0434\u043e\u043c \u043a\u0435\u0439\u0441\u0435 \u0435\u0435 \u043d\u0430\u0434\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0437\u0430\u043d\u043e\u0432\u043e.<\/strong><\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c, \u0447\u0442\u043e \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u043c\u043e\u0433\u0443\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0438, \u043a\u043e\u0433\u0434\u0430 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u044c \u0434\u0438\u0437\u0430\u0439\u043d \u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0443\u0441\u043b\u0443\u0433\u0438,\u00a0<code>promotion_listers<\/code>\u00a0\u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0435\u0439 \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439.<\/p>\n<p>\u041d\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0430\u043a\u043e\u0439 \u043a\u0435\u0439\u0441:<\/p>\n<blockquote>\n<p>\u0412\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0434\u0430\u0447\u0443 \u0441\u043a\u0438\u0434\u043e\u043a \u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043d\u043e\u0432\u044b\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f\u043c. \u0423\u0432\u0435\u043b\u0438\u0447\u0438\u0442 \u043b\u0438 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0443?<\/p>\n<\/blockquote>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u043a\u0435\u0439\u0441\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0432\u044b\u0440\u0443\u0447\u043a\u0430, \u043a\u0430\u043a \u0438 \u0432 \u043d\u0430\u0448\u0435\u043c. \u041d\u043e! \u0415\u0441\u043b\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0<code>promotion_listers<\/code>\u00a0\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0442\u043e \u0432\u044b \u0442\u043e\u0447\u043d\u043e \u0440\u0430\u0441\u043a\u0430\u0442\u0438\u0442\u0435 \u044d\u0442\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u043e\u043d\u043e \u0432\u0435\u0434\u0435\u0442 \u043a \u043f\u0430\u0434\u0435\u043d\u0438\u044e \u0432\u044b\u0440\u0443\u0447\u043a\u0438! \u041f\u043e\u0447\u0435\u043c\u0443? \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442\u0435 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u0447\u0435\u043a \u0443 \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0443 \u0442\u0435\u0445, \u043a\u0442\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0441\u044f \u0431\u044b \u0443\u0441\u043b\u0443\u0433\u043e\u0439 \u0438 \u0431\u0435\u0437 \u0441\u043a\u0438\u0434\u043a\u0438, \u0447\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0441\u0442\u0438 \u043a \u043f\u0430\u0434\u0435\u043d\u0438\u044e \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 (\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u00a0<code>promotion_revenue \/ promotion_listers<\/code>\u00a0\u0443\u043f\u0430\u0434\u0435\u0442).\u00a0<strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432 \u043a\u0435\u0439\u0441\u0435 \u0441\u043e \u0441\u043a\u0438\u0434\u043a\u0430\u043c\u0438\u00a0<\/strong><code><strong>promotion_listers<\/strong><\/code><strong>\u00a0\u2014 \u043f\u043b\u043e\u0445\u0430\u044f \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430!<\/strong><\/p>\n<p>\u041a\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0432 \u043a\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0443 \u0438\u043b\u0438 \u0438\u043d\u0443\u044e \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0443? \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438, \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438. \u041d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u043c\u043e\u0436\u0435\u0442\u0435 \u043b\u0438 \u0432\u044b \u0443\u0440\u043e\u043d\u0438\u0442\u044c \u00ab\u0441\u043e\u0441\u0435\u0434\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e\u00bb \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043f\u0440\u0438 \u0440\u0430\u0437\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u0438\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0438\u043b\u0438 \u043d\u0435\u0442? \u041d\u043e \u043f\u043e\u0441\u043b\u0435 \u00ab\u043b\u043e\u0433\u0438\u043a\u0438\u00bb \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u0430 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u044c \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0434\u0438\u0442\u044c \u0441\u0442\u0430\u0440\u044b\u043c\u0438 \u0410\u0411-\u0442\u0435\u0441\u0442\u0430\u043c\u0438, \u0435\u0441\u043b\u0438 \u0431\u044b\u043b\u0438 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u0442\u0435\u0441\u0442\u044b.<\/p>\n<p><strong>2. \u041a\u0430\u043a\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0436\u0438\u0434\u0430\u0442\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043a \u043f\u0440\u043e\u043a\u0441\u0438.<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043f\u0440\u0438\u0440\u043e\u0441\u0442\u00a0<code>promotion_listers<\/code>\u00a0\u043d\u0430 +X%. \u0410 \u0432 \u0432\u044b\u0440\u0443\u0447\u043a\u0435 \u044d\u0442\u043e \u0441\u043a\u043e\u043b\u044c\u043a\u043e?<\/p>\n<ul>\n<li>\n<p><strong>1 \u0432\u0430\u0440\u0438\u0430\u043d\u0442<\/strong>\u00a0<code>+X% proxy metric = +X% main metric<\/code>. \u042d\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0435 \u0432\u043d\u0435\u0441\u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0430\u0448\u0438\u043c \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u043e\u043c \u0432 \u043a\u043e\u043d\u0432\u0435\u0440\u0441\u0438\u044e \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0449\u0435\u0439 \u043f\u0440\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u044d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435\u00a0<code>promotion_revenue \/ promotion_listers<\/code>\u00a0\u043e\u0441\u0442\u0430\u043b\u043e\u0441\u044c \u043d\u0435\u0438\u0437\u043c\u0435\u043d\u043d\u044b\u043c \u0432 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>2 \u0432\u0430\u0440\u0438\u0430\u043d\u0442<\/strong>\u00a0\u041e\u0446\u0435\u043d\u0438\u0442\u044c \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0432\u043e\u0440\u043e\u043d\u043a\u0438 \u043d\u0430 \u0432\u0435\u0440\u0445\u043d\u0438\u0445 \u044d\u0442\u0430\u043f\u0430\u0445, \u043a\u0430\u043a \u044d\u0444\u0444\u0435\u043a\u0442\u00a0<code>promotion_listers<\/code>\u00a0\u0441\u043f\u0430\u0434\u0430\u0435\u0442 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043a \u0432\u044b\u0440\u0443\u0447\u043a\u0435? \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0442\u0430\u0440\u044b\u0445 \u043f\u043e\u0445\u043e\u0436\u0438\u0445 A\/B-\u0442\u0435\u0441\u0442\u043e\u0432, \u0438\u043b\u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0434\u043e \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435 \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442.<\/p>\n<p><strong>3. \u0418\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a: \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0430\u043c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439.<\/strong><\/p>\n<p>\u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043c\u0435\u043d\u044b \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0431\u043e\u043b\u0435\u0435 \u0443\u0437\u043a\u043e\u043c\u0443 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0443, \u0433\u0434\u0435 \u0432\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430 \u043a\u00a0<code>promotion_listers<\/code>\u00a0\u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u0442\u043e\u043b\u044c\u043a\u043e \u0441\u0440\u0435\u0434\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c \u0443\u0441\u043b\u0443\u0433\u043e\u0439 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0445 \u043c\u0435\u0441\u044f\u0446\u0435\u0432. \u0415\u0441\u043b\u0438 \u0442\u0430\u043c \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u2014 \u0437\u043d\u0430\u0447\u0438\u0442, \u043d\u0430\u0448 \u0434\u0438\u0437\u0430\u0439\u043d \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b.<\/p>\n<p>\u041f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043a \u043d\u043e\u0432\u043e\u043c\u0443 \u0431\u043e\u043b\u0435\u0435 \u0443\u0437\u043a\u043e\u043c\u0443 \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0443 \u0434\u0435\u0439\u0441\u0442\u0432\u0443\u044e\u0442 \u0432\u0441\u0435 \u0442\u0435 \u0436\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u0430, \u0447\u0442\u043e \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043e\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0435: \u0432\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0431\u044b\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u0432 \u043d\u0435\u0446\u0435\u043b\u0435\u0432\u043e\u043c \u0441\u0435\u0433\u043c\u0435\u043d\u0442\u0435 \u0432\u044b \u043d\u0435 \u0443\u0445\u0443\u0434\u0448\u0438\u043b\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<hr\/>\n<h4>2.1.5 \u041a\u043e\u0433\u0434\u0430 \u0441\u0442\u043e\u0438\u0442 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f \u043f\u0440\u0438 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0435 \u0441\u0435\u0442\u0430\u043f\u0430 \u0442\u0435\u0441\u0442\u0430?<\/h4>\n<p>\u041a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c, \u0438\u043c\u0435\u0435\u0442 \u043b\u0438 \u0441\u043c\u044b\u0441\u043b \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u0441 \u0442\u0430\u043a\u0438\u043c MDE (1.7%) \u0438\u043b\u0438 \u043d\u0435\u0442? \u042d\u0442\u043e \u0432\u0441\u0435 \u0435\u0449\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0438\u043b\u0438 \u043d\u0435\u0442?<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0432\u0430\u0448\u0435\u0433\u043e\u00a0<strong>\u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435<\/strong>. \u0415\u0441\u043b\u0438 \u043e\u043d 0.5%, \u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u0441\u0435\u0442\u0430\u043f \u0442\u0435\u0441\u0442\u0430 \u0432\u0441\u0435 \u0435\u0449\u0435 \u043f\u043b\u043e\u0445. \u0410 \u0435\u0441\u043b\u0438 2-3%, \u0442\u043e \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0435\u0431\u0435 \u0445\u043e\u0440\u043e\u0448.<\/p>\n<p><strong>\u041a\u0430\u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0432 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0435 \u0434\u043e \u0435\u0433\u043e \u043d\u0430\u0447\u0430\u043b\u0430?<\/strong><\/p>\n<p>\u0415\u0441\u0442\u044c 5 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441, \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438\u043c \u0438\u0445 \u043e\u0442 \u043b\u0443\u0447\u0448\u0435\u0433\u043e \u043a \u0445\u0443\u0434\u0448\u0435\u043c\u0443.<\/p>\n<ol>\n<li>\n<p>\u0412\u0437\u044f\u0442\u044c \u043d\u0435\u0434\u0430\u0432\u043d\u0438\u0435 \u043f\u043e\u0445\u043e\u0436\u0438\u0435 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u0435 A\/B-\u0442\u0435\u0441\u0442 \u0432 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438 \u0443\u0441\u0440\u0435\u0434\u043d\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u0443 \u043d\u0438\u0445.<\/p>\n<ul>\n<li>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435 \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0432\u0437\u044f\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u043e\u0433\u0434\u0430 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u043d\u043e\u0432\u044b\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, \u043a\u0430\u043a\u043e\u0439 \u0442\u0430\u043c \u0431\u044b\u043b \u044d\u0444\u0444\u0435\u043a\u0442?<\/p>\n<\/li>\n<li>\n<p>\u0418\u043b\u0438 \u0432\u0437\u044f\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u0432 A\/B-\u0442\u0435\u0441\u0442, \u0433\u0434\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0437\u0430\u0439\u043d\u0430 \u0432 \u0434\u0440\u0443\u0433\u043e\u043c \u043f\u043e\u0445\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0434\u0438\u0437\u0430\u0439\u043d\u0430 \u043f\u0440\u0438 \u0440\u0430\u0437\u043c\u0435\u0449\u0435\u043d\u0438\u0438 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<li>\n<p>\u041f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u0433\u0434\u0435 \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 \u0432\u0437\u044f\u0442\u044c \u0438\u0437 \u0434\u0440\u0443\u0433\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432 \u0438\u043b\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0432\u044b\u0435 2 \u043a\u0435\u0439\u0441\u0430 \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0442, \u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u0442\u044c\u0441\u044f \u043a \u0431\u0435\u043d\u0447\u043c\u0430\u0440\u043a\u0430\u043c \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 \u0438\u043b\u0438 \u043a \u0432\u043d\u0435\u0448\u043d\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c: \u0432\u0434\u0440\u0443\u0433 \u043a\u0442\u043e-\u0442\u043e \u043e\u043f\u0443\u0431\u043b\u0438\u043a\u043e\u0432\u0430\u043b \u0440\u0435\u0441\u0435\u0440\u0447, \u043a\u0430\u043a \u043e\u043d\u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432 \u0441\u0432\u043e\u0435\u043c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0435 \u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u043a \u0442\u0435\u043c \u0438\u043b\u0438 \u0438\u043d\u044b\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c.<\/p>\n<\/li>\n<li>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0435\u0441\u043b\u0438 \u0438 \u0432\u043d\u0435\u0448\u043d\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043d\u0435\u0442, \u0442\u043e \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u043d\u043e: \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e, \u0432\u0430\u0448 \u043f\u0440\u043e\u0434\u0443\u043a\u0442-\u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043a\u0438\u043d\u0443\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0441\u0432\u043e\u0435\u0433\u043e \u043e\u043f\u044b\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0415\u0441\u043b\u0438 \u0438 \u044d\u0442\u043e \u043d\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442, \u0442\u043e \u0432\u0430\u0448 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 = \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0439 MDE.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u0432\u044b \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442\u0435 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<h4>2.1.6 \u0418\u0442\u043e\u0433\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0439 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0441\u0435\u0442\u0430\u043f\u0430 \u0442\u0435\u0441\u0442\u0430<\/h4>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c, \u0432\u043c\u0435\u0441\u0442\u043e \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0432 A\/B-\u0442\u0435\u0441\u0442:<\/p>\n<ul>\n<li>\n<p>\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0<code>promotion_revenue;<\/code><\/p>\n<\/li>\n<li>\n<p>\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430 10:10 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u0435;<\/p>\n<\/li>\n<li>\n<p>\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0435\u0441\u0442 1 \u043d\u0435\u0434\u0435\u043b\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u041c\u044b \u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u043d\u0430\u0434\u043e:<\/p>\n<ul>\n<li>\n<p>\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0<code>promotion_listers<\/code>\u00a0(\u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE \u0432 3 \u0440\u0430\u0437\u0430);<\/p>\n<\/li>\n<li>\n<p>\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430 50:50 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u0430\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 (\u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE \u0432 2.2 \u0440\u0430\u0437\u0430);<\/p>\n<\/li>\n<li>\n<p>\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0442\u0435\u0441\u0442 7 \u043d\u0435\u0434\u0435\u043b\u044c (\u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE \u0432 1.4 \u0440\u0430\u0437\u0430).<\/p>\n<\/li>\n<\/ul>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE \u0431\u0443\u0434\u0435\u0442 \u0432\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"3\u22172.2\u22171.4=9.2\" alt=\"3\u22172.2\u22171.4=9.2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fb\/e26\/96e\/3fbe2696e8f5ab668ed94e93a94ac226.svg\" width=\"148\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fb\/e26\/96e\/3fbe2696e8f5ab668ed94e93a94ac226.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3fb\/e26\/96e\/3fbe2696e8f5ab668ed94e93a94ac226.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u00a0\u0440\u0430\u0437\u0430! \u041f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u044d\u0442\u043e \u043d\u0430 \u043d\u0430\u0448\u0438\u0445 \u043f\u0440\u0435\u0434\u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<pre><code class=\"python\"># \u0411\u044b\u043b\u043e np.random.seed(42) metric = 'promotion_revenue' prepaired_for_aa_dataset = make_grouped_user_dataset(     before_exp_dataset, weeks_in_test=1 ) # \u0421\u0443\u043c\u043c\u0430\u0440\u043d\u043e 20 \u043f\u0440\u043e\u0446\u0435\u043d\u0442\u043e\u0432: 10 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 10 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435 prepaired_for_aa_dataset = prepaired_for_aa_dataset.sample(frac=0.2) prepaired_for_aa_dataset['group'] = np.random.choice(     ['test', 'control'], size=len(prepaired_for_aa_dataset) )  test = np.array(prepaired_for_aa_dataset[           (prepaired_for_aa_dataset['group'] == 'test')][metric] ) control = np.array(prepaired_for_aa_dataset[             (prepaired_for_aa_dataset['group'] == 'control')][metric] )  MDE_old = get_relative_MDE(test, control, alpha=0.05, beta=0.2) * 100<\/code><\/pre>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u0448 MDE \u043f\u0440\u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u0441\u0435\u0442\u0430\u043f\u0435 \u0431\u044b\u043b:<\/p>\n<pre><code class=\"python\">print(f\"\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 MDE {round(MDE_old, 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0439 MDE 18.7%  <\/p>\n<\/blockquote>\n<pre><code class=\"python\"># \u0441\u0442\u0430\u043b\u043e np.random.seed(42) metric = 'promotion_listers' prepaired_for_aa_dataset = make_grouped_user_dataset(         before_exp_dataset, weeks_in_test=7 ) prepaired_for_aa_dataset['group'] = np.random.choice(         ['test', 'control'], size=len(prepaired_for_aa_dataset) )  test = np.array(prepaired_for_aa_dataset[                   (prepaired_for_aa_dataset['group'] == 'test')                 ][metric]) control = np.array(prepaired_for_aa_dataset[                   (prepaired_for_aa_dataset['group'] == 'control')                 ][metric])  MDE_new = get_relative_MDE(test, control, alpha=0.05, beta=0.2) * 100<\/code><\/pre>\n<pre><code class=\"python\">print(f\"\u041d\u043e\u0432\u044b\u0439 MDE {round(MDE_new, 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u041d\u043e\u0432\u044b\u0439 MDE 1.8%  <\/p>\n<\/blockquote>\n<pre><code class=\"python\">print(f\"\u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE: {round(MDE_old\/MDE_new, 1)}\")<\/code><\/pre>\n<blockquote>\n<p>\u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE: 10.6  <\/p>\n<\/blockquote>\n<p>\u0414\u0430, \u0432\u0441\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u043b\u043e! \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e\u043c\u0443 \u0441\u0435\u0442\u0430\u043f\u0443 A\/B-\u0442\u0435\u0441\u0442\u0430 \u043c\u044b \u0441\u043e\u043a\u0440\u0430\u0442\u0438\u043b\u0438 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432 10 \u0440\u0430\u0437!<\/p>\n<p>\u0421\u0438\u043b\u044c\u043d\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0430 \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 MDE \u043f\u043e\u0432\u043b\u0438\u044f\u043b \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043d\u0430 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435.<\/p>\n<h3>2.2 \u0410\u043d\u0430\u043b\u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043f\u0440\u0438 \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u0441\u0435\u0442\u0430\u043f\u0435. \u041e\u0442 \u0441\u0435\u0440\u044b\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u043a \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0430\u043c.<\/h3>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0435\u043f\u0435\u0440\u044c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435.<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/121\/962\/c56\/121962c568020016df10264b8356384a.png\" width=\"1712\" height=\"422\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/121\/962\/c56\/121962c568020016df10264b8356384a.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/121\/962\/c56\/121962c568020016df10264b8356384a.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<pre><code class=\"python\">metric = 'promotion_listers' test = np.array(exp_df[(exp_df['group'] == 'test')][metric]) control = np.array(exp_df[(exp_df['group'] == 'control')][metric])  MDE_new = get_relative_MDE(test, control, alpha=0.05, beta=0.2)  print(f\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0440\u0430\u0432\u0435\u043d {round(MDE_new * 100, 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0440\u0430\u0432\u0435\u043d 1.7%  <\/p>\n<\/blockquote>\n<p>\u0411\u044b\u043b\u043e 15.8%, \u0441\u0442\u0430\u043b\u043e 1.7% \u043d\u0430 \u0431\u043e\u043b\u0435\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435! \u0421\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043e\u043a\u043e\u043b\u043e 10 \u0440\u0430\u0437, \u043a\u0430\u043a \u0438 \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043e\u0446\u0435\u043d\u0435\u043d\u043d\u044b\u0439 MDE \u043d\u0430 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0441\u043e\u0432\u043f\u0430\u043b \u0441 MDE \u043d\u0430 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e\u043c \u043f\u0435\u0440\u0438\u043e\u0434\u0435.<\/p>\n<p>\u0410 \u0447\u0442\u043e \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438?<\/p>\n<pre><code class=\"python\">results = absolute_ttest(control, test, two_sided_alpha=0.1)  print(f'Effect: {round(results.effect, 3)},'\\       f'({round(results.left_bound, 3)}, {round(results.right_bound, 3)})') print(f'two-sided pvalue: {round(results.pvalue * 100, 1)}%,'\\       f'one-sided pvalue: {round(results.pvalue \/ 2 * 100, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>Effect: 0.005,(0.002, 0.008) two-sided pvalue: 1.2%, one-sided pvalue: 0.6%  <\/p>\n<\/blockquote>\n<p>pvalue &lt; 0.05, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u0443 \u043d\u0430\u0441 \u0441 \u0432\u0430\u043c\u0438 \u00ab\u0437\u0435\u043b\u0435\u043d\u044b\u0439\u00bb \u0442\u0435\u0441\u0442!<\/p>\n<h4>\u0412\u0438\u0434\u044b \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 A\/B-\u0442\u0435\u0441\u0442\u043e\u0432. \u0422\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f.<\/h4>\n<p>\u0412\u044b\u0434\u0435\u043b\u044f\u044e\u0442 3 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430 A\/B-\u0442\u0435\u0441\u0442\u0430<\/p>\n<ul>\n<li>\n<p>\u00ab\u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u00bb\u00a0\u2014 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0412\u0430\u0448\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0430\u0441\u044c, \u043a\u0430\u043a \u0432\u044b \u0438 \u0445\u043e\u0442\u0435\u043b\u0438. \u0427\u0430\u0449\u0435 \u0432\u0441\u0435\u0433\u043e \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043a\u0430\u0442\u0438\u0442\u044c \u0432\u0430\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u041a\u0430\u0442\u0438\u0442\u044c = \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u00ab\u0441\u0435\u0440\u044b\u0439 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u00bb\u00a0\u2014 \u0433\u0440\u0443\u0441\u0442\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: \u0432\u044b \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442. \u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u0441 \u044d\u0442\u0438\u043c \u0434\u0435\u043b\u0430\u0442\u044c \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c;<\/p>\n<\/li>\n<li>\n<p>\u00ab\u043a\u0440\u0430\u0441\u043d\u044b\u0439 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u00bb\u00a0\u2014 \u0445\u0443\u0434\u0448\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435. \u0412\u0430\u0448\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0438\u043b\u0430\u0441\u044c, \u043d\u043e \u043d\u0435 \u0432 \u0442\u0443 \u0441\u0442\u043e\u0440\u043e\u043d\u0443: \u0432\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0445\u0443\u0436\u0435, \u0447\u0435\u043c \u0431\u044b\u043b\u043e. \u0418 \u0432\u0430\u043c \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0434\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u0432 \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u0445 \u0442\u0430\u043a\u0438\u0445 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432 \u043f\u0435\u0440\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u0431\u044b\u043b \u0441\u0435\u0440\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u0430 \u0441\u0442\u0430\u043b \u0437\u0435\u043b\u0435\u043d\u044b\u043c!<\/p>\n<h3>2.3 \u041a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/h3>\n<p>\u041a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0431\u044b, \u043d\u0430 \u044d\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c\u0441\u044f, \u043d\u043e \u043c\u044b \u043d\u0435 \u0443\u0447\u043b\u0438, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0440\u0443\u0433\u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u0445! \u0415\u0441\u043b\u0438 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u0440\u0430\u0441\u043a\u0430\u0442\u043a\u0430 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u043c\u0443 \u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u043f\u0430\u0434\u0435\u043d\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0438\u0442 \u0432\u0441\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0441\u0442\u043e\u0440\u043e\u043d\u044b \u043e\u0442 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438 \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u043e\u0442 \u044d\u0442\u043e\u0439 \u0444\u0438\u0447\u0438.<\/p>\n<blockquote>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u044c\u0441\u044f \u0432 \u0445\u043e\u0434\u0435 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430, \u0438 \u043e\u043d\u0438 \u0432\u0430\u0436\u043d\u044b \u0434\u043b\u044f \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438 \u0438 \u0431\u0438\u0437\u043d\u0435\u0441\u0430, \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f\u00a0<strong>\u043a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438<\/strong>.<\/p>\n<\/blockquote>\n<p>\u0420\u0430\u043d\u0435\u0435 \u043c\u044b \u0443\u0436\u0435 \u043e\u0442\u043c\u0435\u0447\u0430\u043b\u0438 2 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u0443\u043f\u0430\u0441\u0442\u044c, \u0440\u0430\u0437 \u043c\u044b \u043f\u0435\u0440\u0435\u0448\u043b\u0438 \u043a \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0435:<\/p>\n<ul>\n<li>\n<p>ratio-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u00a0<code>promotion_revenue \/ promotion_listers<\/code>. \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0441 \u0442\u0430\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u2013 \u043f\u0440\u043e\u0447\u0438\u0442\u0430\u0439\u0442\u0435 \u0438\u043b\u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435\u00a0<a href=\"https:\/\/clc.to\/q2xDTQ\" rel=\"noopener noreferrer nofollow\">\u043b\u0435\u043a\u0446\u0438\u044e 11 \u0432 \u043a\u0443\u0440\u0441\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438<\/a>;<\/p>\n<\/li>\n<li>\n<p>\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u00a0<code>promotion_listings<\/code><\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u043c\u0435\u0442\u0440\u0438\u043a\u0435\u00a0<code>promotion_listers<\/code>\u00a0\u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u043c \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e\u00a0<code>promotion_revenue \/ promotion_listers<\/code>\u00a0\u043d\u0435 \u0443\u043f\u0430\u043b\u0430, \u0438\u043d\u0430\u0447\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e \u043f\u0440\u043e\u043a\u0441\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043d\u0435 \u0441\u043e\u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d \u0441\u00a0<code>revenue<\/code>.<\/p>\n<p>\u041d\u043e \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e:<\/p>\n<ol>\n<li>\n<p>\u041f\u043e \u043b\u043e\u0433\u0438\u043a\u0435 \u0432\u0435\u0449\u0435\u0439, \u043d\u0430\u0448\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0435 \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u0432\u043b\u0438\u044f\u0442\u044c \u043d\u0430 \u044d\u0442\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0442\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0431\u043e\u043b\u0435\u0435 \u00ab\u0448\u0443\u043c\u043d\u044b\u0435\u00bb, \u0438 \u043c\u044b \u0432\u0440\u044f\u0434 \u043b\u0438 \u0437\u0430\u043c\u0435\u0442\u0438\u043c \u0432 \u043d\u0438\u0445 \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u044d\u0444\u0444\u0435\u043a\u0442.<\/p>\n<\/li>\n<\/ol>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0443 \u043d\u0430\u0441 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u044b\u0445 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0439 \u0432 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0430\u0445 \u044d\u0442\u0438\u0445 \u043c\u0435\u0442\u0440\u0438\u043a, \u043c\u044b \u0438\u0445 \u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e, \u0434\u0430\u0431\u044b \u0437\u0430\u043c\u0435\u0442\u0438\u0442\u044c, \u0435\u0441\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0448\u043b\u043e \u043d\u0435 \u0442\u0430\u043a.<\/p>\n<pre><code class=\"python\"># \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 promotion_revenue \/ promotion_listers  def linearisation(numerator, denominator):     E_num = np.mean(numerator)     E_den = np.mean(denominator)     return E_num \/ E_den + 1 \/ E_den * (numerator - E_num \/\\                                         E_den * denominator)   def make_linearized_revenue_listers_metric(start_df):     df = start_df.copy()      df['lin_revenue_listers'] = 0      for group in ['test', 'control']:         revenue = np.array(df[(df['group'] == group)]['promotion_revenue'])         listers = np.array(df[(df['group'] == group)]['promotion_listers'])          df.loc[df['group'] == group, 'lin_revenue_listers'] =\\               linearisation(revenue, listers)     return df<\/code><\/pre>\n<pre><code class=\"python\">exp_df = make_linearized_revenue_listers_metric(exp_df)  for metric in ['lin_revenue_listers', 'promotion_listings']:     test = np.array(exp_df[(exp_df['group'] == 'test')][metric])     control = np.array(exp_df[(exp_df['group'] == 'control')][metric])      results = absolute_ttest(control, test, two_sided_alpha=0.1)      print(metric)     print(f'Effect: {round(results.effect, 3)},'\\           f'({round(results.left_bound, 3)}, {round(results.right_bound, 3)})')     print(f'two-sided pvalue: {round(results.pvalue * 100, 1)}%,'\\           f' one-sided pvalue: {round(results.pvalue \/ 2 * 100, 1)}%')     print('----')<\/code><\/pre>\n<blockquote>\n<p>lin_revenue_listers <br \/>Effect: -56.987,(-181.318, 67.344) <br \/>two-sided pvalue: 45.1%, <br \/>one-sided pvalue: 22.5% <br \/>&#8212;- <br \/>promotion_listings <br \/>Effect: 0.035,(0.004, 0.066) <br \/>two-sided pvalue: 6.6%, <br \/>one-sided pvalue: 3.3%  <\/p>\n<\/blockquote>\n<ol>\n<li>\n<p>ratio-\u043c\u0435\u0442\u0440\u0438\u043a\u0430\u00a0<code>promotion_revenue \/ promotion_listers<\/code>\u00a0\u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u043d\u0430\u0447\u0438\u043c\u043e \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0430\u0441\u044c, \u0432\u0441\u0435 \u043e\u0442\u043b\u0438\u0447\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0410\u00a0<code>promotion_listings<\/code>\u00a0\u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0438\u043b\u0430\u0441\u044c \u0432 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443! \u0410 \u0437\u043d\u0430\u0447\u0438\u0442 \u043f\u043b\u044e\u0441 \u0435\u0449\u0435 \u043e\u0434\u043d\u0430 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u043a\u0430\u0442\u043a\u0438 \u0442\u0435\u0441\u0442\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u0431\u0440\u0430\u0442\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0443\u00a0<code>other_revenue<\/code>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u043e\u0442 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u043d\u0435 \u043c\u0435\u043d\u044f\u043b\u0438 \u0434\u0438\u0437\u0430\u0439\u043d.\u00a0<strong>\u0415\u0441\u0442\u044c \u0441\u0435\u0440\u044c\u0435\u0437\u043d\u044b\u0435 \u043e\u043f\u0430\u0441\u0435\u043d\u0438\u044f, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0435\u0435 \u043a\u0430\u043d\u043d\u0438\u0431\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c<\/strong>: \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u0441\u0442\u0430\u043b\u0438 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u044c \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u0441 \u043d\u043e\u0432\u044b\u043c \u0434\u0438\u0437\u0430\u0439\u043d\u043e\u043c \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043b\u0438 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u0438\u0435 \u0443\u0441\u043b\u0443\u0433\u0438 \u0438\u0437-\u0437\u0430 \u0438\u0445 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0431\u044e\u0434\u0436\u0435\u0442\u0430 \u0438\u043b\u0438 \u043c\u0435\u043d\u0435\u0435 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u044f \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u043e\u0431\u043d\u043e\u0432\u043b\u0435\u043d\u043d\u043e\u0439 \u0443\u0441\u043b\u0443\u0433\u043e\u0439. \u041c\u044b \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u0438\u0433\u043d\u043e\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u0434\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0443 \u043d\u0435\u0451 \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<pre><code class=\"python\">metric = 'other_revenue' test = np.array(exp_df[(exp_df['group'] == 'test')][metric]) control = np.array(exp_df[(exp_df['group'] == 'control')][metric])  results = absolute_ttest(control, test, two_sided_alpha=0.1)  print(f'Effect: {round(results.effect, 1)} \u0440\u0443\u0431., ({round(results.left_bound, 1)}, {round(results.right_bound, 1)})') print(f'two-sided pvalue: {round(results.pvalue * 100, 1)}%, one-sided pvalue: {round(results.pvalue \/ 2 * 100, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>Effect: -6.5 \u0440\u0443\u0431., (-15.9, 3.0) <br \/>two-sided pvalue: 25.8%, one-sided pvalue: 12.9%  <\/p>\n<\/blockquote>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430\u0441 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u043e\u043a\u0440\u0430\u0441\/\u043d\u0435 \u043f\u0440\u043e\u043a\u0440\u0430\u0441, \u0430 \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0433\u043b\u043e \u0431\u044b\u0442\u044c \u0441\u0438\u043b\u044c\u043d\u043e\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u0435? \u041e\u043d\u0430 \u0438\u0434\u0435\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u043e\u0433\u043b\u0430 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0443\u0431\u0440\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u043e\u0442 \u0442\u0435\u0441\u0442\u0430.<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE.<\/p>\n<pre><code class=\"python\">MDE = get_relative_MDE(test, control, alpha=0.05, beta=0.2)  print(f\"\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0440\u0430\u0432\u0435\u043d {round(MDE * 100, 1)}%\")<\/code><\/pre>\n<blockquote>\n<p>\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 MDE \u0440\u0430\u0432\u0435\u043d 5.4%  <\/p>\n<\/blockquote>\n<p>MDE \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0438 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0441 \u044d\u0442\u0438\u043c \u0434\u0435\u043b\u0430\u0442\u044c. \u0414\u043b\u044f \u0444\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u0438\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0430\u043c \u043d\u0435 \u0445\u0432\u0430\u0442\u0430\u0435\u0442 \u043b\u0443\u0447\u0448\u0435\u0439 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<p><a class=\"anchor\" name=\"section4\" id=\"section4\"><\/a><\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 3. \u0413\u0440\u0430\u043c\u043e\u0442\u043d\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432<\/h3>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043c\u044b \u0441\u043e\u0441\u0440\u0435\u0434\u043e\u0442\u043e\u0447\u0438\u043c\u0441\u044f \u043d\u0430 \u0442\u043e\u043c, \u043a\u0430\u043a \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0438 \u043f\u0440\u043e\u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u043c \u044d\u0442\u043e \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043a\u0435\u0439\u0441\u0430.<\/p>\n<ul>\n<li>\n<p>\u0421\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0438 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c p-value \u2014 \u043d\u0435\u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043d\u0438 \u0432\u0430\u043c, \u043d\u0438 \u043a\u043e\u043b\u043b\u0435\u0433\u0430\u043c. \u0413\u043b\u044f\u0434\u044f \u043d\u0430 \u043d\u0435\u0433\u043e, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0441\u0442\u0430\u043b\u043e \u043b\u0438 \u043b\u0443\u0447\u0448\u0435 \u0438\u043b\u0438 \u0445\u0443\u0436\u0435, \u043d\u043e \u043d\u0435 \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0432\u0430\u043c \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u00ab\u0441\u0435\u0440\u044b\u0435\u00bb \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b: \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u043b\u0438 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0430 \u0441 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430 \u0438\u043b\u0438 \u0441 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0438\u043c \u044d\u0444\u0444\u0435\u043a\u0442\u043e\u043c?<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043d\u0430 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<\/blockquote>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0440<\/em>: \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0443 +100 \u041c, p-value 0.01 \u043d\u0435 \u0442\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u043d\u043e \u043a\u0430\u043a: \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430 \u0432\u044b\u0440\u0443\u0447\u043a\u0443 +100 \u041c\u00a0\u00b1\u00a050 M.<\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u043a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0443\u0431\u0435\u0434\u0438\u043b\u0438\u0441\u044c, \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0442\u0440\u0443\u0434\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u044d\u0444\u0444\u0435\u043a\u0442 0.035 \u2013\u00a0<code>promotion_listings<\/code>\u00a0\u044d\u0442\u043e \u043c\u043d\u043e\u0433\u043e \u0438\u043b\u0438 \u043c\u0430\u043b\u043e? \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u043d\u0430\u0443\u0447\u0438\u0442\u044c\u0441\u044f \u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0441\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b. \u0422\u0430\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u043c\u044b. \u041d\u043e, \u043a\u0430\u043a \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0434\u0430\u043b\u0435\u0435, \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a \u043f\u0440\u043e\u0441\u0442\u043e.<\/p>\n<\/li>\n<\/ul>\n<p><em>\u041f\u0440\u0438\u043c\u0435\u0440<\/em>: \u044d\u0444\u0444\u0435\u043a\u0442 +20000 \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u0432 \u043c\u0435\u0441\u044f\u0446 \u043d\u0435 \u0442\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u043a\u0430\u043a +5% \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u0432 \u043c\u0435\u0441\u044f\u0446.<\/p>\n<h4>3.1 \u0414\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430<\/h4>\n<p>\u041f\u0435\u0440\u0432\u043e\u0435, \u0447\u0442\u043e\u00a0<strong>\u0432\u0430\u043c \u043d\u0435 \u043d\u0430\u0434\u043e \u0434\u0435\u043b\u0430\u0442\u044c<\/strong>\u00a0\u2014 \u044d\u0442\u043e \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430 \u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c \u0435\u0433\u043e \u043d\u0430 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d3\/af0\/9e7\/9d3af09e7fa3c6fc108096f7c4ab9f61.png\" sizes=\"(max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/9d3\/af0\/9e7\/9d3af09e7fa3c6fc108096f7c4ab9f61.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/9d3\/af0\/9e7\/9d3af09e7fa3c6fc108096f7c4ab9f61.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<blockquote>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443? \u0427\u0438\u0442\u0430\u0439\u00a0<a href=\"https:\/\/clc.to\/ppj1IA\" rel=\"noopener noreferrer nofollow\">\u0442\u0443\u0442<\/a>, \u0441\u0435\u043a\u0446\u0438\u044f \u00ab\u041e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 T-test \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439\u00bb.<\/p>\n<\/blockquote>\n<p>\u041f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0434\u043b\u044f \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0439 \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0434\u0432\u0443\u043c\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430\u043c\u0438: \u0447\u0435\u0440\u0435\u0437 \u043b\u0438\u043d\u0435\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044e \u0438\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 \u0434\u0435\u043b\u044c\u0442\u0430-\u043c\u0435\u0442\u043e\u0434. \u041e\u0431\u0430 \u044d\u0442\u0438\u0445 \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u044b \u0443\u0436\u0435\u00a0<a href=\"https:\/\/clc.to\/q2xDTQ\" rel=\"noopener noreferrer nofollow\">\u0440\u0430\u0437\u0431\u0438\u0440\u0430\u043b\u0438 \u043d\u0430 \u043a\u0443\u0440\u0441\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438<\/a>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u0435\u043b\u044c\u0442\u0430-\u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443.<\/p>\n<p>\u0421\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430:<img decoding=\"async\" class=\"formula inline\" source=\" \\dfrac{\\overline{T} - \\overline{C}}{\\overline{C}}\" alt=\" \\dfrac{\\overline{T} - \\overline{C}}{\\overline{C}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/988\/415\/c9f\/988415c9fdb481b661066397a49f954d.svg\" width=\"64\" height=\"57\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/988\/415\/c9f\/988415c9fdb481b661066397a49f954d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/988\/415\/c9f\/988415c9fdb481b661066397a49f954d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u0431\u0443\u0434\u0435\u0442 \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f: <img decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{N}\\left(\\dfrac{\\mathbb{E}  T - \\mathbb{E} C}{\\mathbb{E}  C} ,\\mathbf{D}\\right)\" alt=\"\\mathrm{N}\\left(\\dfrac{\\mathbb{E}  T - \\mathbb{E} C}{\\mathbb{E}  C} ,\\mathbf{D}\\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1c\/46e\/e97\/a1c46ee970999d1bdb22d55465d7f27a.svg\" width=\"158\" height=\"50\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1c\/46e\/e97\/a1c46ee970999d1bdb22d55465d7f27a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a1c\/46e\/e97\/a1c46ee970999d1bdb22d55465d7f27a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>,<\/p>\n<p>\u0433\u0434\u0435 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f \u0440\u0430\u0441\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a:\u00a0<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\mathbf{D}\\left[\\dfrac{\\overline{T} - \\overline{C}}{\\overline{C}}\\right] \\approx \\dfrac{\\mathbf{D}\\left[{\\overline{T} - \\overline{C}}\\right]}{(\\mathrm{E}\\overline C)^2} + \\dfrac{\\left(\\mathrm{E}\\left[{\\overline{T} - \\overline{C}}\\right]\\right)^2}{(\\mathrm{E}\\overline C)^4}\\mathbf{D}[\\overline C] - 2 \\dfrac{\\mathrm{E}\\left[{\\overline{T} - \\overline{C}}\\right]}{(\\mathrm{E}\\overline C)^3}\\dfrac{\\text{cov}(T-C, C)}{N}\" alt=\"\\mathbf{D}\\left[\\dfrac{\\overline{T} - \\overline{C}}{\\overline{C}}\\right] \\approx \\dfrac{\\mathbf{D}\\left[{\\overline{T} - \\overline{C}}\\right]}{(\\mathrm{E}\\overline C)^2} + \\dfrac{\\left(\\mathrm{E}\\left[{\\overline{T} - \\overline{C}}\\right]\\right)^2}{(\\mathrm{E}\\overline C)^4}\\mathbf{D}[\\overline C] - 2 \\dfrac{\\mathrm{E}\\left[{\\overline{T} - \\overline{C}}\\right]}{(\\mathrm{E}\\overline C)^3}\\dfrac{\\text{cov}(T-C, C)}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04c\/402\/74b\/04c40274b325dcdd9a6e71afac15ef72.svg\" width=\"695\" height=\"76\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04c\/402\/74b\/04c40274b325dcdd9a6e71afac15ef72.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/04c\/402\/74b\/04c40274b325dcdd9a6e71afac15ef72.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043d\u0430\u043f\u0440\u044f\u043c\u0443\u044e \u0438\u0437 \u0442\u0435\u043e\u0440\u0435\u043c\u044b\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%94%D0%B5%D0%BB%D1%8C%D1%82%D0%B0-%D0%BC%D0%B5%D1%82%D0%BE%D0%B4_(%D1%81%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0)\" rel=\"noopener noreferrer nofollow\">\u0434\u0435\u043b\u044c\u0442\u0430-\u043c\u0435\u0442\u043e\u0434\u0430.<\/a><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0432\u043c\u0435\u0441\u0442\u043e \u043a\u043e\u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0438, \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 \u0438 \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u044b\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (<code>np.cov<\/code>,\u00a0<code>np.var<\/code>,\u00a0<code>np.mean<\/code>) \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u043c\u044b \u0434\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0438 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0430\u043f\u043f\u0440\u043e\u043a\u0441\u0438\u043c\u0430\u0446\u0438\u044e \u0434\u043b\u044f t-test \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f (<a href=\"https:\/\/clc.to\/jiB4tw\" rel=\"noopener noreferrer nofollow\">\u0438\u0449\u0438\u0442\u0435 \u0432 \u043c\u0435\u0442\u043e\u0434\u0438\u0447\u043a\u0435 t-test<\/a>\u00a0\u0440\u0430\u0437\u0434\u0435\u043b\u00a0<code>t'-test<\/code>).<\/p>\n<pre><code class=\"python\">def relative_ttest(control, test, two_sided_alpha):      mean_control = np.mean(control)     var_mean_control  = np.var(control) \/ len(control)      difference_mean = np.mean(test) - mean_control     difference_mean_var  = np.var(test) \/ len(test) + var_mean_control      # \u042d\u0442\u043e \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0438\u0437 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0442\u0435\u0441\u0442 \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439.     covariance = -var_mean_control      # \u043d\u0430\u0448\u0430 \u043e\u0446\u0435\u043d\u043a\u0430 \u044d\u0444\u0444\u0435\u043a\u0442\u0430     relative_effect = difference_mean \/ mean_control      # \u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u043b\u0438 \u0441\u0442\u0440\u0430\u0448\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0432\u044b\u0448\u0435     relative_var = difference_mean_var \/ (mean_control ** 2) \\           + var_mean_control * ((difference_mean ** 2) \/ (mean_control ** 4))\\           - 2 * (difference_mean \/ (mean_control ** 3)) * covariance     relative_distribution = sps.norm(loc=relative_effect,                                       scale=np.sqrt(relative_var))      # \u0414\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u2013 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u0432\u0430\u043d\u0442\u0438\u043b\u0438 \u043d\u0430\u0448\u0435\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f.     left_bound, right_bound = relative_distribution.ppf(                 [two_sided_alpha \/ 2, 1 - two_sided_alpha \/ 2]     )     ci_length = (right_bound - left_bound)     pvalue = 2 * min(relative_distribution.cdf(0), relative_distribution.sf(0))     return ExperimentComparisonResults(pvalue, relative_effect,                                         ci_length, left_bound, right_bound)<\/code><\/pre>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e, \u0447\u0442\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u0435\u0440\u0435\u043d:<\/p>\n<pre><code class=\"python\">bad_cnt = 0  N = 1000 for i in tqdm_notebook(range(N)):     control = sps.expon(scale=1000).rvs(1000)     # \u041c\u0430\u0442. \u043e\u0436 \u0432 1.1 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435     test = sps.expon(scale=1100).rvs(1000)      _, _, _, left_bound, right_bound = relative_ttest(           control, test, two_sided_alpha=0.1     )     if left_bound &gt; 0.1 or right_bound &lt; 0.1:         bad_cnt += 1  left_real_level, right_real_level = proportion_confint(     count = bad_cnt, nobs = N, alpha=0.05, method='wilson' ) # \u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. print(f\"\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: {round(bad_cnt \/ N, 4)};\"       f\" \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [{round(left_real_level, 4)},\"\\       f\" {round(right_real_level, 4)}]\")<\/code><\/pre>\n<blockquote>\n<p>100% <br \/>1000\/1000\u2007[00:05&amp;lt;00:00,\u2007367.87it\/s] <br \/>\u0420\u0435\u0430\u043b\u044c\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438: 0.096; \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b: [0.0793, 0.1158]<\/p>\n<\/blockquote>\n<p>\u0414\u0430, \u0432\u0441\u0451 \u0432\u0435\u0440\u043d\u043e!<\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0430 \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0441\u043b\u0443\u0447\u0430\u0435 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043c\u0435\u0442\u0440\u0438\u043a:<\/p>\n<pre><code class=\"python\">results_dict = {} for metric in ['lin_revenue_listers', 'promotion_listings', 'other_revenue', 'promotion_listers']:     test = np.array(exp_df[(exp_df['group'] == 'test')][metric])     control = np.array(exp_df[(exp_df['group'] == 'control')][metric])     results = relative_ttest(control, test, two_sided_alpha=0.1)     delta = results.ci_length \/ 2     results_dict[metric] = results     print(f'{metric}: {round(results.effect * 100, 1)}% \u00b1 {round(delta * 100, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>lin_revenue_listers: -1.9% \u00b1 4.1% <br \/>promotion_listings: 3.5% \u00b1 3.2% <br \/>other_revenue: -2.5% \u00b1 3.5% <br \/>promotion_listers: 1.8% \u00b1 1.2%  <\/p>\n<\/blockquote>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043a\u0430\u0436\u0443\u0442\u0441\u044f \u0441\u0438\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0433\u043b\u044f\u0434\u043d\u044b\u043c\u0438\u00a0<strong>\u043f\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438<\/strong>.<\/p>\n<p>\u041d\u043e \u043c\u044b \u0432\u0441\u0435 \u0435\u0449\u0435 \u043d\u0435 \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u044c:\u00a0<code>other_revenue: -2.5% \u00b1 3.5%<\/code>\u00a0\u043f\u0435\u0440\u0435\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u043b\u0438 \u044d\u0444\u0444\u0435\u043a\u0442\u00a0<code>promotion_listers: 1.8% \u00b1 1.2%<\/code>\u00a0\u0438\u043b\u0438 \u043d\u0435\u0442?<\/p>\n<p>\u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435\u00a0<code>other_revenue<\/code>\u00a0\u0438\u00a0<code>promotion_revenue<\/code>\u00a0\u043c\u0435\u0436\u0434\u0443 \u0441\u043e\u0431\u043e\u0439.<\/p>\n<pre><code class=\"python\">other_sum = np.sum(np.array(exp_df[(exp_df['group'] == 'control')]['other_revenue'])) promotion_sum = np.sum(np.array(exp_df[(exp_df['group'] == 'control')]['promotion_revenue'])) full_revenue = other_sum + promotion_sum  other_pct = np.sum(other_sum) \/ np.sum(full_revenue) * 100 print(f\"other_revenue \/ full revenue = {round(other_pct, 0)}%\")<\/code><\/pre>\n<blockquote>\n<p>other_revenue \/ full revenue = 25.0%  <\/p>\n<\/blockquote>\n<p><code>other_revenue<\/code>\u00a0\u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 25% \u043e\u0442 \u0432\u0441\u0435\u0439 \u0432\u044b\u0440\u0443\u0447\u043a\u0438, \u0430\u00a0<code>promotion_revenue<\/code>\u00a0\u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 75%.<\/p>\n<p>\u041a\u0430\u043a \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u0440\u0430\u043d\u0435\u0435, \u043c\u044b \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u0440\u043e\u0441\u0442\u00a0<code>promotion_listers<\/code>\u00a0\u0432\u0435\u0434\u0435\u0442 \u043a \u0442\u0430\u043a\u043e\u043c\u0443 \u0436\u0435 \u0440\u043e\u0441\u0442\u0443\u00a0<code>promotion_revenue<\/code>. \u0423 \u043d\u0430\u0441 \u043d\u0435\u0442 \u043e\u043f\u0430\u0441\u0435\u043d\u0438\u0439, \u0447\u0442\u043e\u00a0<code>promotion_revenue \/ promotion_listers<\/code>\u00a0\u0443\u043f\u0430\u043b.<\/p>\n<p>\u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u0448\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u0438 \u043a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c:<\/p>\n<pre><code class=\"python\">pct_dict = {     'other_revenue': 0.25,     'promotion_listers': 0.75 } for metric in pct_dict:     curr_results = results_dict[metric]     delta = curr_results.ci_length \/ 2     coeff = pct_dict[metric]     print(f'{metric} revenue influence: '\\           f'{round(curr_results.effect * 100 * coeff, 1)}% \u00b1'\\           f' {round(delta * 100 * coeff, 1)}%')<\/code><\/pre>\n<blockquote>\n<p>other_revenue revenue influence: -0.6% \u00b1 0.9% promotion_listers revenue influence: 1.3% \u00b1 0.9%<\/p>\n<\/blockquote>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c \u043e\u0446\u0435\u043d\u043e\u0447\u043d\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u0432\u044b\u0440\u043e\u0441\u043b\u0430 \u043d\u0430 0,7% (= 1,3 &#8212; 0,6). \u0410 \u043a\u0430\u043a\u043e\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b? \u0422\u0430\u043a \u043a\u0430\u043a \u0441\u0440\u0435\u0434\u043d\u0438\u0435 \u043f\u043e \u0426\u041f\u0422 \u0438\u0437 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0442\u043e \u044d\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043d\u043e \u043b\u0435\u0433\u0447\u0435 \u043d\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c:<\/p>\n<pre><code class=\"python\">std = 0.9 \/ sps.norm().ppf(1 - alpha) other_revenue_effect_gen_sample = sps.norm(loc=-0.6, scale=std).rvs(1000) promo_revenue_effect_gen_sample = sps.norm(loc=1.3, scale=std).rvs(1000)  left, right = np.quantile(other_revenue_effect_gen_sample +                            promo_revenue_effect_gen_sample, [0.05, 0.95])  print(f\"full revenue effect CI: ({round(left, 1)}%, {round(right, 1)}%)\")<\/code><\/pre>\n<blockquote>\n<p>full revenue effect CI: (-0.4%, 2.0%)<\/p>\n<\/blockquote>\n<p>\u0423 \u043d\u0430\u0441 \u043d\u0435\u0442 \u0442\u043e\u0447\u043d\u044b\u0445 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043d\u0435 \u043c\u043e\u0433\u043b\u0430 \u0441\u043d\u0438\u0437\u0438\u0442\u044c\u0441\u044f, \u043d\u043e \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0435\u0451 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u043d\u0435 \u043f\u0440\u0435\u0432\u044b\u0441\u0438\u043b\u043e 0,4%.<\/p>\n<p>\u041e\u0431\u043b\u0430\u0434\u0430\u044f \u044d\u0442\u0438\u043c\u0438 \u0434\u0430\u043d\u043d\u044b\u043c\u0438, \u0432\u044b \u0438 \u0432\u0430\u0448 \u0431\u0438\u0437\u043d\u0435\u0441-\u043f\u0430\u0440\u0442\u043d\u0451\u0440 \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u0438\u0438 \u043d\u043e\u0432\u043e\u0433\u043e \u0434\u0438\u0437\u0430\u0439\u043d\u0430. \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e, \u0431\u0443\u0434\u0435\u0442 \u0440\u0435\u0448\u0435\u043d\u043e \u043a\u0430\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u041c\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u043b\u0438 \u0438 \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0442\u0435\u043a\u0443\u0449\u0443\u044e \u0443\u0441\u043b\u0443\u0433\u0443 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u0447\u0442\u043e, \u043a\u0430\u043a \u043c\u0438\u043d\u0438\u043c\u0443\u043c, \u043f\u0440\u0438\u0432\u0435\u043b\u043e \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u0447\u0438\u0441\u043b\u0430 \u043f\u043e\u043a\u0443\u043f\u043e\u043a \u0438 \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u0435\u043b\u0435\u0439. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0431\u044b\u043b\u043e \u0437\u0430\u043c\u0435\u0447\u0435\u043d\u043e \u0441\u043d\u0438\u0436\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0432 \u0434\u0440\u0443\u0433\u0438\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0430\u0445 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u0410 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u043e\u0435, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u043d\u0435 \u0442\u0430\u043a\u0438\u043c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c.<\/p>\n<blockquote>\n<p><em>\u041d\u0430 \u0431\u0443\u0434\u0443\u0449\u0435\u0435: \u0432\u0430\u0436\u043d\u043e \u043f\u0440\u0438 \u0441\u0435\u0442\u0430\u043f\u0435 \u0442\u0435\u0441\u0442\u0430 \u0442\u0430\u043a\u0436\u0435 \u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0442\u044c \u0438 \u043f\u0440\u043e \u0440\u0430\u0441\u0441\u0447\u0435\u0442 MDE \u0434\u043b\u044f \u043a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a.<\/em><\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"section5\" id=\"section5\"><\/a><\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 4. \u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d A\/B-\u0442\u0435\u0441\u0442\u043e\u0432, \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f<\/h3>\n<p>\u041c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u044f A\/B-\u0442\u0435\u0441\u0442\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 3 \u044d\u0442\u0430\u043f\u0430:<\/p>\n<ol>\n<li>\n<p>\u0421\u0435\u0442\u0430\u043f \u0442\u0435\u0441\u0442\u0430.<\/p>\n<p>    A. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443 \u0442\u0435\u0441\u0442\u0430 \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0431\u0438\u0437\u043d\u0435\u0441 \u043b\u043e\u0433\u0438\u043a\u0438. \u0421\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0439\u0442\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443, \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0439\u0442\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438, \u0438\u043b\u0438 False Positive Rate.<\/p>\n<p>    B. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u043a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432\u0430\u0448\u0435\u0433\u043e \u0442\u0435\u0441\u0442\u0430.<\/p>\n<p>    C. \u041e\u0446\u0435\u043d\u0438\u0442\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u044d\u0444\u0444\u0435\u043a\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u043d\u0443\u044e \u043c\u0435\u0442\u0440\u0438\u043a\u0443.<\/p>\n<p>    D. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0441\u0435\u0442\u0430\u043f \u0442\u0435\u0441\u0442\u0430 \u043f\u043e MDE.<\/p>\n<p>        1. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u0433\u0440\u0443\u043f\u043f \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<p>        2. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u0434\u043b\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u0430.<\/p>\n<p>        3. MDE \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0441\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u044d\u0444\u0444\u0435\u043a\u0442\u0430? \u0422\u043e\u0433\u0434\u0430 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442\u0435 \u043a \u0437\u0430\u043f\u0443\u0441\u043a\u0443 \u0442\u0435\u0441\u0442\u0430.<\/p>\n<p>        4. \u0415\u0441\u043b\u0438 \u043d\u0435\u0442, \u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u0435 \u043f\u0440\u043e\u043a\u0441\u0438-\u043c\u0435\u0442\u0440\u0438\u043a\u0438: \u043f\u0440\u043e\u0431\u0438\u043b\u043e \u043b\u0438 MDE \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0438\u0437 \u043c\u0435\u0442\u0440\u0438\u043a \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442? \u0414\u043e\u0431\u0430\u0432\u044c\u0442\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u0440\u0438 \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u0438 \u043d\u0430\u0448\u0435\u0439 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0430 \u0447\u0430\u0441\u0442\u0438, \u043a\u0430\u043a \u043a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0434\u043b\u044f health \u0447\u0435\u043a\u0430 \u0432\u0430\u0448\u0435\u0433\u043e AB-\u0442\u0435\u0441\u0442\u0430.<\/p>\n<p>        5. \u041f\u0440\u043e\u0432\u0435\u0440\u044c\u0442\u0435, \u0447\u0442\u043e \u0443 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043a\u043e\u043d\u0442\u0440-\u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043d\u0435 \u043e\u0447\u0435\u043d\u044c \u0448\u0438\u0440\u043e\u043a\u0438\u0439 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b. \u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0441\u0442\u043e\u043b\u044c \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0448\u0430\u0433, \u043d\u043e \u043e\u0447\u0435\u043d\u044c \u0436\u0435\u043b\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439. \u0418\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u2013 \u043f\u0440\u043e\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u0441 \u043d\u0438\u043c \u0432\u0441\u0451 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435, \u0447\u0442\u043e \u0438 \u0441 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439. <\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0442\u0435\u0441\u0442\u0430. \u041f\u043e\u0434\u043e\u0436\u0434\u0438\u0442\u0435 \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u0440\u043e\u043a\u0430 \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0441\u0435\u0442\u0430\u043f\u0430 \u0442\u0435\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0410\u043d\u0430\u043b\u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u043e\u0446\u0435\u043d\u0438\u0442\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0435\u043c;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435 \u0437\u0430\u0431\u044b\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u0417\u0434\u0435\u0441\u044c \u0432\u0430\u043c \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u0439\u0442\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 T-test.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ol>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f46\/81c\/cfa\/f4681ccfa21af8f7c4f2c439a76f2cfe.PNG\" alt=\"\u041a\u043b\u0438\u043a\u043d\u0438 \u0437\u0434\u0435\u0441\u044c \u0438 \u0443\u0437\u043d\u0430\u0435\u0448\u044c  \" title=\"\u041a\u043b\u0438\u043a\u043d\u0438 \u0437\u0434\u0435\u0441\u044c \u0438 \u0443\u0437\u043d\u0430\u0435\u0448\u044c  \" width=\"1320\" height=\"300\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/f46\/81c\/cfa\/f4681ccfa21af8f7c4f2c439a76f2cfe.PNG 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f46\/81c\/cfa\/f4681ccfa21af8f7c4f2c439a76f2cfe.PNG 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption><a href=\"https:\/\/clc.to\/vtMlJg\" rel=\"noopener noreferrer nofollow\">\u041a\u043b\u0438\u043a\u043d\u0438 \u0437\u0434\u0435\u0441\u044c \u0438 \u0443\u0437\u043d\u0430\u0435\u0448\u044c<\/a>  <\/figcaption><\/div>\n<\/figure>\n<p><a class=\"anchor\" name=\"section6\" id=\"section6\"><\/a><\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 5. \u0418\u0442\u043e\u0433\u0438<\/h3>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u0441 \u0432\u0430\u043c\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043b\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0436\u043d\u044b\u0445 \u0430\u0441\u043f\u0435\u043a\u0442\u043e\u0432 A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p>\u043f\u043e\u043d\u044f\u043b\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435;<\/p>\n<\/li>\n<li>\n<p>\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438\u0441\u044c \u0441 \u043e\u0441\u043d\u043e\u0432\u0430\u043c\u0438 \u0433\u0440\u0430\u043c\u043e\u0442\u043d\u043e\u0433\u043e \u0441\u0435\u0442\u0430\u043f\u0430 A\/B-\u0442\u0435\u0441\u0442\u043e\u0432;<\/p>\n<\/li>\n<li>\n<p>\u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b A\/B-\u0442\u0435\u0441\u0442\u043e\u0432, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 T-test.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u044d\u0442\u043e\u043c \u0432\u0441\u0451! \u0415\u0441\u043b\u0438 \u0432\u044b \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0437\u0443\u0447\u0438\u0442\u0435 \u0432\u0435\u0441\u044c \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u0442\u043e \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u043f\u0440\u043e\u0439\u0442\u0438 \u0441\u043e\u0431\u0435\u0441\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e A\/B-\u0442\u0435\u0441\u0442\u0430\u043c \u043d\u0430 \u0434\u043e\u043b\u0436\u043d\u043e\u0441\u0442\u044c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430.<\/p>\n<p>\u0410 \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u0438\u0442\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u043d\u0430\u043c\u0438 \u043f\u043e\u043c\u043e\u0433\u0430\u0442\u044c \u043b\u044e\u0434\u044f\u043c \u0438 \u0431\u0438\u0437\u043d\u0435\u0441\u0443 \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438 \u2014 \u043f\u0440\u0438\u0441\u043e\u0435\u0434\u0438\u043d\u044f\u0439\u0442\u0435\u0441\u044c \u043a \u043a\u043e\u043c\u0430\u043d\u0434\u0430\u043c. \u0421\u0432\u0435\u0436\u0438\u0435 \u0432\u0430\u043a\u0430\u043d\u0441\u0438\u0438 \u0435\u0441\u0442\u044c\u00a0<a href=\"https:\/\/clc.to\/1QTHTg\" rel=\"noopener noreferrer nofollow\">\u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043a\u0430\u0440\u044c\u0435\u0440\u043d\u043e\u043c \u0441\u0430\u0439\u0442\u0435<\/a>.  <\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/936804\/\"> https:\/\/habr.com\/ru\/articles\/936804\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0414\u0438\u043c\u0430 \u041b\u0443\u043d\u0438\u043d, \u044f \u0430\u0432\u0442\u043e\u0440 \u043a\u0443\u0440\u0441\u0430 \u043f\u043e \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043c \u0432 <a href=\"https:\/\/clc.to\/LV3FBg\" rel=\"noopener noreferrer nofollow\">\u0410\u043a\u0430\u0434\u0435\u043c\u0438\u0438 \u0410\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u043e\u0432 \u0410\u0432\u0438\u0442\u043e<\/a>. \u0412 \u0442\u0435\u043a\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0447\u0443 &#171;\u043e\u0431\u043a\u0430\u0442\u0430\u0442\u044c&#187; \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043d\u0430 \u043d\u0430\u0448\u0435\u043c \u043a\u0443\u0440\u0441\u0435, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u043e\u0439 \u043f\u043e \u0410\u0411-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0441 \u0440\u0435\u0431\u044f\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441\u0432\u043e\u0439 \u043f\u0443\u0442\u044c \u0432 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0435, \u043d\u043e \u0443\u0436\u0435 \u0438\u043c\u0435\u044e\u0442 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0438 \u0432 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437. <\/p>\n<blockquote>\n<p>\u0426\u0435\u043b\u044c \u0441\u0442\u0430\u0442\u044c\u0438 \u2014 \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e\u0433\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u0435\u0439\u0441\u0430 \u043f\u043e\u043b\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0443 A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043e\u0431\u044a\u044f\u0441\u043d\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 \u0438 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u044f\u0442 \u0437\u0430 \u043a\u0430\u0436\u0434\u044b\u043c \u0448\u0430\u0433\u043e\u043c \u043f\u0440\u0438 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430. \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u0441\u0442\u0430\u0442\u044c\u044f \u0441\u043d\u0430\u0431\u0436\u0435\u043d\u0430 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043a\u043e\u0434\u0430 (\u0432\u0441\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/DimaLunin\/AB_manual\/tree\/main\/Lecture_1\" rel=\"noopener noreferrer nofollow\">\u0433\u0438\u0442\u0445\u0430\u0431\u0435<\/a>), \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0432\u044b \u0441\u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0442\u043e\u043c \u043f\u0435\u0440\u0435\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0441\u0435\u0431\u044f. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0437\u0430\u0442\u0440\u043e\u043d\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u043d\u0430\u043d\u0438\u044f \u043f\u043e A\/B, \u0430 \u043f\u0440\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u043f\u0440\u043e\u0434\u0432\u0438\u043d\u0443\u0442\u044b\u0435 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u043c\u044b \u043f\u043e\u0433\u043e\u0432\u043e\u0440\u0438\u043c \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437, \u0435\u0441\u043b\u0438 \u0441\u0442\u0430\u0442\u044c\u044f \u0432\u0430\u043c \u043f\u043e\u043d\u0440\u0430\u0432\u0438\u0442\u0441\u044f!<\/p>\n<\/blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u043e:<\/strong>\u00a0\u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c \u0443\u0436\u0435 \u0445\u043e\u0440\u043e\u0448\u043e \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0440\u043e\u0434\u0430, \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c. \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0434\u043e \u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u0442\u0430\u043a\u043e\u0435 \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b, \u043a\u0430\u043a \u0438 \u0432 \u043a\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 t-test, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0432\u0430\u043b\u0438\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0438 \u041c\u043e\u043d\u0442\u0435-\u041a\u0430\u0440\u043b\u043e. \u0415\u0441\u043b\u0438 \u0432\u044b \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0442\u0443\u0442 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0431\u0435\u043b\u044b \u0432 \u0437\u043d\u0430\u043d\u0438\u044f\u0445, \u0442\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u043e\u0432\u0435\u0442\u0443\u044e \u043f\u0440\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c\u00a0<a href=\"https:\/\/clc.to\/q2xDTQ\" rel=\"noopener noreferrer nofollow\">\u043a\u0443\u0440\u0441 \u043f\u043e \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u043e\u0442 \u0410\u0410\u0410<\/a>, \u043b\u0435\u043a\u0446\u0438\u0438 1-5.<\/p>\n<figure class=\"full-width\"><\/figure>\n<h3>\u0421\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435:<\/h3>\n<ol>\n<li>\n<p><a href=\"#section1\" rel=\"noopener noreferrer nofollow\">\u0417\u0430\u0434\u0430\u0447\u0430<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section2\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 1. \u041f\u0435\u0440\u0432\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section3\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 2. \u0425\u043e\u0440\u043e\u0448\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0410\u0411-\u0442\u0435\u0441\u0442 \u043d\u0430 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section4\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 3. \u0413\u0440\u0430\u043c\u043e\u0442\u043d\u0430\u044f \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u044f \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section5\" rel=\"noopener noreferrer nofollow\">\u0427\u0430\u0441\u0442\u044c 4. \u041f\u0430\u0439\u043f\u043b\u0430\u0439\u043d A\/B-\u0442\u0435\u0441\u0442\u043e\u0432, \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f<\/a>.<\/p>\n<\/li>\n<li>\n<p><a href=\"#section6\" rel=\"noopener noreferrer nofollow\">\u0418\u0442\u043e\u0433\u0438<\/a>. <\/p>\n<\/li>\n<\/ol>\n<p>\u0412\u0435\u0441\u044c \u0442\u0435\u043a\u0441\u0442 \u0434\u0430\u043b\u0435\u0435 \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0438 \u043d\u0430 <a href=\"https:\/\/github.com\/DimaLunin\/AB_manual\/tree\/main\/Lecture_1\" rel=\"noopener noreferrer nofollow\">\u0433\u0438\u0442\u0445\u0430\u0431\u0435<\/a>!<\/p>\n<p><a class=\"anchor\" name=\"section1\" id=\"section1\"><\/a><\/p>\n<h3>\u0417\u0430\u0434\u0430\u0447\u0430<\/h3>\n<p>\u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u044c\u0442\u0435, \u0447\u0442\u043e \u043a \u0432\u0430\u043c \u043e\u0431\u0440\u0430\u0442\u0438\u043b\u0441\u044f \u0432\u0430\u0448 \u043c\u0435\u043d\u0435\u0434\u0436\u0435\u0440 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0441 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u0438\u0435\u043c:<\/p>\n<blockquote>\n<p>\u041c\u044b \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u0443\u0441\u043b\u0443\u0433 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0430\u0439\u0442\u0435 \u0438 \u0438\u0445 \u0438\u043d\u0442\u0435\u0440\u0444\u0435\u0439\u0441, \u0447\u0442\u043e\u0431\u044b \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0445 \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u044b\u043c\u0438 \u0438 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0434\u043b\u044f \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439. \u041c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442 \u043a \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u044e \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u043d\u0430\u0448\u0443 \u0443\u0441\u043b\u0443\u0433\u0443. \u041a\u0430\u043a \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0442\u043e \u0441\u0442\u0430\u043b\u043e \u043b\u0443\u0447\u0448\u0435?<\/p>\n<\/blockquote>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430 \u0437\u0430\u0434\u0430\u0447 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430\u00a0<strong>A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f<\/strong>. \u041e\u043d\u0430 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0448\u0430\u0433\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0430\u0443\u0434\u0438\u0442\u043e\u0440\u0438\u044f \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0435 \u0438\u043b\u0438 \u0431\u043e\u043b\u0435\u0435 \u0433\u0440\u0443\u043f\u043f\u044b: \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0443\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043d\u0435 \u0431\u0443\u0434\u0443\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c\u0441\u044f \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f, \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0443\u044e, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0435\u0442 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u043e\u0432\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f;<\/p>\n<\/li>\n<li>\n<p>\u0441\u043e\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0438\u0437 \u0433\u0440\u0443\u043f\u043f \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438;<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e\u0434\u0432\u043e\u0434\u044f\u0442\u0441\u044f \u0438\u0442\u043e\u0433\u0438 \u0442\u0435\u0441\u0442\u0430: \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u0432 \u0440\u0430\u0437\u043d\u044b\u0445 \u0433\u0440\u0443\u043f\u043f\u0430\u0445 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u0438 \u043d\u0430 \u0438\u0445 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f, \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u0430\u044f \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u0443\u0441\u043f\u0435\u0448\u043d\u0430 \u0438\u043b\u0438 \u043d\u0435\u0442.<\/p>\n<\/li>\n<\/ul>\n<blockquote>\n<p><strong>\u0412\u0430\u0436\u043d\u043e:<\/strong> \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u044b \u043d\u0435 \u0432\u0441\u0435 \u0448\u0430\u0433\u0438 A\/B-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0430 \u043b\u0438\u0448\u044c \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0435, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0435 \u0434\u043b\u044f \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u043e\u0434\u043e\u043b\u043e\u0433\u0438\u0438. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0445 \u0434\u043e\u043f\u043e\u043b\u043d\u044f\u0442\u044c.<\/p>\n<\/blockquote>\n<p><a class=\"anchor\" name=\"section2\" id=\"section2\"><\/a><\/p>\n<h3>\u0427\u0430\u0441\u0442\u044c 1. \u041f\u0435\u0440\u0432\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442<\/h3>\n<h4>\u041f\u0435\u0440\u0432\u044b\u0439 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 A\/B-\u0442\u0435\u0441\u0442.<\/h4>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f, \u043a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 A\/B-\u0442\u0435\u0441\u0442. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c, \u043a\u0430\u043a\u0443\u044e \u0438\u043c\u0435\u043d\u043d\u043e \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043c\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c: \u0440\u043e\u0441\u0442 \u0441\u043f\u0440\u043e\u0441\u0430 \u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f. \u0410 \u0437\u0430\u0447\u0435\u043c \u044d\u0442\u043e \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0438? \u0427\u0442\u043e\u0431\u044b \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0440\u043e\u0441\u0442 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e.<\/p>\n<p><strong>\u041a\u043e\u0433\u0434\u0430 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443?<\/strong>\u00a0\u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u043e (\u0438\u043b\u0438 &#171;\u0440\u0430\u0441\u043a\u0430\u0442\u0430\u043d\u043e&#187;) \u043d\u043e\u0432\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0438\u043b\u0438 \u0435\u0441\u043b\u0438 \u0435\u0433\u043e \u043d\u0435 \u0431\u0443\u0434\u0435\u0442? \u0427\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u0442\u043e\u0447\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u0432\u044b\u0440\u0443\u0447\u043a\u0443 \u0432 \u0434\u0432\u0443\u0445 \u043f\u0430\u0440\u0430\u043b\u043b\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0438\u0440\u0430\u0445: \u0435\u0441\u0442\u044c \u043e\u0434\u0438\u043d \u043c\u0438\u0440, \u0433\u0434\u0435 \u0432\u043d\u0435\u0434\u0440\u0435\u043d\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0438 \u0434\u0440\u0443\u0433\u043e\u0439 \u043c\u0438\u0440, \u0433\u0434\u0435 \u0435\u0433\u043e \u043d\u0435 \u0431\u044b\u043b\u043e.<\/p>\n<p>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0434\u0432\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u043c \u043a\u0435\u0439\u0441\u0435:<\/p>\n<ul>\n<li>\n<p><strong>\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0432 \u043c\u0438\u0440\u0435 1<\/strong>:\u00a0 \u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 <strong>\u0432\u0441\u0435\u0445<\/strong> \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u0432 \u043c\u0438\u0440\u0435 (world, \u043e\u0442\u0441\u044e\u0434\u0430 \u0431\u0443\u043a\u0432\u0430  \ud83d\ude43), \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. <\/p>\n<\/li>\n<li>\n<p><strong>\u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0432 \u043c\u0438\u0440\u0435 2<\/strong>:\u00a0 \u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 <strong>\u0432\u0441\u0435\u0445<\/strong> \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u0432 \u043c\u0438\u0440\u0435, \u0433\u0434\u0435 \u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u043e\u0433\u0434\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0434\u043e \u043b\u0438 \u043a\u0430\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u043d\u0435\u0442, \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c  \u0438 : \u0435\u0441\u043b\u0438 \u0441\u0443\u043c\u043c\u0430  \u0431\u043e\u043b\u044c\u0448\u0435, \u0442\u043e \u043d\u0430\u0434\u043e \u043a\u0430\u0442\u0438\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435, \u0430 \u0438\u043d\u0430\u0447\u0435 \u043d\u0435\u0442. \u041d\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435, \u0442\u0430\u043a\u043e\u0435 \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e: \u043d\u0435\u043b\u044c\u0437\u044f \u0441\u0434\u0435\u043b\u0430\u0442\u044c 2 \u043c\u0438\u0440\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0438 \u0431\u044b\u043b\u0430 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u0430 \u043c\u0435\u0445\u0430\u043d\u0438\u043a\u0430 \u0410\u0411-\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0441\u0435\u0445 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0434\u0435\u043b\u044f\u0442 \u043d\u0430 2 \u0433\u0440\u0443\u043f\u043f\u044b, \u043d\u043e \u0443\u0436\u0435 \u0432 1 \u043c\u0438\u0440\u0435.<\/p>\n<p>\u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438:<\/p>\n<ul>\n<li>\n<p><strong>\u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430<\/strong>: \u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0432 \u0433\u0440\u0443\u043f\u043f\u0435, \u0433\u0434\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u0414\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u044d\u0442\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u0431\u0443\u043a\u0432\u043e\u0439.<\/p>\n<\/li>\n<li>\n<p><strong>\u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430<\/strong>:\u00a0\u2014 \u044d\u0442\u043e \u0432\u044b\u0440\u0443\u0447\u043a\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430 \u043d\u0435\u0434\u0435\u043b\u044e \u0438\u0437 \u0433\u0440\u0443\u043f\u043f\u044b, \u0433\u0434\u0435 \u043d\u0435 \u0431\u044b\u043b\u043e \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439. \u042d\u0442\u0443 \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0431\u0443\u043a\u0432\u043e\u0439\u00a0.<\/p>\n<\/li>\n<\/ul>\n<p>\u0413\u0434\u0435 \u0440\u0430\u0437\u043c\u0435\u0440 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 + \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0439 \u0433\u0440\u0443\u043f\u043f \u0440\u0430\u0432\u043d\u043e N:\u00a0.<\/p>\n<p>\u0412\u044b\u0431\u043e\u0440\u043a\u0438\u00a0\u00a0\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0430\u00a0\u00a0\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0447\u0430\u0441\u0442\u0438 \u044e\u0437\u0435\u0440\u043e\u0432, \u043f\u0440\u0438\u0447\u0435\u043c \u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043b\u0438\u0431\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u00a0, \u043b\u0438\u0431\u043e\u00a0.<\/p>\n<p>\u041a\u0430\u043a \u0443\u0437\u043d\u0430\u0442\u044c, \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043b\u0438, \u0438\u043c\u0435\u044f \u0442\u043e\u043b\u044c\u043a\u043e  \u0438 ? \u041a\u0440\u043e\u043c\u0435 \u044d\u0442\u043e\u0433\u043e, \u0445\u043e\u0447\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u043d\u0430\u0448\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u044b\u043b\u0438 \u0432\u0430\u043b\u0438\u0434\u043d\u044b \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u043b\u044f \u0442\u0435\u043a\u0443\u0449\u0435\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0438\u0437  \u043b\u044e\u0434\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u0443\u0434\u0443\u0442 \u044e\u0437\u0435\u0440\u0430\u043c\u0438 \u0441\u0435\u0440\u0432\u0438\u0441\u0430 \u043d\u0430 \u0441\u043b\u0435\u0434 \u043d\u0435\u0434\u0435\u043b\u0435, \u043d\u043e \u0438 \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439 \u0438\u0437 \u0442\u043e\u0439 \u0436\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432 \u0431\u0443\u0434\u0443\u0449\u0435\u043c \u0432 \u043d\u0430\u0448 \u0441\u0435\u0440\u0432\u0438\u0441 \u043f\u0440\u0438\u0434\u0443\u0442 \u043d\u043e\u0432\u044b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043d\u0430 \u043f\u043e\u043c\u043e\u0449\u044c \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442 \u0442\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438\u00a0<a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%97%D0%B0%D0%BA%D0%BE%D0%BD_%D0%B1%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u043a\u043e\u043d \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0447\u0438\u0441\u0435\u043b (\u0417\u0411\u0427)<\/a>:\u00a0<\/p>\n<p>\u041d\u043e \u0432\u0435\u0434\u044c:\u00a0. \u0410 \u0437\u043d\u0430\u0447\u0438\u0442:<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u043a\u0430\u043a\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043b\u0443\u0447\u0448\u0435 \u2014 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u0430\u044f \u0438\u043b\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u0430\u044f, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043d\u0430\u0448\u0438\u0445 \u0432\u044b\u0431\u043e\u0440\u043e\u043a \u0432 A\/B-\u0442\u0435\u0441\u0442\u0435. \u0422\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u043c \u0440\u0435\u0448\u0438\u0442\u044c \u0434\u0432\u0435 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u044b, \u043e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438 \u0440\u0430\u043d\u0435\u0435.<\/p>\n<hr\/>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0443 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u0443\u044e \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443 \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438:<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0434\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u044b\u0440\u0443\u0447\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0432\u043e\u0437\u043d\u0438\u043a\u043d\u0443\u0442\u044c: \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0438 \u0441 \u043d\u0438\u043c.<\/p>\n<pre><code class=\"python\">np.random.seed(42) control_distribution = sps.gamma(a=4, scale=4) test_distribution = sps.gamma(a=5, scale=4)  x_ticks = np.linspace(0, 60, 1000)  plt.figure(figsize=(10, 5)) plt.title(\"\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.\", fontsize=12) plt.plot(x_ticks, control_distribution.pdf(x_ticks),           color='green', label='\u041a\u043e\u043d\u0442\u0440\u043e\u043b\u044c: \u043d\u0435\u0442 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f') plt.plot(x_ticks, test_distribution.pdf(x_ticks),           color='orange', label='\u0422\u0435\u0441\u0442: \u0438\u0437\u043c\u0435\u043d\u0438\u043b\u0438 \u0443\u0441\u043b\u0443\u0433\u0443') plt.legend(fontsize=12) plt.xlabel('\u0412\u044b\u0440\u0443\u0447\u043a\u0430 \u043e\u0442 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0440\u0443\u0431', fontsize=12) plt.ylabel('\u041f\u043b\u043e\u0442\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f', fontsize=12) plt.show()<\/code><\/pre>\n<figure class=\"full-width\"><\/figure>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0440\u044b\u0436\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0437\u0443\u0430\u043b\u044c\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435.<\/p>\n<p>\u041d\u0430\u0441\u0435\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0432 \u0442\u0435\u0441\u0442\u0435 \u0438 \u0432 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0435.<\/p>\n<pre><code class=\"python\">control = control_distribution.rvs(10000) test = test_distribution.rvs(10000)<\/code><\/pre>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 T-test, \u0447\u0442\u043e\u0431\u044b \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0443, \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b. \u041d\u043e \u0434\u043e \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0437\u043d\u0430\u0447\u0438\u043c\u043e\u0441\u0442\u0438 (\u0438\u043b\u0438 FPR, false positive rate).<\/p>\n<hr\/>\n<h4>\u041a\u0430\u043a\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430?<\/h4>\n<p>\u0412 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0435 \u0441\u0430\u043c\u0430\u044f \u0442\u0440\u0438\u0432\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0442\u0440\u0435\u0439\u0434\u043e\u0444\u0444\u0430 \u043c\u0435\u0436\u0434\u0443 \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c\u044e \u0438 FPR (false positive rate). \u0415\u0441\u043b\u0438 alpha \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u0439, \u0442\u043e \u0432\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0447\u0430\u0441\u0442\u043e \u0434\u0435\u0442\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u044d\u0444\u0444\u0435\u043a\u0442 \u0442\u0430\u043c, \u0433\u0434\u0435 \u0435\u0433\u043e \u043d\u0435\u0442. \u0412\u044b \u0431\u0443\u0434\u0435\u0442\u0435 \u0447\u0430\u0449\u0435 \u043a\u0430\u0442\u0438\u0442\u044c \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u0410 \u0435\u0441\u043b\u0438 alpha \u043c\u0430\u043b\u0430, \u0442\u043e \u0432\u0430\u0448 \u0431\u0438\u0437\u043d\u0435\u0441 \u0431\u0443\u0434\u0435\u0442 \u0432 \u0437\u0430\u0441\u0442\u043e\u0435: \u0432\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u0442\u0435 \u043a\u0430\u0442\u0438\u0442\u044c \u0443\u043b\u0443\u0447\u0448\u0430\u044e\u0449\u0438\u0435 \u0431\u0438\u0437\u043d\u0435\u0441 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0412 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432, \u0435\u0441\u043b\u0438 \u0432\u0430\u043c \u043d\u0430\u0434\u043e \u0441 \u0447\u0435\u0433\u043e-\u0442\u043e \u043d\u0430\u0447\u0430\u0442\u044c, \u0442\u043e \u044f \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0431\u0440\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e\u00a0<code>alpha<\/code>\u00a0\u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 2.5%. \u042d\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0443\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445:<\/p>\n<ol>\n<li>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c \u0434\u043b\u044f \u0431\u0438\u0437\u043d\u0435\u0441\u0430. \u042d\u0442\u043e \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0430\u0435\u0442\u0441\u044f \u043e\u043f\u044b\u0442\u043e\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0430 \u043a\u043e\u043c\u043f\u0430\u043d\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0439 FPR \u0438 \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0430\u044e\u0442 \u0443\u0441\u043f\u0435\u0448\u043d\u043e \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/li>\n<li>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0442\u0430\u043a\u0430\u044f\u00a0<code>alpha<\/code>\u00a0\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u0434\u043b\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0433\u0438\u043f\u043e\u0442\u0435\u0437, \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044f \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0432\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u041d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043a\u0435\u0439\u0441\u043e\u0432, \u0433\u0434\u0435 \u0432\u044b\u0431\u043e\u0440 \u0430\u043b\u044c\u0444\u044b 2.5% \u043f\u043b\u043e\u0445. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<ul>\n<li>\n<p>\u043d\u0435\u043b\u044c\u0437\u044f \u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e\u00a0<code>alpha<\/code>\u00a0(\u0433\u0434\u0435 \u0434\u0430\u0436\u0435 2.5% \u043c\u043d\u043e\u0433\u043e), \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u0430\u0440\u0430\u043d\u0435\u0435 \u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0432\u0430\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u0430\u043b\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e \u043a \u0447\u0435\u043c\u0443-\u0442\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0443 \u0438 \u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u043c\u0435\u0442\u0440\u0438\u043a \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0441\u0442\u044c \u0441\u0430\u0439\u0442\u0430 \u0410\u0432\u0438\u0442\u043e, \u0442\u043e \u0431\u0440\u0430\u0442\u044c \u0430\u043b\u044c\u0444\u0443 \u0434\u0430\u0436\u0435 1% \u043d\u0435\u0442 \u0441\u043c\u044b\u0441\u043b\u0430. \u0412\u044b \u043d\u0435 \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442\u0435 \u0440\u0430\u0441\u0441\u044b\u043b\u043a\u0430\u043c\u0438 \u043d\u0430 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443, \u0432\u0441\u0435 \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u044b \u0437\u0434\u0435\u0441\u044c \u043b\u043e\u0436\u043d\u044b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u043b\u044c\u0437\u044f \u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0443\u044e\u00a0<code>alpha<\/code>, \u0435\u0441\u043b\u0438 \u0432\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u0442\u0435 \u043a\u0440\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043c\u043e\u0436\u0435\u0442 \u0443\u0445\u0443\u0434\u0448\u0438\u0442\u044c \u0441\u0430\u0439\u0442. \u0412 \u044d\u0442\u043e\u043c \u043a\u0435\u0439\u0441\u0435 \u0432\u0430\u043c \u0432\u0430\u0436\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0440\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0438\u0437\u043c\u0435\u043d\u044f\u0442\u044c\u00a0<code>alpha<\/code>\u00a0\u0432 \u0431\u043e\u043b\u044c\u0448\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u0435\u0441\u043b\u0438 \u0432\u044b \u0437\u043d\u0430\u0435\u0442\u0435, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u043d\u0430\u0432\u0435\u0440\u043d\u044f\u043a\u0430 \u0435\u0441\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043b\u0438 \u043c\u0430\u0440\u043a\u0435\u0442\u0438\u043d\u0433\u043e\u0432\u0443\u044e \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u0443\u044e \u043a\u0430\u043c\u043f\u0430\u043d\u0438\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043c\u043d\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435:\u00a0<strong>\u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f \u0430\u043b\u044c\u0444\u0430 \u0438 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044f\u044f \u0430\u043b\u044c\u0444\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f!<\/strong>\u00a0\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0435\u0444\u043e\u043b\u0442\u043d\u0443\u044e \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e\u00a0<code>alpha<\/code>\u00a0\u0432 2.5%. \u041d\u043e \u0435\u0441\u043b\u0438 \u043c\u044b \u0440\u0435\u0448\u0438\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0442\u043e \u0435\u0433\u043e\u00a0<code>alpha<\/code>\u00a0\u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u0441\u044f \u0434\u043e 5%.<\/p>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u0435\u0439\u0441\u0435 \u043c\u044b \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u044e\u044e \u0430\u043b\u044c\u0444\u0430 \u0440\u0430\u0432\u043d\u043e\u0439 5% \u043f\u043e 2 \u043f\u0440\u0438\u0447\u0438\u043d\u0430\u043c:<\/p>\n<ol>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0443 \u0432\u044b\u0440\u0443\u0447\u043a\u0438 \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u043a\u0440\u0430\u0441\u0438\u0442\u044c \u043a\u0430\u043a \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c \u0434\u0430\u043b\u0435\u0435.<\/p>\n<\/li>\n<li>\n<p>\u041c\u044b \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u043b\u0438\u044f\u0435\u0442 \u043d\u0430 \u0443\u0441\u043b\u0443\u0433\u0443 \u043f\u0440\u043e\u0434\u0432\u0438\u0436\u0435\u043d\u0438\u044f, (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u044b\u0432\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 UX-\u0442\u0435\u0441\u0442\u043e\u0432). \u042d\u0442\u043e \u043a\u0430\u043a \u0440\u0430\u0437 \u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u043a\u0435\u0439\u0441\u0430, \u0433\u0434\u0435 \u0430\u043b\u044c\u0444\u0443 \u043c\u043e\u0436\u043d\u043e \u043c\u0435\u043d\u044f\u0442\u044c.<\/p>\n<\/li>\n<\/ol>\n<hr\/>\n<h4>\u041a\u0430\u043a\u043e\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0432\u044b\u0431\u0440\u0430\u0442\u044c: \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u0438\u043b\u0438 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439?<\/h4>\n<p>\u0412 \u043d\u0430\u0448\u0435\u043c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439. \u0414\u0430 \u0438 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0432\u0430\u0448\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u0435\u0433\u0434\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0439: \u0432\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u0435 (\u0430 \u0438\u043d\u043e\u0433\u0434\u0430 \u0443\u0445\u0443\u0434\u0448\u0435\u043d\u0438\u0435) \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u044c\u043d\u043e\u0439 \u0433\u0440\u0443\u043f\u043f\u044b. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u0442\u0435 \u0440\u0430\u0441\u043a\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u041e\u0434\u043d\u0430\u043a\u043e \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435\u043c\u043d\u043e\u0433\u0438\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442 \u043e\u0434\u043d\u043e\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u043e\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u043c. \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u0439 \u0432\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0442\u0440\u0438 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f, \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u044e\u0449\u0438\u0445 \u0440\u043e\u0441\u0442, \u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0438\u043b\u0438 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438.<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043b\u0435\u0433\u0447\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u044b\u0439 \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u0438\u00a0<code>alpha<\/code>\u00a0\u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0443\u044e.<\/p>\n<pre><code class=\"python\">sps.ttest_ind(test,\u00a0control,\u00a0equal_var=False,\u00a0alternative='two-sided').pvalue<\/code><\/pre>\n<blockquote>\n<p>0<\/p>\n<\/blockquote>\n<p>\u041c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0438\u0439\u00a0p-value&lt;0.1(=0.05\u22c52), \u043d\u043e \u043c\u044b \u043d\u0435 \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0432 \u043a\u0430\u043a\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0443 \u043d\u0430\u0441 \u044d\u0444\u0444\u0435\u043a\u0442. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u0443\u0434\u043e\u0431\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e-\u043e\u0431\u0435\u0440\u0442\u043a\u0443 \u043d\u0430\u0434 T-test, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0432\u0430\u043b\u0430 \u0431\u044b \u0432\u0441\u044e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u043b\u044f \u0434\u0432\u0443\u0441\u0442\u043e\u0440\u043e\u043d\u043d\u0435\u0433\u043e \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u044f:\u00a0<code>pvalue<\/code>,\u00a0<code>effect<\/code>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0441\u0442\u0440\u043e\u0438\u043b\u0430 \u0431\u044b \u0434\u043e\u0432\u0435\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b.<\/p>\n<pre><code class=\"python\">from collections import namedtuple   ExperimentComparisonResults = namedtuple('ExperimentComparisonResults',                                         ['pvalue', 'effect', 'ci_length',                                           'left_bound', 'right_bound'])  def absolute_ttest(control, test, two_sided_alpha):     mean_control = np.mean(control)     mean_test = np.mean(test)      var_mean_control  = np.var(control) \/ len(control)     var_mean_test  = np.var(test) \/ len(test)      difference_mean = mean_test - mean_control     difference_mean_var = var_mean_control + var_mean_test     difference_distribution = sps.norm(loc=difference_mean,<\/code><\/pre>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-471846","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/471846","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=471846"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/471846\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=471846"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=471846"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=471846"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}