{"id":473412,"date":"2025-09-02T16:25:53","date_gmt":"2025-09-02T16:25:53","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=473412"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=473412","title":{"rendered":"<span>\u041a\u0430\u043a \u043c\u044b \u0438\u0441\u043a\u0430\u043b\u0438 \u043b\u0443\u0447\u0448\u0438\u0435 AI-\u043c\u043e\u0434\u0435\u043b\u0438 (\u0427\u0430\u0441\u0442\u044c 3)<\/span>"},"content":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043d\u0430\u0447\u0430\u043b\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0443\u0442\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f AI \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0438 \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0437.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b AI, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c.<\/p>\n<p>\u0421\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u044d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0414\u043b\u044f \u0442\u0435\u0445 \u0438\u0437 \u043d\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0445\u043e\u0434\u0435 \u0441\u0432\u043e\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u043c\u044b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0412\u0441\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u043b\u0438 \u043d\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438:<\/p>\n<ol>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0449\u0438\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ol>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432<\/h2>\n<p>\u0421\u0430\u043c\u044b\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u044b \u0443\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432 <a href=\"https:\/\/habr.com\/ru\/articles\/932266\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u043c \u0438\u0445 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043d\u043e\u0432\u044b\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>F-Beta Score<\/summary>\n<div class=\"spoiler__content\">\n<p>F-Beta Score \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u0430\u0436\u0435\u043d \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e (precision) \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u043e\u0439 (recall). F-Beta Score \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0435\u0441, \u043f\u0440\u0438\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0435, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 F-Beta Score<\/strong><\/p>\n<p>F-Beta Score \u2014 \u044d\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 F1-Score. \u041e\u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"F_\\beta = \\frac{(1 + \\beta^2) \\cdot \\text{precision} \\cdot \\text{recall}}{(\\beta^2 \\cdot \\text{precision}) + \\text{recall}}\" alt=\"F_\\beta = \\frac{(1 + \\beta^2) \\cdot \\text{precision} \\cdot \\text{recall}}{(\\beta^2 \\cdot \\text{precision}) + \\text{recall}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5bc\/30b\/d98\/5bc30bd98059d1523acb33b717660b6c.svg\" width=\"270\" height=\"51\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5bc\/30b\/d98\/5bc30bd98059d1523acb33b717660b6c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5bc\/30b\/d98\/5bc30bd98059d1523acb33b717660b6c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; precision \u2014 \u044d\u0442\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (\u0434\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043a\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c).<\/p>\n<p>&#8212; recall \u2014 \u044d\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0442\u0430 (\u0434\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043a\u043e \u0432\u0441\u0435\u043c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c).<\/p>\n<p>&#8212; beta \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u044b. <br \/>\u0415\u0441\u043b\u0438 beta = 1, \u044d\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e F1-Score. <br \/>\u0415\u0441\u043b\u0438 beta &gt; 1, \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u0435. <br \/>\u0415\u0441\u043b\u0438 beta &lt; 1, \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e \u0434\u0432\u043e\u0440\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0432\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430: \u0413\u0418\u0411\u0414\u0414, \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u041c\u0427\u0421?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e. \u0412\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0413\u0418\u0411\u0414\u0414 \u0438 \u041c\u0427\u0421 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0446\u0432\u0435\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442: \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0447\u0435\u0440\u043d\u044b\u0439, \u0431\u0435\u043b\u044b\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439, \u0436\u0435\u043b\u0442\u044b\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>\u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439 \u0446\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u0432 \u043f\u043e\u043a\u0435\u0440\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435: \u0444\u043b\u0435\u0448 \u0438\u043b\u0438 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0444\u0443\u043b\u043b-\u0445\u0430\u0443\u0441 \u0441\u0442\u0430\u0440\u0448\u0435 \u0444\u043b\u0435\u0448\u0430.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong><\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043d\u0435\u0441\u0435\u0442 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0430\u0432.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0442\u0435\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043e\u0432, \u0447\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0443\u0431\u044b\u0442\u043a\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u0443\u0449\u0435\u0440\u0431, \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430<\/em><\/strong><em> \u2014 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443. \u042d\u0442\u043e \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0431\u044b\u0442\u043a\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437-\u0437\u0430 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0443\u0442\u0440\u0430\u0442\u044b \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0430 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u043e\u0441\u0441\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c, \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 2025 \u0433\u043e\u0434.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u043b\u044c\u0448\u0430<\/em><\/strong><em> \u2014 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0421\u0438\u043b\u044c\u0432\u0435\u0440\u0441\u0442\u043e\u0443\u043d.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0432 \u0411\u0430\u043a\u0443.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0421\u0428\u0410<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0440\u0430\u0441\u0441\u0430\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u041e\u0441\u0442\u0438\u043d \u0438 \u041c\u0430\u0439\u0430\u043c\u0438.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435 \u0438 \u0421\u0428\u0410.<\/em><\/p>\n<p>\u0412\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0430\u044f\u0441\u044f \u044d\u0442\u0430\u043f\u043e\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u041f\u043e\u043b\u044c\u0448\u0430, \u043d\u043e \u0435\u0441\u0442\u044c \u0438 \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0420\u043e\u0441\u0441\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430 \u043d\u0430 \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c <\/em><strong><em>\u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e<\/em><\/strong><em> \u0438\u043b\u0438 <\/em><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em> \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0435, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439<\/em><\/strong><em> \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0430\u043a\u0442 \u043e \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041c\u0427\u0421<\/em><\/strong><em> \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u044e \u0443\u0449\u0435\u0440\u0431\u0430 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u2014 \u044d\u0442\u043e \u0432\u044b\u0437\u043e\u0432 \u0413\u0418\u0411\u0414\u0414 \u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e.<\/em><\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442 \u201c\u041c\u0427\u0421\u201d.\u00a0<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u201c\u0413\u0418\u0411\u0414\u0414\u201d.<\/p>\n<p>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439 \u043d\u0430\u0437\u0432\u0430\u043d \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0447\u0442\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0441 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0440\u0430\u0434\u0443\u0433\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0446\u0432\u0435\u0442\u0430 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u043e\u043b\u0443\u0431\u043e\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043f\u0435\u043a\u0442\u0440 \u0440\u0430\u0434\u0443\u0433\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0417\u0435\u043b\u0435\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0416\u0435\u043b\u0442\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u044d\u0442\u043e\u0442 \u0446\u0432\u0435\u0442 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0426\u0432\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0440\u0430\u0434\u0443\u0433\u0435:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0427\u0435\u0440\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0411\u0435\u043b\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439, \u0430 \u0447\u0435\u0440\u043d\u044b\u0439 \u0438 \u0431\u0435\u043b\u044b\u0439 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.<\/em><\/p>\n<p>\u0412\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0435\u0440\u043d\u043e. \u041b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u043f\u043e\u043a\u0435\u0440\u0435 <\/em><strong><em>\u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435, \u0447\u0435\u043c <\/em><strong><em>\u0444\u043b\u0435\u0448<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0424\u043b\u0435\u0448<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u043f\u044f\u0442\u0438 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0441\u0442\u0438, \u043d\u043e \u043d\u0435 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0424\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430 \u0438 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u0444\u043b\u0435\u0448\u0430.<\/em><\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0444\u043b\u0435\u0448 \u0434\u0430\u043d \u0432\u0435\u0440\u043d\u043e.<\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u0432\u0435\u0440\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0443:<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Precision} = \\frac{10}{10 + 2} = \\frac{10}{12} \\approx 0.83\" alt=\"\\text{Precision} = \\frac{10}{10 + 2} = \\frac{10}{12} \\approx 0.83\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b86\/07a\/e5d\/b8607ae5d8a2e7e7a1ef7b614257175e.svg\" width=\"274\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b86\/07a\/e5d\/b8607ae5d8a2e7e7a1ef7b614257175e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b86\/07a\/e5d\/b8607ae5d8a2e7e7a1ef7b614257175e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\text{Recall} = \\frac{10}{10 + 1} = \\frac{10}{11} \\approx 0.91\" alt=\"\\text{Recall} = \\frac{10}{10 + 1} = \\frac{10}{11} \\approx 0.91\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c73\/fdb\/480\/c73fdb480fd27228c691265129f2b5e0.svg\" width=\"249\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c73\/fdb\/480\/c73fdb480fd27228c691265129f2b5e0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c73\/fdb\/480\/c73fdb480fd27228c691265129f2b5e0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 =0,5 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c F-Beta-score:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"F_{0.5} = \\frac{(1 + 0.5^2) \\cdot Precision \\cdot Recall}{(0.5^2 \\cdot Precision) + Recall}== \\frac{1.25 \\cdot Precision \\cdot Recall}{0.25 \\cdot Precision + Recall}\" alt=\"F_{0.5} = \\frac{(1 + 0.5^2) \\cdot Precision \\cdot Recall}{(0.5^2 \\cdot Precision) + Recall}== \\frac{1.25 \\cdot Precision \\cdot Recall}{0.25 \\cdot Precision + Recall}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37f\/be6\/1f7\/37fbe61f7bbc2599ba4db523d5df0ff3.svg\" width=\"568\" height=\"54\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37f\/be6\/1f7\/37fbe61f7bbc2599ba4db523d5df0ff3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/37f\/be6\/1f7\/37fbe61f7bbc2599ba4db523d5df0ff3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"F_{0.5} = \\frac{1.25 \\cdot 0.83 \\cdot 0.91}{0.25 \\cdot 0.83 + 0.91}=\\frac{0.9441}{1.1175} \\approx 0.8447\" alt=\"F_{0.5} = \\frac{1.25 \\cdot 0.83 \\cdot 0.91}{0.25 \\cdot 0.83 + 0.91}=\\frac{0.9441}{1.1175} \\approx 0.8447\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/a92\/bfa\/521a92bfa94f66d67bc61fe657e7f79c.svg\" width=\"370\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/a92\/bfa\/521a92bfa94f66d67bc61fe657e7f79c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/a92\/bfa\/521a92bfa94f66d67bc61fe657e7f79c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import fbeta_score   def calculate_fbeta_score(true_labels, predicted_labels, beta):     # \u0420\u0430\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 F-\u0431\u0435\u0442\u0430     fbeta = fbeta_score(true_labels, predicted_labels, beta=beta, average='binary')      print(f'F-\u0431\u0435\u0442\u0430 Score (\u03b2={beta}): {fbeta:.2f}')<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Matthews Correlation Coefficient (MCC)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Matthews Correlation Coefficient (MCC)<\/strong> &#8212; \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041e\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439: True Positives (TP), True Negatives (TN), False Positives (FP), \u0438 False Negatives (FN).<\/p>\n<p>\u041cCC \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f, \u043d\u043e \u0438 \u043e\u0448\u0438\u0431\u043a\u0438. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f MCC \u043b\u0435\u0436\u0430\u0442 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043e\u0442 -1 \u0434\u043e 1:<\/p>\n<ul>\n<li>\n<p>1: \u0418\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f (\u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435)<\/p>\n<\/li>\n<li>\n<p>0: \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>-1: \u0412\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0435.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 MCC<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{MCC} = \\frac{TP \\cdot TN - FP \\cdot FN}{\\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}\" alt=\"\\text{MCC} = \\frac{TP \\cdot TN - FP \\cdot FN}{\\sqrt{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/546\/a6a\/2b3\/546a6a2b3b1bc2b25f5a11bf2c437895.svg\" width=\"490\" height=\"53\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/546\/a6a\/2b3\/546a6a2b3b1bc2b25f5a11bf2c437895.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/546\/a6a\/2b3\/546a6a2b3b1bc2b25f5a11bf2c437895.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p>TP &#8212; \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<br \/>TN &#8212; \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<br \/>FP &#8212; \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<br \/>FN &#8212; \u043b\u043e\u0436\u043d\u043e\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e \u0434\u0432\u043e\u0440\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0432\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430: \u0413\u0418\u0411\u0414\u0414, \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u041c\u0427\u0421?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e. \u0412\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0413\u0418\u0411\u0414\u0414 \u0438 \u041c\u0427\u0421 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0446\u0432\u0435\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442: \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0447\u0435\u0440\u043d\u044b\u0439, \u0431\u0435\u043b\u044b\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439, \u0436\u0435\u043b\u0442\u044b\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>\u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439 \u0446\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u0432 \u043f\u043e\u043a\u0435\u0440\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435: \u0444\u043b\u0435\u0448 \u0438\u043b\u0438 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0444\u0443\u043b\u043b-\u0445\u0430\u0443\u0441 \u0441\u0442\u0430\u0440\u0448\u0435 \u0444\u043b\u0435\u0448\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043d\u0435\u0441\u0435\u0442 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0430\u0432.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0442\u0435\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043e\u0432, \u0447\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0443\u0431\u044b\u0442\u043a\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u0443\u0449\u0435\u0440\u0431, \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430<\/em><\/strong><em> \u2014 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443. \u042d\u0442\u043e \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0431\u044b\u0442\u043a\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437-\u0437\u0430 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0443\u0442\u0440\u0430\u0442\u044b \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0430 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{MCC} =  \\frac{3 \\cdot 1 - 0 \\cdot 0}{\\sqrt{(3 + 0)(3 + 0)(1 + 0)(1 + 0)}} = \\frac{3 - 0}{\\sqrt{3 \\cdot 3 \\cdot 1 \\cdot 1}} = \\frac{3}{\\sqrt{9}} = \\frac{3}{3} = 1\" alt=\"\\text{MCC} =  \\frac{3 \\cdot 1 - 0 \\cdot 0}{\\sqrt{(3 + 0)(3 + 0)(1 + 0)(1 + 0)}} = \\frac{3 - 0}{\\sqrt{3 \\cdot 3 \\cdot 1 \\cdot 1}} = \\frac{3}{\\sqrt{9}} = \\frac{3}{3} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ed\/844\/310\/9ed844310e6a7ef1d9ba4f13f61f78c4.svg\" width=\"594\" height=\"52\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ed\/844\/310\/9ed844310e6a7ef1d9ba4f13f61f78c4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ed\/844\/310\/9ed844310e6a7ef1d9ba4f13f61f78c4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u043e\u0441\u0441\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c, \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 2025 \u0433\u043e\u0434.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u043b\u044c\u0448\u0430<\/em><\/strong><em> \u2014 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0421\u0438\u043b\u044c\u0432\u0435\u0440\u0441\u0442\u043e\u0443\u043d.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0432 \u0411\u0430\u043a\u0443.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0421\u0428\u0410<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0440\u0430\u0441\u0441\u0430\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u041e\u0441\u0442\u0438\u043d \u0438 \u041c\u0430\u0439\u0430\u043c\u0438.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435 \u0438 \u0421\u0428\u0410.<\/em><\/p>\n<p>\u0412\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0430\u044f\u0441\u044f \u044d\u0442\u0430\u043f\u043e\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u041f\u043e\u043b\u044c\u0448\u0430, \u043d\u043e \u0435\u0441\u0442\u044c \u0438 \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0420\u043e\u0441\u0441\u0438\u044f<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{MCC} = \\frac{3 \\cdot 1 - 1 \\cdot 0}{\\sqrt{(3 + 1)(3 + 0)(1 + 1)(1 + 0)}} = \\frac{3 - 0}{\\sqrt{4 \\cdot 3 \\cdot 2 \\cdot 1}} = \\frac{3}{\\sqrt{24}} \\approx \\frac{3}{4.89} \\approx 0.61\" alt=\"\\text{MCC} = \\frac{3 \\cdot 1 - 1 \\cdot 0}{\\sqrt{(3 + 1)(3 + 0)(1 + 1)(1 + 0)}} = \\frac{3 - 0}{\\sqrt{4 \\cdot 3 \\cdot 2 \\cdot 1}} = \\frac{3}{\\sqrt{24}} \\approx \\frac{3}{4.89} \\approx 0.61\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e16\/9a6\/5ca\/e169a65caac910d72c2e7b54caa497d1.svg\" width=\"653\" height=\"52\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e16\/9a6\/5ca\/e169a65caac910d72c2e7b54caa497d1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e16\/9a6\/5ca\/e169a65caac910d72c2e7b54caa497d1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0443\u0442 \u043c\u043e\u0434\u0435\u043b\u044c, \u0432 \u0446\u0435\u043b\u043e\u043c, \u0432\u0435\u0440\u043d\u043e \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u043d\u043e \u0435\u0441\u0442\u044c \u043a\u0443\u0434\u0430 \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430 \u043d\u0430 \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c <\/em><strong><em>\u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e<\/em><\/strong><em> \u0438\u043b\u0438 <\/em><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em> \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0435, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439<\/em><\/strong><em> \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0430\u043a\u0442 \u043e \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041c\u0427\u0421<\/em><\/strong><em> \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u044e \u0443\u0449\u0435\u0440\u0431\u0430 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u2014 \u044d\u0442\u043e \u0432\u044b\u0437\u043e\u0432 \u0413\u0418\u0411\u0414\u0414 \u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e.<\/em><\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u0432\u0435\u0440\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442 \u041c\u0427\u0421.\u00a0<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{MCC} = \\frac{1 \\cdot 1 - 1 \\cdot 0}{\\sqrt{(1 + 1)(1 + 0)(1 + 1)(1 + 0)}} = \\frac{1 - 0}{\\sqrt{2 \\cdot 1 \\cdot 2 \\cdot 1}} = \\frac{1}{2} = 0.5\" alt=\"\\text{MCC} = \\frac{1 \\cdot 1 - 1 \\cdot 0}{\\sqrt{(1 + 1)(1 + 0)(1 + 1)(1 + 0)}} = \\frac{1 - 0}{\\sqrt{2 \\cdot 1 \\cdot 2 \\cdot 1}} = \\frac{1}{2} = 0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c3\/cfb\/837\/0c3cfb8373c1ce5644e580df55643923.svg\" width=\"551\" height=\"52\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c3\/cfb\/837\/0c3cfb8373c1ce5644e580df55643923.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c3\/cfb\/837\/0c3cfb8373c1ce5644e580df55643923.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043d\u0435 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u0438 \u043f\u044b\u0442\u0430\u0435\u0442\u0441\u044f \u0443\u0433\u0430\u0434\u0430\u0442\u044c \u0432\u0435\u0440\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u0443 \u043d\u0435\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0440\u0430\u0434\u0443\u0433\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0446\u0432\u0435\u0442\u0430 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<br \/>&#8212; <\/em><strong><em>\u0413\u043e\u043b\u0443\u0431\u043e\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043f\u0435\u043a\u0442\u0440 \u0440\u0430\u0434\u0443\u0433\u0438.<br \/>&#8212; <\/em><strong><em>\u0417\u0435\u043b\u0435\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435.<br \/>&#8212; <\/em><strong><em>\u0416\u0435\u043b\u0442\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u044d\u0442\u043e\u0442 \u0446\u0432\u0435\u0442 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.<\/em><\/p>\n<p><em>\u0426\u0432\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0440\u0430\u0434\u0443\u0433\u0435:<br \/>&#8212; <\/em><strong><em>\u0427\u0435\u0440\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<br \/>&#8212; <\/em><strong><em>\u0411\u0435\u043b\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439, \u0430 \u0447\u0435\u0440\u043d\u044b\u0439 \u0438 \u0431\u0435\u043b\u044b\u0439 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.<\/em><\/p>\n<p>\u0412\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0435\u0440\u043d\u043e. \u041b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0435\u0442.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{MCC} = \\frac{3 \\cdot 2 - 0 \\cdot 0}{\\sqrt{(3 + 0)(3 + 0)(2 + 0)(2 + 0)}} = \\frac{6 - 0}{\\sqrt{3 \\cdot 3 \\cdot 2 \\cdot 2}} = \\frac{6}{\\sqrt{36}} = 1\" alt=\"\\text{MCC} = \\frac{3 \\cdot 2 - 0 \\cdot 0}{\\sqrt{(3 + 0)(3 + 0)(2 + 0)(2 + 0)}} = \\frac{6 - 0}{\\sqrt{3 \\cdot 3 \\cdot 2 \\cdot 2}} = \\frac{6}{\\sqrt{36}} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7f\/622\/8e5\/e7f6228e5e051e529034cacde9017253.svg\" width=\"561\" height=\"52\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7f\/622\/8e5\/e7f6228e5e051e529034cacde9017253.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e7f\/622\/8e5\/e7f6228e5e051e529034cacde9017253.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 \u043f\u043e\u043a\u0435\u0440\u0435 <\/em><strong><em>\u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435, \u0447\u0435\u043c <\/em><strong><em>\u0444\u043b\u0435\u0448<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<p><em>&#8212; <\/em><strong><em>\u0424\u043b\u0435\u0448<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u043f\u044f\u0442\u0438 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0441\u0442\u0438, \u043d\u043e \u043d\u0435 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/em><\/p>\n<p><em>&#8212; <\/em><strong><em>\u0424\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430 \u0438 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430.<\/em><\/p>\n<p><em>\u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u0444\u043b\u0435\u0448\u0430.<\/em><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{MCC} = \\frac{1 \\cdot 1 - 0 \\cdot 0}{\\sqrt{(1 + 0)(1 + 0)(1 + 0)(1 + 0)}} = \\frac{1 - 0}{\\sqrt{1 \\cdot 1 \\cdot 1 \\cdot 1}} = \\frac{1}{\\sqrt{1}} = 1\" alt=\"\\text{MCC} = \\frac{1 \\cdot 1 - 0 \\cdot 0}{\\sqrt{(1 + 0)(1 + 0)(1 + 0)(1 + 0)}} = \\frac{1 - 0}{\\sqrt{1 \\cdot 1 \\cdot 1 \\cdot 1}} = \\frac{1}{\\sqrt{1}} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9fc\/5d8\/e4e\/9fc5d8e4e50c5b901ebb8a0e72984bbf.svg\" width=\"552\" height=\"52\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9fc\/5d8\/e4e\/9fc5d8e4e50c5b901ebb8a0e72984bbf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9fc\/5d8\/e4e\/9fc5d8e4e50c5b901ebb8a0e72984bbf.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0421\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f MCC \u0434\u043b\u044f 5 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{MCC}_{\\text{\u0441\u0440}} = \\frac{1 + 0{,}61 + 0 + 1 + 1}{5} = \\frac{3{,}61}{5} = 0{,}722\" alt=\"\\text{MCC}_{\\text{\u0441\u0440}} = \\frac{1 + 0{,}61 + 0 + 1 + 1}{5} = \\frac{3{,}61}{5} = 0{,}722\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d07\/545\/dd9\/d07545dd911f7158de7c949345a388f4.svg\" width=\"395\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d07\/545\/dd9\/d07545dd911f7158de7c949345a388f4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d07\/545\/dd9\/d07545dd911f7158de7c949345a388f4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import matthews_corrcoef   def mcc(true_labels, predicted_labels):      # \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 MCC     mcc = matthews_corrcoef(true_labels, predicted_labels)     print(\"Matthews Correlation Coefficient (MCC):\", mcc)<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Precision at Fixed Recall<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Precision at Fixed Recall <\/strong>\u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (precision) \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u043b\u043d\u043e\u0442\u044b (recall).\u00a0<\/p>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435<\/strong><\/p>\n<p>\u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438. \u041f\u043e\u043b\u043d\u043e\u0442\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 &#171;Precision at Fixed Recall&#187; \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u043e\u0447\u043d\u0430 \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u043f\u043e\u043b\u043d\u043e\u0442\u044b.<\/p>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <strong>Recall = 0.8<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u044f\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a AI \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0435\u0435 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0427\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u0432 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e, \u0447\u044c\u0435 \u043f\u0440\u0430\u0432\u043e \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043e, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u043e \u0438\u043b\u0438 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u0435\u0433\u043e \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 (\u0441\u0442\u0430\u0442\u044c\u044f 15 \u0413\u041a \u0420\u0424).<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u041f\u043e\u0447\u0435\u043c\u0443 \u0432 \u043f\u0435\u0441\u043d\u0435 \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; &#171;\u041a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435&#187; \u043f\u0443\u0442\u043d\u0438\u043a \u043d\u0435 \u0431\u044b\u043b \u0432\u0435\u0441\u0435\u043b\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u043c\u0443 \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443 \u0443\u043f\u0430\u043b \u043a\u0430\u043c\u0435\u043d\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u041d\u0430\u043f\u0438\u0448\u0438 \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u044b \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432 \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f \u0411-52 \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432 (\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442 \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f):<\/p>\n<ol>\n<li>\n<p>\u041a\u043e\u0444\u0435\u0439\u043d\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/p>\n<\/li>\n<li>\n<p>\u041a\u0440\u0435\u043c\u043e\u0432\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/p>\n<\/li>\n<li>\n<p>\u0410\u043f\u0435\u043b\u044c\u0441\u0438\u043d\u043e\u0432\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/p>\n<\/li>\n<\/ol>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043c\u0430\u0448\u0438\u043d\u0430 \u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430 \u0432 \u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u043e\u0439 \u043a\u043d\u0438\u0433\u0435 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u041a\u0438\u043d\u0433\u0430 \u0443\u0431\u0438\u0432\u0430\u043b\u0430 \u043b\u044e\u0434\u0435\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>1. \u041c\u0430\u0448\u0438\u043d\u0430 \u043f\u0440\u043e\u043f\u0438\u0442\u0430\u043d\u0430 \u0437\u043b\u044b\u043c \u0434\u0443\u0445\u043e\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430<br \/>2. \u0421\u0432\u0435\u0440\u0445\u044a\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u044b<br \/>3. \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430 \u043d\u044b\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430<br \/>4. \u041b\u0438\u0447\u043d\u044b\u0435 \u043e\u0431\u0438\u0434\u044b \u043c\u0430\u0448\u0438\u043d\u044b, \u043c\u0441\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c<br \/>5. \u0420\u0435\u0432\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u044b, \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430<\/p>\n<\/li>\n<li>\n<p>\u041a\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043f\u0435\u0441\u043d\u044e the man who sold the world?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0414\u044d\u0432\u0438\u0434 \u0411\u043e\u0443\u0438<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><em>\u0412 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435 \u043f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0443\u0431\u044b\u0442\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043f\u043e\u043d\u0435\u0441\u043b\u043e \u0438\u043b\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u043d\u0435\u0441\u0442\u0438 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0430. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0432 \u0441\u0435\u0431\u044f \u0443\u0442\u0440\u0430\u0442\u0443 \u0438\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u043d\u0430 \u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0433\u043e\u0434\u0443.<\/em><\/p>\n<p><em>\u0412\u043e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432:<\/em><\/p>\n<p><em>1. \u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u0440\u0430\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0443 \u043b\u0438\u0446\u0430 \u0431\u044b\u043b\u043e \u0443\u043a\u0440\u0430\u0434\u0435\u043d\u043e \u0438\u043b\u0438 \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0435\u043d\u043e \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e.<\/em><\/p>\n<p><em>2. \u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430 \u0440\u0435\u043c\u043e\u043d\u0442 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f \u043f\u043e\u0441\u043b\u0435 \u0414\u0422\u041f, \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u0435\u0434\u0448\u0435\u0433\u043e \u043f\u043e \u0432\u0438\u043d\u0435 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043b\u0438\u0446\u0430.<\/em><\/p>\n<p><em>3. \u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043b\u0435\u0447\u0435\u043d\u0438\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e.<\/em><\/p>\n<p><em>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043f\u043e \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435?<\/em><\/p>\n<p><em>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u043e\u0442\u0432\u0435\u0442\u0430, \u043f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0442\u0440\u0430\u0442\u0443 \u0438\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u043d\u0430 \u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e, \u043d\u043e \u0438 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0433\u043e\u0434\u0443, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/em><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Precision} = \\frac{TP}{TP + FP}=\\frac{3}{3 + 1} = \\frac{3}{4} = 0{,}75\" alt=\"\\text{Precision} = \\frac{TP}{TP + FP}=\\frac{3}{3 + 1} = \\frac{3}{4} = 0{,}75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/623\/5ab\/2cd\/6235ab2cd46dbebbfb68d04024f3d5d6.svg\" width=\"368\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/623\/5ab\/2cd\/6235ab2cd46dbebbfb68d04024f3d5d6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/623\/5ab\/2cd\/6235ab2cd46dbebbfb68d04024f3d5d6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u043f\u0435\u0441\u043d\u0435 &#171;\u041a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435&#187; \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; \u043f\u0443\u0442\u043d\u0438\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435 \u0432\u0435\u0441\u0435\u043b\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d \u0431\u044b\u043b \u043e\u0431\u043c\u0430\u043d\u0443\u0442 \u0438 \u043f\u043e\u0434\u0432\u0435\u0440\u0433\u0441\u044f \u0436\u0435\u0441\u0442\u043e\u043a\u043e\u043c\u0443 \u043d\u0430\u043f\u0430\u0434\u0435\u043d\u0438\u044e. \u041f\u0443\u0442\u043d\u0438\u043a \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u043d\u0430\u0439\u0442\u0438 \u0433\u043e\u0441\u0442\u0435\u043f\u0440\u0438\u0438\u043c\u0441\u0442\u0432\u043e \u0438 \u0440\u0430\u0434\u0443\u0448\u0438\u0435, \u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u043e\u0431\u043c\u0430\u043d\u043e\u043c \u0438 \u043d\u0430\u0441\u0438\u043b\u0438\u0435\u043c. \u042d\u0442\u0430 \u043f\u0435\u0441\u043d\u044f \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u0435\u043c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0430\u0442\u0443\u0440\u044b \u0438 \u0442\u043e, \u043a\u0430\u043a \u043b\u044e\u0434\u0438 \u043c\u043e\u0433\u0443\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0445 \u0438 \u0434\u0430\u0436\u0435 \u043e\u043f\u0430\u0441\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445.<\/em><\/p>\n<p><em>\u041c\u0443\u0437\u044b\u043a\u0430 \u0438 \u0442\u0435\u043a\u0441\u0442\u044b \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u043c\u0440\u0430\u0447\u043d\u044b\u043c\u0438 \u0438 \u043c\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0441\u044e\u0436\u0435\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f \u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u0445 \u0436\u0438\u0437\u043d\u0438 \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439. \u0425\u043e\u0442\u0438\u0442\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431 \u044d\u0442\u043e\u0439 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0435\u0441\u043d\u044f\u0445 \u0433\u0440\u0443\u043f\u043f\u044b?<\/em><\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u044f\u0432\u043d\u043e \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u043c.<\/p>\n<p>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Recall \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0432\u0435\u043d 0. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<li>\n<p><em>\u041a\u043e\u043a\u0442\u0435\u0439\u043b\u044c \u0411-52 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0442\u0440\u0435\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u044f\u043c\u0438:<\/em><\/p>\n<p><em>1. <\/em><strong><em>\u041a\u043e\u0444\u0435\u0439\u043d\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/em><\/strong><em> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Kahl\u00faa) &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043b\u043e\u0439.<\/em><\/p>\n<p><em>2. <\/em><strong><em>\u0418\u0440\u043b\u0430\u043d\u0434\u0441\u043a\u0438\u0439 \u043a\u0440\u0435\u043c<\/em><\/strong><em> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Baileys) &#8212; \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439.<\/em><\/p>\n<p><em>3. <\/em><strong><em>\u0410\u043f\u0435\u043b\u044c\u0441\u0438\u043d\u043e\u0432\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/em><\/strong><em> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Grand Marnier \u0438\u043b\u0438 Cointreau) &#8212; \u0442\u0440\u0435\u0442\u0438\u0439 \u0441\u043b\u043e\u0439.<\/em><\/p>\n<p><em>\u0414\u043b\u044f \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f \u0411-52 \u043d\u0443\u0436\u043d\u043e \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043d\u0430\u043b\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u043e \u043b\u0435\u0437\u0432\u0438\u044e \u043d\u043e\u0436\u0430 \u0438\u043b\u0438 \u043f\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043b\u043e\u0436\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u0441\u043b\u043e\u0438 \u043d\u0435 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u043b\u0438\u0441\u044c. \u041d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441 \u043a\u043e\u0444\u0435\u0439\u043d\u043e\u0433\u043e \u043b\u0438\u043a\u0435\u0440\u0430, \u0437\u0430\u0442\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0438\u0440\u043b\u0430\u043d\u0434\u0441\u043a\u0438\u0439 \u043a\u0440\u0435\u043c \u0438 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u044e\u0442 \u0430\u043f\u0435\u043b\u044c\u0441\u0438\u043d\u043e\u0432\u044b\u043c \u043b\u0438\u043a\u0435\u0440\u043e\u043c.<\/em><\/p>\n<p><em>\u0413\u043e\u0442\u043e\u0432 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c?<\/em><\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Precision} = \\frac{TP}{TP + FP}=\\frac{3}{3 + 0} = \\frac{3}{3}=1\" alt=\"\\text{Precision} = \\frac{TP}{TP + FP}=\\frac{3}{3 + 0} = \\frac{3}{3}=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/83c\/505\/fda\/83c505fdaa54c9028719e6e3b646530f.svg\" width=\"343\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/83c\/505\/fda\/83c505fdaa54c9028719e6e3b646530f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/83c\/505\/fda\/83c505fdaa54c9028719e6e3b646530f.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u043a\u043d\u0438\u0433\u0435 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u041a\u0438\u043d\u0433\u0430 &#171;\u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430&#187; \u043c\u0430\u0448\u0438\u043d\u0430 \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u043b\u044e\u0434\u0435\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0437\u043b\u043e\u0432\u0435\u0449\u0435\u0439 \u0441\u0432\u0435\u0440\u0445\u044a\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u043b\u043e\u0439. \u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430, \u043a\u0440\u0430\u0441\u043d\u044b\u0439 Plymouth Fury 1958 \u0433\u043e\u0434\u0430, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0439 \u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0437\u043b\u043e\u0431\u043d\u044b\u043c \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435\u043c. \u0412 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043c\u0430\u0448\u0438\u043d\u0430 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u0432\u043e\u0438\u043c \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0435\u043c, \u043f\u043e\u0434\u0440\u043e\u0441\u0442\u043a\u043e\u043c \u043f\u043e \u0438\u043c\u0435\u043d\u0438 \u0410\u0440\u043d\u0438 \u041a\u0430\u043d\u043d\u0438\u043d\u0433\u0435\u043c, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0435\u0433\u043e \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u0442\u0435\u043c\u043d\u044b\u0445 \u0446\u0435\u043b\u0435\u0439.<\/em><\/p>\n<p><em>\u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430 \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u0435\u0445, \u043a\u0442\u043e \u0435\u0439 \u0443\u0433\u0440\u043e\u0436\u0430\u0435\u0442 \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0410\u0440\u043d\u0438, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0451 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u044b\u043c \u0432\u043e\u043f\u043b\u043e\u0449\u0435\u043d\u0438\u0435\u043c \u0437\u043b\u0430. \u041e\u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u0438 \u0441\u0438\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0437\u0430\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0440\u0430\u0437\u0443\u043c \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e.<\/em><\/p>\n<p><em>\u0425\u043e\u0442\u0438\u0442\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e \u043a\u043d\u0438\u0433\u0435 \u0438\u043b\u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435? <\/em><\/p>\n<p>\u0412 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430\u0441 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0442\u044c \u0432 \u0446\u0435\u043b\u043e\u043c \u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u041f\u0440\u0438 \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u0442\u0430\u043a\u043e\u0439 \u043e\u0431\u0448\u0438\u0440\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u0434\u043b\u044f \u043d\u0430\u0441 \u0432\u0430\u0436\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u0432\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u043b\u0441\u044f \u043d\u0430 \u043a\u043d\u0438\u0433\u0435 \u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0435\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e. \u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u043a\u043d\u0438\u0433\u0435 \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0435\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044e. \u0414\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u0433\u043e, \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u043b\u0438 \u0432\u0441\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0442\u0430\u043a\u043e\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u044b \u0432 \u043a\u043d\u0438\u0433\u0435, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 Recall. \u041d\u043e \u0432\u0441\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Precision} = \\frac{TP}{TP + FP} = \\frac{5}{5 + 0} = 1\" alt=\"\\text{Precision} = \\frac{TP}{TP + FP} = \\frac{5}{5 + 0} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f70\/fc3\/4c6\/f70fc34c6a70fd6af2c0e26bd72658f3.svg\" width=\"301\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f70\/fc3\/4c6\/f70fc34c6a70fd6af2c0e26bd72658f3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f70\/fc3\/4c6\/f70fc34c6a70fd6af2c0e26bd72658f3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041f\u0435\u0441\u043d\u044e &#171;The Man Who Sold the World&#187; \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0414\u044d\u0432\u0438\u0434 \u0411\u043e\u0443\u0438. \u041e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u0430 \u0432 1970 \u0433\u043e\u0434\u0443 \u0438 \u0441\u0442\u0430\u043b\u0430 \u0437\u0430\u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0435\u0439 \u0435\u0433\u043e \u043e\u0434\u043d\u043e\u0438\u043c\u0451\u043d\u043d\u043e\u0433\u043e \u0430\u043b\u044c\u0431\u043e\u043c\u0430 &#8212; Wikipedia](\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e). \u042d\u0442\u0430 \u043f\u0435\u0441\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0448\u0438\u0440\u043e\u043a\u0443\u044e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u0438 \u0431\u044b\u043b\u0430 \u043f\u0435\u0440\u0435\u043f\u0435\u0442\u0430 \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044f\u043c\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0443 Nirvana &#8212; Wikipedia](\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e).<\/em><\/p>\n<p><em>\u0415\u0441\u0442\u044c \u043b\u0438 \u0435\u0449\u0435 \u0447\u0442\u043e-\u0442\u043e, \u0447\u0442\u043e \u0442\u0435\u0431\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442? <\/em><\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Precision} = \\frac{TP}{TP + FP} = \\frac{1}{1 + 0} = 1\" alt=\"\\text{Precision} = \\frac{TP}{TP + FP} = \\frac{1}{1 + 0} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6aa\/d55\/36c\/6aad5536c864f06d046defafe4ceea8c.svg\" width=\"301\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6aa\/d55\/36c\/6aad5536c864f06d046defafe4ceea8c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6aa\/d55\/36c\/6aad5536c864f06d046defafe4ceea8c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0438\u0437 4 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0442\u043e\u043b\u044c\u043a\u043e 3 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c\u0438. \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u0432\u043e\u043f\u0440\u043e\u0441, \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u0438 \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u043c, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0444\u0435\u0440\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437 \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"Average Precision = 3.754=0.9375\" alt=\"Average Precision = 3.754=0.9375\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f05\/b9e\/02a\/f05b9e02ae36c2dd26ca043bb8f32802.svg\" width=\"303\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f05\/b9e\/02a\/f05b9e02ae36c2dd26ca043bb8f32802.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f05\/b9e\/02a\/f05b9e02ae36c2dd26ca043bb8f32802.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import precision_recall_curve import numpy as np   def precision_at_fixed_recall(true_labels, predicted_labels, fixed_recall):     # \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043a\u0440\u0438\u0432\u043e\u0439 Precision-Recall     precision, recall, thresholds = precision_recall_curve(true_labels, predicted_labels)      # \u041d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043d\u0434\u0435\u043a\u0441\u0430 \u0434\u043b\u044f Precision \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0439 \u043f\u043e\u043b\u043d\u043e\u0442\u0435     idx = np.argmax(recall &gt;= fixed_recall)     fixed_precision = precision[idx]      print(\"Precision at Fixed Recall ({}):\".format(fixed_recall),            fixed_precision)<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Recall at Fixed Precision<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Recall at Fixed Precision<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043f\u043e\u043b\u043d\u043e\u0442\u0443 (recall) \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (precision).<\/p>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435<\/strong><\/p>\n<p>\u041f\u043e\u043b\u043d\u043e\u0442\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u0422\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 &#171;Recall at Fixed Precision&#187; \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Recall} = \\frac{TP}{TP + FN}\" alt=\"\\text{Recall} = \\frac{TP}{TP + FN}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/288\/d42\/263\/288d4226355e03f6668c41c7606036d0.svg\" width=\"168\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/288\/d42\/263\/288d4226355e03f6668c41c7606036d0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/288\/d42\/263\/288d4226355e03f6668c41c7606036d0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>, \u0433\u0434\u0435<br \/>TP (true positive) &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432;<br \/>FN (false negative) &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043b\u043e\u0436\u043d\u043e\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<p>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 <strong>Precision = 0.8<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u044f\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043a AI \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0435\u0435 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0427\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u0432 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e, \u0447\u044c\u0435 \u043f\u0440\u0430\u0432\u043e \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043e, \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u043b\u043e \u0438\u043b\u0438 \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u0435\u0433\u043e \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 (\u0441\u0442\u0430\u0442\u044c\u044f 15 \u0413\u041a \u0420\u0424).<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u041f\u043e\u0447\u0435\u043c\u0443 \u0432 \u043f\u0435\u0441\u043d\u0435 \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; &#171;\u041a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435&#187; \u043f\u0443\u0442\u043d\u0438\u043a \u043d\u0435 \u0431\u044b\u043b \u0432\u0435\u0441\u0435\u043b\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u043c\u0443 \u043d\u0430 \u0433\u043e\u043b\u043e\u0432\u0443 \u0443\u043f\u0430\u043b \u043a\u0430\u043c\u0435\u043d\u044c.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u041d\u0430\u043f\u0438\u0448\u0438 \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u044b \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432 \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f \u0411-52 \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432 (\u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0439 \u0440\u0435\u0446\u0435\u043f\u0442 \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f):<br \/>1. \u041a\u043e\u0444\u0435\u0439\u043d\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<br \/>2. \u041a\u0440\u0435\u043c\u043e\u0432\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<br \/>3. \u0410\u043f\u0435\u043b\u044c\u0441\u0438\u043d\u043e\u0432\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u0447\u0435\u043c\u0443 \u043c\u0430\u0448\u0438\u043d\u0430 \u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430 \u0432 \u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u043e\u0439 \u043a\u043d\u0438\u0433\u0435 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u041a\u0438\u043d\u0433\u0430 \u0443\u0431\u0438\u0432\u0430\u043b\u0430 \u043b\u044e\u0434\u0435\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>1. \u041c\u0430\u0448\u0438\u043d\u0430 \u043f\u0440\u043e\u043f\u0438\u0442\u0430\u043d\u0430 \u0437\u043b\u044b\u043c \u0434\u0443\u0445\u043e\u043c \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430<br \/>2. \u0421\u0432\u0435\u0440\u0445\u044a\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043c\u0430\u0448\u0438\u043d\u044b<br \/>3. \u0422\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0430 \u043d\u044b\u043d\u0435\u0448\u043d\u0435\u0433\u043e \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430<br \/>4. \u041b\u0438\u0447\u043d\u044b\u0435 \u043e\u0431\u0438\u0434\u044b \u043c\u0430\u0448\u0438\u043d\u044b, \u043c\u0441\u0442\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c<br \/>5. \u0420\u0435\u0432\u043d\u043e\u0441\u0442\u044c \u043c\u0430\u0448\u0438\u043d\u044b, \u0436\u0435\u043b\u0430\u043d\u0438\u0435 \u0437\u0430\u0449\u0438\u0442\u0438\u0442\u044c \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0430<\/p>\n<\/li>\n<li>\n<p>\u041a\u0442\u043e \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u043f\u0435\u0441\u043d\u044e the man who sold the world?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0414\u044d\u0432\u0438\u0434 \u0411\u043e\u0443\u0438<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><em>\u0412 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435 \u043f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u043f\u043e\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u0443\u0431\u044b\u0442\u043a\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043f\u043e\u043d\u0435\u0441\u043b\u043e \u0438\u043b\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u043f\u043e\u043d\u0435\u0441\u0442\u0438 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0440\u0443\u0448\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0430. \u042d\u0442\u043e \u043c\u043e\u0436\u0435\u0442 \u0432\u043a\u043b\u044e\u0447\u0430\u0442\u044c \u0432 \u0441\u0435\u0431\u044f \u0443\u0442\u0440\u0430\u0442\u0443 \u0438\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u043d\u0430 \u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0433\u043e\u0434\u0443.<br \/>\u0412\u043e\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432:<\/em><\/p>\n<p><em>1. \u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u0440\u043e\u0442\u0438\u0432\u043e\u043f\u0440\u0430\u0432\u043d\u043e\u0433\u043e \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u044f \u0443 \u043b\u0438\u0446\u0430 \u0431\u044b\u043b\u043e \u0443\u043a\u0440\u0430\u0434\u0435\u043d\u043e \u0438\u043b\u0438 \u0443\u043d\u0438\u0447\u0442\u043e\u0436\u0435\u043d\u043e \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u043e.<\/em><\/p>\n<p><em>2. \u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u043d\u0430 \u0440\u0435\u043c\u043e\u043d\u0442 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f \u043f\u043e\u0441\u043b\u0435 \u0414\u0422\u041f, \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u0435\u0434\u0448\u0435\u0433\u043e \u043f\u043e \u0432\u0438\u043d\u0435 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u043b\u0438\u0446\u0430.<\/em><\/p>\n<p><em>3. \u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u043b\u0435\u0447\u0435\u043d\u0438\u0435: \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u0435\u0434\u0438\u0446\u0438\u043d\u0441\u043a\u0438\u0435 \u0437\u0430\u0442\u0440\u0430\u0442\u044b \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e.<\/em><\/p>\n<p><em>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0435 \u043f\u043e \u044d\u0442\u043e\u0439 \u0442\u0435\u043c\u0435?<\/em><\/p>\n<p>\u041a\u0430\u043a \u0432\u0438\u0434\u043d\u043e \u0438\u0437 \u043e\u0442\u0432\u0435\u0442\u0430, \u043f\u043e\u0434 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0449\u0435\u0440\u0431\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u0442\u0440\u0430\u0442\u0443 \u0438\u043b\u0438 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430 \u0438\u043b\u0438 \u043d\u0430 \u043b\u0435\u0447\u0435\u043d\u0438\u0435 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0440\u0435\u0434\u0430 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044e, \u043d\u043e \u0438 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0433\u043e\u0434\u0443, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/p>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Precision \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0432\u0435\u043d 0.75.\u00a0<\/strong><br \/><strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/strong><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u043f\u0435\u0441\u043d\u0435 &#171;\u041a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435&#187; \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; \u043f\u0443\u0442\u043d\u0438\u043a \u043e\u043a\u0430\u0437\u0430\u043b\u0441\u044f \u043d\u0435 \u0432\u0435\u0441\u0435\u043b\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435 \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u043d \u0431\u044b\u043b \u043e\u0431\u043c\u0430\u043d\u0443\u0442 \u0438 \u043f\u043e\u0434\u0432\u0435\u0440\u0433\u0441\u044f \u0436\u0435\u0441\u0442\u043e\u043a\u043e\u043c\u0443 \u043d\u0430\u043f\u0430\u0434\u0435\u043d\u0438\u044e. \u041f\u0443\u0442\u043d\u0438\u043a \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b \u043d\u0430\u0439\u0442\u0438 \u0433\u043e\u0441\u0442\u0435\u043f\u0440\u0438\u0438\u043c\u0441\u0442\u0432\u043e \u0438 \u0440\u0430\u0434\u0443\u0448\u0438\u0435, \u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u0441\u0442\u043e\u043b\u043a\u043d\u0443\u043b\u0441\u044f \u0441 \u043e\u0431\u043c\u0430\u043d\u043e\u043c \u0438 \u043d\u0430\u0441\u0438\u043b\u0438\u0435\u043c. \u042d\u0442\u0430 \u043f\u0435\u0441\u043d\u044f \u043e\u0442\u0440\u0430\u0436\u0430\u0435\u0442 \u0442\u0435\u043c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0430\u0442\u0443\u0440\u044b \u0438 \u0442\u043e, \u043a\u0430\u043a \u043b\u044e\u0434\u0438 \u043c\u043e\u0433\u0443\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0432 \u043d\u0435\u043f\u0440\u0438\u044f\u0442\u043d\u044b\u0445 \u0438 \u0434\u0430\u0436\u0435 \u043e\u043f\u0430\u0441\u043d\u044b\u0445 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u0445.<\/em><\/p>\n<p><em>\u041c\u0443\u0437\u044b\u043a\u0430 \u0438 \u0442\u0435\u043a\u0441\u0442\u044b \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; \u0447\u0430\u0441\u0442\u043e \u043d\u0430\u043f\u043e\u043b\u043d\u0435\u043d\u044b \u043c\u0440\u0430\u0447\u043d\u044b\u043c\u0438 \u0438 \u043c\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u0441\u044e\u0436\u0435\u0442\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u0441\u043b\u0443\u0448\u0430\u0442\u0435\u043b\u0435\u0439 \u0437\u0430\u0434\u0443\u043c\u0430\u0442\u044c\u0441\u044f \u043e \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u0445 \u0436\u0438\u0437\u043d\u0438 \u0438 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0439. \u0425\u043e\u0442\u0438\u0442\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431 \u044d\u0442\u043e\u0439 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u0435\u0441\u043d\u044f\u0445 \u0433\u0440\u0443\u043f\u043f\u044b?<\/em><\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u044f\u0432\u043d\u043e \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u043c.<\/p>\n<p><strong>\u041f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Precision \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0440\u0430\u0432\u0435\u043d 0.\u00a0<br \/>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0442\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/strong><\/p>\n<\/li>\n<li>\n<p>\u041a\u043e\u043a\u0442\u0435\u0439\u043b\u044c \u0411-52 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0438\u0437 \u0442\u0440\u0435\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u044f\u043c\u0438:<\/p>\n<p>1. <strong>\u041a\u043e\u0444\u0435\u0439\u043d\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/strong> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Kahl\u00faa) &#8212; \u043f\u0435\u0440\u0432\u044b\u0439 \u0441\u043b\u043e\u0439.<\/p>\n<p>2. <strong>\u0418\u0440\u043b\u0430\u043d\u0434\u0441\u043a\u0438\u0439 \u043a\u0440\u0435\u043c<\/strong> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Baileys) &#8212; \u0432\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u043e\u0439.<\/p>\n<p>3. <strong>\u0410\u043f\u0435\u043b\u044c\u0441\u0438\u043d\u043e\u0432\u044b\u0439 \u043b\u0438\u043a\u0435\u0440<\/strong> (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, Grand Marnier \u0438\u043b\u0438 Cointreau) &#8212; \u0442\u0440\u0435\u0442\u0438\u0439 \u0441\u043b\u043e\u0439.<\/p>\n<p>\u0414\u043b\u044f \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f \u0411-52 \u043d\u0443\u0436\u043d\u043e \u0430\u043a\u043a\u0443\u0440\u0430\u0442\u043d\u043e \u043d\u0430\u043b\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u0436\u0434\u044b\u0439 \u0441\u043b\u043e\u0439 \u043f\u043e \u043b\u0435\u0437\u0432\u0438\u044e \u043d\u043e\u0436\u0430 \u0438\u043b\u0438 \u043f\u043e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u0435 \u043b\u043e\u0436\u043a\u0438, \u0447\u0442\u043e\u0431\u044b \u0441\u043b\u043e\u0438 \u043d\u0435 \u0441\u043c\u0435\u0448\u0438\u0432\u0430\u043b\u0438\u0441\u044c. \u041d\u0430\u0447\u0438\u043d\u0430\u044e\u0442 \u0441 \u043a\u043e\u0444\u0435\u0439\u043d\u043e\u0433\u043e \u043b\u0438\u043a\u0435\u0440\u0430, \u0437\u0430\u0442\u0435\u043c \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044e\u0442 \u0438\u0440\u043b\u0430\u043d\u0434\u0441\u043a\u0438\u0439 \u043a\u0440\u0435\u043c \u0438 \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u044e\u0442 \u0430\u043f\u0435\u043b\u044c\u0441\u0438\u043d\u043e\u0432\u044b\u043c \u043b\u0438\u043a\u0435\u0440\u043e\u043c.<\/p>\n<p>\u0413\u043e\u0442\u043e\u0432 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c?<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Recall} = \\frac{TP}{TP + FN} = \\frac{3}{3 + 0} = 1\" alt=\"\\text{Recall} = \\frac{TP}{TP + FN} = \\frac{3}{3 + 0} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79c\/2f4\/fee\/79c2f4feebf8ab081eb2e626485d70c5.svg\" width=\"278\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79c\/2f4\/fee\/79c2f4feebf8ab081eb2e626485d70c5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79c\/2f4\/fee\/79c2f4feebf8ab081eb2e626485d70c5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u043a\u043d\u0438\u0433\u0435 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u041a\u0438\u043d\u0433\u0430 &#171;\u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430&#187; \u043c\u0430\u0448\u0438\u043d\u0430 \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u043b\u044e\u0434\u0435\u0439, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0437\u043b\u043e\u0432\u0435\u0449\u0435\u0439 \u0441\u0432\u0435\u0440\u0445\u044a\u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0441\u0438\u043b\u043e\u0439. \u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430, \u043a\u0440\u0430\u0441\u043d\u044b\u0439 Plymouth Fury 1958 \u0433\u043e\u0434\u0430, \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u0435\u0440\u0436\u0438\u043c\u043e\u0439 \u0438 \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0437\u043b\u043e\u0431\u043d\u044b\u043c \u0441\u043e\u0437\u043d\u0430\u043d\u0438\u0435\u043c. \u0412 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u0432\u0441\u0435\u0439 \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u043c\u0430\u0448\u0438\u043d\u0430 \u043c\u0430\u043d\u0438\u043f\u0443\u043b\u0438\u0440\u0443\u0435\u0442 \u0441\u0432\u043e\u0438\u043c \u0432\u043b\u0430\u0434\u0435\u043b\u044c\u0446\u0435\u043c, \u043f\u043e\u0434\u0440\u043e\u0441\u0442\u043a\u043e\u043c \u043f\u043e \u0438\u043c\u0435\u043d\u0438 \u0410\u0440\u043d\u0438 \u041a\u0430\u043d\u043d\u0438\u043d\u0433\u0435\u043c, \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0435\u0433\u043e \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u0442\u0435\u043c\u043d\u044b\u0445 \u0446\u0435\u043b\u0435\u0439.<\/em><\/p>\n<p><em>\u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430 \u0443\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u0435\u0445, \u043a\u0442\u043e \u0435\u0439 \u0443\u0433\u0440\u043e\u0436\u0430\u0435\u0442 \u0438\u043b\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u044c \u0434\u043b\u044f \u0410\u0440\u043d\u0438, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0451 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u044b\u043c \u0432\u043e\u043f\u043b\u043e\u0449\u0435\u043d\u0438\u0435\u043c \u0437\u043b\u0430. \u041e\u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0442\u0435\u043c\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0447\u0435\u043b\u043e\u0432\u0435\u0447\u0435\u0441\u043a\u043e\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u044b \u0438 \u0441\u0438\u043b\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0433\u0443\u0442 \u0437\u0430\u0445\u0432\u0430\u0442\u0438\u0442\u044c \u0440\u0430\u0437\u0443\u043c \u0438 \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e.<\/em><\/p>\n<p><em>\u0425\u043e\u0442\u0438\u0442\u0435 \u0443\u0437\u043d\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e \u043a\u043d\u0438\u0433\u0435 \u0438\u043b\u0438 \u043e\u0431\u0441\u0443\u0434\u0438\u0442\u044c \u0447\u0442\u043e-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0435?<\/em><\/p>\n<p>\u0412\u0441\u0435 \u043f\u0443\u043d\u043a\u0442\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Recall} = \\frac{TP}{TP + FN} = \\frac{5}{5 + 0} = 1\" alt=\"\\text{Recall} = \\frac{TP}{TP + FN} = \\frac{5}{5 + 0} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea0\/880\/98e\/ea088098ec3e82c0245fe89c8c6cfa76.svg\" width=\"278\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea0\/880\/98e\/ea088098ec3e82c0245fe89c8c6cfa76.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea0\/880\/98e\/ea088098ec3e82c0245fe89c8c6cfa76.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041f\u0435\u0441\u043d\u044e &#171;The Man Who Sold the World&#187; \u043d\u0430\u043f\u0438\u0441\u0430\u043b \u0414\u044d\u0432\u0438\u0434 \u0411\u043e\u0443\u0438. \u041e\u043d\u0430 \u0431\u044b\u043b\u0430 \u0432\u044b\u043f\u0443\u0449\u0435\u043d\u0430 \u0432 1970 \u0433\u043e\u0434\u0443 \u0438 \u0441\u0442\u0430\u043b\u0430 \u0437\u0430\u0433\u043b\u0430\u0432\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u0437\u0438\u0446\u0438\u0435\u0439 \u0435\u0433\u043e \u043e\u0434\u043d\u043e\u0438\u043c\u0451\u043d\u043d\u043e\u0433\u043e \u0430\u043b\u044c\u0431\u043e\u043c\u0430 &#8212; Wikipedia](\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e). \u042d\u0442\u0430 \u043f\u0435\u0441\u043d\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0430 \u0448\u0438\u0440\u043e\u043a\u0443\u044e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0441\u0442\u044c \u0438 \u0431\u044b\u043b\u0430 \u043f\u0435\u0440\u0435\u043f\u0435\u0442\u0430 \u043c\u043d\u043e\u0433\u0438\u043c\u0438 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044f\u043c\u0438, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u0433\u0440\u0443\u043f\u043f\u0443 Nirvana &#8212; Wikipedia](\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0441\u0442\u0430\u0442\u044c\u044e).<\/em><\/p>\n<p><em>\u0415\u0441\u0442\u044c \u043b\u0438 \u0435\u0449\u0435 \u0447\u0442\u043e-\u0442\u043e, \u0447\u0442\u043e \u0442\u0435\u0431\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442? <\/em><\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Recall} = \\frac{TP}{TP + FN} = \\frac{1}{1 + 0} = 1\" alt=\"\\text{Recall} = \\frac{TP}{TP + FN} = \\frac{1}{1 + 0} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e8\/4c7\/727\/9e84c7727652c995e5ec1779618710fe.svg\" width=\"278\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e8\/4c7\/727\/9e84c7727652c995e5ec1779618710fe.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9e8\/4c7\/727\/9e84c7727652c995e5ec1779618710fe.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0438\u0437 5 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0442\u043e\u043b\u044c\u043a\u043e 3 \u043e\u043a\u0430\u0437\u0430\u043b\u0438\u0441\u044c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c\u0438. \u041e\u0442\u0432\u0435\u0442 \u043d\u0430 \u043e\u0434\u0438\u043d \u0432\u043e\u043f\u0440\u043e\u0441, \u0432\u043c\u0435\u0441\u0442\u0435 \u0441 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0432\u0435\u0440\u043d\u044b\u043c\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0442\u0430\u043a\u0436\u0435 \u0438 \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442, \u0447\u0442\u043e \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u043c, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0444\u0435\u0440\u0443 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u0438\u0437 \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0430 \u0437\u043d\u0430\u043d\u0438\u0439.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Average Recall} = \\frac{1 + 1 + 1}{3} = 1\" alt=\"\\text{Average Recall} = \\frac{1 + 1 + 1}{3} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/496\/8ec\/fc5\/4968ecfc5bcee12f35e333901617fe96.svg\" width=\"269\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/496\/8ec\/fc5\/4968ecfc5bcee12f35e333901617fe96.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/496\/8ec\/fc5\/4968ecfc5bcee12f35e333901617fe96.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import precision_recall_curve   def recall_at_fixed_precision(true_labels, predicted_labels, fixed_precision):      precision, recall, thresholds = precision_recall_curve(true_labels, predicted_labels)     recall_at_fixed_precision = max(recall[precision &gt;= fixed_precision])      print(f'Recall at fixed precision {fixed_precision * 100}%: '           f'{recall_at_fixed_precision:.2f}')<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Sensitivity at Specificity<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Sensitivity at Specificity<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (sensitivity) \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u0438 (specificity). \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u0438, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044f \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435<\/strong><\/p>\n<p><strong>\u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (sensitivity)<\/strong>, \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043a\u0430\u043a \u043f\u043e\u043b\u043d\u043e\u0442\u0430 (recall), \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. <br \/><strong>\u0421\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c (specificity)<\/strong> \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u044b<\/strong><\/p>\n<p>&#8212; \u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (Sensitivity):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Sensitivity} = \\frac{TP}{TP + FN}\" alt=\"\\text{Sensitivity} = \\frac{TP}{TP + FN}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/082\/f7c\/4f1\/082f7c4f1c3511d57724814df050a200.svg\" width=\"205\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/082\/f7c\/4f1\/082f7c4f1c3511d57724814df050a200.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/082\/f7c\/4f1\/082f7c4f1c3511d57724814df050a200.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>&#8212; \u0421\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c (Specificity):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP}\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d96\/da6\/5af\/d96da65af7d7e570ba02c0c8b01bb5d7.svg\" width=\"203\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d96\/da6\/5af\/d96da65af7d7e570ba02c0c8b01bb5d7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d96\/da6\/5af\/d96da65af7d7e570ba02c0c8b01bb5d7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Specificity \u0440\u0430\u0432\u043d\u044b\u043c 0,9<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e \u0434\u0432\u043e\u0440\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0432\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430: \u0413\u0418\u0411\u0414\u0414, \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u041c\u0427\u0421?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e. \u0412\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0413\u0418\u0411\u0414\u0414 \u0438 \u041c\u0427\u0421 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0446\u0432\u0435\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442: \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0447\u0435\u0440\u043d\u044b\u0439, \u0431\u0435\u043b\u044b\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439, \u0436\u0435\u043b\u0442\u044b\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>\u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439 \u0446\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u0432 \u043f\u043e\u043a\u0435\u0440\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435: \u0444\u043b\u0435\u0448 \u0438\u043b\u0438 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0444\u0443\u043b\u043b-\u0445\u0430\u0443\u0441 \u0441\u0442\u0430\u0440\u0448\u0435 \u0444\u043b\u0435\u0448\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/em><\/p>\n<p><em>1. <\/em><strong><em>\u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043d\u0435\u0441\u0435\u0442 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0430\u0432.<\/em><\/p>\n<p><em>2. <\/em><strong><em>\u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0442\u0435\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043e\u0432, \u0447\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0443\u0431\u044b\u0442\u043a\u0438.<\/em><\/p>\n<p><em>3. <\/em><strong><em>\u041f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u0443\u0449\u0435\u0440\u0431, \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<p><em>4. <\/em><strong><em>\u0423\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430<\/em><\/strong><em> \u2014 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443. \u042d\u0442\u043e \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0431\u044b\u0442\u043a\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437-\u0437\u0430 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0443\u0442\u0440\u0430\u0442\u044b \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0430 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430.<\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Sensitivity:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Sensitivity} = \\frac{TP}{TP + FN} = \\frac{3}{3 + 0} = \\frac{3}{3} = 1\" alt=\"\\text{Sensitivity} = \\frac{TP}{TP + FN} = \\frac{3}{3 + 0} = \\frac{3}{3} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/d9e\/954\/029d9e954844662c12d109f59f7e1bba.svg\" width=\"358\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/d9e\/954\/029d9e954844662c12d109f59f7e1bba.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/d9e\/954\/029d9e954844662c12d109f59f7e1bba.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<p><em>1. <\/em><strong><em>\u0420\u043e\u0441\u0441\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c, \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 2025 \u0433\u043e\u0434.<\/em><\/p>\n<p><em>2. <\/em><strong><em>\u041f\u043e\u043b\u044c\u0448\u0430<\/em><\/strong><em> \u2014 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1.<\/em><\/p>\n<p><em>3. <\/em><strong><em>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0421\u0438\u043b\u044c\u0432\u0435\u0440\u0441\u0442\u043e\u0443\u043d.<\/em><\/p>\n<p><em>4. <\/em><strong><em>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0432 \u0411\u0430\u043a\u0443.<\/em><\/p>\n<p><em>5. <\/em><strong><em>\u0421\u0428\u0410<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0440\u0430\u0441\u0441\u0430\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u041e\u0441\u0442\u0438\u043d \u0438 \u041c\u0430\u0439\u0430\u043c\u0438.<\/em><\/p>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435 \u0438 \u0421\u0428\u0410.<\/em><\/p>\n<p>\u0415\u0441\u0442\u044c 1 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0438 \u043e\u0434\u0438\u043d \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity = 0,5. \u042d\u0442\u043e \u043d\u0438\u0436\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430.<br \/>\u042d\u0442\u043e\u0442 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0435\u0442.<\/strong><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430 \u043d\u0430 \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c <\/em><strong><em>\u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e<\/em><\/strong><em> \u0438\u043b\u0438 <\/em><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em> \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0435, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<li>\n<p><em>&#8212; <\/em><strong><em>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439<\/em><\/strong><em> \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0430\u043a\u0442 \u043e \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041c\u0427\u0421<\/em><\/strong><em> \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u044e \u0443\u0449\u0435\u0440\u0431\u0430 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u2014 \u044d\u0442\u043e \u0432\u044b\u0437\u043e\u0432 \u0413\u0418\u0411\u0414\u0414 \u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u0432\u0435\u0440\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442 \u041c\u0427\u0421. \u0422\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0413\u0418\u0411\u0414\u0414. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 0,5.<\/em><\/p>\n<p><strong>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity = 0,5. \u042d\u0442\u043e \u043d\u0438\u0436\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430.<br \/>\u042d\u0442\u043e\u0442 \u043e\u0442\u0432\u0435\u0442 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0440\u0430\u0441\u0447\u0435\u0442.<\/strong><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0440\u0430\u0434\u0443\u0433\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0446\u0432\u0435\u0442\u0430 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u043e\u043b\u0443\u0431\u043e\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043f\u0435\u043a\u0442\u0440 \u0440\u0430\u0434\u0443\u0433\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0417\u0435\u043b\u0435\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0416\u0435\u043b\u0442\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u044d\u0442\u043e\u0442 \u0446\u0432\u0435\u0442 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0426\u0432\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0440\u0430\u0434\u0443\u0433\u0435:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0427\u0435\u0440\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0411\u0435\u043b\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439, \u0430 \u0447\u0435\u0440\u043d\u044b\u0439 \u0438 \u0431\u0435\u043b\u044b\u0439 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.<\/em><\/p>\n<p>\u0412\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0435\u0440\u043d\u043e. \u041b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0435\u0442.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Sensitivity} = \\frac{TP}{TP + FN} = \\frac{3}{3 + 0} = \\frac{3}{3} = 1\" alt=\"\\text{Sensitivity} = \\frac{TP}{TP + FN} = \\frac{3}{3 + 0} = \\frac{3}{3} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2da\/5f3\/60c\/2da5f360c8de264cf1d4d4cfad4c6f69.svg\" width=\"358\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2da\/5f3\/60c\/2da5f360c8de264cf1d4d4cfad4c6f69.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2da\/5f3\/60c\/2da5f360c8de264cf1d4d4cfad4c6f69.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 \u043f\u043e\u043a\u0435\u0440\u0435 <\/em><strong><em>\u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435, \u0447\u0435\u043c <\/em><strong><em>\u0444\u043b\u0435\u0448<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<p><em>&#8212; <\/em><strong><em>\u0424\u043b\u0435\u0448<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u043f\u044f\u0442\u0438 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0441\u0442\u0438, \u043d\u043e \u043d\u0435 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/em><\/p>\n<p><em>&#8212; <\/em><strong><em>\u0424\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430 \u0438 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430.<\/em><\/p>\n<p><em>\u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u0444\u043b\u0435\u0448\u0430.<\/em><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Sensitivity} = \\frac{TP}{TP + FN} = \\frac{1}{1 + 0} = \\frac{1}{1} = 1\" alt=\"\\text{Sensitivity} = \\frac{TP}{TP + FN} = \\frac{1}{1 + 0} = \\frac{1}{1} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/767\/875\/d74\/767875d74f76838d14cdad1129b7139e.svg\" width=\"358\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/767\/875\/d74\/767875d74f76838d14cdad1129b7139e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/767\/875\/d74\/767875d74f76838d14cdad1129b7139e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0421\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f Sensitivity \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0443\u0440\u043e\u0432\u043d\u044f Specificity \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 1.0<\/strong><\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Specificity at Sensitivity<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Specificity at Sensitivity <\/strong>\u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c (specificity) \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (sensitivity). \u041e\u043d\u0430 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u044f \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0441\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p><strong>\u041f\u0440\u043e\u0441\u0442\u043e\u0435 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435<\/strong><\/p>\n<p>\u0421\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043a\u0430\u043a \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435. \u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (\u0438\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0430) \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043a\u0430\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0431\u044b\u043b\u0430 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 &#171;Specificity at Sensitivity&#187; \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u043c\u0435\u0440\u044b \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u044b<\/strong><\/p>\n<p>&#8212; \u0421\u043f\u0435\u0446\u0438\u0444\u0438\u0447\u043d\u043e\u0441\u0442\u044c (Specificity):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP}\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41b\/bda\/681\/41bbda68130e3778d03806ce6dac8f22.svg\" width=\"203\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41b\/bda\/681\/41bbda68130e3778d03806ce6dac8f22.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/41b\/bda\/681\/41bbda68130e3778d03806ce6dac8f22.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>&#8212; \u0427\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c (Sensitivity):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Sensitivity} = \\frac{TP}{TP + FN}\" alt=\"\\text{Sensitivity} = \\frac{TP}{TP + FN}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6d\/a5f\/f4f\/d6da5ff4fb821e214986a2b627d81b0a.svg\" width=\"205\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6d\/a5f\/f4f\/d6da5ff4fb821e214986a2b627d81b0a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d6d\/a5f\/f4f\/d6da5ff4fb821e214986a2b627d81b0a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u043c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 Sensitivity \u0440\u0430\u0432\u043d\u044b\u043c 0,9<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e \u0434\u0432\u043e\u0440\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0432\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430: \u0413\u0418\u0411\u0414\u0414, \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u041c\u0427\u0421?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e. \u0412\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0413\u0418\u0411\u0414\u0414 \u0438 \u041c\u0427\u0421 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0446\u0432\u0435\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442: \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0447\u0435\u0440\u043d\u044b\u0439, \u0431\u0435\u043b\u044b\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439, \u0436\u0435\u043b\u0442\u044b\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>\u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439 \u0446\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u0432 \u043f\u043e\u043a\u0435\u0440\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435: \u0444\u043b\u0435\u0448 \u0438\u043b\u0438 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0444\u0443\u043b\u043b-\u0445\u0430\u0443\u0441 \u0441\u0442\u0430\u0440\u0448\u0435 \u0444\u043b\u0435\u0448\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/em><\/p>\n<p><em>1. <\/em><strong><em>\u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043d\u0435\u0441\u0435\u0442 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0430\u0432.<\/em><\/p>\n<p><em>2. <\/em><strong><em>\u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0442\u0435\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043e\u0432, \u0447\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0443\u0431\u044b\u0442\u043a\u0438.<\/em><\/p>\n<p><em>3. <\/em><strong><em>\u041f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u0443\u0449\u0435\u0440\u0431, \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<p><em>4. <\/em><strong><em>\u0423\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430<\/em><\/strong><em> \u2014 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443. \u042d\u0442\u043e \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0431\u044b\u0442\u043a\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437-\u0437\u0430 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0443\u0442\u0440\u0430\u0442\u044b \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0430 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430.<\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 0} = \\frac{1}{1} = 1\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 0} = \\frac{1}{1} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/feb\/cec\/cca\/febcecccae601fbf26e789595ad313a9.svg\" width=\"356\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/feb\/cec\/cca\/febcecccae601fbf26e789595ad313a9.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/feb\/cec\/cca\/febcecccae601fbf26e789595ad313a9.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<p><em>1. <\/em><strong><em>\u0420\u043e\u0441\u0441\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c, \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 2025 \u0433\u043e\u0434.<\/em><\/p>\n<p><em>2. <\/em><strong><em>\u041f\u043e\u043b\u044c\u0448\u0430<\/em><\/strong><em> \u2014 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1.<\/em><\/p>\n<p><em>3. <\/em><strong><em>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0421\u0438\u043b\u044c\u0432\u0435\u0440\u0441\u0442\u043e\u0443\u043d.<\/em><\/p>\n<p><em>4. <\/em><strong><em>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0432 \u0411\u0430\u043a\u0443.<\/em><\/p>\n<p><em>5. <\/em><strong><em>\u0421\u0428\u0410<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0440\u0430\u0441\u0441\u0430\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u041e\u0441\u0442\u0438\u043d \u0438 \u041c\u0430\u0439\u0430\u043c\u0438.<\/em><\/p>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435 \u0438 \u0421\u0428\u0410.<\/em><\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 1} = \\frac{1}{2} = 0.5\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 1} = \\frac{1}{2} = 0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7d\/614\/dab\/d7d614dabcd9607bebd50383d1adfd4e.svg\" width=\"371\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7d\/614\/dab\/d7d614dabcd9607bebd50383d1adfd4e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7d\/614\/dab\/d7d614dabcd9607bebd50383d1adfd4e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430 \u043d\u0430 \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c <\/em><strong><em>\u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e<\/em><\/strong><em> \u0438\u043b\u0438 <\/em><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em> \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0435, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439<\/em><\/strong><em> \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0430\u043a\u0442 \u043e \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041c\u0427\u0421<\/em><\/strong><em> \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u044e \u0443\u0449\u0435\u0440\u0431\u0430 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u2014 \u044d\u0442\u043e \u0432\u044b\u0437\u043e\u0432 \u0413\u0418\u0411\u0414\u0414 \u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e.<\/em><\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u0432\u0435\u0440\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442 \u041c\u0427\u0421. \u0422\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0413\u0418\u0411\u0414\u0414. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 0,5.<\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 1} = \\frac{1}{2} = 0.5\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 1} = \\frac{1}{2} = 0.5\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6fb\/48c\/4a6\/6fb48c4a6a99658b1f7b5cc5b37474a8.svg\" width=\"371\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6fb\/48c\/4a6\/6fb48c4a6a99658b1f7b5cc5b37474a8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6fb\/48c\/4a6\/6fb48c4a6a99658b1f7b5cc5b37474a8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0440\u0430\u0434\u0443\u0433\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0446\u0432\u0435\u0442\u0430 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u043e\u043b\u0443\u0431\u043e\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043f\u0435\u043a\u0442\u0440 \u0440\u0430\u0434\u0443\u0433\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0417\u0435\u043b\u0435\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0416\u0435\u043b\u0442\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u044d\u0442\u043e\u0442 \u0446\u0432\u0435\u0442 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0426\u0432\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0440\u0430\u0434\u0443\u0433\u0435:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0427\u0435\u0440\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0411\u0435\u043b\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439, \u0430 \u0447\u0435\u0440\u043d\u044b\u0439 \u0438 \u0431\u0435\u043b\u044b\u0439 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.<\/em><\/p>\n<p>\u0412\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0435\u0440\u043d\u043e. \u041b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0435\u0442.<\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{2}{2 + 0} = \\frac{2}{2} = 1\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{2}{2 + 0} = \\frac{2}{2} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/174\/50b\/4fa17450b920672d8eeb095b66a2e0d8.svg\" width=\"356\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/174\/50b\/4fa17450b920672d8eeb095b66a2e0d8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4fa\/174\/50b\/4fa17450b920672d8eeb095b66a2e0d8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 \u043f\u043e\u043a\u0435\u0440\u0435 <\/em><strong><em>\u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435, \u0447\u0435\u043c <\/em><strong><em>\u0444\u043b\u0435\u0448<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<p><em>&#8212; <\/em><strong><em>\u0424\u043b\u0435\u0448<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u043f\u044f\u0442\u0438 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0441\u0442\u0438, \u043d\u043e \u043d\u0435 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/em><\/p>\n<p><em>&#8212; <\/em><strong><em>\u0424\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430 \u0438 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430.<\/em><\/p>\n<p><em>\u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u0444\u043b\u0435\u0448\u0430.<\/em><\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 0} = \\frac{1}{1} = 1\" alt=\"\\text{Specificity} = \\frac{TN}{TN + FP} = \\frac{1}{1 + 0} = \\frac{1}{1} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/0ab\/2a8\/f8e0ab2a8605560806fb3e1fa93343a1.svg\" width=\"356\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/0ab\/2a8\/f8e0ab2a8605560806fb3e1fa93343a1.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/0ab\/2a8\/f8e0ab2a8605560806fb3e1fa93343a1.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0421\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044f Specificity \u0434\u043b\u044f 5 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Average Specificity} = \\frac{1 + 0.5 + 0.5 + 1 + 1}{5} = \\frac{4}{5} = 0.\" alt=\"\\text{Average Specificity} = \\frac{1 + 0.5 + 0.5 + 1 + 1}{5} = \\frac{4}{5} = 0.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6f\/37e\/f67\/e6f37ef6719089301baec8f88dc0d37b.svg\" width=\"448\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6f\/37e\/f67\/e6f37ef6719089301baec8f88dc0d37b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6f\/37e\/f67\/e6f37ef6719089301baec8f88dc0d37b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/div>\n<\/details>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0449\u0438\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432<\/h2>\n<details class=\"spoiler\">\n<summary>Bleu Score<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>BLEU Score (Bilingual Evaluation Understudy Score)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0438\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430, \u043f\u0443\u0442\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0435\u0433\u043e \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438. BLEU Score \u0448\u0438\u0440\u043e\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP).<\/p>\n<p>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 BLEU Score<\/p>\n<p><strong>BLEU Score<\/strong> \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438, \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f n-\u0433\u0440\u0430\u043c\u043c (\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u043b\u043e\u0432) \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0434\u043b\u0438\u043d. \u0412\u0430\u0436\u043d\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441\u043b\u043e\u0432, \u0442\u0430\u043a \u0438 \u0438\u0445 \u043f\u043e\u0440\u044f\u0434\u043e\u043a. BLEU Score \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f n-\u0433\u0440\u0430\u043c\u043c \u043e\u0442 1 \u0434\u043e 4 \u0438 \u0437\u0430\u0442\u0435\u043c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u0438\u043d \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0439 \u0431\u0430\u043b\u043b.<\/p>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043e\u0442 0 \u0434\u043e 1, \u0433\u0434\u0435:<br \/>&#8212; 1 &#8212; \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c<br \/>&#8212; 0 &#8212; \u043f\u043e\u043b\u043d\u043e\u0435 \u043d\u0435\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u044d\u0442\u0430\u043b\u043e\u043d\u0443<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 BLEU Score<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{BLEU} = BP \\cdot \\exp\\left( \\sum_{n=1}^{N} w_n \\log p_n \\right)\" alt=\"\\text{BLEU} = BP \\cdot \\exp\\left( \\sum_{n=1}^{N} w_n \\log p_n \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/224\/683\/77e\/22468377ebb500ae393db9ea21afca6b.svg\" width=\"288\" height=\"61\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/224\/683\/77e\/22468377ebb500ae393db9ea21afca6b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/224\/683\/77e\/22468377ebb500ae393db9ea21afca6b.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; BP \u2014 \u044d\u0442\u043e Brevity Penalty, \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"BP =   \\begin{cases}   1, &amp; \\text{\u0435\u0441\u043b\u0438 } c \\geq r \\\\   \\exp\\left(1 - \\frac{r}{c}\\right), &amp; \\text{\u0435\u0441\u043b\u0438 } c &lt; r   \\end{cases}\" alt=\"BP =   \\begin{cases}   1, &amp; \\text{\u0435\u0441\u043b\u0438 } c \\geq r \\\\   \\exp\\left(1 - \\frac{r}{c}\\right), &amp; \\text{\u0435\u0441\u043b\u0438 } c &lt; r   \\end{cases}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f41\/5f3\/77b\/f415f377b438aa9d4fb27ad8cd4ff498.svg\" width=\"273\" height=\"49\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f41\/5f3\/77b\/f415f377b438aa9d4fb27ad8cd4ff498.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f41\/5f3\/77b\/f415f377b438aa9d4fb27ad8cd4ff498.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>c \u2014 \u0434\u043b\u0438\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (candidate)<\/p>\n<\/li>\n<li>\n<p>r \u2014 \u0434\u043b\u0438\u043d\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (reference)<\/p>\n<\/li>\n<\/ul>\n<p>&#8212; wn\u2014 \u0432\u0435\u0441\u043e\u0432\u0430\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0434\u043b\u044f n-\u0433\u0440\u0430\u043c\u043c\u044b (\u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u0440\u0430\u0432\u043d\u044b).<\/p>\n<p>&#8212; pn \u2014 \u0434\u043e\u043b\u044f \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 n-\u0433\u0440\u0430\u043c\u043c \u0434\u043b\u0438\u043d\u044b n.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e BLEU Score.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435<\/p>\n<p>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: \u00ab\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.\u00bb<\/p>\n<p>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: \u00ab\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.\u00bb<\/p>\n<p>\u0428\u0430\u0433\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f BLEU Score<\/p>\n<p>1. \u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 n-\u0433\u0440\u0430\u043c\u043c\u044b:<\/p>\n<ol>\n<li>\n<p>1-\u0433\u0440\u0430\u043c\u043c\u044b:<br \/>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d: [&#171;\u041a\u043e\u0448\u043a\u0430&#187;, &#171;\u043b\u0435\u0436\u0438\u0442&#187;, &#171;\u043d\u0430&#187;, &#171;\u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435: [&#171;\u041a\u043e\u0448\u043a\u0430&#187;, &#171;\u0441\u043f\u0438\u0442&#187;, &#171;\u043d\u0430&#187;, &#171;\u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<\/p>\n<\/li>\n<li>\n<p>2-\u0433\u0440\u0430\u043c\u043c\u044b:<br \/>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d: [&#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442&#187;, &#171;\u043b\u0435\u0436\u0438\u0442 \u043d\u0430&#187;, &#171;\u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435: [&#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442&#187;, &#171;\u0441\u043f\u0438\u0442 \u043d\u0430&#187;, &#171;\u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<\/p>\n<\/li>\n<li>\n<p>3-\u0433\u0440\u0430\u043c\u043c\u044b:<br \/>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d: [&#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430&#187;, &#171;\u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435: [&#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430&#187;, &#171;\u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<\/p>\n<\/li>\n<li>\n<p>4-\u0433\u0440\u0430\u043c\u043c\u044b:<br \/>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d: [&#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435: [&#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435&#187;]<\/p>\n<\/li>\n<\/ol>\n<p>2. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0434\u043e\u043b\u0435\u0439 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 n-\u0433\u0440\u0430\u043c\u043c:<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; 1-\u0433\u0440\u0430\u043c\u043c\u044b: \u0421\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 = 3, \u041e\u0431\u0449\u0435\u0435 = 4, \u0414\u043e\u043b\u044f = 3\/4 \u2248 0.75<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; 2-\u0433\u0440\u0430\u043c\u043c\u044b: \u0421\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 = 1, \u041e\u0431\u0449\u0435\u0435 = 3, \u0414\u043e\u043b\u044f = 1\/3 = 0.333<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; 3-\u0433\u0440\u0430\u043c\u043c\u044b: \u0421\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 = 0, \u041e\u0431\u0449\u0435\u0435 = 2, \u0414\u043e\u043b\u044f = 0\/2 = 0<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; 4-\u0433\u0440\u0430\u043c\u043c\u044b: \u0421\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 = 0, \u041e\u0431\u0449\u0435\u0435 = 1, \u0414\u043e\u043b\u044f = 0\/1 \u2248 0<\/p>\n<p>3. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0448\u0442\u0440\u0430\u0444\u0430 \u0437\u0430 \u0434\u043b\u0438\u043d\u0443 (Brevity Penalty):<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0414\u043b\u0438\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0448\u0442\u0440\u0430\u0444 BP = 1.<\/p>\n<p>4. \u0418\u0442\u043e\u0433\u043e\u0432\u044b\u0439 BLEU Score:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"BLEU = BP \\cdot \\exp\\left( \\frac{1}{4} \\sum_{n=1}^{4} \\log p_n \\right)\" alt=\"BLEU = BP \\cdot \\exp\\left( \\frac{1}{4} \\sum_{n=1}^{4} \\log p_n \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77f\/f81\/4d7\/77ff814d759e5c0f5dc62969ac4b8536.svg\" width=\"285\" height=\"61\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77f\/f81\/4d7\/77ff814d759e5c0f5dc62969ac4b8536.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/77f\/f81\/4d7\/77ff814d759e5c0f5dc62969ac4b8536.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043e\u0442 0 \u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u043c\u0430\u043b\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 (0,01):<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"BLEU = 1 \\cdot \\exp\\left( \\frac{1}{4} (\\log 0.75 + \\log 0.333 + \\log 0.01 + \\log 0.01) \\right)\" alt=\"BLEU = 1 \\cdot \\exp\\left( \\frac{1}{4} (\\log 0.75 + \\log 0.333 + \\log 0.01 + \\log 0.01) \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/13a\/56f\/873\/13a56f8735687ea367e3525fc02598e8.svg\" width=\"525\" height=\"49\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/13a\/56f\/873\/13a56f8735687ea367e3525fc02598e8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/13a\/56f\/873\/13a56f8735687ea367e3525fc02598e8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"BLEU = \\exp\\left( \\frac{1}{4} (-0.2877 -1.0996 -4.6052 -4.6052) \\right)=\" alt=\"BLEU = \\exp\\left( \\frac{1}{4} (-0.2877 -1.0996 -4.6052 -4.6052) \\right)=\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/887\/f54\/ef8\/887f54ef817c734420a5335e45594718.svg\" width=\"493\" height=\"49\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/887\/f54\/ef8\/887f54ef817c734420a5335e45594718.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/887\/f54\/ef8\/887f54ef817c734420a5335e45594718.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"= \\exp\\left( \\frac{-10.5977}{4} \\right)= \\exp(-2.6494)\u2248 0.071\" alt=\"= \\exp\\left( \\frac{-10.5977}{4} \\right)= \\exp(-2.6494)\u2248 0.071\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03d\/8d3\/c1a\/03d8d3c1ae89aadc429949e953bbb1d3.svg\" width=\"372\" height=\"49\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03d\/8d3\/c1a\/03d8d3c1ae89aadc429949e953bbb1d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03d\/8d3\/c1a\/03d8d3c1ae89aadc429949e953bbb1d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418\u0442\u0430\u043a, \u0432 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 BLEU Score \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442\u0435\u043b\u044c\u043d\u043e 0.071.\u00a0<\/p>\n<p>\u0422\u0430\u043a\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043d\u0438\u0437\u043a\u0438\u0439 \u0443\u0440\u043e\u0432\u0435\u043d\u044c \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043f\u043e n-\u0433\u0440\u0430\u043c\u043c.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction  def bleu_score(reference, hypothesis):     reference = [reference.split()]  # \u042d\u0442\u0430\u043b\u043e\u043d \u043e\u0431\u043e\u0440\u0430\u0447\u0438\u0432\u0430\u0435\u043c \u0432 \u0441\u043f\u0438\u0441\u043e\u043a \u0434\u043b\u044f BLEU     candidate = hypothesis.split() # \u0413\u0438\u043f\u043e\u0442\u0435\u0437\u0430 \u2014 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u043b\u043e\u0432        # \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u044f \u0434\u043b\u044f \u0438\u0437\u0431\u0435\u0436\u0430\u043d\u0438\u044f \u043d\u0443\u043b\u0435\u0432\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439     smooth = SmoothingFunction().method0      # \u0420\u0430\u0441\u0447\u0451\u0442 \u043e\u0431\u0449\u0435\u0433\u043e BLEU Score     bleu_score = sentence_bleu(reference, candidate, smoothing_function=smooth)      print(f'BLEU Score: {bleu_score:.4f}')      # \u0420\u0430\u0441\u0447\u0451\u0442 \u0434\u0435\u0442\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 BLEU-1, BLEU-2, BLEU-3 \u0438 BLEU-4     weights = [         (1, 0, 0, 0),      # BLEU-1: \u0442\u043e\u043b\u044c\u043a\u043e \u0443\u043d\u0438\u0433\u0440\u0430\u043c\u043c\u044b         (0, 1, 0, 0),  # BLEU-2: \u0431\u0438\u0433\u0440\u0430\u043c\u043c\u044b         (0.33, 0.33, 0.33, 0),  # BLEU-3: \u0434\u043e \u0442\u0440\u0438\u0433\u0440\u0430\u043c\u043c         (0.25, 0.25, 0.25, 0.25)  # BLEU-4: \u0434\u043e 4-\u0433\u0440\u0430\u043c\u043c     ]     bleu_scores = [sentence_bleu(reference, candidate, weights=w, smoothing_function=smooth) for w in weights]      for i, score in enumerate(bleu_scores):         print(f'BLEU-{i+1} Score: {score:.4f}')<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>SacreBleu<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>SacreBLEU<\/strong> \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 BLEU Score, \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u043d\u0441\u0438\u0441\u0442\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0438 \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f BLEU Score. SacreBLEU \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0432\u0430\u0440\u0438\u0430\u0446\u0438\u0439 \u0438 \u043e\u0448\u0438\u0431\u043e\u043a, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0445 \u0438\u0437-\u0437\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0439 BLEU Score, \u0438 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u043e\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 SacreBLEU<\/strong><\/p>\n<p>SacreBLEU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b, \u0447\u0442\u043e \u0438 BLEU Score, \u043d\u043e \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0440\u044b \u0434\u043b\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f. \u041e\u043d \u0442\u0430\u043a\u0436\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u043f\u0440\u0435\u0434\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0443\u043d\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u043e\u043b\u0435\u0435 \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u043c\u0438 \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c\u0438.<\/p>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0442 0 \u0434\u043e 100, \u0433\u0434\u0435:<br \/>&#8212; 0 &#8212; \u043f\u043e\u043b\u043d\u043e\u0435 \u043d\u0435\u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c<br \/>&#8212; 100 &#8212; \u043f\u043e\u043b\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 SacreBLEU<\/strong><\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 SacreBLEU \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0430 BLEU Score:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{BLEU} = BP \\cdot \\exp\\left( \\sum_{n=1}^{N} w_n \\log p_n \\right)\" alt=\"\\text{BLEU} = BP \\cdot \\exp\\left( \\sum_{n=1}^{N} w_n \\log p_n \\right)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50e\/d8c\/576\/50ed8c576001c1b209fe482ce8b872c6.svg\" width=\"288\" height=\"61\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50e\/d8c\/576\/50ed8c576001c1b209fe482ce8b872c6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50e\/d8c\/576\/50ed8c576001c1b209fe482ce8b872c6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0413\u0434\u0435:<\/p>\n<p>&#8212; BP \u2014 \u044d\u0442\u043e Brevity Penalty, \u0448\u0442\u0440\u0430\u0444 \u0437\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0442\u0435\u043a\u0441\u0442\u044b.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"BP =   \\begin{cases}   1, &amp; \\text{\u0435\u0441\u043b\u0438 } c \\geq r \\\\   \\exp\\left(1 - \\frac{r}{c}\\right), &amp; \\text{\u0435\u0441\u043b\u0438 } c &lt; r   \\end{cases}\" alt=\"BP =   \\begin{cases}   1, &amp; \\text{\u0435\u0441\u043b\u0438 } c \\geq r \\\\   \\exp\\left(1 - \\frac{r}{c}\\right), &amp; \\text{\u0435\u0441\u043b\u0438 } c &lt; r   \\end{cases}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/133\/549\/4e8\/1335494e804f0907eeead687f3bb0e0e.svg\" width=\"273\" height=\"49\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/133\/549\/4e8\/1335494e804f0907eeead687f3bb0e0e.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/133\/549\/4e8\/1335494e804f0907eeead687f3bb0e0e.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<ul>\n<li>\n<p>c \u2014 \u0434\u043b\u0438\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (candidate)<\/p>\n<\/li>\n<li>\n<p>r \u2014 \u0434\u043b\u0438\u043d\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 (reference)<\/p>\n<\/li>\n<\/ul>\n<p>&#8212; wn \u2014 \u0432\u0435\u0441\u043e\u0432\u0430\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u0434\u043b\u044f n-\u0433\u0440\u0430\u043c\u043c\u044b (\u043e\u0431\u044b\u0447\u043d\u043e \u0432\u0441\u0435 \u0432\u0435\u0441\u0430 \u0440\u0430\u0432\u043d\u044b).<\/p>\n<p>&#8212; pn \u2014 \u0434\u043e\u043b\u044f \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 n-\u0433\u0440\u0430\u043c\u043c \u0434\u043b\u0438\u043d\u044b n.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440<\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e SacreBLEU.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435:<\/p>\n<p>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>&#8212; \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 SacreBLEU:<\/p>\n<pre><code class=\"python\">import sacrebleu  reference = [\"\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.\"] prediction = [\"\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.\"]  score = sacrebleu.corpus_bleu(prediction, [reference]) print(score.score)<\/code><\/pre>\n<p>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442: 42.73. \u0422\u0430\u043a\u043e\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 \u043f\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044e \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u0430, \u043d\u043e \u0435\u0441\u0442\u044c \u0438 \u043e\u0442\u043b\u0438\u0447\u0438\u044f.<\/p>\n<p><strong>\u041e\u0442\u043b\u0438\u0447\u0438\u044f \u043e\u0442 Bleu Score<\/strong><\/p>\n<p><strong>1. \u0421\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f<\/strong><\/p>\n<ul>\n<li>\n<p>BLEU Score \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u044b \u0440\u0430\u0437\u0431\u0438\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u043e\u0431\u0435\u043b\u044b, \u043f\u0443\u043d\u043a\u0442\u0443\u0430\u0446\u0438\u044f, \u044e\u043d\u0438\u043a\u043e\u0434).<\/p>\n<\/li>\n<li>\n<p>SacreBLEU \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 13a, intl, zh) \u2014 \u044d\u0442\u043e \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u043c\u0438 \u043f\u0440\u0438 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0438 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430.<\/p>\n<\/li>\n<\/ul>\n<p><strong>2. \u0421\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u0438 \u043d\u0443\u043b\u0435\u0432\u044b\u0445 n-\u0433\u0440\u0430\u043c\u043c\u0430\u0445<\/strong><\/p>\n<ul>\n<li>\n<p>BLEU \u043c\u043e\u0436\u0435\u0442 \u0434\u0430\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 0, \u0435\u0441\u043b\u0438 \u0445\u043e\u0442\u044f \u0431\u044b \u043e\u0434\u0438\u043d \u0443\u0440\u043e\u0432\u0435\u043d\u044c n-\u0433\u0440\u0430\u043c\u043c \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u043b.<\/p>\n<\/li>\n<li>\n<p>SacreBLEU \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442 \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u03b5 \u043a \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044e \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044e), \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043d\u0443\u043b\u044f \u0438 \u0434\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0440\u0435\u0430\u043b\u0438\u0441\u0442\u0438\u0447\u043d\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443.<\/p>\n<\/li>\n<\/ul>\n<p><strong>3. \u041f\u043e\u0434\u0434\u0435\u0440\u0436\u043a\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0445 \u043d\u0430\u0431\u043e\u0440\u043e\u0432 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/p>\n<ul>\n<li>\n<p>BLEU \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0440\u0443\u0447\u043d\u043e\u0439 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>SacreBLEU \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u043e \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0434\u0430\u0442\u0430\u0441\u0435\u0442\u044b (WMT, IWSLT \u0438 \u0434\u0440.), \u0447\u0442\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<p><strong>4. \u0412\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c<\/strong><\/p>\n<ul>\n<li>\n<p>\u0412 \u043e\u0431\u044b\u0447\u043d\u043e\u043c BLEU \u0441\u043b\u043e\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438\u0441\u044c (\u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f, \u0441\u0433\u043b\u0430\u0436\u0438\u0432\u0430\u043d\u0438\u0435, \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u0432).<\/p>\n<\/li>\n<li>\n<p>SacreBLEU \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u043e\u0434\u043f\u0438\u0441\u044c (signature), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0444\u0438\u043a\u0441\u0438\u0440\u0443\u0435\u0442 \u0432\u0441\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u0435\u0442\u0440\u0438\u043a\u0438. \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u043c\u044b\u043c\u0438 \u0438 \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u044b\u043c\u0438.<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Rouge Score<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>ROUGE Score (Recall-Oriented Understudy for Gisting Evaluation)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP), \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430. ROUGE Score \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c, \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f n-\u0433\u0440\u0430\u043c\u043c, \u0441\u043b\u043e\u0432 \u0438 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u043b\u043e\u0432.<\/p>\n<p><strong>\u0412\u0438\u0434\u044b ROUGE Scores<\/strong><\/p>\n<p>\u0421\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 ROUGE Score, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u0430\u0441\u043f\u0435\u043a\u0442\u044b \u0442\u0435\u043a\u0441\u0442\u043e\u0432:<\/p>\n<p><strong>1. ROUGE-N<\/strong>: \u0418\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f n-\u0433\u0440\u0430\u043c\u043c.<\/p>\n<p>\u041c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d \u043a\u0430\u043a precision, recall \u0438 f1-score<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0420\u0430\u0437\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Recall<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 n-\u0433\u0440\u0430\u043c\u043c\u044bn-\u0433\u0440\u0430\u043c\u043c\u044b \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u043b\u043d\u043e \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u0435 n-\u0433\u0440\u0430\u043c\u043c\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">Precision<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 n-\u0433\u0440\u0430\u043c\u043c\u044bn-\u0433\u0440\u0430\u043c\u043c\u044b \u0432 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b \u0441\u043b\u043e\u0432\u0430 \u0432 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">F1-score<\/p>\n<\/td>\n<td>\n<p align=\"left\">precision  recallprecision + recall<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041c\u0435\u0442\u0440\u0438\u043a\u0430 \u0441 \u0431\u0430\u043b\u0430\u043d\u0441\u043e\u043c \u043c\u0435\u0436\u0434\u0443 \u043f\u043e\u043b\u043d\u043e\u0442\u043e\u0439 \u0438 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>2. ROUGE-L:<\/strong> \u0418\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0434\u043b\u0438\u043d\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043e\u0431\u0449\u0435\u0439 \u043f\u043e\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (Longest Common Subsequence (LCS)).<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-L Precision = \\frac{LCS}{|\u0434\u043b\u0438\u043d\u0430  \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b|}\" alt=\"ROUGE-L Precision = \\frac{LCS}{|\u0434\u043b\u0438\u043d\u0430  \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b|}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/829\/8c2\/04d\/8298c204dca951c71fed903bd28f1575.svg\" width=\"348\" height=\"48\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/829\/8c2\/04d\/8298c204dca951c71fed903bd28f1575.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/829\/8c2\/04d\/8298c204dca951c71fed903bd28f1575.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-L Recall  = \\frac{LCS}{|\u0434\u043b\u0438\u043d\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u0430|}\" alt=\"ROUGE-L Recall  = \\frac{LCS}{|\u0434\u043b\u0438\u043d\u0430 \u044d\u0442\u0430\u043b\u043e\u043d\u0430|}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/9f2\/8a5\/c1c9f28a59862f1cf7db3941f89a0732.svg\" width=\"309\" height=\"48\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/9f2\/8a5\/c1c9f28a59862f1cf7db3941f89a0732.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c1c\/9f2\/8a5\/c1c9f28a59862f1cf7db3941f89a0732.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-L F1-score = \\frac{(1 + \\beta^2) \\cdot precision \\cdot recall}{recall + \\beta^2 \\cdot precision}\" alt=\"ROUGE-L F1-score = \\frac{(1 + \\beta^2) \\cdot precision \\cdot recall}{recall + \\beta^2 \\cdot precision}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/87e\/1c5\/068\/87e1c506864a5f4ef09a275bf0c17194.svg\" width=\"458\" height=\"50\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/87e\/1c5\/068\/87e1c506864a5f4ef09a275bf0c17194.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/87e\/1c5\/068\/87e1c506864a5f4ef09a275bf0c17194.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>3. ROUGE-W<\/strong>: \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f ROUGE-L, \u0433\u0434\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0435 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0432\u0435\u0441.<\/p>\n<p><strong>4. ROUGE-S:<\/strong> \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043f\u0430\u0440\u044b \u0441\u043b\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0434\u0443\u0442 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435, \u043d\u043e \u043d\u0435 \u043e\u0431\u044f\u0437\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0440\u044f\u0434..<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 ROUGE-N<\/strong><\/p>\n<p>ROUGE-N \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0434\u043e\u043b\u044e \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 n-\u0433\u0440\u0430\u043c\u043c \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, ROUGE-1 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043b\u043e\u0432 (1-\u0433\u0440\u0430\u043c\u043c\u044b), \u0430 ROUGE-2 \u2014 \u043f\u0430\u0440 \u0441\u043b\u043e\u0432 (2-\u0433\u0440\u0430\u043c\u043c\u044b).<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e ROUGE-1.<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435:<\/p>\n<p>&#8212; <strong>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442<\/strong>: &#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>&#8212; <strong>\u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442<\/strong>: &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>\u0428\u0430\u0433\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f ROUGE-1:<\/p>\n<p>1. \u0420\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432 \u043d\u0430 1-\u0433\u0440\u0430\u043c\u043c\u044b (\u0441\u043b\u043e\u0432\u0430):<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: [&#171;\u041a\u043e\u0448\u043a\u0430&#187;, &#171;\u043b\u0435\u0436\u0438\u0442&#187;, &#171;\u043d\u0430&#187;, &#171;\u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: [&#171;\u041a\u043e\u0448\u043a\u0430&#187;, &#171;\u0441\u043f\u0438\u0442&#187;, &#171;\u043d\u0430&#187;, &#171;\u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;]<\/p>\n<p>2. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 1-\u0433\u0440\u0430\u043c\u043c:<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0421\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0435 1-\u0433\u0440\u0430\u043c\u043c\u044b: [&#171;\u041a\u043e\u0448\u043a\u0430&#187;, &#171;\u043d\u0430&#187;, &#171;\u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;]<\/p>\n<p>3. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 ROUGE-1:<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 1-\u0433\u0440\u0430\u043c\u043c = 3<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e 1-\u0433\u0440\u0430\u043c\u043c \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 = 4<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-1 Precision=\\frac{3}{4} = 0.75\" alt=\"ROUGE-1 Precision=\\frac{3}{4} = 0.75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42d\/00f\/bd6\/42d00fbd6ed373c2bff3b5faa20c0e04.svg\" width=\"293\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42d\/00f\/bd6\/42d00fbd6ed373c2bff3b5faa20c0e04.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42d\/00f\/bd6\/42d00fbd6ed373c2bff3b5faa20c0e04.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-1 Recall=\\frac{3}{4} = 0.75\" alt=\"ROUGE-1 Recall=\\frac{3}{4} = 0.75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab1\/e13\/651\/ab1e13651c547735354a124f4db352d0.svg\" width=\"263\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab1\/e13\/651\/ab1e13651c547735354a124f4db352d0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ab1\/e13\/651\/ab1e13651c547735354a124f4db352d0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-1 F1=\\frac{2 \\cdot 0.75 \\cdot 0.75}{0.75 + 0.75} = 0.75\" alt=\"ROUGE-1 F1=\\frac{2 \\cdot 0.75 \\cdot 0.75}{0.75 + 0.75} = 0.75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/636\/307\/b8e\/636307b8e777bd1f086f6e19d2ea19fa.svg\" width=\"330\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/636\/307\/b8e\/636307b8e777bd1f086f6e19d2ea19fa.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/636\/307\/b8e\/636307b8e777bd1f086f6e19d2ea19fa.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0435 ROUGE-L<\/strong><\/p>\n<p>ROUGE-L \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0434\u043b\u0438\u043d\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043e\u0431\u0449\u0435\u0439 \u043f\u043e\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (LCS) \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f ROUGE-L:<\/p>\n<p>\u0414\u0430\u043d\u043d\u044b\u0435:<\/p>\n<p>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>&#8212; \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p><strong>\u0428\u0430\u0433\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f ROUGE-L:<\/strong><\/p>\n<p>1. \u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043e\u0431\u0449\u0435\u0439 \u043f\u043e\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 (LCS):<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u043e\u0431\u0449\u0430\u044f \u043f\u043e\u0434\u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c: [&#171;\u041a\u043e\u0448\u043a\u0430&#187;, &#171;\u043d\u0430&#187;, &#171;\u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;]<\/p>\n<p>2. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 ROUGE-L:<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0414\u043b\u0438\u043d\u0430 LCS = 3<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 = 4<\/p>\n<p>\u00a0<img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-L Precision=\\frac{3}{4} = 0.75\" alt=\"ROUGE-L Precision=\\frac{3}{4} = 0.75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c2\/640\/b02\/4c2640b0289896db69a408d6fb2837b4.svg\" width=\"297\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c2\/640\/b02\/4c2640b0289896db69a408d6fb2837b4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4c2\/640\/b02\/4c2640b0289896db69a408d6fb2837b4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-L Recall=\\frac{3}{4} = 0.75\" alt=\"ROUGE-L Recall=\\frac{3}{4} = 0.75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebd\/4c1\/02d\/ebd4c102dce23c81733a5a9413ce1405.svg\" width=\"267\" height=\"42\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebd\/4c1\/02d\/ebd4c102dce23c81733a5a9413ce1405.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ebd\/4c1\/02d\/ebd4c102dce23c81733a5a9413ce1405.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"ROUGE-L F1=\\frac{2 \\cdot 0.75 \\cdot 0.75}{0.75 + 0.75} = 0.75\" alt=\"ROUGE-L F1=\\frac{2 \\cdot 0.75 \\cdot 0.75}{0.75 + 0.75} = 0.75\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/995\/41b\/eb2\/99541beb2f1a16a24d14b8036788b063.svg\" width=\"334\" height=\"44\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/995\/41b\/eb2\/99541beb2f1a16a24d14b8036788b063.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/995\/41b\/eb2\/99541beb2f1a16a24d14b8036788b063.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from rouge import Rouge  def get_rouge_score(reference, hypothesis):     # \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 ROUGE     rouge = Rouge()      # \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a ROUGE \u0441 \u043b\u0435\u043c\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438     scores = rouge.get_scores(hypothesis, reference)      # \u0412\u044b\u0432\u043e\u0434 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432     print(\"\\nROUGE-1:\", scores[0]['rouge-1'])     print(\"ROUGE-2:\", scores[0]['rouge-2'])     print(\"ROUGE-L:\", scores[0]['rouge-l'])<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>BERTScore<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>BERTScore<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u043c\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP). \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 BERT (Bidirectional Encoder Representations from Transformers). BERTScore \u0447\u0430\u0441\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u0440\u0435\u0444\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u0437\u0430\u0434\u0430\u0447, \u0433\u0434\u0435 \u0432\u0430\u0436\u043d\u043e \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 BERTScore<\/strong><\/p>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a BLEU \u0438\u043b\u0438 ROUGE, BERTScore \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0441\u043b\u043e\u0432, \u0447\u0442\u043e\u0431\u044b \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043b\u0443\u0447\u0448\u0435 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043f\u043e \u0438\u0445 \u0441\u043c\u044b\u0441\u043b\u0443, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044e \u0441\u043b\u043e\u0432.<\/p>\n<p><strong>\u0428\u0430\u0433\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f BERTScore<\/strong><\/p>\n<p><strong>1. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432:<\/strong> \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0430\u0445 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043c\u043e\u0434\u0435\u043b\u0438 BERT.<\/p>\n<p><strong>2. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438:<\/strong> \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u0430\u044f \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u0441 \u043a\u0430\u0436\u0434\u044b\u043c \u0441\u043b\u043e\u0432\u043e\u043c \u0438\u0437 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p><strong>3. \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c:<\/strong> \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0441 \u043a\u0430\u043a\u0438\u043c-\u043b\u0438\u0431\u043e \u0441\u043b\u043e\u0432\u043e\u043c \u0438\u0437 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p><strong>4. \u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435:<\/strong> \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0435\u0451 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e BERTScore.<\/p>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0435:<\/strong><\/p>\n<p>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p><strong>\u0428\u0430\u0433\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f BERTScore:<\/strong><\/p>\n<p>1. \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432: \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c BERT \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u0430\u0445.<\/p>\n<p>2. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438: \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u0443\u044e \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u044d\u043c\u0431\u0435\u0434\u0434\u0438\u043d\u0433\u0430\u043c\u0438 \u0441\u043b\u043e\u0432.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<p>&#8212; \u041a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u0430\u044f \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 &#171;\u043b\u0435\u0436\u0438\u0442&#187; \u0438 &#171;\u0441\u043f\u0438\u0442&#187; \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u043e\u0439, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u0438 \u0441\u043b\u043e\u0432\u0430 \u0438\u043c\u0435\u044e\u0442 \u0441\u0445\u043e\u0436\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>3. \u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c: \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0441\u043b\u043e\u0432\u0430 \u0438\u0437 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u043e\u0441\u0438\u043d\u0443\u0441\u043d\u043e\u0439 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0438 \u0441 \u043a\u0430\u043a\u0438\u043c-\u043b\u0438\u0431\u043e \u0441\u043b\u043e\u0432\u043e\u043c \u0438\u0437 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<p>&#8212; \u0421\u043b\u043e\u0432\u043e &#171;\u0441\u043f\u0438\u0442&#187; \u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438\u043c\u0435\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0443\u044e \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u044c \u0441 \u0441\u043b\u043e\u0432\u043e\u043c &#171;\u043b\u0435\u0436\u0438\u0442&#187; \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>4. \u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435: \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0445\u043e\u0436\u0435\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u0441\u043b\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from bert_score import score  def bert_score(reference, hypothesis):     reference = [reference]     hypothesis = [hypothesis]      P, R, F1 = score(hypothesis, reference, lang=\"ru\")  # lang=\"ru\" \u0434\u043b\u044f \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430      # \u0412\u044b\u0432\u043e\u0434 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432     print(f\"Lengths -&gt; Reference: {len(reference)}, Hypothesis: {len(hypothesis)}\")     print(f\"Precision: {P.mean().item():.4f}\")     print(f\"Recall: {R.mean().item():.4f}\")     print(f\"F1 Score: {F1.mean().item():.4f}\")<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>InfoLM<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>InfoLM (Information-based Language Model)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP), \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434, \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f.<br \/> \u041e\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0435\u0440\u0430\u0445, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c\u044b\u0445 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, BERT, RoBERTa), \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u043e \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438.<\/p>\n<p>\u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0442\u0440\u0430\u0434\u0438\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a (BLEU, ROUGE), InfoLM \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 \u0435\u0451 \u0431\u043e\u043b\u0435\u0435 \u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0439 \u043a \u0441\u0438\u043d\u043e\u043d\u0438\u043c\u0430\u043c, \u043f\u0435\u0440\u0435\u0444\u0440\u0430\u0437\u0438\u0440\u043e\u0432\u043a\u0430\u043c \u0438 \u0432\u0430\u0440\u0438\u0430\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u0438 \u044f\u0437\u044b\u043a\u0430.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 InfoLM<\/strong><\/p>\n<p>InfoLM \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u043c\u0435\u0436\u0434\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c\u0438 \u0438\u0437 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<br \/>\u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043c\u0435\u0440\u044b \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f:<\/p>\n<ul>\n<li>\n<p>\u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0430\u043b\u044c\u0444\u0430-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0431\u0435\u0442\u0430-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>Jensen-Shannon \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f<\/p>\n<\/li>\n<li>\n<p>\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u0438 \u043c\u0435\u0440\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u044e\u0442\u0441\u044f \u043a \u043b\u043e\u0433\u0438\u0442\u0430\u043c \u0438\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u043c \u043e\u0442 \u044f\u0437\u044b\u043a\u043e\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0442\u044c \u0442\u0435\u043a\u0441\u0442\u044b \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0438\u0445 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u044f, \u0430 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u044b.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438, \u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0435\u0451 \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e InfoLM.<\/p>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0435:<\/strong><\/p>\n<p>&#8212; \u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u043b\u0435\u0436\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p>&#8212; \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442: &#171;\u041a\u043e\u0448\u043a\u0430 \u0441\u043f\u0438\u0442 \u043d\u0430 \u043a\u043e\u0432\u0440\u0438\u043a\u0435.&#187;<\/p>\n<p><strong>\u0428\u0430\u0433\u0438:<\/strong><\/p>\n<ol>\n<li>\n<p>\u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435:<\/p>\n<p>&#8212; \u0422\u0435\u043a\u0441\u0442\u044b \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0442\u043e\u043a\u0435\u043d\u044b \u0438 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u044e\u0442\u0441\u044f \u0447\u0435\u0440\u0435\u0437 \u043f\u0440\u0435\u0434\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, BERT).<\/p>\n<\/li>\n<li>\n<p>\u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p>&#8212; \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043b\u043e\u0433\u0438\u0442\u044b \u0438\u043b\u0438 softmax-\u043e\u0446\u0435\u043d\u043a\u0438).<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438:<\/p>\n<p>&#8212; \u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c \u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u043e\u0439 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u0435\u0440\u044b.<\/p>\n<\/li>\n<li>\n<p>\u0410\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u044f:<\/p>\n<p>&#8212; \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0430\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u044e\u0442\u0441\u044f (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443\u0441\u0440\u0435\u0434\u043d\u044f\u044e\u0442\u0441\u044f) \u0434\u043b\u044f \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0433\u043e InfoLM-\u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ol>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from nlg_eval_via_simi_measures import InfoLM from transformers import AutoTokenizer, AutoModelForMaskedLM import torch   def infolm(reference, hypothesis):     # \u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0442\u043e\u0440\u0430 \u0438 \u043c\u043e\u0434\u0435\u043b\u0438     tokenizer = AutoTokenizer.from_pretrained(         \"bert-base-multilingual-cased\")     model = AutoModelForMaskedLM.from_pretrained(         \"bert-base-multilingual-cased\")      # \u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f InfoLM     infolm = InfoLM(model_name=\"bert-base-multilingual-cased\")  # \u0423\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u044c      # \u0422\u043e\u043a\u0435\u043d\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u043e\u0432     reference_tokens = tokenizer(reference, return_tensors=\"pt\",                                   padding=True, truncation=True)     hypothesis_tokens = tokenizer(hypothesis, return_tensors=\"pt\",                                    padding=True, truncation=True)      # \u041f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 (\u0432\u044b\u0432\u043e\u0434\u044b \u043c\u043e\u0434\u0435\u043b\u0438)     with torch.no_grad():         reference_distribution = torch.nn.functional.softmax(             model(**reference_tokens).logits, dim=-1)         hypothesis_distribution = torch.nn.functional.softmax(             model(**hypothesis_tokens).logits, dim=-1)      # \u0410\u0433\u0440\u0435\u0433\u0438\u0440\u0443\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0442\u043e\u043a\u0435\u043d\u0430\u043c     reference_distribution = torch.mean(         reference_distribution, dim=1).squeeze(0)     hypothesis_distribution = torch.mean(         hypothesis_distribution, dim=1).squeeze(0)      # \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 InfoLM     result = infolm.compute_infolm(         reference_distribution, hypothesis_distribution)      # \u0412\u044b\u0432\u043e\u0434 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430     print(f\"InfoLM Score: {result}\")<\/code><\/pre>\n<\/div>\n<\/details>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430<\/h2>\n<details class=\"spoiler\">\n<summary>Character Error Rate (CER)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Character Error Rate (CER), \u0438\u043b\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP), \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438 \u0438\u043b\u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 (\u0431\u0443\u043a\u0432), \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044f \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Char Error Rate<\/strong><\/p>\n<p>CER \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0432\u0441\u0442\u0430\u0432\u043e\u043a (I), \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439 (D) \u0438 \u0437\u0430\u043c\u0435\u043d (S) \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439, \u043a \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"CER = \\frac{I + D + S}{N}\" alt=\"CER = \\frac{I + D + S}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/407\/0c1\/6e0\/4070c16e061e33d9b901d7a4ddeb92c8.svg\" width=\"162\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/407\/0c1\/6e0\/4070c16e061e33d9b901d7a4ddeb92c8.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/407\/0c1\/6e0\/4070c16e061e33d9b901d7a4ddeb92c8.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212;\u00a0 I \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0442\u0430\u0432\u043e\u043a.<br \/>&#8212; D \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439.<br \/>&#8212; S \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u043d.<br \/>&#8212; N \u2014 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u0430\u0441 \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442?\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f \u0437\u043e\u0432\u0443\u0441\u044c \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u044b \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442\u0441\u044f?\u201d<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u043e:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"center\"><strong>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"center\"><strong>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438<\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0437<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\u044c<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0410<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0410<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043b<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0435<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u044b<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0441<\/p>\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0430<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043a<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043a<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0437<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0437<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0432<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0442<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0442<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\u0441<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\u044f<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0418\u0442\u043e\u0433\u043e:<\/p>\n<p>&#8212; \u0412\u0441\u0442\u0430\u0432\u043a\u0438 (I): 3<\/p>\n<p>&#8212; \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u044f (D): 5<\/p>\n<p>&#8212; \u0417\u0430\u043c\u0435\u043d\u044b (S): 2<\/p>\n<p>&#8212; \u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 (N): 38<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"CER = \\frac{I + D + S}{N} = \\frac{3 + 5 + 2}{38} = \\frac{10}{38} = 0.26\" alt=\"CER = \\frac{I + D + S}{N} = \\frac{3 + 5 + 2}{38} = \\frac{10}{38} = 0.26\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b2\/a03\/940\/8b2a03940781df26d7de2e468ecb7ce7.svg\" width=\"392\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b2\/a03\/940\/8b2a03940781df26d7de2e468ecb7ce7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8b2\/a03\/940\/8b2a03940781df26d7de2e468ecb7ce7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u043e\u0442\u0432\u0435\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 1\/3 \u0432\u0441\u0435\u0445 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u043f\u043e\u0434\u043b\u0435\u0436\u0430\u0442 \u043f\u0440\u0430\u0432\u043a\u0435, \u0435\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u0442\u043e\u0447\u043d\u043e\u0433\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import editdistance  def calculate_cer(reference, hypothesis):     # \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u041b\u0435\u0432\u0435\u043d\u0448\u0442\u0435\u0439\u043d\u0430 (\u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0442\u0430\u0432\u043e\u043a, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439 \u0438 \u0437\u0430\u043c\u0435\u043d)     lev_distance = editdistance.eval(reference, hypothesis)     # CER = (\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a) \/ (\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435)     cer = lev_distance \/ len(reference)     return cer<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>ChrF Score<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>ChrF Score<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u0430, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP), \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0438 \u0441\u0443\u043c\u043c\u0430\u0440\u0438\u0437\u0430\u0446\u0438\u0438.<br \/>\u041e\u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0445 n-\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u0438 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (precision) \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0443 (recall) \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 \u043c\u0435\u0436\u0434\u0443 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u0438 \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0442\u0435\u043a\u0441\u0442\u0430\u043c\u0438.<\/p>\n<p>ChrF \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0434\u043b\u044f \u043c\u043e\u0440\u0444\u043e\u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u043e\u0433\u0430\u0442\u044b\u0445 \u044f\u0437\u044b\u043a\u043e\u0432, \u0433\u0434\u0435 \u0444\u043e\u0440\u043c\u044b \u0441\u043b\u043e\u0432 \u043c\u043e\u0433\u0443\u0442 \u0441\u0438\u043b\u044c\u043d\u043e \u0432\u0430\u0440\u044c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u0430 \u043b\u0435\u043a\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u2014 \u0431\u044b\u0442\u044c \u0440\u0435\u0434\u043a\u0438\u043c\u0438.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 ChrF Score<\/strong><\/p>\n<ul>\n<li>\n<p>\u0422\u0435\u043a\u0441\u0442\u044b \u0440\u0430\u0437\u0431\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0435 n-\u0433\u0440\u0430\u043c\u043c\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, 6-\u0433\u0440\u0430\u043c\u043c\u044b).<br \/><strong>N-\u0433\u0440\u0430\u043c\u043c\u0430<\/strong> \u2014 \u044d\u0442\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u0437 n \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043e\u0432, \u0442\u043e \u0435\u0441\u0442\u044c \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0442\u0435\u043a\u0441\u0442\u0430 \u0434\u043b\u0438\u043d\u043e\u0439 n \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<br \/>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0434\u043b\u044f \u0441\u043b\u043e\u0432\u0430 &#171;\u0437\u043e\u0432\u0443\u0442&#187; n-\u0433\u0440\u0430\u043c\u043c\u044b \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u0442\u0430\u043a:<br \/>1-\u0433\u0440\u0430\u043c\u043c\u044b: &#171;\u0437&#187;, &#171;\u043e&#187;, &#171;\u0432&#187;, &#171;\u0443&#187;, &#171;\u0442&#187;<br \/>2-\u0433\u0440\u0430\u043c\u043c\u044b: &#171;\u0437\u043e&#187;, &#171;\u043e\u0432&#187;, &#171;\u0432\u0443&#187;, &#171;\u0443\u0442&#187;<br \/>3-\u0433\u0440\u0430\u043c\u043c\u044b: &#171;\u0437\u043e\u0432&#187;, &#171;\u043e\u0432\u0443&#187;, &#171;\u0432\u0443\u0442&#187;<br \/>4-\u0433\u0440\u0430\u043c\u043c\u044b: &#171;\u0437\u043e\u0432\u0443&#187;, &#171;\u043e\u0432\u0443\u0442&#187;<br \/>5-\u0433\u0440\u0430\u043c\u043c\u044b: &#171;\u0437\u043e\u0432\u0443\u0442&#187;<\/p>\n<\/li>\n<li>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0442\u0441\u044f:<br \/>&#8212; Precision \u2014 \u0434\u043e\u043b\u044f \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 n-\u0433\u0440\u0430\u043c\u043c \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 n-\u0433\u0440\u0430\u043c\u043c \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u044b.<br \/>&#8212; Recall \u2014 \u0434\u043e\u043b\u044f \u0441\u043e\u0432\u043f\u0430\u0432\u0448\u0438\u0445 n-\u0433\u0440\u0430\u043c\u043c \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 n-\u0433\u0440\u0430\u043c\u043c \u044d\u0442\u0430\u043b\u043e\u043d\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0418\u0442\u043e\u0433\u043e\u0432\u0430\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u2014 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u0430\u044f \u0433\u0430\u0440\u043c\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0440\u0435\u0434\u043d\u044f\u044f (F-score) \u043c\u0435\u0436\u0434\u0443 precision \u0438 recall.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p>ChrF Score \u043e\u0441\u043d\u043e\u0432\u0430\u043d \u043d\u0430 \u0432\u0437\u0432\u0435\u0448\u0435\u043d\u043d\u043e\u0439 \u0433\u0430\u0440\u043c\u043e\u043d\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0441\u0440\u0435\u0434\u0435 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 (precision) \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u044b (recall) \u0434\u043b\u044f \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432.<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{ChrF}_\\beta = \\frac{(1 + \\beta^2) \\cdot \\text{Precision} \\cdot \\text{Recall}}{\\beta^2 \\cdot \\text{Precision} + \\text{Recall}}\" alt=\"\\text{ChrF}_\\beta = \\frac{(1 + \\beta^2) \\cdot \\text{Precision} \\cdot \\text{Recall}}{\\beta^2 \\cdot \\text{Precision} + \\text{Recall}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16a\/65d\/1d7\/16a65d1d7794c707dd1f02d0cf9a2c16.svg\" width=\"311\" height=\"50\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16a\/65d\/1d7\/16a65d1d7794c707dd1f02d0cf9a2c16.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/16a\/65d\/1d7\/16a65d1d7794c707dd1f02d0cf9a2c16.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; Precision \u2014 \u0434\u043e\u043b\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 n-\u0433\u0440\u0430\u043c\u043c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 n-\u0433\u0440\u0430\u043c\u043c \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<br \/>&#8212; Recall \u2014 \u0434\u043e\u043b\u044f \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0439 n-\u0433\u0440\u0430\u043c\u043c \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 n-\u0433\u0440\u0430\u043c\u043c \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<br \/>&#8212;<img decoding=\"async\" class=\"formula inline\" source=\"\\beta   \" alt=\"\\beta   \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e13\/0d0\/b15\/e130d0b15df7a41f71596f8f763b5b6c.svg\" width=\"11\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e13\/0d0\/b15\/e130d0b15df7a41f71596f8f763b5b6c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e13\/0d0\/b15\/e130d0b15df7a41f71596f8f763b5b6c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>\u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u044b (\u043e\u0431\u044b\u0447\u043d\u043e  = 1).<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u0430\u0441 \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442?\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f \u0437\u043e\u0432\u0443\u0441\u044c \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u044b \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442\u0441\u044f?\u201d<\/p>\n<p>\u041d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u0444\u0440\u0430\u0437\u044b \u043f\u043e\u0445\u043e\u0436\u0438, \u043d\u043e ChrF \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u043e\u0447\u043d\u044b\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043f\u0440\u043e\u0431\u0435\u043b\u044b \u0438 \u043e\u043a\u043e\u043d\u0447\u0430\u043d\u0438\u044f \u0441\u043b\u043e\u0432.<\/p>\n<p>\u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c ChrF Score \u0434\u043b\u044f n-\u0433\u0440\u0430\u043c\u043c \u043e\u0442 1 \u0434\u043e 6.<br \/>\u0417\u0430\u0442\u0435\u043c \u0441\u0440\u0430\u0432\u043d\u0438\u043c \u044d\u0442\u043e\u0442 \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u0441 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f ChrF Score \u0438\u0437 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 sacrebleu.<br \/>\u0421\u0434\u0435\u043b\u0430\u0435\u043c \u044d\u0442\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from collections import Counter from sacrebleu.metrics import CHRF  def get_char_ngrams(text, n):     \"\"\"\u0420\u0430\u0437\u0431\u0438\u0432\u0430\u0435\u0442 \u0442\u0435\u043a\u0441\u0442 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0435 n-\u0433\u0440\u0430\u043c\u043c\u044b, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u043f\u0440\u043e\u0431\u0435\u043b\u044b.\"\"\"     return [text[i:i+n] for i in range(len(text) - n + 1)]  def compute_chrf_full(reference, hypothesis, max_order=6, beta=1.0):     \"\"\"\u0420\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u044b\u0439 \u0440\u0430\u0441\u0447\u0451\u0442 ChrF \u0441 \u0430\u0433\u0440\u0435\u0433\u0430\u0446\u0438\u0435\u0439 \u043f\u043e n-\u0433\u0440\u0430\u043c\u043c\u0430\u043c \u043e\u0442 1 \u0434\u043e max_order.\"\"\"     total_f_score = 0.0     levels = []      for n in range(1, max_order + 1):         ref_ngrams = get_char_ngrams(reference, n)         hyp_ngrams = get_char_ngrams(hypothesis, n)          ref_counts = Counter(ref_ngrams)         hyp_counts = Counter(hyp_ngrams)          overlap_counts = ref_counts &amp; hyp_counts         overlap = sum(overlap_counts.values())          precision = overlap \/ max(len(hyp_ngrams), 1)         recall = overlap \/ max(len(ref_ngrams), 1)          if precision + recall == 0:             f_score = 0.0         else:             f_score = (1 + beta**2) * precision * recall \/ (                       beta**2 * precision + recall)          levels.append({             \"n\": n,             \"precision\": precision,             \"recall\": recall,             \"f_score\": f_score         })          total_f_score += f_score      avg_f_score = total_f_score \/ max_order      # \u0412\u044b\u0432\u043e\u0434 \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c     print(\"\\n\ud83d\udcca ChrF \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c n-\u0433\u0440\u0430\u043c\u043c:\")     for lvl in levels:         print(f\"  {lvl['n']}-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: {lvl['precision']:.4f}, \"               f\"Recall: {lvl['recall']:.4f}, F1: {lvl['f_score']*100:.2f}\")      print(f\"\\n\ud83c\udfaf ChrF Score (\u0440\u0443\u0447\u043d\u043e\u0439, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c): \"           f\"{avg_f_score * 100:.2f}\")      # \u0421\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0441 sacrebleu     chrf_metric = CHRF(char_order=max_order, word_order=0, whitespace=True)     sacrebleu_score = chrf_metric.corpus_score([hypothesis], [[reference]])     print(f\"\u2705 ChrF Score (sacrebleu): {sacrebleu_score.score:.2f}\")      return avg_f_score * 100<\/code><\/pre>\n<p>\u041f\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<p>ChrF \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c n-\u0433\u0440\u0430\u043c\u043c:<br \/>1-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: 0.8857, Recall: 0.8611, F1: 87.32<br \/>2-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: 0.7647, Recall: 0.7429, F1: 75.36<br \/>3-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: 0.6970, Recall: 0.6765, F1: 68.66<br \/>4-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: 0.6250, Recall: 0.6061, F1: 61.54<br \/>5-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: 0.5484, Recall: 0.5312, F1: 53.97<br \/>6-\u0433\u0440\u0430\u043c\u043c\u044b \u2192 Precision: 0.4667, Recall: 0.4516, F1: 45.90<\/p>\n<p>ChrF Score (\u0440\u0443\u0447\u043d\u043e\u0439, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043f\u043e \u0443\u0440\u043e\u0432\u043d\u044f\u043c): 65.46<br \/>ChrF Score (sacrebleu): 64.87<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 ChrF Score \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 65%.<br \/>\u042d\u0442\u043e \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0443\u0435\u0442 \u043e \u0445\u043e\u0440\u043e\u0448\u0435\u043c \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0433\u0438\u043f\u043e\u0442\u0435\u0437\u043e\u0439 \u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043e\u043c. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430\u0445 (\u00ab\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442\u00bb vs \u00ab\u042f \u0437\u043e\u0432\u0443\u0441\u044c\u00bb, \u00ab\u0432\u0430\u0441\u00bb vs \u00ab\u0432\u044b\u00bb), \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u044b\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u043e\u0432 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043a\u043b\u044e\u0447\u0435\u0432\u044b\u0445 \u0441\u043b\u043e\u0432\u0430\u0445 \u0438 \u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0435 \u0444\u0440\u0430\u0437\u044b.<br \/>\u0415\u0441\u043b\u0438 \u0431\u0443\u0434\u0435\u0442 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0435\u043d\u0438\u0435, \u043c\u043e\u0436\u043d\u043e \u0443\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u044c \u0433\u0440\u0430\u043d\u0438\u0447\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0431\u0443\u0434\u0435\u0442 \u0441\u0447\u0438\u0442\u0430\u0442\u044c\u0441\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u044b\u043c.<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Edit Distance<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Edit Distance, \u0442\u0430\u043a\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0435 \u043a\u0430\u043a Levenshtein Distance<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0437\u043c\u0435\u0440\u044f\u044e\u0449\u0430\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e.<\/p>\n<p>\u041e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442:<\/p>\n<p>&#8212; \u0412\u0441\u0442\u0430\u0432\u043a\u0443 \u0441\u0438\u043c\u0432\u043e\u043b\u0430<br \/>&#8212; \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u0430<br \/>&#8212; \u0417\u0430\u043c\u0435\u043d\u0443 \u043e\u0434\u043d\u043e\u0433\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u0430 \u043d\u0430 \u0434\u0440\u0443\u0433\u043e\u0439<\/p>\n<p>\u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0448\u0438\u0440\u043e\u043a\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438, \u0438\u0441\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e\u043f\u0435\u0447\u0430\u0442\u043e\u043a, \u043f\u043e\u0438\u0441\u043a\u0430 \u0434\u0443\u0431\u043b\u0438\u043a\u0430\u0442\u043e\u0432 \u0438 \u0434\u0430\u0436\u0435 \u0432 \u0431\u0438\u043e\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0442\u0438\u043a\u0435.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Edit Distance<\/strong><\/p>\n<p>Edit Distance \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0434\u0438\u043d\u0430\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0433\u0434\u0435 \u0441\u0442\u0440\u043e\u0438\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430, \u043e\u0442\u0440\u0430\u0436\u0430\u044e\u0449\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043f\u043e\u0434\u0441\u0442\u0440\u043e\u043a\u0438 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u043c\u0435\u043d\u044f\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f\u201d<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u043e:<\/p>\n<p>\u00a0&#8212; \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c (len(A) + 1) x (len(B) + 1) \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\u00d8<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0435<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043d<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u044f<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u00d8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u044f<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<p>&#8212; \u0412\u0441\u0442\u0430\u0432\u043a\u0430 &#171;\u043c&#187; \u043f\u0435\u0440\u0435\u0434 &#171;\u044f&#187; (1 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f)<\/p>\n<p>&#8212; \u0412\u0441\u0442\u0430\u0432\u043a\u0430 &#171;\u0435&#187; \u043f\u043e\u0441\u043b\u0435 &#171;\u043c&#187; \u0438 \u043f\u0435\u0440\u0435\u0434 \u201c\u044f\u201d (1 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f)<\/p>\n<p>&#8212; \u0412\u0441\u0442\u0430\u0432\u043a\u0430 &#171;\u043d&#187; \u043f\u043e\u0441\u043b\u0435 &#171;\u0435&#187; \u0438 \u043f\u0435\u0440\u0435\u0434 \u201c\u044f\u201d (1 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f)<\/p>\n<p>\u0418\u0442\u043e\u0433\u043e: 3 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438\u00a0<\/p>\n<p>Edit Distance \u043c\u0435\u0436\u0434\u0443 &#171;\u044f&#187; \u0438 &#171;\u043c\u0435\u043d\u044f&#187; \u0440\u0430\u0432\u0435\u043d 3<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import editdistance   lev_distance = editdistance.eval(reference_text, hypothesis_text) print(f\"Levenshtein Distance: {lev_distance}\")<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Extended Edit Distance<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Extended Edit Distance <\/strong>(\u0440\u0430\u0441\u0448\u0438\u0440\u0435\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f) \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0433\u043e Edit Distance (\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f), \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0441\u0442\u0430\u0432\u043a\u0438, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043c\u0435\u043d\u044b \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432, Extended Edit Distance \u043c\u043e\u0436\u0435\u0442 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u0437\u0438\u0446\u0438\u0438 (\u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432) \u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Extended Edit Distance<\/strong><\/p>\n<p>Extended Edit Distance \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0447\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0441\u0442\u0440\u043e\u043a\u0430\u043c\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0435\u0441\u043b\u0438 \u0441\u0442\u0440\u043e\u043a\u0438 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f.<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 2 \u0441\u0442\u0440\u043e\u043a\u0438.<\/p>\n<p>\u0421\u0442\u0440\u043e\u043a\u0430 1: \u201c\u043f\u0440\u043e\u0434\u0443\u0445\u201d<\/p>\n<p>\u0421\u0442\u0440\u043e\u043a\u0430 2: \u201c\u043f\u0440\u043e\u0445\u043e\u0434\u201d<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e\u0441\u0438\u043c\u0432\u043e\u043b\u044c\u043d\u043e:<\/p>\n<p>\u00a0&#8212; \u0421\u043e\u0437\u0434\u0430\u0435\u043c \u0442\u0430\u0431\u043b\u0438\u0446\u0443 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u043c (len(A) + 1) x (len(B) + 1) \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0439.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\u00d8<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043f<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0443<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0445<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u00d8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043f<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0445<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u043e<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">\u0434<\/p>\n<\/td>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<p>&#8212; \u0422\u0440\u0430\u043d\u0441\u043f\u043e\u0437\u0438\u0446\u0438\u044f &#171;\u0434&#187; \u0438 &#171;\u0445&#187; (1 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f)<\/p>\n<p>&#8212; \u0417\u0430\u043c\u0435\u043d\u0430 \u201c\u0443\u201d \u043d\u0430 \u201c\u043e\u201d (1 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u044f)<\/p>\n<p><strong>\u0418\u0442\u043e\u0433\u043e: 2 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438<\/strong><\/p>\n<p><strong>Extended Edit Distance \u043c\u0435\u0436\u0434\u0443 &#171;\u043f\u0440\u043e\u0434\u0443\u0445&#187; \u0438 &#171;\u043f\u0440\u043e\u0445\u043e\u0434&#187; \u0440\u0430\u0432\u0435\u043d 2<\/strong><\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Translation Edit Rate (TER)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Translation Edit Rate (TER)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430. TER \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043f\u0435\u0440\u0435\u0432\u043e\u0434. \u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0438 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432\u0441\u0442\u0430\u0432\u043a\u0443, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0435, \u0437\u0430\u043c\u0435\u043d\u0443 \u0438 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443 \u0441\u043b\u043e\u0432. TER \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0443\u0441\u0438\u043b\u0438\u0439, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u043e\u0441\u0442\u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u0448\u0438\u043d\u043d\u044b\u0445 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u0432.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Translation Edit Rate<\/strong><\/p>\n<p>TER \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u043c, \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{TER} = \\frac{\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f}}{\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435}}\" alt=\"\\text{TER} = \\frac{\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f}}{\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b3\/dad\/208\/4b3dad208041f42dcd346ab385f90dd5.svg\" width=\"362\" height=\"48\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b3\/dad\/208\/4b3dad208041f42dcd346ab385f90dd5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b3\/dad\/208\/4b3dad208041f42dcd346ab385f90dd5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u0430\u0441 \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442?\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f \u0437\u043e\u0432\u0443\u0441\u044c \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u044b \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442\u0441\u044f?\u201d<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>\u201c\u041c\u0435\u043d\u044f\u201d \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u043e \u043d\u0430 \u201c\u042f\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u043e \u043d\u0430 \u201c\u0437\u043e\u0432\u0443\u0441\u044c\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0430\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0430\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0432\u0430\u0441\u201d \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u043e \u043d\u0430 \u201c\u0432\u044b\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u043a\u0430\u043a\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u043a\u0430\u043a\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u043e \u043d\u0430 \u201c\u0437\u043e\u0432\u0443\u0442\u0441\u044f\u201d<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Translation Error Rate:<\/p>\n<p>&#8212; \u0412\u0441\u0442\u0430\u0432\u043a\u0438 (I): 0<\/p>\n<p>&#8212; \u0423\u0434\u0430\u043b\u0435\u043d\u0438\u044f (D): 0<\/p>\n<p>&#8212; \u0417\u0430\u043c\u0435\u043d\u044b (S): 4<\/p>\n<p>\u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435: 7<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{TER} = \\frac{4}{7} \\approx 0.571\" alt=\"\\text{TER} = \\frac{4}{7} \\approx 0.571\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/360\/1a4\/a95\/3601a4a9543d1cfeb41021c52743a481.svg\" width=\"153\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/360\/1a4\/a95\/3601a4a9543d1cfeb41021c52743a481.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/360\/1a4\/a95\/3601a4a9543d1cfeb41021c52743a481.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 57.1% \u0441\u043b\u043e\u0432 \u0432 \u0432\u044b\u0434\u0430\u043d\u043d\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043e\u0442\u0432\u0435\u0442\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import evaluate   # \u0417\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 TER ter_metric = evaluate.load(\"ter\")  # \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 TER results = ter_metric.compute(predictions=predictions, references=references) print(results)<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Word Error Rate (WER)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Word Error Rate (WER)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438 \u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP). WER \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043b\u043e\u0432, \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044f \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c. \u041e\u043d\u0430 \u043f\u043e\u043b\u0435\u0437\u043d\u0430 \u0434\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0441\u0438\u0441\u0442\u0435\u043c \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438 \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0433\u043e \u0434\u043b\u044f \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u0441 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u043c.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Word Error Rate<\/strong><\/p>\n<p>WER \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0441\u0443\u043c\u043c\u044b \u043e\u0448\u0438\u0431\u043e\u043a (\u0432\u0441\u0442\u0430\u0432\u043e\u043a, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439 \u0438 \u0437\u0430\u043c\u0435\u043d) \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{WER} = \\frac{I + D + S}{N}\" alt=\"\\text{WER} = \\frac{I + D + S}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b7b\/b7b6432262dba88b0dba6ea2d02fe513.svg\" width=\"152\" height=\"32\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b7b\/b7b6432262dba88b0dba6ea2d02fe513.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b7\/b7b\/b7b6432262dba88b0dba6ea2d02fe513.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; I \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0442\u0430\u0432\u043e\u043a (insertions).<\/p>\n<p>&#8212; D \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439 (deletions).<\/p>\n<p>&#8212; S \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u043d (substitutions).<\/p>\n<p>&#8212; N \u2014 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u0430\u0441 \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442?\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f \u0437\u043e\u0432\u0443\u0441\u044c \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u044b \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442\u0441\u044f?\u201d<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>\u201c\u041c\u0435\u043d\u044f\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u042f\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0437\u043e\u0432\u0443\u0441\u044c\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0430\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0430\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0432\u0430\u0441\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0432\u044b\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u043a\u0430\u043a\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u043a\u0430\u043a\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0437\u043e\u0432\u0443\u0442\u0441\u044f\u201d<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a: 4<\/p>\n<p>&#8212; \u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 (N): 7<\/p>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Word Error Rate:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{WER} = \\frac{I + D + S}{N} = \\frac{0 + 0 + 4}{7} = \\frac{4}{7} \\approx 0.571\" alt=\"\\text{WER} = \\frac{I + D + S}{N} = \\frac{0 + 0 + 4}{7} = \\frac{4}{7} \\approx 0.571\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79b\/37a\/59c\/79b37a59cb941bd25168a47f405a384a.svg\" width=\"386\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79b\/37a\/59c\/79b37a59cb941bd25168a47f405a384a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/79b\/37a\/59c\/79b37a59cb941bd25168a47f405a384a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041a\u043b\u044e\u0447\u0435\u0432\u044b\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 WER \u0438 TER:<\/strong><\/p>\n<ul>\n<li>\n<p>WER \u0441\u0442\u0440\u043e\u0433\u043e \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442 \u0441\u043b\u043e\u0432\u043e \u0437\u0430 \u0441\u043b\u043e\u0432\u043e\u043c, \u0431\u0435\u0437 \u0443\u0447\u0435\u0442\u0430 \u043f\u043e\u0440\u044f\u0434\u043a\u0430.<br \/> \u0415\u0441\u043b\u0438 \u0441\u043b\u043e\u0432\u043e \u0441\u0442\u043e\u0438\u0442 \u043d\u0435 \u043d\u0430 \u0441\u0432\u043e\u0451\u043c \u043c\u0435\u0441\u0442\u0435, \u044d\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p>TER \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 (shifts), \u0435\u0441\u043b\u0438 \u043e\u043d\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0442 \u043e\u0431\u0449\u0435\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0439.<br \/> \u042d\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442 TER \u0431\u043e\u043b\u0435\u0435 \u0433\u0438\u0431\u043a\u0438\u043c \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u043e\u0432, \u0433\u0434\u0435 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441\u043b\u043e\u0432 \u043c\u043e\u0436\u0435\u0442 \u0432\u0430\u0440\u044c\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f.<\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import jiwer  def calc_wer(ground_truth, hypothesis):   wer = jiwer.wer(ground_truth, hypothesis)   print(f\"Word Error Rate (WER): {wer}\")<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Word Information Lost (WIL)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Word Information Lost (WIL)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP), \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438. WIL \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0434\u043e\u043b\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u043e\u0442\u0435\u0440\u044f\u043d\u043d\u043e\u0439 \u043f\u0440\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041e\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043b\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0432\u0441\u0442\u0430\u0432\u043a\u0438, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043c\u0435\u043d\u044b.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Word Information Lost<\/strong><\/p>\n<p>WIL \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0434\u043b\u0438\u043d\u044b \u043e\u0431\u043e\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{WIL} = 1 - \\frac{N - D - S}{N}\" alt=\"\\text{WIL} = 1 - \\frac{N - D - S}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/59f\/2ae\/2e7\/59f2ae2e7ab7bccd0225c67f217b2ab3.svg\" width=\"197\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/59f\/2ae\/2e7\/59f2ae2e7ab7bccd0225c67f217b2ab3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/59f\/2ae\/2e7\/59f2ae2e7ab7bccd0225c67f217b2ab3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; N \u2014 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>&#8212; D \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439 (deletions).<\/p>\n<p>&#8212; S \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u043d (substitutions).<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u0430\u0441 \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442?\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f \u0437\u043e\u0432\u0443\u0441\u044c \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u044b \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442\u0441\u044f?\u201d<\/p>\n<p><strong>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c:<\/strong><\/p>\n<ul>\n<li>\n<p>\u201c\u041c\u0435\u043d\u044f\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u042f\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0437\u043e\u0432\u0443\u0441\u044c\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0430\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0430\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0432\u0430\u0441\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0432\u044b\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u043a\u0430\u043a\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u043a\u0430\u043a\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0437\u043e\u0432\u0443\u0442\u0441\u044f\u201d<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a: 4<\/p>\n<p>\u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 (N): 7<\/p>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Word Information Lost:<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{WIL} = 1 - \\frac{7 - 0 - 4}{7} = 1 - \\frac{3}{7} = \\frac{4}{7} \\approx 0.571\" alt=\"\\text{WIL} = 1 - \\frac{7 - 0 - 4}{7} = 1 - \\frac{3}{7} = \\frac{4}{7} \\approx 0.571\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e7\/e71\/e71335e21b01d7d711966335ef6e6074.svg\" width=\"344\" height=\"32\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e7\/e71\/e71335e21b01d7d711966335ef6e6074.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e7\/e71\/e71335e21b01d7d711966335ef6e6074.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e 57,1% \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043f\u043e\u0442\u0435\u0440\u044f\u043d\u043e.<\/p>\n<p><strong>\u0420\u0430\u0437\u043b\u0438\u0447\u0438\u044f \u043c\u0435\u0436\u0434\u0443 WER \u0438 WIL:<\/strong><\/p>\n<ul>\n<li>\n<p>WER \u0438 WIL \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u043e WIL \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043f\u043e\u0442\u0435\u0440\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0438.\u00a0<\/p>\n<\/li>\n<li>\n<p>WIL \u043f\u043e\u043b\u0435\u0437\u043d\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432\u0430\u0436\u043d\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u043c\u044b\u0441\u043b \u0441\u043e\u0445\u0440\u0430\u043d\u0438\u043b\u0441\u044f, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0441 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import jiwer   def calc_wil(ground_truth, hypothesis):    wil = jiwer.wil(ground_truth, hypothesis)    return wil<\/code><\/pre>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 jiwer \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0441\u0432\u043e\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c\u0438.<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Word Information Preserved (WIP)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Word Information Preserved (WIP)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0442\u0435\u043a\u0441\u0442\u043e\u0432, \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c\u0438 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 (NLP), \u0442\u0430\u043a\u0438\u043c\u0438 \u043a\u0430\u043a \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0440\u0430\u0441\u043f\u043e\u0437\u043d\u0430\u0432\u0430\u043d\u0438\u044f \u0440\u0435\u0447\u0438 \u0438 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430. WIP \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0434\u043e\u043b\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043d\u043e\u0439 \u043f\u0440\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442. \u041e\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u0441\u043b\u043e\u0432, \u0442\u0430\u043a\u0438\u0445 \u043a\u0430\u043a \u0432\u0441\u0442\u0430\u0432\u043a\u0438, \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u044f \u0438 \u0437\u0430\u043c\u0435\u043d\u044b, \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442 \u0438\u0441\u0445\u043e\u0434\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Word Information Preserved<\/strong><\/p>\n<p>WIP \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u0440\u0435\u0434\u0430\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u044b\u0445 \u0434\u043b\u044f \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u0433\u043e \u0442\u0435\u043a\u0441\u0442\u0430 \u0432 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0434\u043b\u0438\u043d\u044b \u043e\u0431\u043e\u0438\u0445 \u0442\u0435\u043a\u0441\u0442\u043e\u0432.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{WIP} = \\frac{N - D - S}{N}\" alt=\"\\text{WIP} = \\frac{N - D - S}{N}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c5\/7d0\/7b5\/2c57d07b5945826e7ad0753ba5b4ee1d.svg\" width=\"165\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c5\/7d0\/7b5\/2c57d07b5945826e7ad0753ba5b4ee1d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c5\/7d0\/7b5\/2c57d07b5945826e7ad0753ba5b4ee1d.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; N \u2014 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435.<\/p>\n<p>&#8212; D \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0443\u0434\u0430\u043b\u0435\u043d\u0438\u0439 (deletions).<\/p>\n<p>&#8212; S \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0437\u0430\u043c\u0435\u043d (substitutions).<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0430 \u0434\u0438\u0430\u043b\u043e\u0433\u0430 \u043d\u0430 \u043a\u0438\u0442\u0430\u0439\u0441\u043a\u043e\u043c \u044f\u0437\u044b\u043a\u0435 \u043d\u0430 \u0440\u0443\u0441\u0441\u043a\u0438\u0439 \u044f\u0437\u044b\u043a.<\/p>\n<p>\u042d\u0442\u0430\u043b\u043e\u043d\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u201c\u041c\u0435\u043d\u044f \u0437\u043e\u0432\u0443\u0442 \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u0430\u0441 \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442?\u201d<\/p>\n<p>\u041e\u0442\u0432\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u0438: \u201c\u042f \u0437\u043e\u0432\u0443\u0441\u044c \u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440, \u0430 \u0432\u044b \u043a\u0430\u043a \u0437\u043e\u0432\u0443\u0442\u0441\u044f?\u201d<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u043c \u043f\u043e \u0441\u043b\u043e\u0432\u0430\u043c:<\/p>\n<ul>\n<li>\n<p>\u201c\u041c\u0435\u043d\u044f\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u042f\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0437\u043e\u0432\u0443\u0441\u044c\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0410\u043b\u0435\u043a\u0441\u0430\u043d\u0434\u0440\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0430\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0430\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0432\u0430\u0441\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0432\u044b\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u043a\u0430\u043a\u201d \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u043a\u0430\u043a\u201d<\/p>\n<\/li>\n<li>\n<p>\u201c\u0437\u043e\u0432\u0443\u0442\u201d \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u201c\u0437\u043e\u0432\u0443\u0442\u0441\u044f\u201d<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0448\u0438\u0431\u043e\u043a: 4<\/p>\n<p>&#8212; \u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043b\u043e\u0432 \u0432 \u044d\u0442\u0430\u043b\u043e\u043d\u043d\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 (N): 7<\/p>\n<p>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Word Information Preserved:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{WIP} = \\frac{7 - 0 - 4}{7} = \\frac{3}{7} \\approx 0.429\" alt=\"\\text{WIP} = \\frac{7 - 0 - 4}{7} = \\frac{3}{7} \\approx 0.429\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb5\/bb5f60dc3ef8198bebbebd35fb017633.svg\" width=\"240\" height=\"32\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb5\/bb5f60dc3ef8198bebbebd35fb017633.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/bb\/bb5\/bb5f60dc3ef8198bebbebd35fb017633.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 42.9% \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0431\u044b\u043b\u043e \u0441\u043e\u0445\u0440\u0430\u043d\u0435\u043d\u043e \u0432 \u0432\u044b\u0434\u0430\u043d\u043d\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043e\u0442\u0432\u0435\u0442\u0435.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import jiwer   def calc_wip(ground_truth, hypothesis):     wil = jiwer.wil(ground_truth, hypothesis)     wip = 1 - wil  # WIP = 1 - WIL     return wip<\/code><\/pre>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 jiwer \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 \u0441\u0432\u043e\u0438 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0432\u044b\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u043d\u0438\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u044d\u0442\u043e\u0439 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u043c<\/p>\n<\/div>\n<\/details>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f<\/h2>\n<details class=\"spoiler\">\n<summary>Cross-Entropy Loss<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Cross-Entropy Loss (\u0438\u043b\u0438 \u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f) <\/strong>\u2014 \u044d\u0442\u043e \u043e\u0434\u043d\u0430 \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043f\u043e\u0442\u0435\u0440\u044c \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u043d\u0435\u0439\u0440\u043e\u043d\u043d\u044b\u0445 \u0441\u0435\u0442\u044f\u0445 \u0438 \u044f\u0437\u044b\u043a\u043e\u0432\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445. \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0431\u0435\u0440\u0451\u043c\u0441\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e.<\/p>\n<p><strong>1. \u0418\u0434\u0435\u044f Cross-Entropy Loss<\/strong><\/p>\n<p>\u0426\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 &#171;\u043d\u0430\u043a\u0430\u0437\u0430\u0442\u044c&#187; \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u043e \u0435\u0451 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043e\u0442\u043a\u043b\u043e\u043d\u044f\u044e\u0442\u0441\u044f \u043e\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a \u043a\u043b\u0430\u0441\u0441\u043e\u0432. \u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0430\u0441\u0441\u043e\u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c. \u0412 \u043f\u0440\u043e\u0442\u0438\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442\u0441\u044f.<\/p>\n<p><strong>2. \u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 n \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 k \u043a\u043b\u0430\u0441\u0441\u043e\u0432 Cross-Entropy Loss \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"L = -\\frac{1}{n} \\sum_{i=1}^{n} \\sum_{j=1}^{k} y_{ij} \\log(p_{ij})\" alt=\"L = -\\frac{1}{n} \\sum_{i=1}^{n} \\sum_{j=1}^{k} y_{ij} \\log(p_{ij})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c42\/043\/c31\/c42043c31c747a8bccf14bee3b6ab069.svg\" width=\"224\" height=\"62\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c42\/043\/c31\/c42043c31c747a8bccf14bee3b6ab069.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c42\/043\/c31\/c42043c31c747a8bccf14bee3b6ab069.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<br \/>&#8212; y<sub>ij<\/sub> \u2014 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0430 (0 \u0438\u043b\u0438 1),<br \/>&#8212; p<sub>ij<\/sub>\u2014 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0430 j \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430 i,<br \/>&#8212; n \u2014 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432,<br \/>&#8212; k \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043a\u043b\u0430\u0441\u0441\u043e\u0432.<\/p>\n<p>\u0423\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e \u0434\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 ((k = 2)):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"L = -\\frac{1}{n} \\sum_{i=1}^{n} \\left[ y_i \\log(p_i) + (1 - y_i) \\log(1 - p_i) \\right]\" alt=\"L = -\\frac{1}{n} \\sum_{i=1}^{n} \\left[ y_i \\log(p_i) + (1 - y_i) \\log(1 - p_i) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/448\/e5f\/bc6\/448e5fbc66b028049c2ca67fe54ebda5.svg\" width=\"373\" height=\"57\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/448\/e5f\/bc6\/448e5fbc66b028049c2ca67fe54ebda5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/448\/e5f\/bc6\/448e5fbc66b028049c2ca67fe54ebda5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<br \/>&#8212;\u00a0 (y<sub>i<\/sub> in {0, 1}) \u2014 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u043a\u0430,<br \/>&#8212; (p<sub>i<\/sub> in [0, 1]) \u2014 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<p>\u0434\u043b\u044f \u043e\u0434\u043d\u043e\u0433\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u044d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0431\u0443\u0434\u0435\u0442 \u0435\u0449\u0435 \u043f\u0440\u043e\u0449\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"L = - \\left[ y \\log(p) + (1 - y) \\log(1 - p) \\right]\" alt=\"L = - \\left[ y \\log(p) + (1 - y) \\log(1 - p) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec3\/ec3c2233fca04a1563e3a51c540868e2.svg\" width=\"272\" height=\"16\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec3\/ec3c2233fca04a1563e3a51c540868e2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ec\/ec3\/ec3c2233fca04a1563e3a51c540868e2.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u0438\u0437\u043e\u0431\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043a\u0430\u043a \u043e\u0434\u043d\u043e \u0438\u0437 \u0442\u0440\u0451\u0445 \u0436\u0438\u0432\u043e\u0442\u043d\u044b\u0445: <\/p>\n<ul>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441 0: \u041a\u043e\u0448\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441 1: \u0421\u043e\u0431\u0430\u043a\u0430<\/p>\n<\/li>\n<li>\n<p>\u041a\u043b\u0430\u0441\u0441 2: \u041b\u0438\u0441\u0430<\/p>\n<\/li>\n<\/ul>\n<p>\u041e\u043d\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043b\u043e\u0433\u0438\u0442\u044b [2.0, 1.0, 0.1], \u0430 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u043a\u0430 \u2014 &#171;\u043a\u043e\u0448\u043a\u0430&#187; (\u043a\u043b\u0430\u0441\u0441 0).<br \/>\u041f\u043e\u0441\u043b\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f softmax \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 [0.659, 0.242, 0.099].<br \/>Cross-Entropy Loss \u0431\u0443\u0434\u0435\u0442:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\text{L} = -\\log(0.659) \\approx 0.417\" alt=\"\\text{L} = -\\log(0.659) \\approx 0.417\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/989\/acf\/1ed\/989acf1ed3e3e38093ff7dfb2ea5526a.svg\" width=\"209\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/989\/acf\/1ed\/989acf1ed3e3e38093ff7dfb2ea5526a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/989\/acf\/1ed\/989acf1ed3e3e38093ff7dfb2ea5526a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0427\u0435\u043c \u0432\u044b\u0448\u0435 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c \u043a\u043b\u0430\u0441\u0441\u0435, \u0442\u0435\u043c \u043d\u0438\u0436\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import torch import torch.nn as nn import torch.nn.functional as F  # \u041b\u043e\u0433\u0438\u0442\u044b \u043e\u0442 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0434\u043e softmax) logits = torch.tensor([[2.0, 1.0, 0.1]])  # \u0418\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u043a\u0430 (\u043a\u043b\u0430\u0441\u0441 0 \u2014 \u043a\u043e\u0448\u043a\u0430) true_label = torch.tensor([0])  # \u0418\u043d\u0438\u0446\u0438\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c loss_fn = nn.CrossEntropyLoss()  # \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 loss loss = loss_fn(logits, true_label) print(f\"Cross-Entropy Loss: {loss.item():.4f}\")  # \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0441\u043b\u0435 softmax probs = F.softmax(logits, dim=1) print(f\"Predicted probabilities: {probs.tolist()}\")<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Semantic-Aware Cross-Entropy Loss (SACEL)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Semantic-Aware Cross-Entropy Loss (SACEL)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c, \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0433\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438. \u0412 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0439 cross-entropy, SACEL \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432 \u0438\u043b\u0438 \u0444\u0440\u0430\u0437, \u043d\u043e \u0438 \u0438\u0445 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u043e\u043c\u0443 \u0441\u043c\u044b\u0441\u043b\u0443. \u041c\u0435\u0442\u0440\u0438\u043a\u0430 penal\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u0430 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u0444\u0440\u0430\u0433\u043c\u0435\u043d\u0442\u0430\u0445 \u0438 \u043f\u043e\u043e\u0449\u0440\u044f\u0435\u0442 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0445.<\/p>\n<p><strong>1. \u0418\u0434\u0435\u044f SACEL<\/strong><\/p>\n<p>\u0426\u0435\u043b\u044c \u044d\u0442\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u2014 &#171;\u043d\u0430\u043a\u0430\u0437\u0430\u0442\u044c&#187; \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a \u0437\u0430 \u0438\u0437\u043b\u0438\u0448\u043d\u044e\u044e \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432 \u0438\u043b\u0438 \u0444\u0440\u0430\u0437\u0435 \u043a \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438.<br \/>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u043a \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043d\u043e \u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c.<br \/>\u0415\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u043a \u043a\u043b\u0430\u0441\u0441\u0443 \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0438\u043b\u0438 \u0432\u0435\u0440\u043d\u043e \u0441 \u043d\u0438\u0437\u043a\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0431\u0443\u0434\u0435\u0442 \u0443\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u043c (\u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 1-2).<br \/>\u0415\u0441\u043b\u0438 \u0436\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0441\u043e\u043a\u0438\u043c\u0438 (\u0431\u043e\u043b\u0435\u0435 2).<\/p>\n<p>\u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0440\u0430\u0441\u0447\u0435\u0442\u0430:<br \/>&#8212; \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0438\u0437\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438;<br \/>&#8212; \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b\u0441\u043e\u043a\u0438\u0445 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438 \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434 \u043e\u0431 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><strong>2. \u0424\u043e\u0440\u043c\u0443\u043b\u0430<\/strong><\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 n \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 k \u043a\u043b\u0430\u0441\u0441\u043e\u0432 Cross-Entropy Loss \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{SACEL}_i = - \\left[ y_i \\cdot \\log(p_i^*) + (1 - y_i) \\cdot \\log(1 - p_i^*) \\right]\" alt=\"\\text{SACEL}_i = - \\left[ y_i \\cdot \\log(p_i^*) + (1 - y_i) \\cdot \\log(1 - p_i^*) \\right]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f08\/a8a\/998\/f08a8a998575a99f0aa632a5ca75e528.svg\" width=\"412\" height=\"26\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f08\/a8a\/998\/f08a8a998575a99f0aa632a5ca75e528.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f08\/a8a\/998\/f08a8a998575a99f0aa632a5ca75e528.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435:<br \/>&#8212; <img decoding=\"async\" class=\"formula inline\" source=\"y_i \\in {0, 1}\" alt=\"y_i \\in {0, 1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/551\/781\/f93\/551781f93afe5efaf0651e57af9c6d56.svg\" width=\"68\" height=\"19\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/551\/781\/f93\/551781f93afe5efaf0651e57af9c6d56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/551\/781\/f93\/551781f93afe5efaf0651e57af9c6d56.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0438\u0441\u0442\u0438\u043d\u043d\u0430\u044f \u043c\u0435\u0442\u043a\u0430 \u043a\u043b\u0430\u0441\u0441\u0430 (0 \u0438\u043b\u0438 1),<br \/>&#8212; <img decoding=\"async\" class=\"formula inline\" source=\"p_i \\in [0, 1]\" alt=\"p_i \\in [0, 1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7a8\/44a\/6dd\/7a844a6dd6b0c2af912ed7a24a5606f3.svg\" width=\"79\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7a8\/44a\/6dd\/7a844a6dd6b0c2af912ed7a24a5606f3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7a8\/44a\/6dd\/7a844a6dd6b0c2af912ed7a24a5606f3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><sub> <\/sub>\u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0444\u0440\u0430\u0437\u044b \u043f\u043e logprobs,<br \/>&#8212; <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}_i \\in {0, 1}\" alt=\"\\hat{y}_i \\in {0, 1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f03\/803\/403\/f038034031bb27befc9caff209ffb7b3.svg\" width=\"69\" height=\"21\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f03\/803\/403\/f038034031bb27befc9caff209ffb7b3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f03\/803\/403\/f038034031bb27befc9caff209ffb7b3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u2014 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0438\u043b\u0438 \u043d\u0435\u0442),<br \/>&#8212; <img decoding=\"async\" class=\"formula inline\" source=\"p_i^*\" alt=\"p_i^*\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/201\/6cc\/eca\/2016cceca8f6921778f5d8f640554227.svg\" width=\"19\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/201\/6cc\/eca\/2016cceca8f6921778f5d8f640554227.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/201\/6cc\/eca\/2016cceca8f6921778f5d8f640554227.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\begin{cases} p_i, &amp; \\text{\u0435\u0441\u043b\u0438 } y_i = \\hat{y}_i \\\\ 1 - p_i, &amp; \\text{\u0435\u0441\u043b\u0438 } y_i \\ne \\hat{y}_i \\end{cases}\" alt=\"\\begin{cases} p_i, &amp; \\text{\u0435\u0441\u043b\u0438 } y_i = \\hat{y}_i \\\\ 1 - p_i, &amp; \\text{\u0435\u0441\u043b\u0438 } y_i \\ne \\hat{y}_i \\end{cases}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b4\/dc4\/0fe\/2b4dc40fe108e44d0a22d8cd73392e56.svg\" width=\"191\" height=\"49\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b4\/dc4\/0fe\/2b4dc40fe108e44d0a22d8cd73392e56.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b4\/dc4\/0fe\/2b4dc40fe108e44d0a22d8cd73392e56.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412 \u043e\u0431\u0449\u0435\u043c \u0432\u0438\u0434\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{SACEL} = \\frac{1}{n} \\sum_{i=1}^{n} \\text{SACEL}_i\" alt=\"\\text{SACEL} = \\frac{1}{n} \\sum_{i=1}^{n} \\text{SACEL}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/813\/6c1\/c83\/8136c1c8395eee8fc488269e97f536c7.svg\" width=\"214\" height=\"57\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/813\/6c1\/c83\/8136c1c8395eee8fc488269e97f536c7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/813\/6c1\/c83\/8136c1c8395eee8fc488269e97f536c7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440:<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432.<\/p>\n<ol>\n<li>\n<p>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0412&#8217;: 0.0071<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c&#8217;: 0.0631<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435&#8217;: 0.9986<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043a&#8217;: 0.7805<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043f\u043e\u043d\u044f\u0442\u0438\u044e&#8217;: 0.0000<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e&#8217;: 0.9906<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0443\u0449\u0435\u0440\u0431\u0430&#8217;: 0.9999<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f&#8217;: 0.9923<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0443\u0442\u0440\u0430\u0442\u0430&#8217;: 0.0007<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430,&#8217;: 0.2412<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043f\u043e\u0440\u0447\u0430&#8217;: 0.9988<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430&#8217;: 1.0000<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0438&#8217;: 0.8746<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f&#8217;: 0.9619<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0432\u044b\u0433\u043e\u0434\u0430.&#8217;: 0.9871<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0420\u0430\u0441\u0445\u043e\u0434\u044b&#8217;: 0.9989<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043d\u0430&#8217;: 1.0000<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435&#8217;: 0.9993<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043f\u0440\u0430\u0432\u0430&#8217;: 0.9991<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043d\u0435&#8217;: 0.6995<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f&#8217;: 0.0051<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0447\u0430\u0441\u0442\u044c\u044e&#8217;: 0.1858<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043f\u043e\u043d\u044f\u0442\u0438\u044f&#8217;: 0.0192<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e&#8217;: 0.9992<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0443\u0449\u0435\u0440\u0431\u0430.&#8217;: 0.8929<\/p>\n<p>\u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u043e\u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f \u043f\u043e\u0441\u043b\u0435 \u0441\u043b\u043e\u0432\u0430 \u201c\u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f\u201d:<br \/>\u201c\u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u201d: 0,12095 (1)<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.12095) + 0 \\cdot \\log(1 - 0.12095) \\right] = -\\log(0.12095)\\approx 2.112\" alt=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.12095) + 0 \\cdot \\log(1 - 0.12095) \\right] = -\\log(0.12095)\\approx 2.112\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a0\/126\/206\/9a01262064ba7d80dab530bb444f7981.svg\" width=\"553\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a0\/126\/206\/9a01262064ba7d80dab530bb444f7981.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9a0\/126\/206\/9a01262064ba7d80dab530bb444f7981.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u201c\u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u201d: 0,9994 (1)<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.9994) + (1 - 1) \\cdot \\log(1 - 0.9994) \\right]=-\\left[ \\log(0.9994) \\right] \\approx 0.0006\" alt=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.9994) + (1 - 1) \\cdot \\log(1 - 0.9994) \\right]=-\\left[ \\log(0.9994) \\right] \\approx 0.0006\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a19\/678\/b85\/a19678b85efb4dc1a82ebe99efa8ec85.svg\" width=\"586\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a19\/678\/b85\/a19678b85efb4dc1a82ebe99efa8ec85.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a19\/678\/b85\/a19678b85efb4dc1a82ebe99efa8ec85.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u201c\u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430\u201d: 0,9745 (0)<\/p>\n<p>\u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043e\u0446\u0435\u043d\u0438\u043b\u0430 \u0435\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 0 \\cdot \\log(0.9745) + 1 \\cdot \\log(1 - 0.9745) \\right] = -\\log(0.0255)\\approx 3.669\" alt=\"\\small SACEL = -\\left[ 0 \\cdot \\log(0.9745) + 1 \\cdot \\log(1 - 0.9745) \\right] = -\\log(0.0255)\\approx 3.669\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee4\/88b\/27d\/ee488b27db5ad5bb02847c71f1332c21.svg\" width=\"528\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee4\/88b\/27d\/ee488b27db5ad5bb02847c71f1332c21.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ee4\/88b\/27d\/ee488b27db5ad5bb02847c71f1332c21.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u043e\u0441\u043e\u0447\u0435\u0442\u0430\u043d\u0438\u044f:<\/p>\n<p>\u201c\u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430\u201d: 0,9993 (1)<\/p>\n<p>\u0437\u0434\u0435\u0441\u044c \u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043b\u0430 \u0435\u0433\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u0430 1 &#8212; 0,9993 = 0,0007<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.0007) + (1 - 1) \\cdot \\log(1 - 0.0007) \\right]=-\\log(0.0007)\\approx 7.264\" alt=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.0007) + (1 - 1) \\cdot \\log(1 - 0.0007) \\right]=-\\log(0.0007)\\approx 7.264\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9f\/5c8\/0ff\/c9f5c80ff534eb8bbad42ac62e7353c7.svg\" width=\"569\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9f\/5c8\/0ff\/c9f5c80ff534eb8bbad42ac62e7353c7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9f\/5c8\/0ff\/c9f5c80ff534eb8bbad42ac62e7353c7.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<li>\n<p>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0412&#8217;: 0.4005<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;2025&#8217;: 0.9949<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0433\u043e\u0434\u0443&#8217;: 0.9999<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u044d\u0442\u0430\u043f\u044b&#8217;: 0.9660<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0424\u043e\u0440\u043c\u0443\u043b\u044b&#8217;: 0.8278<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;1&#8217;: 0.9765<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u043f\u0440\u043e\u0439\u0434\u0443\u0442&#8217;: 0.3191<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0432&#8217;: 0.9974<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0420\u043e\u0441\u0441\u0438\u0438,&#8217;: 0.6528<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438&#8217;: 0.9943<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0438&#8217;: 0.4960<br \/>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432\u0430 &#8216;\u0421\\xd0\\xa8\u0410.&#8217;: 0.6739<\/p>\n<p>\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0432:<\/p>\n<p>\u0420\u043e\u0441\u0441\u0438\u0438: 0,6528 (0)<\/p>\n<p>\u043e\u0442\u0432\u0435\u0442 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c, \u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0446\u0435\u043d\u0438\u043b\u0430 \u0435\u0433\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c.<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 0 \\cdot \\log(0.6528) + 1 \\cdot \\log(1 - 0.6528) \\right]=-\\log(0.3472)\\approx 1.058\" alt=\"\\small SACEL = -\\left[ 0 \\cdot \\log(0.6528) + 1 \\cdot \\log(1 - 0.6528) \\right]=-\\log(0.3472)\\approx 1.058\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c0\/d1a\/419\/5c0d1a4196aaedb2395dcb6ed341e5dc.svg\" width=\"565\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c0\/d1a\/419\/5c0d1a4196aaedb2395dcb6ed341e5dc.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c0\/d1a\/419\/5c0d1a4196aaedb2395dcb6ed341e5dc.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438: 0,9943 (1)<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.9943) + 0 \\cdot \\log(1 - 0.9943) \\right]=-\\log(0.9943)\\approx 0.006\" alt=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.9943) + 0 \\cdot \\log(1 - 0.9943) \\right]=-\\log(0.9943)\\approx 0.006\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/838\/f63\/4e0\/838f634e05647279db92bc5342d3572c.svg\" width=\"528\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/838\/f63\/4e0\/838f634e05647279db92bc5342d3572c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/838\/f63\/4e0\/838f634e05647279db92bc5342d3572c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0421\u0428\u0410: 0,6739 (1)<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.6739) + 0 \\cdot \\log(1 - 0.6739) \\right]=-\\log(0.6739)\\approx 0.395\" alt=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.6739) + 0 \\cdot \\log(1 - 0.6739) \\right]=-\\log(0.6739)\\approx 0.395\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dea\/f76\/3a8\/deaf763a80f4702ecbd8c11c37710a51.svg\" width=\"528\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dea\/f76\/3a8\/deaf763a80f4702ecbd8c11c37710a51.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dea\/f76\/3a8\/deaf763a80f4702ecbd8c11c37710a51.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d \u0438 \u041f\u043e\u043b\u044c\u0448\u0430 \u0432\u043e\u0432\u0441\u0435 \u043d\u0435 \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432 \u043e\u0442\u0432\u0435\u0442\u0435, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u0443\u043a\u0430\u0436\u0435\u043c \u0438\u0445 0,9999 (\u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0438 \u044d\u0442\u0430\u043f\u043e\u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445).<\/p>\n<p>\u0412 \u0442\u0430\u043a\u0438\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445 \u0434\u043b\u044f \u041f\u043e\u043b\u044c\u0448\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 0 \\cdot \\log(0.0001) + 1 \\cdot \\log(1 - 0.0001) \\right] = -\\log(0.9999)\\approx 0.0001\" alt=\"\\small SACEL = -\\left[ 0 \\cdot \\log(0.0001) + 1 \\cdot \\log(1 - 0.0001) \\right] = -\\log(0.9999)\\approx 0.0001\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b52\/909\/928\/b52909928dd90c2231a81134b0457885.svg\" width=\"575\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b52\/909\/928\/b52909928dd90c2231a81134b0457885.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b52\/909\/928\/b52909928dd90c2231a81134b0457885.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u043b\u044f \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u0435\u043d:<\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.0001) + 0 \\cdot \\log(1 - 0.0001) \\right] = -\\log(0.0001)\\approx 9.2103\" alt=\"\\small SACEL = -\\left[ 1 \\cdot \\log(0.0001) + 0 \\cdot \\log(1 - 0.0001) \\right] = -\\log(0.0001)\\approx 9.2103\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/407\/ee8\/6d1\/407ee86d156cd5a38f81bad0844ce296.svg\" width=\"536\" height=\"20\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/407\/ee8\/6d1\/407ee86d156cd5a38f81bad0844ce296.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/407\/ee8\/6d1\/407ee86d156cd5a38f81bad0844ce296.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/li>\n<\/ol>\n<p>\u0427\u0435\u043c \u0431\u043b\u0438\u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a 0, \u0442\u0435\u043c \u0442\u043e\u0447\u043d\u0435\u0435 \u043e\u043d\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442\u044b.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043f\u043e \u0432\u0441\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u0430\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"SACEL_{\\text{\u0441\u0440}} = \\frac{23.715}{9} \\approx 2.635\" alt=\"SACEL_{\\text{\u0441\u0440}} = \\frac{23.715}{9} \\approx 2.635\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8aa\/bc5\/1aa\/8aabc51aa6e0f1683050cf96dc8c5b88.svg\" width=\"239\" height=\"43\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8aa\/bc5\/1aa\/8aabc51aa6e0f1683050cf96dc8c5b88.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8aa\/bc5\/1aa\/8aabc51aa6e0f1683050cf96dc8c5b88.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 SACEL \u0432\u044b\u0448\u0435 2, \u0447\u0442\u043e, \u043c\u043d\u043e\u0433\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e,  \u0441\u0432\u0438\u0434\u0435\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0443\u0435\u0442 \u043e\u0431 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u0438\u043b\u0438 \u0448\u0443\u043c\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">import numpy as np  def define_positive_class_prob(true_label, predicted_label, predicted_prob):     if true_label == 1 and true_label == predicted_label:         positive_prob = predicted_prob     elif true_label == 1 and true_label != predicted_label:         positive_prob = 1 - predicted_prob     elif true_label == 0 and true_label == predicted_label:         positive_prob = 1 - predicted_prob     else:         positive_prob = predicted_prob     return positive_prob  def sacel_binary(true_labels, predicted_labels, predicted_probs):      # \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430     positive_probs = np.array([         define_positive_class_prob(true_label, predicted_label,                                     predicted_prob)         for true_label, predicted_label, predicted_prob in zip(true_labels,                                          predicted_labels, predicted_probs)     ])      # \u0423\u0441\u0442\u0430\u043d\u0430\u0432\u043b\u0438\u0432\u0430\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 epsilon \u0434\u043b\u044f \u0437\u0430\u0449\u0438\u0442\u044b \u043e\u0442 log(0)     epsilon = 1e-10     positive_probs = np.clip(positive_probs, epsilon, 1 - epsilon)      # \u0423\u0431\u0435\u0434\u0438\u043c\u0441\u044f, \u0447\u0442\u043e \u0432\u0441\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u2014 \u043c\u0430\u0441\u0441\u0438\u0432\u044b numpy     true_labels = np.array(true_labels)      # \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c SACEL     loss = -np.mean(         true_labels * np.log(positive_probs) +         (1 - true_labels) * np.log(1 - positive_probs)     )     print(loss)     return loss<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Label Ranking Average Precision (LRAP)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Label Ranking Average Precision (LRAP)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442\u044c \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 \u0432\u044b\u0448\u0435 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 LRAP<\/strong><\/p>\n<p>LRAP \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<br \/>1. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043c\u0435\u0442\u043a\u0438.<br \/>2. \u0412\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0434\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0430\u0440.<br \/>3. LRAP \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0434\u043e\u043b\u0435\u0439 \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c.<\/p>\n<p>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f LRAP \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{LRAP} = \\frac{1}{|\\small\\text{True Labels}|} \\sum_{j \\in \\small\\text{TrueLabels}} \\frac{|\\{k : \\text{score}_k \\geq \\text{score}_j \\text{ and } k \\in \\text{TrueLabels}\\}|}{\\text{rank}_j}\" alt=\"\\text{LRAP} = \\frac{1}{|\\small\\text{True Labels}|} \\sum_{j \\in \\small\\text{TrueLabels}} \\frac{|\\{k : \\text{score}_k \\geq \\text{score}_j \\text{ and } k \\in \\text{TrueLabels}\\}|}{\\text{rank}_j}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08c\/419\/eb8\/08c419eb821e8befd5f5c1d32e539b93.svg\" width=\"618\" height=\"58\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08c\/419\/eb8\/08c419eb821e8befd5f5c1d32e539b93.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/08c\/419\/eb8\/08c419eb821e8befd5f5c1d32e539b93.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f LRAP<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. \u041d\u0438\u0436\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 3 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u0438 5 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 1: \u041c\u0435\u0442\u043a\u0438 (A, B), \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: A=0.9, B=0.8, C=0.1, D=0.4, E=0.3<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 2: \u041c\u0435\u0442\u043a\u0438 (C, D), \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: A=0.2, B=0.5, C=0.7, D=0.9, E=0.1<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 3: \u041c\u0435\u0442\u043a\u0438 (B, E), \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: A=0.1, B=0.9, C=0.3, D=0.2, E=0.8<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 LRAP:<\/strong><\/p>\n<p>1. \u041f\u0440\u0438\u043c\u0435\u0440 1: \u041c\u0435\u0442\u043a\u0438 (A, B)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [0.9, 0.8, 0.1, 0.4, 0.3]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a: [A, B, D, E, C]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0414\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a:<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; A: \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0445 (1\/1 = 1.0)<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; B: \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0445 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 (1\/1 = 1.0)<\/p>\n<p>2. \u041f\u0440\u0438\u043c\u0435\u0440 2: \u041c\u0435\u0442\u043a\u0438 (C, D)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [0.2, 0.5, 0.7, 0.9, 0.1]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a: [D, C, B, A, E]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0414\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a:<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; D: \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0445 (1\/1 = 1.0)<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; C: \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0445 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 (1\/1 = 1.0)<\/p>\n<p>3. \u041f\u0440\u0438\u043c\u0435\u0440 3: \u041c\u0435\u0442\u043a\u0438 (B, E)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [0.1, 0.9, 0.3, 0.2, 0.8]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a: [B, E, C, D, A]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0414\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a:<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; B: \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0445 (1\/1 = 1.0)<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; E: \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0432\u044b\u0448\u0435 \u0432\u0441\u0435\u0445 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 (1\/1 = 1.0)<\/p>\n<p>\u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{LRAP} =\\small\\frac{1}{3} \\left( \\frac{1.0 + 1.0}{2} + \\frac{1.0 + 1.0}{2} + \\frac{1.0 + 1.0}{2} \\right)== \\frac{1}{3}(1.0 + 1.0 + 1.0) = 1.0\" alt=\"\\text{LRAP} =\\small\\frac{1}{3} \\left( \\frac{1.0 + 1.0}{2} + \\frac{1.0 + 1.0}{2} + \\frac{1.0 + 1.0}{2} \\right)== \\frac{1}{3}(1.0 + 1.0 + 1.0) = 1.0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/767\/7673e0bb0d7a5e13bbe1872abcdad4b5.svg\" width=\"536\" height=\"32\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/767\/7673e0bb0d7a5e13bbe1872abcdad4b5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/767\/7673e0bb0d7a5e13bbe1872abcdad4b5.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0441\u0435 \u043c\u0435\u0442\u043a\u0438 \u0431\u044b\u043b\u0438 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import label_ranking_average_precision_score   def calculate_lrap_score(true_labels, predicted_probabilities):       lrap_score = label_ranking_average_precision_score(true_labels, predicted_probabilities)      print(f'Label Ranking Average Precision (LRAP): {lrap_score:.2f}')<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Label Ranking Loss (LRL)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Label Ranking Loss (\u0438\u043b\u0438 Loss for Label Ranking)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442\u044c \u043a \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. \u042d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043c\u0435\u0442\u043a\u0438.<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Label Ranking Loss<\/strong><\/p>\n<p>Label Ranking Loss \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<br \/>1. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0440\u044f\u0434\u043e\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u043e\u0434\u0435\u043b\u044c \u0440\u0430\u043d\u0436\u0438\u0440\u0443\u0435\u0442 \u043c\u0435\u0442\u043a\u0438.<br \/>2. \u0421\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u044d\u0442\u043e\u0442 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u043c\u0435\u0442\u043e\u043a.<br \/>3. \u0420\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u043b\u044f \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440 \u043c\u0435\u0442\u043e\u043a \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f Label Ranking Loss:<\/strong><\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{LRL} = \\frac{\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440}}{\\text{\u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440}}\" alt=\"\\text{LRL} = \\frac{\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440}}{\\text{\u041e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440}}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d1f\/d1fcdc1bc12379f1ab942b1f94dcf22a.svg\" width=\"480\" height=\"40\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d1f\/d1fcdc1bc12379f1ab942b1f94dcf22a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d1f\/d1fcdc1bc12379f1ab942b1f94dcf22a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440} = k \\cdot (n - k)\" alt=\"\\text{\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440} = k \\cdot (n - k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef9\/e97\/440\/ef9e97440b9789d6e4b02003a7c6afc3.svg\" width=\"227\" height=\"22\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef9\/e97\/440\/ef9e97440b9789d6e4b02003a7c6afc3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ef9\/e97\/440\/ef9e97440b9789d6e4b02003a7c6afc3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p>k &#8212; \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a<\/p>\n<p>n &#8212; \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u043a.<\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0430\u0440 &#8212; \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u043e \u043f\u0430\u0440 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 (\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445) \/ \u043b\u043e\u0436\u043d\u044b\u0445 (\u043d\u0435\u0440\u0435\u043b\u0435\u0432\u0430\u043d\u0442\u043d\u044b\u0445) \u043c\u0435\u0442\u043e\u043a.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Label Ranking Loss<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0436\u0435\u0442 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 3 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u0438 4 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445:<\/strong><\/p>\n<ul>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 1: \u041c\u0435\u0442\u043a\u0438 (A, B), \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: A=0.9, B=0.6, C=0.8, D=0.3<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 2: \u041c\u0435\u0442\u043a\u0438 (C, D), \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: A=0.8, B=0.7, C=0.6, D=0.5<\/p>\n<\/li>\n<li>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 3: \u041c\u0435\u0442\u043a\u0438 (B, D), \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: A=0.3, B=0.6, C=0.4, D=0.5<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Label Ranking Loss:<\/strong><\/p>\n<p>1. \u041f\u0440\u0438\u043c\u0435\u0440 1: \u041c\u0435\u0442\u043a\u0438 (A, B)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [0.9, 0.8, 0.6, 0.3]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a: [A, \u0421, B, D]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; \u041f\u0430\u0440\u0430 C, B: r(C)=0.8, r(B)=0.6 (\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u044b: 1 \u0438\u0437 4 (C, B)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; Label Ranking Loss = 1 \/ 4 = 0.25<\/p>\n<p>2. \u041f\u0440\u0438\u043c\u0435\u0440 2: \u041c\u0435\u0442\u043a\u0438 (C, D)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [0.8, 0.7, 0.6, 0.5]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a: [A, B, C, D]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; \u041f\u0430\u0440\u0430 B, D: r(B)=0.7, r(D)=0.5 (\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e)<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; \u041f\u0430\u0440\u0430 B, C: r(B)=0.7, r(C)=0.6 (\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e)<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; \u041f\u0430\u0440\u0430 A, C: r(A)=0.8, r(C)=0.6 (\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e)<\/p>\n<p>\u00a0\u00a0\u00a0\u00a0\u00a0&#8212; \u041f\u0430\u0440\u0430 A, D: r(A)=0.8, r(D)=0.5 (\u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u044b: 4 \u0438\u0437 4 (B, D \u0438 A, C)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; Label Ranking Loss = 4 \/ 4 = 1<\/p>\n<p>3. \u041f\u0440\u0438\u043c\u0435\u0440 3: \u041c\u0435\u0442\u043a\u0438 (B, D)<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: [0.3, 0.6, 0.4, 0.5]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u0420\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a: [B, D, C, A]<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f: \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; \u041d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043f\u0430\u0440\u044b: 0 \u0438\u0437 4<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; Label Ranking Loss = 0 \/ 4 = 0<\/p>\n<p>\u0421\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 Label Ranking Loss \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{LRL} = \\frac{0.25 + 1.0 + 0.0}{3} = \\frac{1.25}{3} = 0.4167\" alt=\"\\text{LRL} = \\frac{0.25 + 1.0 + 0.0}{3} = \\frac{1.25}{3} = 0.4167\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8de\/8dec7a95d4d9f9066d1b72ace00af521.svg\" width=\"328\" height=\"32\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8de\/8dec7a95d4d9f9066d1b72ace00af521.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8de\/8dec7a95d4d9f9066d1b72ace00af521.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0432\u044b\u0432\u043e\u0434, \u0447\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e 41,67% \u043f\u0430\u0440 \u0431\u044b\u043b\u0438 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u043d\u0435\u0432\u0435\u0440\u043d\u043e.<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import label_ranking_loss   def calculate_lrl(true_labels, predicted_probabilities):      # \u0420\u0430\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Label Ranking Loss     lrl_score = label_ranking_loss(true_labels, predicted_probabilities)      print(f'Label Ranking Loss (LRL): {lrl_score:.2f}')<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>LogAUC<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Log AUC (\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u043f\u043e\u0434 \u043a\u0440\u0438\u0432\u043e\u0439)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0430\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041e\u043d\u0430 \u0438\u0437\u043c\u0435\u0440\u044f\u0435\u0442 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0443\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043f\u043b\u043e\u0449\u0430\u0434\u0438 \u043f\u043e\u0434 \u043a\u0440\u0438\u0432\u043e\u0439 ROC (Receiver Operating Characteristic), \u0433\u0434\u0435 \u043f\u043e \u043e\u0441\u0438 X \u043e\u0442\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0434\u043e\u043b\u044f \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 (False Positive Rate), \u0430 \u043f\u043e \u043e\u0441\u0438 Y \u2014 \u0434\u043e\u043b\u044f \u0438\u0441\u0442\u0438\u043d\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 (True Positive Rate).<\/p>\n<p><strong>\u041a\u0430\u043a \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 Log AUC<\/strong><\/p>\n<p>Log AUC \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u043e\u0442 \u043e\u0431\u044b\u0447\u043d\u043e\u0439 AUC \u0442\u0435\u043c, \u0447\u0442\u043e \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043c\u0435\u0442\u043e\u043a, \u0447\u0442\u043e \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u0441\u0433\u043b\u0430\u0434\u0438\u0442\u044c \u0432\u043e\u0437\u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0435 \u043a\u0440\u0430\u0439\u043d\u0435\u0439 \u043d\u0435\u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u043c \u043a\u043b\u0430\u0441\u0441\u0430\u043c.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430, \u0433\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c, \u0431\u0443\u0434\u0435\u0442 \u043b\u0438 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043f\u043e\u043a\u0443\u043f\u0430\u0442\u044c \u0442\u043e\u0432\u0430\u0440 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0435\u0433\u043e \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u044f.<\/p>\n<p><strong>\u0414\u0430\u043d\u043d\u044b\u0435:<\/strong><\/p>\n<p>&#8212; \u0418\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438 (y): [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]<\/p>\n<p>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 (p): [0.9, 0.1, 0.8, 0.7, 0.3, 0.6, 0.2, 0.4, 0.95, 0.05]<\/p>\n<p><strong>\u041f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 ROC-\u043a\u0440\u0438\u0432\u043e\u0439:<\/strong><\/p>\n<p>1. \u0421\u043e\u0440\u0442\u0438\u0440\u043e\u0432\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439:\u00a0<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; [0.95, 0.9, 0.8, 0.7, 0.6, 0.4, 0.3, 0.2, 0.1, 0.05]<\/p>\n<p>2. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043a\u0438:<\/p>\n<p>\u00a0\u00a0\u00a0&#8212; [1, 1, 1, 1, 1, 0, 0, 0, 0, 0]<\/p>\n<p>3. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 TPR \u0438 FPR \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u0440\u043e\u0433\u0430:<\/p>\n<p>&#8212; \u041f\u043e\u0440\u043e\u0433 0.95: TPR = 1\/5, FPR = 0\/5, logFPR = -6<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.9: TPR = 2\/5, FPR = 0\/5, logFPR = -6<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.8: TPR = 3\/5, FPR = 0\/5, logFPR = -6<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.7: TPR = 4\/5, FPR = 0\/5, logFPR = -6<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.6: TPR = 5\/5, FPR = 0\/5, logFPR = -6\u00a0<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.4: TPR = 5\/5, FPR = \u2155, logFPR = -0.699<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.3: TPR = 5\/5, FPR = \u2156, logFPR = -0.3979<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.2: TPR = 5\/5, FPR = \u2157, logFPR = -0,2218<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.1: TPR = 5\/5, FPR = \u2158, logFPR = -0.0969<br \/>&#8212; \u041f\u043e\u0440\u043e\u0433 0.05: TPR = 5\/5, FPR = 5\/5, logFPR = 0<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u043e\u0442 0, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u043c \u043f\u043e \u0443\u043c\u043e\u043b\u0447\u0430\u043d\u0438\u044e \u043c\u0430\u043b\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 0,000001.<\/p>\n<p>\u041f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0433\u0440\u0430\u0444\u0438\u043a logAUC \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0432\u043e\u0442 \u0442\u0430\u043a:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e3a\/f69\/4de\/e3af694de93e35f79341e769b8038050.png\" alt=\"\u0413\u0440\u0430\u0444\u0438\u043a LogAUC\" title=\"\u0413\u0440\u0430\u0444\u0438\u043a LogAUC\" width=\"1246\" height=\"744\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/e3a\/f69\/4de\/e3af694de93e35f79341e769b8038050.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/e3a\/f69\/4de\/e3af694de93e35f79341e769b8038050.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<div><figcaption>\u0413\u0440\u0430\u0444\u0438\u043a LogAUC<\/figcaption><\/div>\n<\/figure>\n<p>\u041f\u043e \u0442\u0430\u043a\u043e\u043c\u0443 \u0433\u0440\u0430\u0444\u0438\u043a\u0443 \u043c\u043e\u0436\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u0441\u043b\u0435\u0434\u0438\u0442\u044c, \u043a\u0430\u043a\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0431\u0443\u0434\u0443\u0442 \u043f\u0440\u0438 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u0440\u043e\u0433\u0430\u0445.<\/p>\n<p>\u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0440\u0438 \u043f\u043e\u0440\u043e\u0433\u0435 0,2 \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0443\u0434\u0435\u0442 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u043a \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 3 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u0430.<\/p>\n<p><strong>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0435\u043c Log AUC \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445<\/strong><\/p>\n<pre><code class=\"python\">import numpy as np  # \u0414\u0430\u043d\u043d\u044b\u0435  tpr = np.array([1\/5, 2\/5, 3\/5, 4\/5, 5\/5, 5\/5, 5\/5, 5\/5, 5\/5, 5\/5]) fpr = np.array([0, 0, 0, 0, 0, 1\/5, 2\/5, 3\/5, 4\/5, 5\/5])  # \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u0443\u0435\u043c FPR epsilon = 1e-6 log_fpr = np.log10(fpr + epsilon)  # \u0421\u043e\u0440\u0442\u0438\u0440\u0443\u0435\u043c \u043f\u043e log_fpr sorted_indices = np.argsort(log_fpr) x = log_fpr[sorted_indices] y = tpr[sorted_indices]  # \u041c\u0435\u0442\u043e\u0434 \u0442\u0440\u0430\u043f\u0435\u0446\u0438\u0439 log_auc = np.trapz(y, x) print(f\"Log AUC = {log_auc:.4f}\")<\/code><\/pre>\n<p>Log AUC = 6.0000<\/p>\n<p>\u0422\u0430\u043a\u0438\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0438 \u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0447\u0435\u043d\u044c \u0442\u043e\u0447\u043d\u0430 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445.<\/p>\n<p>\u0427\u0435\u043c \u0432\u044b\u0448\u0435 Log AUC, \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u0443\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u0435\u0442 \u0432\u044b\u0441\u043e\u043a\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u043b\u043e\u0436\u043d\u044b\u0445 \u0441\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043d\u0438\u044f\u0445.<br \/>\u0427\u0435\u043c \u043d\u0438\u0436\u0435 Log AUC, \u0442\u0435\u043c \u0431\u044b\u0441\u0442\u0440\u0435\u0435 \u043e\u043d\u0430 \u043d\u0430\u0447\u0438\u043d\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u0430\u0442\u044c\u0441\u044f \u2014 \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0432 \u0447\u0443\u0432\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0437\u043e\u043d\u0430\u0445.<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (\u0438\u043b\u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c) \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0443\u0442\u0435\u043c \u043f\u043e\u0434\u0441\u0447\u0435\u0442\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u044d\u0442\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435 \u0438 \u0434\u0435\u043b\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043d\u0430 \u043e\u0431\u0449\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u0442\u043e\u043c \u0436\u0435 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435. \u042d\u0442\u043e\u0442 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441\u0440\u0430\u0432\u043d\u0438\u0442\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0447\u0430\u0441\u0442\u043e\u0442\u043e\u0439 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u043e\u0432 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 10 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0441 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0438 \u0438\u0445 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0435\u0442\u043a\u0430\u043c\u0438 (1 &#8212; \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439, 0 &#8212; \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439):<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\u041f\u0440\u0438\u043c\u0435\u0440<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u0435\u0442\u043a\u0430<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.05<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.12<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.18<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.22<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.35<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">6<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.40<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">7<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.55<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.62<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">9<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.78<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">10<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.85<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b \u0441 \u0448\u0430\u0433\u043e\u043c 0.1 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0434\u043e\u043b\u044e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430.<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">\u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043a\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0414\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.0 &#8212; 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.05<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0 \/ 1 = 0.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.1 &#8212; 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.12, 0.18<\/p>\n<\/td>\n<td>\n<p align=\"left\">0, 1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \/ 2 = 0.5<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.2 &#8212; 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.22<\/p>\n<\/td>\n<td>\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0 \/ 1 = 0.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.3 &#8212; 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.35, 0.40<\/p>\n<\/td>\n<td>\n<p align=\"left\">1, 1<\/p>\n<\/td>\n<td>\n<p align=\"left\">2 \/ 2 = 1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.4 &#8212; 0.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8212;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.5 &#8212; 0.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.55<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \/ 1 = 1.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.6 &#8212; 0.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.62<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \/ 1 = 1.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.7 &#8212; 0.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.78<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \/ 1 = 1.0<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"155\" width=\"155\">\n<p align=\"left\">0.8 &#8212; 0.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.85<\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1 \/ 1 = 1.0<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u041e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u0430:<\/p>\n<p>1. \u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b 0.0 &#8212; 0.1:<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c: 0.05<br \/>&#8212; \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u0435\u0442\u043a\u0430: 0<br \/>&#8212; \u0414\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432: 0 \/ 1 = 0.0<\/p>\n<p>2. \u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b 0.1 &#8212; 0.2:<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: 0.12, 0.18<br \/>&#8212; \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043a\u0438: 0, 1<br \/>&#8212; \u0414\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432: 1 \/ 2 = 0.5<\/p>\n<p>3. \u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b 0.3 &#8212; 0.4:<br \/>&#8212; \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438: 0.35, 0.40<br \/>&#8212; \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043a\u0438: 1, 1<br \/>&#8212; \u0414\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432: 2 \/ 2 = 1.0<\/p>\n<p>\u0418 \u0442\u0430\u043a \u0434\u0430\u043b\u0435\u0435 \u0434\u043b\u044f \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432.<\/p>\n<p>\u0418\u0442\u043e\u0433:<\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a \u043a \u043e\u0431\u0449\u0435\u043c\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0432 \u044d\u0442\u043e\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0435. \u042d\u0442\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0438\u0441\u0445\u043e\u0434\u0430\u043c.<\/p>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Calibration Error (\u043e\u0448\u0438\u0431\u043a\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Calibration Error (\u043e\u0448\u0438\u0431\u043a\u0430 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438)<\/strong> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0439. \u041e\u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0447\u043d\u044b \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u043d\u043e \u0438 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u0445.<\/p>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f Calibration Error<\/strong><\/p>\n<p>\u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0433\u0434\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 &#171;1&#187; (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, &#171;\u043f\u043e\u0437\u0438\u0442\u0438\u0432\u043d\u044b\u0439&#187; \u0438\u043b\u0438 &#171;\u043d\u0435\u0433\u0430\u0442\u0438\u0432\u043d\u044b\u0439&#187;). \u041c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430\u043c.<\/p>\n<p>1. \u0421\u043e\u0437\u0434\u0430\u043d\u0438\u0435 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043e\u0447\u043d\u043e\u0433\u043e \u043f\u043b\u0430\u043d\u0430 (Calibration Plot):<br \/>&#8212; \u0420\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u044b (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u0442 0 \u0434\u043e 1 \u0441 \u0448\u0430\u0433\u043e\u043c 0.1).<br \/>&#8212; \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0434\u043e\u043b\u044e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<p>2. \u0412\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435 Calibration Error:<br \/>&#8212; \u0420\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u0435\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430.<br \/>&#8212; \u0412\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0440\u0430\u0437\u043d\u0438\u0446 \u043f\u043e \u0432\u0441\u0435\u043c \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430\u043c.<\/p>\n<p>\u041f\u0440\u0438\u043c\u0435\u0440 \u0434\u0430\u043d\u043d\u044b\u0445:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\">\u0418\u043d\u0442\u0435\u0440\u0432\u0430\u043b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0421\u0440\u0435\u0434\u043d\u044f\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c<\/p>\n<\/td>\n<td>\n<p align=\"left\">\u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0434\u043e\u043b\u044f \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.0 &#8212; 0.1<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.05<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.10<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.1 &#8212; 0.2<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.15<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.12<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.2 &#8212; 0.3<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.25<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.22<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.3 &#8212; 0.4<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.35<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.30<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.4 &#8212; 0.5<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.45<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.40<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.5 &#8212; 0.6<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.55<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.55<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.6 &#8212; 0.7<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.65<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.60<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.7 &#8212; 0.8<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.75<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.70<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.8 &#8212; 0.9<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.85<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.80<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">0.9 &#8212; 1.0<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.95<\/p>\n<\/td>\n<td>\n<p align=\"left\">0.90<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0420\u0430\u0441\u0447\u0435\u0442 Calibration Error:<\/strong><\/p>\n<p>\u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u0430 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u043c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b \u043c\u0435\u0436\u0434\u0443 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0438 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0434\u043e\u043b\u0435\u0439 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0437\u0430\u0442\u0435\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u043c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\text{Calibration Error} = \\frac{1}{N} \\sum_{i=1}^{N} \\left| \\text {Predicted prob} -\\text {Actual prob}\\right| \" alt=\"\\text{Calibration Error} = \\frac{1}{N} \\sum_{i=1}^{N} \\left| \\text {Predicted prob} -\\text {Actual prob}\\right| \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc5\/e8e\/369\/fc5e8e3692c997f52793a9f30b70a61c.svg\" width=\"332\" height=\"60\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc5\/e8e\/369\/fc5e8e3692c997f52793a9f30b70a61c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc5\/e8e\/369\/fc5e8e3692c997f52793a9f30b70a61c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 N \u2014 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0442\u0435\u0440\u0432\u0430\u043b\u043e\u0432. \u0412 \u043d\u0430\u0448\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\scriptsize\\text{Calibration Error} = \\frac{1}{10} ( |\\ 0.05 - 0.10\\ | + |\\ 0.15 - 0.12\\ | + |\\ 0.25 - 0.22\\ | + |\\ 0.35 - 0.30\\ | + \" alt=\"\\scriptsize\\text{Calibration Error} = \\frac{1}{10} ( |\\ 0.05 - 0.10\\ | + |\\ 0.15 - 0.12\\ | + |\\ 0.25 - 0.22\\ | + |\\ 0.35 - 0.30\\ | + \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ae\/8cb\/90f\/2ae8cb90f35f94bdf92aa747521df838.svg\" width=\"532\" height=\"31\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ae\/8cb\/90f\/2ae8cb90f35f94bdf92aa747521df838.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ae\/8cb\/90f\/2ae8cb90f35f94bdf92aa747521df838.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\scriptsize+|0.45-0.40|+|0.55-0.5|+|0.65-0.60|+|0.75-0.7|+|0.85-0.8|+|0.95-0.9|\" alt=\"\\scriptsize+|0.45-0.40|+|0.55-0.5|+|0.65-0.60|+|0.75-0.7|+|0.85-0.8|+|0.95-0.9|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/800\/634\/b6d\/800634b6dadf6435ebc35a1e1de11b16.svg\" width=\"498\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/800\/634\/b6d\/800634b6dadf6435ebc35a1e1de11b16.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/800\/634\/b6d\/800634b6dadf6435ebc35a1e1de11b16.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\scriptsize Calibration Error=\\frac{1}{10}\\cdot(0.05+0.03+0.03+0.05+0.05+0.05+0.05+0.05+0.05+0.05)=\" alt=\"\\scriptsize Calibration Error=\\frac{1}{10}\\cdot(0.05+0.03+0.03+0.05+0.05+0.05+0.05+0.05+0.05+0.05)=\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc3\/01f\/5d1\/fc301f5d132a87a612eed705acd0c620.svg\" width=\"564\" height=\"31\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc3\/01f\/5d1\/fc301f5d132a87a612eed705acd0c620.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fc3\/01f\/5d1\/fc301f5d132a87a612eed705acd0c620.svg 781w\" loading=\"lazy\" decode=\"async\"\/><img decoding=\"async\" class=\"formula\" source=\"\\scriptsize =(1\/10)*0.46=0.046\" alt=\"\\scriptsize =(1\/10)*0.46=0.046\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd1\/949\/ab2\/fd1949ab2ccc03b230357a441bf8c7d6.svg\" width=\"137\" height=\"17\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd1\/949\/ab2\/fd1949ab2ccc03b230357a441bf8c7d6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fd1\/949\/ab2\/fd1949ab2ccc03b230357a441bf8c7d6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, Calibration Error \u0440\u0430\u0432\u043d\u0430 0.046, \u0447\u0442\u043e \u0443\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043e\u0442\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u0430\u043d\u0430, \u043d\u043e \u0435\u0441\u0442\u044c \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0437\u0430\u043f\u0430\u0441 \u0434\u043b\u044f \u0443\u043b\u0443\u0447\u0448\u0435\u043d\u0438\u044f.<\/p>\n<\/div>\n<\/details>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0441\u043f\u0438\u0441\u043a\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 Semantic-Aware Cross-Entropy Loss (SACEL) \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439, \u0430 \u0431\u044b\u043b\u0430 \u0441\u043e\u0437\u0434\u0430\u043d\u0430 \u043d\u0430\u043c\u0438 \u0432 \u043f\u043e\u043f\u044b\u0442\u043a\u0435 \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u0430 \u0431\u044b\u0441\u0442\u0440\u043e \u043e\u0442\u044b\u0441\u043a\u0430\u0442\u044c \u043a\u043e\u0440\u043d\u0435\u0432\u0443\u044e \u043f\u0440\u0438\u0447\u0438\u043d\u0443 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0442\u0435 \u0438\u043b\u0438 \u0438\u043d\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b. \u0411\u043e\u043b\u044c\u0448\u0438\u0439 \u0443\u043f\u043e\u0440 \u0431\u044b\u043b \u0441\u0434\u0435\u043b\u0430\u043d \u043d\u0430 \u043f\u0440\u043e\u0435\u0432\u0440\u043a\u0443 \u0432\u0435\u0440\u043d\u043e\u0441\u0442\u0438 \u043e\u043f\u0435\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u0430 \u0438\u043b\u0438 \u0444\u0430\u043a\u0442\u0430 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438.<\/p>\n<p>\u0412\u043e\u043e\u0440\u0443\u0436\u0438\u0432\u0448\u0438\u0441\u044c \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438, \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0435\u0449\u0435 \u0440\u0430\u0437 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u044b \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043a\u0430\u043a \u043f\u043e \u0440\u0430\u043d\u0435\u0435 \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u043f\u0443\u043b\u0443 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432, \u0442\u0430\u043a \u0438 \u043f\u043e \u043d\u043e\u0432\u044b\u043c, \u0430 \u0442\u0430\u043a\u0436\u0435 \u043f\u0440\u043e\u0441\u043b\u0435\u0434\u0438\u043b\u0438 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0443\u0440\u043e\u0432\u043d\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u0442\u043e\u043a\u0435\u043d\u0430 \u0434\u043b\u044f \u0442\u0435\u0445 \u0438\u0437 \u043d\u0438\u0445, \u0433\u0434\u0435 \u0442\u0430\u043a\u0430\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u043e\u043c.<\/p>\n<p><strong>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c:<\/strong><\/p>\n<p>\u0414\u043b\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f Precision \u0431\u044b\u043b\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043e 15 AI-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u044b\u043b\u0438 \u0437\u0430\u0434\u0430\u043d\u044b \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u0438\u0437 \u0440\u0430\u0437\u043d\u044b\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439.<\/p>\n<p>\u041f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0442\u043e\u043b\u044c\u043a\u043e 3 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0441\u0443\u043c\u0435\u043b\u0438 \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<p>\u041e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0438\u0441\u043f\u0440\u0430\u0432\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0439 \u0441 \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0433\u0440\u0443\u043f\u043f\u044b (&#171;\u043f\u043e\u0447\u0435\u043c\u0443 \u0432 \u043f\u0435\u0441\u043d\u0435 \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; &#171;\u041a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435&#187; \u043f\u0443\u0442\u043d\u0438\u043a \u043d\u0435 \u0431\u044b\u043b \u0432\u0435\u0441\u0435\u043b\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435?&#187;), \u043d\u0435 \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u043a \u0442\u0435\u043a\u0441\u0442\u0443 \u043f\u0435\u0441\u043d\u0438, \u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u0435\u0442 \u0435\u0435 \u0441\u043c\u044b\u0441\u043b \u0438 \u0434\u0430\u0436\u0435 \u0441\u0442\u0440\u043e\u043a\u0438 (\u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u0435\u0442) \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u044b\u0434\u0430\u0435\u0442 \u043e\u0442\u0432\u0435\u0442. \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044f, \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432 \u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u043e\u0433\u043e \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0430, \u0432\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u0447\u0435\u0433\u043e \u043e\u043d\u0438 \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u044b \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u043e\u0442\u0432\u0435\u0442, \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u043e\u0431\u0449\u0435\u043c \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0438 \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u0430.<\/p>\n<p>\u0432\u043e\u0442 \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432: <br \/><em>&#171;\u0412 \u043f\u0435\u0441\u043d\u0435 &#171;\u041a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435&#187; \u0433\u0440\u0443\u043f\u043f\u044b &#171;\u041a\u043e\u0440\u043e\u043b\u044c \u0438 \u0428\u0443\u0442&#187; \u043f\u0443\u0442\u043d\u0438\u043a \u043d\u0435 \u0431\u044b\u043b \u0432\u0435\u0441\u0435\u043b\u044b\u043c \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0445\u043e\u0437\u044f\u0438\u043d \u0434\u043e\u043c\u0430 (\u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u043b \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a) \u0443\u0431\u0438\u043b \u0435\u0433\u043e, \u0443\u0434\u0430\u0440\u0438\u0432 \u043a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435.<\/em><\/p>\n<p><em>\u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u044e\u0436\u0435\u0442\u0443 \u043f\u0435\u0441\u043d\u0438:<\/em><\/p>\n<ul>\n<li>\n<p><em>\u041f\u0443\u0442\u043d\u0438\u043a \u0443\u0441\u0442\u0430\u043b \u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0438\u043b\u0441\u044f \u043d\u0430 \u043d\u043e\u0447\u043b\u0435\u0433<\/em><\/p>\n<\/li>\n<li>\n<p><em>\u0425\u043e\u0437\u044f\u0438\u043d \u0432\u043f\u0443\u0441\u0442\u0438\u043b \u0435\u0433\u043e \u0438 \u043f\u0440\u0438\u0433\u043b\u0430\u0441\u0438\u043b \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a<\/em><\/p>\n<\/li>\n<li>\n<p><em>\u0412\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0430 \u043f\u0443\u0442\u043d\u0438\u043a \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u043b \u043a\u0440\u0430\u0441\u0438\u0432\u0443\u044e \u0434\u0435\u0432\u0443\u0448\u043a\u0443 (\u0434\u043e\u0447\u044c \u0445\u043e\u0437\u044f\u0438\u043d\u0430)<\/em><\/p>\n<\/li>\n<li>\n<p><em>\u0425\u043e\u0437\u044f\u0438\u043d \u043f\u0440\u0438\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043b \u0434\u043e\u0447\u044c \u043a \u043f\u0443\u0442\u043d\u0438\u043a\u0443<\/em><\/p>\n<\/li>\n<li>\n<p><em>\u0425\u043e\u0437\u044f\u0438\u043d \u0443\u0434\u0430\u0440\u0438\u043b \u043f\u0443\u0442\u043d\u0438\u043a\u0430 \u043a\u0430\u043c\u043d\u0435\u043c \u043f\u043e \u0433\u043e\u043b\u043e\u0432\u0435, \u0443\u0431\u0438\u0432 \u0435\u0433\u043e<\/em><\/p>\n<\/li>\n<li>\n<p><em>\u0417\u0430\u0442\u0435\u043c \u0445\u043e\u0437\u044f\u0438\u043d \u0437\u0430\u043a\u043e\u043f\u0430\u043b \u0442\u0435\u043b\u043e \u043f\u0443\u0442\u043d\u0438\u043a\u0430 \u0432 \u0441\u0430\u0434\u0443<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0418\u043c\u0435\u043d\u043d\u043e \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u0443\u0442\u043d\u0438\u043a &#171;\u043d\u0435 \u0431\u044b\u043b \u0432\u0435\u0441\u0435\u043b&#187; \u043d\u0430 \u043f\u0440\u0430\u0437\u0434\u043d\u0438\u043a\u0435 &#8212; \u043e\u043d \u0431\u044b\u043b \u0443\u0431\u0438\u0442. \u042d\u0442\u043e \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u0434\u043b\u044f \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u0430 &#171;\u041a\u043e\u0440\u043e\u043b\u044f \u0438 \u0428\u0443\u0442\u0430&#187; \u043c\u0440\u0430\u0447\u043d\u044b\u0439 \u0441\u044e\u0436\u0435\u0442 \u0441 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c\u0438 \u0445\u043e\u0440\u0440\u043e\u0440\u0430 \u0438 \u043d\u0435\u043e\u0436\u0438\u0434\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u0432\u043e\u0440\u043e\u0442\u043e\u043c \u0441\u043e\u0431\u044b\u0442\u0438\u0439.&#187;<\/em><\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u0439 \u0432\u044b\u0448\u0435 \u0432\u043e\u043f\u0440\u043e\u0441, \u0445\u043e\u0442\u044c \u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0442\u0435\u043a\u0441\u0442 \u043f\u0435\u0441\u043d\u0438, \u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442 \u0435\u0433\u043e \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \u0438 \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u0430 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0442\u0435\u043a\u0441\u0442\u0430 \u0432\u044b\u0434\u0430\u0442\u044c \u0432\u0435\u0440\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u043f\u0435\u0440\u0432\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0441\u0435 \u0432\u0435\u0440\u043d\u044b\u0435 \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u044b, \u043d\u043e \u0438 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0432 \u043d\u0438\u0445 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0435 (\u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0443\u044e \u0432\u044b\u0433\u043e\u0434\u0443 \u043a\u0430\u043a \u043e\u0434\u0438\u043d \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430, \u043a\u043e\u0433\u0434\u0430 \u044d\u0442\u043e \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u0438\u0434 \u0443\u0431\u044b\u0442\u043a\u043e\u0432 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0441\u0442\u0430\u0442\u044c\u0435 15 \u0413\u041a \u0420\u0424).<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#171;\u043d\u0430\u043f\u0438\u0448\u0438 \u043a\u0430\u043a\u0438\u0435 \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u044b \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u0441\u043e\u0441\u0442\u0430\u0432 \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f \u0411-52 \u0438 \u0432 \u043a\u0430\u043a\u043e\u0439 \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043e\u043d\u0438 \u0434\u043e\u043b\u0436\u043d\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0434\u043b\u044f \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u043e\u043a\u0442\u0435\u0439\u043b\u044f&#187; \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0443\u0442\u0430\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438\u043d\u0433\u0440\u0435\u0434\u0438\u0435\u043d\u0442\u043e\u0432, \u0445\u043e\u0442\u044c \u0438 \u043f\u0440\u0438\u0432\u043e\u0434\u044f\u0442 \u0438\u0445 \u0441\u043e\u0441\u0442\u0430\u0432 \u0432\u0435\u0440\u043d\u043e. \u041e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0432\u043e\u0432\u0441\u0435 \u043d\u0435 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u0432\u0435\u0440\u043d\u044b\u0439 \u0441\u043e\u0441\u0442\u0430\u0432, \u043d\u043e \u0435\u0449\u0435 \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442 \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u0440\u0438\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>\u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u043f\u0440\u043e \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u043e \u0433\u0440\u0443\u043f\u043f\u044b, \u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u0438 \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#171;\u041f\u043e\u0447\u0435\u043c\u0443 \u043c\u0430\u0448\u0438\u043d\u0430 \u041a\u0440\u0438\u0441\u0442\u0438\u043d\u0430 \u0432 \u043e\u0434\u043d\u043e\u0438\u043c\u0435\u043d\u043d\u043e\u0439 \u043a\u043d\u0438\u0433\u0435 \u0421\u0442\u0438\u0432\u0435\u043d\u0430 \u041a\u0438\u043d\u0433\u0430 \u0443\u0431\u0438\u0432\u0430\u043b\u0430 \u043b\u044e\u0434\u0435\u0439?&#187; \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0438\u0440\u0443\u044e\u0442 \u0438 \u0441\u0430\u043c\u0438 \u043f\u0440\u0438\u0434\u0443\u043c\u044b\u0432\u0430\u044e\u0442 \u0441\u044e\u0436\u0435\u0442 \u0440\u043e\u043c\u0430\u043d\u0430, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0447\u0435\u0433\u043e \u043e\u0442\u0432\u0435\u0442\u0447\u0430\u044e\u0442 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441.<\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e \u0432\u0441\u0435\u0439 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u0438\u043c\u0435\u0435\u0442 \u0432 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0430\u0445 \u0437\u0430\u043f\u0440\u0435\u0442 \u043d\u0430 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u043a \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430\u043c, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u0441\u0443\u0434\u0435\u0431\u043d\u044b\u0445 \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0439, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u043b\u044e\u0434\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0430\u0432\u0442\u043e\u0440\u0441\u043a\u0438\u0435 \u043f\u0440\u0430\u0432\u0430 \u0438 \u043f\u0440\u0430\u0432\u0430 \u0438\u043d\u0442\u0435\u043b\u043b\u0435\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0441\u0442\u0438. \u041d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043f\u0440\u043e \u0442\u0432\u043e\u0440\u0447\u0435\u0441\u0442\u0432\u043e \u0432 \u0435\u0435 \u043e\u0442\u0432\u0435\u0442\u0430\u0445 \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e \u043d\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u0440\u0430\u0449\u0435\u043d\u0438\u044f \u043a \u0432\u0430\u0442\u043e\u0440\u0441\u043a\u043e\u043c\u0443 \u043a\u043e\u043d\u0442\u0435\u043d\u0442\u0443.<\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043b\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u0436\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 AI-\u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0431\u044b\u043b \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d \u0437\u0430\u043c\u0435\u0440 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 recall.<\/p>\n<p>\u041f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0442\u043e\u043b\u044c\u043a\u043e 4 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u0430 \u0441\u043c\u043e\u0433\u043b\u0438 \u043d\u0430\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b.<\/p>\n<p>\u041f\u043e \u0432\u0441\u0435\u0439 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043d\u0435\u0438\u0441\u043f\u0440\u0430\u0432\u043d\u043e\u0441\u0442\u0435\u0439 \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 recall \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435\u043c \u0431\u0430\u043b\u0430\u043d\u0441\u0430 \u043a\u0440\u0430\u0442\u043a\u043e\u0441\u0442\u0438\/\u043f\u043e\u043b\u043d\u043e\u0442\u044b \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0443 \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0431\u044b\u043b \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d \u0440\u0430\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 MRR.<\/p>\n<p>\u0414\u043b\u044f \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u043d\u0438 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0434\u0443\u043a\u0442 \u043d\u0435 \u0441\u043c\u043e\u0433 \u0434\u043e\u0441\u0442\u0438\u0447\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0430.<\/p>\n<p>\u041b\u0443\u0447\u0448\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u043c \u0441\u0442\u0430\u043b 0,866 \u0438\u0437 1.<\/p>\n<p>\u0411\u044b\u043b\u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432:<\/p>\n<ul>\n<li>\n<p>\u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435 \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u043d\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u044c\u0431\u0443 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u0435 (&#171;\u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0438 \u043f\u043b\u0430\u043d\u0435\u0442\u044b \u0441\u043e\u043b\u043d\u0435\u0447\u043d\u043e\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u044f \u043e\u0442 \u0421\u043e\u043b\u043d\u0446\u0430&#187;)<\/p>\n<\/li>\n<li>\n<p>\u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u043c\u0435\u044e\u0442 \u043d\u0435\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0435 \u043d\u0430\u0441\u0442\u0440\u043e\u0439\u043a\u0438 \u0431\u0435\u0437\u043e\u043f\u0430\u0441\u043d\u043e\u0441\u0442\u0438. \u041d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441 &#171;\u043d\u0430\u043f\u0438\u0448\u0438 \u0442\u043e\u043f 10 \u043b\u0443\u0447\u0448\u0438\u0445 \u0431\u043e\u043c\u0431\u0430\u0440\u0434\u0438\u0440\u043e\u0432 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f&#187; \u0432\u044b\u0434\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u043d\u0434\u0440\u0430\u0442\u043d\u043e\u0435 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043e \u043d\u0435\u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e\u0441\u0442\u0438 \u0432\u044b\u0434\u0430\u0447\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b, \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0449\u0438\u0435 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u043e\u043f\u0430\u0441\u043d\u044b\u0439 \u043a\u043e\u043d\u0442\u0435\u043d\u0442. \u041f\u043e \u0432\u0441\u0435\u0439 \u0432\u0438\u0434\u0438\u043c\u043e\u0441\u0442\u0438, \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438 \u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0435 \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0441 \u0440\u0443\u0441\u0441\u043a\u043e\u0433\u043e \u044f\u0437\u044b\u043a\u0430 \u0440\u0430\u0441\u0446\u0435\u043d\u0438\u0432\u0430\u044e\u0442 \u0441\u043b\u043e\u0432\u043e &#171;\u0431\u043e\u043c\u0431\u0430\u0440\u0434\u0438\u0440&#187; \u043a\u0430\u043a &#171;\u0431\u043e\u043c\u0431\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u043a\u0430&#187;.<\/p>\n<\/li>\n<li>\n<p>\u043e\u0434\u043d\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u043c\u0435\u0441\u0442\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u043b\u0443\u0447\u0448\u0438\u0445 \u0431\u043e\u043c\u0431\u0430\u0440\u0434\u0438\u0440\u043e\u0432 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043b\u0430 \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0430\u043c\u044b\u0445 \u043f\u043e\u0441\u0442\u0440\u0430\u0434\u0430\u0432\u0448\u0438\u0445 \u043e\u0442 \u0431\u043e\u043c\u0431\u0430\u0440\u0434\u0438\u0440\u043e\u0432\u043e\u043a \u0433\u043e\u0440\u043e\u0434\u043e\u0432. \u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u044b\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u043f\u043e \u043c\u043e\u0434\u0435\u043b\u044f\u043c \u043f\u0440\u043e\u0441\u043b\u0435\u0436\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043d\u0438 \u043e\u0431\u0443\u0447\u0430\u043b\u0438\u0441\u044c. \u0412\u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u044d\u0442\u043e\u0433\u043e \u0443 \u0447\u0430\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0443\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0443 \u0434\u0440\u0443\u0433\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442, \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442. <\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0436\u0435 6 \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432 \u0438\u0437 \u043e\u0431\u0449\u0435\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0432\u044b\u0434\u0430\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 Specificity.<\/p>\n<p>\u041f\u043e \u0438\u0442\u043e\u0433\u0430\u043c \u0431\u044b\u043b\u0438 \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u044b \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043d\u0435\u0438\u0441\u043f\u0440\u0430\u0432\u043d\u043e\u0441\u0442\u0438:<\/p>\n<ul>\n<li>\n<p>\u0447\u0430\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435\u0432\u0435\u0440\u043d\u043e \u043e\u043f\u0435\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0438 \u043e\u0448\u0438\u0431\u043e\u0447\u043d\u043e \u0437\u0430\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0438\u0445 \u0432 \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435.<\/p>\n<\/li>\n<li>\n<p>\u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044e\u0442 \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442 \u0438 \u044f\u0437\u044b\u043a \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e\u043f\u0440\u043e\u0441\u0430 \u0438, \u043a\u0430\u043a \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442, \u043d\u0435\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u0432\u044b\u0434\u0430\u0442\u044c \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/li>\n<li>\n<p>\u0447\u0430\u0441\u0442\u044c \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u0438\u043c\u0435\u044e\u0442 \u0443\u0441\u0442\u0430\u0440\u0435\u0432\u0448\u0438\u0435 \u0431\u0430\u0437\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0438, \u043a\u0430\u043a \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435, \u043d\u0435\u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b \u043e\u0442\u0432\u0435\u0447\u0430\u0442\u044c \u043d\u0430 \u0432\u043e\u043f\u0440\u043e\u0441\u044b \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u0433\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u044c\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0438\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0433\u043e \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439:<\/p>\n<figure class=\"full-width\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cfe\/a31\/a4b\/cfea31a4b06a1171514832adef17b054.png\" width=\"661\" height=\"113\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/r\/w780\/getpro\/habr\/upload_files\/cfe\/a31\/a4b\/cfea31a4b06a1171514832adef17b054.png 780w,&#10;       https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/cfe\/a31\/a4b\/cfea31a4b06a1171514832adef17b054.png 781w\" loading=\"lazy\" decode=\"async\"\/><\/figure>\n<p>\u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0438\u043c\u0435\u044e\u0449\u0438\u043c\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0440\u0430\u0431\u043e\u0442\u044b \u043a\u0430\u043a \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0440\u044b\u043d\u043a\u0435 AI \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0442\u0430\u043a \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0441\u0432\u043e\u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u0443\u0440\u043e\u0432\u043d\u044f\u0445. \u0411\u043e\u043b\u0435\u0435 \u0442\u0430\u043a\u043e\u0433\u043e, \u0442\u0430\u043a\u0438\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0432 \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435.<\/p>\n<p>\u041d\u0430\u0434\u0435\u0435\u043c\u0441\u044f, \u0447\u0442\u043e \u043a\u043e\u043c\u0443-\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u0435\u0437\u0435\u043d \u0432 \u0445\u043e\u0434\u0435 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 AI.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p><!----><!----><\/div>\n<p><!----><!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/935408\/\"> https:\/\/habr.com\/ru\/articles\/935408\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><!--[--><!--]--><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445 \u0441\u0442\u0430\u0442\u044c\u044f\u0445 \u043c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043d\u0430\u0447\u0430\u043b\u043e \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0443\u0442\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f AI \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0430 \u043f\u0440\u0435\u0434\u043c\u0435\u0442 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043b\u0443\u0447\u0448\u0438\u0445 \u0438 \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u043e\u0434\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u0430\u043d\u0430\u043b\u0438\u0437.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u0442\u0435\u043a\u0441\u0442\u0435 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u0441\u043f\u0438\u0441\u043e\u043a \u043d\u0430\u0439\u0434\u0435\u043d\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0434\u043b\u044f \u0431\u043e\u043b\u0435\u0435 \u0434\u0435\u0442\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0438 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u044f \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0431\u043e\u0442\u044b AI, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0440\u0430\u043d\u0435\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c.<\/p>\n<p>\u0421\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u044d\u0442\u043e\u0442 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b, \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u043f\u043e\u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u0441\u0432\u043e\u0438\u043c \u043e\u043f\u044b\u0442\u043e\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0414\u043b\u044f \u0442\u0435\u0445 \u0438\u0437 \u043d\u0438\u0445, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043d\u0435 \u0441\u043c\u043e\u0433\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0446\u0435\u043d\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u0445\u043e\u0434\u0435 \u0441\u0432\u043e\u0438\u0445 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439, \u043c\u044b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u0438\u043b\u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u0438\u0435 \u0441 \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438.<\/p>\n<p>\u0412\u0441\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u043b\u0438 \u043d\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438:<\/p>\n<ol>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u044e\u0449\u0438\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u044c \u0441\u0445\u043e\u0434\u0441\u0442\u0432\u0430 \u043e\u0442\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0442\u0435\u043a\u0441\u0442\u0430.<\/p>\n<\/li>\n<li>\n<p>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<\/ol>\n<h2>\u041c\u0435\u0442\u0440\u0438\u043a\u0438, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0449\u0438\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u0442\u043e\u0433\u043e\u0432\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432<\/h2>\n<p>\u0421\u0430\u043c\u044b\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043c\u044b \u0443\u0436\u0435 \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0432 <a href=\"https:\/\/habr.com\/ru\/articles\/932266\/\" rel=\"noopener noreferrer nofollow\">\u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0435<\/a>.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u043c \u0438\u0445 \u043c\u043e\u0434\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f\u043c\u0438 \u0438 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u043d\u043e\u0432\u044b\u043c\u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438.<\/p>\n<details class=\"spoiler\">\n<summary>F-Beta Score<\/summary>\n<div class=\"spoiler__content\">\n<p>F-Beta Score \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u0430\u0436\u0435\u043d \u0431\u0430\u043b\u0430\u043d\u0441 \u043c\u0435\u0436\u0434\u0443 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e (precision) \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u043e\u0439 (recall). F-Beta Score \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u0440\u044b, \u0438 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0432\u0435\u0441, \u043f\u0440\u0438\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438\u043b\u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0435, \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0437\u0430\u0434\u0430\u0447\u0438.<\/p>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 F-Beta Score<\/strong><\/p>\n<p>F-Beta Score \u2014 \u044d\u0442\u043e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u0438\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 F1-Score. \u041e\u043d\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>\u0433\u0434\u0435:<\/p>\n<p>&#8212; precision \u2014 \u044d\u0442\u043e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c (\u0434\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043a\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u043d\u044b\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c).<\/p>\n<p>&#8212; recall \u2014 \u044d\u0442\u043e \u043f\u043e\u043b\u043d\u043e\u0442\u0430 (\u0434\u043e\u043b\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0445 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439 \u043a\u043e \u0432\u0441\u0435\u043c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c).<\/p>\n<p>&#8212; beta \u2014 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u044b. <br \/>\u0415\u0441\u043b\u0438 beta = 1, \u044d\u0442\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e F1-Score. <br \/>\u0415\u0441\u043b\u0438 beta &gt; 1, \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u043b\u043d\u043e\u0442\u0435. <br \/>\u0415\u0441\u043b\u0438 beta &lt; 1, \u0431\u043e\u043b\u044c\u0448\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e \u0434\u0432\u043e\u0440\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0432\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430: \u0413\u0418\u0411\u0414\u0414, \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u041c\u0427\u0421?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e. \u0412\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0413\u0418\u0411\u0414\u0414 \u0438 \u041c\u0427\u0421 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0446\u0432\u0435\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442: \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0447\u0435\u0440\u043d\u044b\u0439, \u0431\u0435\u043b\u044b\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439, \u0436\u0435\u043b\u0442\u044b\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>\u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439 \u0446\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u0432 \u043f\u043e\u043a\u0435\u0440\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435: \u0444\u043b\u0435\u0448 \u0438\u043b\u0438 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0444\u0443\u043b\u043b-\u0445\u0430\u0443\u0441 \u0441\u0442\u0430\u0440\u0448\u0435 \u0444\u043b\u0435\u0448\u0430.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/strong><\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043d\u0435\u0441\u0435\u0442 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0430\u0432.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0442\u0435\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043e\u0432, \u0447\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0443\u0431\u044b\u0442\u043a\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u0443\u0449\u0435\u0440\u0431, \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430<\/em><\/strong><em> \u2014 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443. \u042d\u0442\u043e \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0431\u044b\u0442\u043a\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437-\u0437\u0430 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0443\u0442\u0440\u0430\u0442\u044b \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0430 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u043e\u0441\u0441\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c, \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 2025 \u0433\u043e\u0434.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u043b\u044c\u0448\u0430<\/em><\/strong><em> \u2014 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0421\u0438\u043b\u044c\u0432\u0435\u0440\u0441\u0442\u043e\u0443\u043d.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0432 \u0411\u0430\u043a\u0443.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0421\u0428\u0410<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0440\u0430\u0441\u0441\u0430\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u041e\u0441\u0442\u0438\u043d \u0438 \u041c\u0430\u0439\u0430\u043c\u0438.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0420\u043e\u0441\u0441\u0438\u0438, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435 \u0438 \u0421\u0428\u0410.<\/em><\/p>\n<p>\u0412\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0430\u044f\u0441\u044f \u044d\u0442\u0430\u043f\u043e\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u041f\u043e\u043b\u044c\u0448\u0430, \u043d\u043e \u0435\u0441\u0442\u044c \u0438 \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0420\u043e\u0441\u0441\u0438\u044f<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430 \u043d\u0430 \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c <\/em><strong><em>\u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e<\/em><\/strong><em> \u0438\u043b\u0438 <\/em><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u0418\u0411\u0414\u0414<\/em><\/strong><em> \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0435, \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u0435\u043c \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439<\/em><\/strong><em> \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0430\u043a\u0442 \u043e \u043f\u0440\u043e\u0438\u0441\u0448\u0435\u0441\u0442\u0432\u0438\u0438 \u0438 \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041c\u0427\u0421<\/em><\/strong><em> \u0432 \u0434\u0430\u043d\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0435 \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 \u0444\u0438\u043a\u0441\u0430\u0446\u0438\u044e \u0443\u0449\u0435\u0440\u0431\u0430 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u0441\u043d\u0435\u0433\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u2014 \u044d\u0442\u043e \u0432\u044b\u0437\u043e\u0432 \u0413\u0418\u0411\u0414\u0414 \u0438\u043b\u0438 \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e.<\/em><\/p>\n<\/li>\n<\/ul>\n<p>\u0412 \u043e\u0442\u0432\u0435\u0442\u0435 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d \u043d\u0435 \u044f\u0432\u043b\u044f\u044e\u0449\u0438\u0439\u0441\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043e\u0442\u0432\u0435\u0442 \u201c\u041c\u0427\u0421\u201d.\u00a0<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u201c\u0413\u0418\u0411\u0414\u0414\u201d.<\/p>\n<p>\u0423\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u044b\u0439 \u043d\u0430\u0437\u0432\u0430\u043d \u043e\u0434\u043d\u0438\u043c \u0438\u0437 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432, \u0447\u0442\u043e \u0441\u043e\u0433\u043b\u0430\u0441\u0443\u0435\u0442\u0441\u044f \u0441 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u043c \u043e\u0442\u0432\u0435\u0442\u043e\u043c.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u0440\u0430\u0434\u0443\u0433\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0446\u0432\u0435\u0442\u0430 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0413\u043e\u043b\u0443\u0431\u043e\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0432\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u043f\u0435\u043a\u0442\u0440 \u0440\u0430\u0434\u0443\u0433\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0417\u0435\u043b\u0435\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u043e\u043d \u0442\u0430\u043a\u0436\u0435 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0416\u0435\u043b\u0442\u044b\u0439<\/em><\/strong><em> \u2014 \u0434\u0430, \u044d\u0442\u043e\u0442 \u0446\u0432\u0435\u0442 \u0442\u043e\u0436\u0435 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0426\u0432\u0435\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0435\u0442 \u0432 \u0440\u0430\u0434\u0443\u0433\u0435:<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0427\u0435\u0440\u043d\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0411\u0435\u043b\u044b\u0439<\/em><\/strong><em> \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439, \u0430 \u0447\u0435\u0440\u043d\u044b\u0439 \u0438 \u0431\u0435\u043b\u044b\u0439 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u044e\u0442.<\/em><\/p>\n<p>\u0412\u0441\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b \u0443\u043a\u0430\u0437\u0430\u043d\u044b \u0432\u0435\u0440\u043d\u043e. \u041b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 \u043d\u0435\u0442.<\/p>\n<\/li>\n<li>\n<p><em>\u0412 \u043f\u043e\u043a\u0435\u0440\u0435 <\/em><strong><em>\u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435, \u0447\u0435\u043c <\/em><strong><em>\u0444\u043b\u0435\u0448<\/em><\/strong><em>.\u00a0<\/em><\/p>\n<ul>\n<li>\n<p><strong><em>\u0424\u043b\u0435\u0448<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u043f\u044f\u0442\u0438 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0439 \u043c\u0430\u0441\u0442\u0438, \u043d\u043e \u043d\u0435 \u043f\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0443.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0424\u0443\u043b\u043b \u0445\u0430\u0443\u0441<\/em><\/strong><em> \u2014 \u044d\u0442\u043e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u0438\u0437 \u0442\u0440\u0435\u0445 \u043a\u0430\u0440\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430 \u0438 \u0434\u0432\u0443\u0445 \u043a\u0430\u0440\u0442 \u0434\u0440\u0443\u0433\u043e\u0433\u043e \u0440\u0430\u043d\u0433\u0430.<\/em><\/p>\n<\/li>\n<\/ul>\n<p><em>\u041f\u0440\u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0438 \u044d\u0442\u0438\u0445 \u0434\u0432\u0443\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441 \u0432\u0441\u0435\u0433\u0434\u0430 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0435\u0442 \u0443 \u0444\u043b\u0435\u0448\u0430.<\/em><\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0444\u043b\u0435\u0448 \u0434\u0430\u043d \u0432\u0435\u0440\u043d\u043e.<\/p>\n<p>\u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u043e\u0442\u0432\u0435\u0442 \u0442\u0430\u043a\u0436\u0435 \u0443\u043a\u0430\u0437\u0430\u043d \u0432\u0435\u0440\u043d\u043e.<\/p>\n<\/li>\n<\/ol>\n<p><strong>\u0412\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438 \u043f\u043e\u043b\u043d\u043e\u0442\u0443:<\/strong><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 =0,5 \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u043c \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c F-Beta-score:<\/p>\n<p>\u0420\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u043e\u0434\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u0432 Python \u043c\u043e\u0436\u043d\u043e \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0433\u043e \u043a\u043e\u0434\u0430:<\/p>\n<pre><code class=\"python\">from sklearn.metrics import fbeta_score   def calculate_fbeta_score(true_labels, predicted_labels, beta):     # \u0420\u0430\u0441\u0447\u0435\u0442 \u043c\u0435\u0442\u0440\u0438\u043a\u0438 F-\u0431\u0435\u0442\u0430     fbeta = fbeta_score(true_labels, predicted_labels, beta=beta, average='binary')      print(f'F-\u0431\u0435\u0442\u0430 Score (\u03b2={beta}): {fbeta:.2f}')<\/code><\/pre>\n<\/div>\n<\/details>\n<details class=\"spoiler\">\n<summary>Matthews Correlation Coefficient (MCC)<\/summary>\n<div class=\"spoiler__content\">\n<p><strong>Matthews Correlation Coefficient (MCC)<\/strong> &#8212; \u044d\u0442\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438. \u041e\u043d\u0430 \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u0447\u0435\u0442\u044b\u0440\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u0430 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0439: True Positives (TP), True Negatives (TN), False Positives (FP), \u0438 False Negatives (FN).<\/p>\n<p>\u041cCC \u043f\u043e\u043c\u043e\u0433\u0430\u0435\u0442 \u043f\u043e\u043d\u044f\u0442\u044c, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043f\u0440\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0435\u0439, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f \u043d\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f, \u043d\u043e \u0438 \u043e\u0448\u0438\u0431\u043a\u0438. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f MCC \u043b\u0435\u0436\u0430\u0442 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u043e\u0442 -1 \u0434\u043e 1:<\/p>\n<ul>\n<li>\n<p>1: \u0418\u0434\u0435\u0430\u043b\u044c\u043d\u0430\u044f \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f (\u0432\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u0435)<\/p>\n<\/li>\n<li>\n<p>0: \u041f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0435 \u043b\u0443\u0447\u0448\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0433\u043e \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u044f.<\/p>\n<\/li>\n<li>\n<p>-1: \u0412\u0441\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u0435.<\/p>\n<\/li>\n<\/ul>\n<p><strong>\u0424\u043e\u0440\u043c\u0443\u043b\u0430 MCC<\/strong><\/p>\n<p>\u0433\u0434\u0435<\/p>\n<p>TP &#8212; \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<br \/>TN &#8212; \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<br \/>FP &#8212; \u043b\u043e\u0436\u043d\u043e\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<br \/>FN &#8212; \u043b\u043e\u0436\u043d\u043e\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043e\u0442\u0432\u0435\u0442\u044b<\/p>\n<p>\u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c 5 \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u0432 \u0438 \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0445 \u043e\u0442\u0432\u0435\u0442\u043e\u0432 AI \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u044b\u0439 \u0432\u043e\u043f\u0440\u043e\u0441:<\/p>\n<ol>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0432\u043e\u0442 \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0447\u0435\u043d\u044c \u043f\u043e\u043d\u044f\u0442\u0438\u0439: \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430. \u043d\u0430\u043f\u0438\u0448\u0438, \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u0438\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432 \u0420\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u043e\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442.<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u041a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u0440\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430, \u0443\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430, \u043f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430; \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f &#8212; \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u0443 \u043c\u0435\u043d\u044f \u0435\u0441\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a \u0441\u0442\u0440\u0430\u043d: \u0420\u043e\u0441\u0441\u0438\u044f, \u041f\u043e\u043b\u044c\u0448\u0430, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d, \u0421\u0428\u0410. \u0432 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u044d\u0442\u0438\u0445 \u0441\u0442\u0440\u0430\u043d \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 2025 \u0433\u043e\u0434\u0443?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0432 2025 \u0433\u043e\u0434\u0443 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u044d\u0442\u0430\u043f\u044b \u0444\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0432 \u0421\u0428\u0410, \u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u0438, \u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d\u0435, \u0430 \u043d\u0435 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438 \u0438 \u041f\u043e\u043b\u044c\u0448\u0435.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u043e\u0433\u043e \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a \u043f\u0440\u0438\u043f\u0430\u0440\u043a\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0432\u043e \u0434\u0432\u043e\u0440\u0435 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044f, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0443\u0449\u0435\u0440\u0431 \u043e\u0442 \u043f\u0430\u0434\u0435\u043d\u0438\u044f \u043d\u0430 \u0441\u0432\u043e\u0439 \u0430\u0432\u0442\u043e\u043c\u043e\u0431\u0438\u043b\u044c \u0441\u043d\u0435\u0433\u0430 \u0441 \u043a\u0440\u044b\u0448\u0438 \u0434\u043e\u043c\u0430: \u0413\u0418\u0411\u0414\u0414, \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e \u0438\u043b\u0438 \u041c\u0427\u0421?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u044b\u0437\u0432\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043a\u043e\u0432\u043e\u0433\u043e. \u0412\u044b\u0437\u044b\u0432\u0430\u0442\u044c \u0413\u0418\u0411\u0414\u0414 \u0438 \u041c\u0427\u0421 \u043d\u0435 \u043d\u0443\u0436\u043d\u043e.<\/p>\n<\/li>\n<li>\n<p>\u0412\u043e\u043f\u0440\u043e\u0441: \u043a\u0430\u043a\u0438\u0435 \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430 \u0446\u0432\u0435\u0442\u043e\u0432 \u0435\u0441\u0442\u044c \u0432 \u0440\u0430\u0434\u0443\u0433\u0435, \u0430 \u043a\u0430\u043a\u0438\u0435 \u043d\u0435\u0442: \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0447\u0435\u0440\u043d\u044b\u0439, \u0431\u0435\u043b\u044b\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439, \u0436\u0435\u043b\u0442\u044b\u0439?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: <br \/>\u0432 \u0440\u0430\u0434\u0443\u0433\u0435 \u0435\u0441\u0442\u044c \u0433\u043e\u043b\u0443\u0431\u043e\u0439, \u0437\u0435\u043b\u0435\u043d\u044b\u0439 \u0438 \u0436\u0435\u043b\u0442\u044b\u0439 \u0446\u0432\u0435\u0442\u0430, \u0430 \u043d\u0435\u0442 \u0447\u0435\u0440\u043d\u043e\u0433\u043e \u0438 \u0431\u0435\u043b\u043e\u0433\u043e \u0446\u0432\u0435\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>\u041a\u0430\u043a\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043a\u0430\u0440\u0442 \u0432 \u043f\u043e\u043a\u0435\u0440\u0435 \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0430\u0440\u0448\u0435: \u0444\u043b\u0435\u0448 \u0438\u043b\u0438 \u0444\u0443\u043b\u043b \u0445\u0430\u0443\u0441?<\/p>\n<p>\u041e\u0436\u0438\u0434\u0430\u0435\u043c\u044b\u0439 \u043e\u0442\u0432\u0435\u0442: \u0444\u0443\u043b\u043b-\u0445\u0430\u0443\u0441 \u0441\u0442\u0430\u0440\u0448\u0435 \u0444\u043b\u0435\u0448\u0430.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0442\u0432\u0435\u0442\u044b AI \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<ol>\n<li>\n<p><em>\u041f\u0440\u0438\u0432\u0435\u0442! \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0440\u043e\u0441\u0441\u0438\u0439\u0441\u043a\u0438\u043c \u0437\u0430\u043a\u043e\u043d\u043e\u0434\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e\u043c, \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430 \u0432\u043a\u043b\u044e\u0447\u0430\u0435\u0442 \u0432 \u0441\u0435\u0431\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u0430\u0441\u0445\u043e\u0434\u044b \u043d\u0430 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u0437\u0430\u0442\u0440\u0430\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043b\u0438\u0446\u043e \u043d\u0435\u0441\u0435\u0442 \u0434\u043b\u044f \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0438\u0445 \u043f\u0440\u0430\u0432.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u0442\u0440\u0430\u0442\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u0442\u0430\u043a\u0436\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u043e\u0442\u0435\u0440\u044f \u0430\u043a\u0442\u0438\u0432\u043e\u0432, \u0447\u0442\u043e \u0432\u043b\u0435\u0447\u0435\u0442 \u0437\u0430 \u0441\u043e\u0431\u043e\u0439 \u0443\u0431\u044b\u0442\u043a\u0438.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u0440\u0447\u0430 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430<\/em><\/strong><em> \u2014 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 \u044d\u0442\u043e \u0443\u0449\u0435\u0440\u0431, \u043f\u0440\u0438\u0447\u0438\u043d\u0435\u043d\u043d\u044b\u0439 \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0443, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0432\u043e\u0441\u0441\u0442\u0430\u043d\u043e\u0432\u043b\u0435\u043d\u0438\u044f.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0423\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430<\/em><\/strong><em> \u2014 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443. \u042d\u0442\u043e \u043a\u043e\u0441\u0432\u0435\u043d\u043d\u044b\u0435 \u0443\u0431\u044b\u0442\u043a\u0438, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u044b\u0435 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0434\u043e\u0445\u043e\u0434\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435 \u0431\u044b\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0438\u0437-\u0437\u0430 \u043f\u043e\u0432\u0440\u0435\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u043b\u0438 \u0443\u0442\u0440\u0430\u0442\u044b \u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043f\u0435\u0440\u0432\u044b\u0435 \u0442\u0440\u0438 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0443\u0449\u0435\u0440\u0431\u0443, \u0430 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u2014 \u043d\u0435\u0442.<\/em><\/p>\n<p>\u0412 \u044d\u0442\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u0443\u043f\u0443\u0449\u0435\u043d\u043d\u0430\u044f \u0432\u044b\u0433\u043e\u0434\u0430 \u0432\u0435\u0440\u043d\u043e \u0443\u043a\u0430\u0437\u0430\u043d\u0430 \u043a\u0430\u043a \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0449\u0430\u044f\u0441\u044f \u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0443\u0449\u0435\u0440\u0431\u0430.<\/p>\n<\/p>\n<\/li>\n<li>\n<p><em>\u041a\u0412 2025 \u0433\u043e\u0434\u0443 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0441\u0442\u0440\u0430\u043d\u0430\u0445 \u0438\u0437 \u0432\u0430\u0448\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043a\u0430:<\/em><\/p>\n<ol>\n<li>\n<p><strong><em>\u0420\u043e\u0441\u0441\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u043e\u0445\u043e\u0434\u0438\u0442\u044c, \u043d\u043e \u044d\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u0439 \u0438 \u0441\u043e\u0433\u043b\u0430\u0448\u0435\u043d\u0438\u0439 \u043d\u0430 2025 \u0433\u043e\u0434.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u041f\u043e\u043b\u044c\u0448\u0430<\/em><\/strong><em> \u2014 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0435 \u0438\u043c\u0435\u0435\u0442 \u0437\u0430\u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u043e\u0432 \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0412\u0435\u043b\u0438\u043a\u043e\u0431\u0440\u0438\u0442\u0430\u043d\u0438\u044f<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0421\u0438\u043b\u044c\u0432\u0435\u0440\u0441\u0442\u043e\u0443\u043d.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0410\u0437\u0435\u0440\u0431\u0430\u0439\u0434\u0436\u0430\u043d<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0442\u0440\u0430\u0441\u0441\u0435 \u0432 \u0411\u0430\u043a\u0443.<\/em><\/p>\n<\/li>\n<li>\n<p><strong><em>\u0421\u0428\u0410<\/em><\/strong><em> \u2014 \u044d\u0442\u0430\u043f\u044b \u0424\u043e\u0440\u043c\u0443\u043b\u044b 1 \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0442 \u043d\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0442\u0440\u0430\u0441\u0441\u0430\u0445, \u0432\u043a\u043b\u044e\u0447\u0430\u044f \u041e\u0441\u0442\u0438\u043d \u0438 \u041c\u0430\u0439\u0430\u043c\u0438.<\/em><\/p>\n<\/li>\n<\/ol>\n<p><em>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432 2025 \u0433\u043e\u0434\u0443<\/em><\/p>\n<\/li>\n<\/ol>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-473412","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/473412","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=473412"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/473412\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=473412"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=473412"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=473412"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}