{"id":341457,"date":"2022-11-19T09:00:06","date_gmt":"2022-11-19T09:00:06","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=341457"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=341457","title":{"rendered":"<span>3. \u0422\u0435\u043e\u0440\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 ML. \u041f\u0440\u043e\u0433\u043d\u043e\u0437<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u043e\u043d\u044f\u0442\u0438\u0435 Mututal Information (MI) \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e <strong>\u0441\u0438\u0433\u043d\u0430\u043b\u0435<\/strong> \u0438\u0437 <strong>\u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432<\/strong>. \u041a\u0430\u043a\u0430\u044f-\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445. \u0418 \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a \u0441\u0438\u0433\u043d\u0430\u043b\u0443, \u0442\u043e \u044d\u0442\u043e \u0438 \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0435\u0439 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u044c MI \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c \u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438.<\/p>\n<h2>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Machine Learning?<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u0438\u0437 ML, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a: \u0444\u0430\u043a\u0442\u043e\u0440\u044b, <em>target<\/em>, Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b\u044b,  overfitting \u0438 underfitting \u0438 \u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f, \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0438\u0434\u044b \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><strong>\u0424\u0430\u043a\u0442\u043e\u0440\u044b (<em>features<\/em>)<\/strong> \u2013 \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e  \u0432\u0430\u043c \u0434\u0430\u0451\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434, \u0430 <strong>\u0441\u0438\u0433\u043d\u0430\u043b<\/strong> <strong>(<em>target<\/em>)<\/strong> \u2013 \u044d\u0442\u043e  \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0444\u0430\u043a\u0442\u043e\u0440\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 <strong>\u0437\u0430\u0432\u0442\u0440\u0430 \u0432 12:00<\/strong> \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u0433\u043e\u0440\u043e\u0434\u0435 \u2013 \u044d\u0442\u043e <em>target<\/em>, \u0430 \u0434\u0430\u043d\u043e \u0432\u0430\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0447\u0438\u0441\u0435\u043b <strong>\u043f\u0440\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0434\u043d\u0438<\/strong>: \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430, \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432\u043b\u0430\u0436\u043d\u043e\u0441\u0442\u044c, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 \u0441\u0438\u043b\u0430 \u0432\u0435\u0442\u0440\u0430 \u0432 \u044d\u0442\u043e\u043c \u0438 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0433\u043e\u0440\u043e\u0434\u0430\u0445 \u0432 \u0440\u0430\u0437\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u043d\u044f \u2013 \u044d\u0442\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u044b. <\/p>\n<p><strong>\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0414\u0430\u043d\u043d\u044b\u0435<\/strong>  \u2013  \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (aka  \u0441\u044d\u043c\u043f\u043b\u043e\u0432) \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0435\u0441\u0442\u044c \u0438 \u043f\u043e\u043b\u044f \u0441 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438  <em>features<\/em>=(<em>f<\/em><sub>1<\/sub>, <em>f<\/em><sub>2<\/sub>, &#8230;, <em>f<\/em><sub>n<\/sub>), \u0438 \u043f\u043e\u043b\u0435 <em>target<\/em>. \u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438 \u2013  <strong>\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b (train set)<\/strong> \u0438 <strong>\u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b (test set)<\/strong>. \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a.<\/p>\n<p><strong>\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b:<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong><em>id<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>1<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>2<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>&#8230;<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>target<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>predict<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.234<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.678<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.23<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.345<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.123<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.34<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18987<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.432<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.444<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;.<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.67<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b:<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong><em>id<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>1<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>2<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>&#8230;<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\"><strong><em>target<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>predict<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18988<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.321<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.545<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">4.987<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18989<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.123<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.348<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">3.765<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">&#8230;.<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">30756<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.678<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.187<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">2.593<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u043e\u0431\u0449\u0438\u0445 \u0447\u0435\u0440\u0442\u0430\u0445 \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0443\u0445\u0435 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 <a href=\"https:\/\/www.kaggle.com\/\" rel=\"noopener noreferrer nofollow\">kaggle.com<\/a>:<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430  (\u0437\u0430\u0434\u0430\u0447\u0430 ML).<\/strong> \u0412\u0430\u043c \u0434\u0430\u043d \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b. \u0420\u0435\u0430\u043b\u0438\u0437\u0443\u0439\u0442\u0435 \u0432 \u0432\u0438\u0434\u0435 \u043a\u043e\u0434\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1, \\ldots, f_k)\" alt=\"\\mathcal{P}(f_1, \\ldots, f_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ea2\/e40\/323\/ea2e403238dda47c703e324ca676f421.svg\" width=\"110\" height=\"22\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a target.  \u041c\u0435\u0440\u0430 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"error=Loss(predict, target)\" alt=\"error=Loss(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ffa\/482\/56d\/ffa48256d595201bb7af3fb4c15b2a05.svg\" width=\"248\" height=\"22\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict=\\mathcal{P}(f_1,\\ldots,f_k).\" alt=\"predict=\\mathcal{P}(f_1,\\ldots,f_k).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/810\/bf2\/ecb\/810bf2ecbccf8378bf0537e2d39115a0.svg\" width=\"203\" height=\"22\"\/><strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430<\/strong> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432 \u0436\u0438\u0437\u043d\u0438, \u043d\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u044d\u0442\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442 \u0432\u0430\u0441 \u0441\u043a\u0440\u044b\u0442. <\/p>\n<p>\u0423 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi = predict - target\" alt=\"\\xi = predict - target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a63\/4b7\/737\/a634b7737ca578e2e128c2e6f558218e.svg\" width=\"170\" height=\"21\"\/> \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u2013  <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9D%D0%B5%D0%B2%D1%8F%D0%B7%D0%BA%D0%B0\" rel=\"noopener noreferrer nofollow\"><strong>\u043d\u0435\u0432\u044f\u0437\u043a\u0430<\/strong><\/a>. \u0414\u0432\u0430 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u2013  \u044d\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u043d\u0435\u0432\u044f\u0437\u043a\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0438\u043b\u0438 mse (mean square error);<\/p>\n<\/li>\n<li>\n<p>\u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043d\u0435\u0432\u044f\u0437\u043a\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 L1-\u043e\u0448\u0438\u0431\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 ML \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u0449\u0430\u044f \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u043c\u0435\u0440\u0443 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0443\u044e <strong>ML-\u043c\u043e\u0434\u0435\u043b\u044c<\/strong> \u2013 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f  \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1, \\ldots, f_n)\" alt=\"\\mathcal{P}(f_1, \\ldots, f_n)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fef\/bc6\/7cc\/fefbc67cc2e80272630068bb01ea525c.svg\" width=\"111\" height=\"22\"\/> \u043f\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0410 \u0442\u0430\u043a\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c <em>model evaluation<\/em>: \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c  \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0443\u043c\u0435\u0442\u044c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u0434\u0435\u043b\u0430\u044f \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438, \u0438\u043b\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 online), \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u0442\u043e\u0442\u0443 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. <\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1, \\ldots, f_n)\" alt=\"\\mathcal{P}(f_1, \\ldots, f_n)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/846\/7c0\/83a\/8467c083ae64e8063205222429506de2.svg\" width=\"111\" height=\"22\"\/>\u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c<\/strong>. \u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043a\u043b\u0430\u0441\u0441\u044b  \u043c\u043e\u0434\u0435\u043b\u0435\u0439):<\/p>\n<ul>\n<li>\n<p><strong>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1,\\ldots,f_n)=\\sum_{i} w_i\\cdot f_i\" alt=\"\\mathcal{P}(f_1,\\ldots,f_n)=\\sum_{i} w_i\\cdot f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39a\/342\/3dd\/39a3423ddc7245a4527d165c6e53b3af.svg\" width=\"220\" height=\"45\"\/>, \u0438  \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a  \u043f\u043e\u0434\u0431\u043e\u0440\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w_1,w_2,\\ldots, w_n)\" alt=\"(w_1,w_2,\\ldots, w_n)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10b\/f17\/f05\/10bf17f05ee193a116128d4ddcd354f2.svg\" width=\"137\" height=\"22\"\/>, \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>Gradient boosted trees<\/strong> \u2013 \u043c\u043e\u0434\u0435\u043b\u044c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 (\u0441\u043e\u0442\u0435\u043d, \u0442\u044b\u0441\u044f\u0447), \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u2013 \u044d\u0442\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0432 \u0443\u0437\u043b\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043d\u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u0430 \u0432 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u2013 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430; \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043a\u0430\u043a \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 if-\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u0441 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438 \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u0443\u0437\u043b\u0430\u0445 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0438\u0441\u043b\u0430. \u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f GBT \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c: <a href=\"https:\/\/catboost.ai\/\" rel=\"noopener noreferrer nofollow\">CatBoost<\/a>, <a href=\"https:\/\/github.com\/dmlc\/xgboost\" rel=\"noopener noreferrer nofollow\">xgboost<\/a>.  \u0421\u043c. <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/645887\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0430 \u0445\u0430\u0431\u0440\u0435<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>Neural Networks<\/strong> \u2013 \u0432 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0438\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f}) = W_k\\odot W_{k-1}\\odot \\ldots W_1 \\odot \\vec{f}\" alt=\"\\mathcal{P}(\\vec{f}) = W_k\\odot W_{k-1}\\odot \\ldots W_1 \\odot \\vec{f}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/005\/1db\/606\/0051db60619c1c2c3b2bb1eeed0912c0.svg\" width=\"281\" height=\"27\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W_j\" alt=\"W_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/722\/e27\/1ae\/722e271ae6b2ec4480c35cee43a9a568.svg\" width=\"26\" height=\"22\"\/>\u2013 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043c\u043e\u0434\u0435\u043b\u0438, \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\vec{f} = \\|f_1,\\ldots,f_n\\|^{T}\" alt=\"\\vec{f} = \\|f_1,\\ldots,f_n\\|^{T}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/557\/a84\/faa\/557a84faae6733dcdbdd97e8b0f1b62a.svg\" width=\"153\" height=\"27\"\/>, \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\odot\" alt=\"\\odot\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c89\/ddc\/24c\/c89ddc24cf9f70136f93c71005fd0dae.svg\" width=\"15\" height=\"16\"\/> \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u043d\u0443\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0441\u0435\u0445 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0449\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0435. \u041e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0441\u043f\u0440\u0430\u0432\u0430 \u043d\u0430\u043b\u0435\u0432\u043e \u2013 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u043d\u0443\u043b\u0435\u043d\u0438\u044f. \u041c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u044f\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0430\u0442\u0440\u0438\u0446 \u2013 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u043d\u0443\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u0431\u044b \u043d\u0435 \u0431\u044b\u043b\u043e \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0439 \u043f\u043e\u0441\u043b\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u0432\u0441\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b &#171;\u0441\u0445\u043b\u043e\u043f\u043d\u0443\u0442\u044c&#187; \u0432 \u043e\u0434\u043d\u0443 \u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u043e\u0441\u044c \u0431\u044b \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u042f \u043e\u043f\u0438\u0441\u0430\u043b \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0438 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\mathcal{P}(\\vec{f})=W_6\\odot(W_1\\odot W_2 \\cdot \\vec{f}  + W_3\\odot W_4 \\odot W_5\\odot W_2\\odot \\vec{f})+W_7\\odot \\vec{f}\" alt=\" \\mathcal{P}(\\vec{f})=W_6\\odot(W_1\\odot W_2 \\cdot \\vec{f}  + W_3\\odot W_4 \\odot W_5\\odot W_2\\odot \\vec{f})+W_7\\odot \\vec{f}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b15\/324\/6b7\/b153246b7a3f25a308908bc4be6a33fa.svg\" width=\"574\" height=\"27\"\/>. <\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u044b\u0445 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043e\u0434\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u043e\u0434\u0438\u043d \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0438 \u0434\u0440. \u041c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c \u043e\u0431 \u043e\u0431\u0449\u0435\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/960\/b46\/637\/960b46637787eefb88e95f07839738eb.svg\" width=\"61\" height=\"20\"\/>, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{+,-,\\cdot, \\max \\}\" alt=\"\\{+,-,\\cdot, \\max \\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ea\/841\/e21\/6ea841e21ff6c6e0e28cb9694a94274d.svg\" width=\"118\" height=\"22\"\/>,  \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\tanh, \\mathrm{abs}, \\max(0, \\cdot), \\ldots\\}\" alt=\"\\{\\tanh, \\mathrm{abs}, \\max(0, \\cdot), \\ldots\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2fa\/c9b\/caf\/2fac9bcaf4326abf6803d66b50679c23.svg\" width=\"211\" height=\"22\"\/>\u0438 \u0432\u0435\u0441\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{w_1, w_2, \\ldots\\}\" alt=\"\\{w_1, w_2, \\ldots\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/faa\/88f\/e94\/faa88fe94573f47cbe8e9b9f83f3a990.svg\" width=\"105\" height=\"22\"\/> \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442. \u0412 \u044d\u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0430\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430. \u041f\u043e \u0444\u0430\u043a\u0442\u0443, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}\" alt=\"\\mathcal{P}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ba\/9ed\/251\/7ba9ed25192e5ffa625d816073175d13.svg\" width=\"14\" height=\"18\"\/> \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432 \u043d\u0435\u0439 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0432\u0438\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"W_k\\odot W_{k-1}\\odot \\ldots W_1 \\odot \\vec{f}\" alt=\"W_k\\odot W_{k-1}\\odot \\ldots W_1 \\odot \\vec{f}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4bd\/162\/b1d\/4bd162b1d1953974b7e84be8ddadfc66.svg\" width=\"212\" height=\"27\"\/>. \u0410 \u0442\u0430\u043a, \u043c\u044b \u043f\u043e \u0441\u0443\u0442\u0438 \u0438\u043c\u0435\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u2013 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (\u0432\u0435\u0441\u0430) \u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043e\u043d\u0438 \u0432 \u0441\u0432\u043e\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435, \u0438 \u0437\u0430 \u0448\u0430\u0433 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0443\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <a href=\"https:\/\/habr.com\/ru\/post\/318970\/\" rel=\"noopener noreferrer nofollow\">\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u043c<\/a>, \u0441\u043c. \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/pytorch.org\/docs\/stable\/generated\/torch.optim.Adam.html\" rel=\"noopener noreferrer nofollow\">AdamOptimizer<\/a>.  <\/p>\n<\/li>\n<\/ul>\n<h2>\u0422\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f ML<\/h2>\n<p>\u0412 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Regression_analysis\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435<\/a> \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u044b\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a. \u042d\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u044b  \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u043a\u043e\u0447\u0435\u0432\u0430\u043b\u0438 \u0432 ML. \u0417\u0434\u0435\u0441\u044c \u044f \u0438\u0437\u043b\u043e\u0436\u0443 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f, \u0441\u0442\u0430\u0440\u0430\u044f\u0441\u044c \u043e\u0442\u043c\u0435\u0447\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043e\u0440\u0438\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438<\/p>\n<h3>Overfitting<\/h3>\n<p><strong>Overfitting<\/strong> \u2013 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u0432\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0437\u0430 target \u0418\/\u0418\u041b\u0418 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u0415\u0441\u0442\u044c \u0434\u0432\u0435  \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b <strong>overfitting:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>too complex model:<\/strong> \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u043b\u0438 \u0432  \u0441\u0432\u043e\u0435\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0435\u0439 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u041f\u0440\u043e\u0449\u0435 \u044d\u0442\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0434\u043d\u043e\u0444\u0430\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<br \/>\u041f\u0443\u0441\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435 11 \u0442\u043e\u0447\u0435\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x,y)= (f_i, target_i),\" alt=\"(x,y)= (f_i, target_i),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dc0\/95a\/18d\/dc095a18d69e881438643db6770a3505.svg\" width=\"175\" height=\"22\"\/> \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u2013 \u0441\u0443\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0432 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u0435, \u0447\u0442\u043e \u043e\u043d &#171;\u0437\u0430\u0433\u043b\u044f\u043d\u0435\u0442&#187; \u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430:<\/p>\n<figure class=\"\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0d5\/b70\/416\/0d5b70416094b15939bcee1e49e674a4.png\" alt=\"\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a.  \u041d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u0435\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f (\u0447\u0451\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f), \u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0435\u0451 \u2013 \u044d\u0442\u043e \u0438\u043b\u0438 \u0448\u0443\u043c, \u0438\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u043c\u043e\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442\" title=\"\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a.  \u041d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u0435\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f (\u0447\u0451\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f), \u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0435\u0451 \u2013 \u044d\u0442\u043e \u0438\u043b\u0438 \u0448\u0443\u043c, \u0438\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u043c\u043e\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442\" width=\"300\" height=\"204\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d5\/b70\/416\/0d5b70416094b15939bcee1e49e674a4.png\"\/><figcaption>\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a.  \u041d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u0435\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f (\u0447\u0451\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f), \u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0435\u0451 \u2013 \u044d\u0442\u043e \u0438\u043b\u0438 \u0448\u0443\u043c, \u0438\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u043c\u043e\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442<\/figcaption><\/figure>\n<p>\u041c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u2013 \u044d\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0438 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440. \u041c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u044b \u043d\u0435\u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u043d\u043e \u043e\u0442 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u0436\u0435 \u043c\u043e\u0433\u0443\u0442  \u0434\u0430\u0432\u0430\u0442\u044c overfitting. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c <em>predict<\/em> = \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0441\u0442\u0435\u043f\u0435\u043d\u0438 3 \u043e\u0442 100 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 (\u043a\u0441\u0442\u0430\u0442\u0438, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u043d\u0451\u043c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432?), \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 <em>predict<\/em> = \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0441\u0442\u0435\u043f\u0435\u043d\u0438 2 \u043e\u0442 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 + \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043f\u0440\u0438 \u0447\u043b\u0435\u043d\u0430\u0445 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 3 \u0431\u0443\u0434\u0443\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438. \u042d\u0442\u0438 \u0447\u043b\u0435\u043d\u044b \u0441\u0442\u0435\u043f\u0435\u043d\u0438 3 \u0431\u0443\u0434\u0443\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0435 \u0434\u043b\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 (\u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u0435\u0439). \u041d\u043e \u0432 \u0437\u043e\u043d\u0435  \u043a\u0440\u0430\u0439\u043d\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0443\u0436\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u044f, \u0430 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044f, \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0438 \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. \u041d\u0443 \u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u043b\u043e, \u0448\u0443\u043c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0437\u0430 \u0447\u0438\u0441\u0442\u0443\u044e \u043c\u043e\u043d\u0435\u0442\u0443, \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>insufficient train data<\/strong>: \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u043d\u0435\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435  \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u043e\u043f\u044f\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u043e\u043c: \u043f\u0443\u0441\u0442\u044c \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 3-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0442 \u0434\u0432\u0443\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u042d\u0442\u043e\u0442 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f 10 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0443 \u0432\u0430\u0441 10-\u043c\u0435\u0440\u043d\u043e\u0435. \u0415\u0441\u043b\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435 \u0443 \u0432\u0430\u0441 9 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u043e, \u0437\u0430\u043f\u0438\u0441\u0430\u0432 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e &#171;\u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d(<em>features<sub>i<\/sub><\/em>)  = <em>target<sub>i<\/sub><\/em>&#187; \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 9 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043d\u0430 \u044d\u0442\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0438 \u0438\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c 10 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432. \u0412 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043f\u0440\u044f\u043c\u0443\u044e \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445, \u0438 \u044d\u0442\u043e \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0443\u0434\u0435\u0442 \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440.<\/p>\n<ul>\n<li>\n<p><strong>\u0412\u0430\u0436\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u0440\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0433\u043e\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/strong>. \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u044b\u0448\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c, \u043d\u043e \u043f\u0440\u0430\u0432\u0434\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/en.wikipedia.org\/wiki\/GPT-3\" rel=\"noopener noreferrer nofollow\">\u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c GPT3<\/a> \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 175 \u043c\u043b\u0440\u0434. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432 \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <em>N<\/em> = 175 \u043c\u043b\u0440\u0434. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430 <em>M<\/em> = 1 \u043c\u043b\u0440\u0434, \u0442\u043e \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u0438\u043c\u0435\u0435\u0442\u0435 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u043f\u043e\u0434 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043b\u043e\u0433, \u0438 \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u2013 \u0441\u0443\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 <em>N<\/em> &#8212; <em>M<\/em> = 174 \u043c\u043b\u0440\u0434. <\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u043c\u0438 \u043c\u043d\u043e\u0433\u043e\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442 &#171;<strong>insufficient train data<\/strong>&#187; \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u043b\u043d\u044b\u0439 \u0440\u043e\u0441\u0442, \u0435\u0441\u043b\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, <strong>\u0435\u0441\u043b\u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043b\u043e\u0445\u043e\u0439, overfitted, \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440<\/strong>. <strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0442\u0430\u043a \u043d\u0435 \u0434\u0435\u043b\u0430\u044e\u0442.<\/strong>  \u0412\u044b\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0438 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 <em>N<\/em> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043d\u0430 <em>M<\/em> \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0433\u0434\u0435 <em>M<\/em> \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 <em>N<\/em>.  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0434\u043e\u0431\u0430\u0432\u043a\u0438 \u043a Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Regularization_(mathematics)#Tikhonov_regularization\" rel=\"noopener noreferrer nofollow\">L2<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Regularization_(mathematics)#Regularizers_for_sparsity\" rel=\"noopener noreferrer nofollow\">L1<\/a>), <a href=\"https:\/\/en.wikipedia.org\/wiki\/Stochastic_gradient_descent\" rel=\"noopener noreferrer nofollow\">Stochastic Gradient Descent<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Dropout_(neural_networks)\" rel=\"noopener noreferrer nofollow\">Dropout Layers<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Early_stopping\" rel=\"noopener noreferrer nofollow\">Early Stopping<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Decision_tree_pruning\" rel=\"noopener noreferrer nofollow\">prunning<\/a> \u0438 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Regularization_(mathematics)\" rel=\"noopener noreferrer nofollow\">\u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438<\/a>. <br \/><strong>\u0412\u0410\u0416\u041d\u041e:<\/strong> <strong>\u0417\u043d\u0430\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0442\u0435\u0445\u043d\u0438\u043a \u0438 \u0443\u043c\u0435\u043d\u0438\u0435 \u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0443 \u0432 ML<\/strong>.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<h3>Underfitting<\/h3>\n<p><strong>Underfitting<\/strong> \u2013 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0422\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 overfitting \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p><strong>too simplistic model: <\/strong>\u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u044e\u0449\u0430\u044f \u0442\u043e, \u0447\u0442\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430 <em>target<\/em>. \u0422\u0430\u043a\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0438 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u0432 \u043f\u0440\u043e\u0434\u0430\u043a\u0448\u0435\u043d\u0435, \u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u044d\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438. \u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438\u0432\u043b\u0435\u043a\u0430\u044e\u0442 \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u043e\u0439 \u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0435\u043c \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u043e\u0440\u0435\u043c, \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0438 \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u0438\u0445 \u043f\u0440\u0435\u0434\u0438\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 \u0432\u044b \u0440\u0435\u0448\u0438\u0442\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0443\u0440\u0441 \u0432\u0430\u043b\u044e\u0442, \u043f\u043e\u0433\u043e\u0434\u0443, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043a\u0443\u043f\u043a\u0438 \u0438\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430, \u0442\u043e \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0441\u043b\u0430\u0431\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u2013 <strong>under-fitted weak model<\/strong>.<\/p>\n<\/li>\n<li>\n<p><strong>too early stopping:<\/strong> \u043e\u0431\u044b\u0447\u043d\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0442\u0435\u0440\u0430\u0442\u0438\u0432\u043d\u044b, \u0438 \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0442\u044c \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0434\u043e\u043e\u0431\u0443\u0447\u0435\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c;<\/p>\n<\/li>\n<\/ul>\n<h3>Data leakage<\/h3>\n<p><strong>Data leakage<\/strong> \u2013 \u044d\u0442\u043e  \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0442\u043e, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435 \u0438\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u0438\u043b\u0438 \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u043e\u0442 \u0442\u0435\u0445, \u0447\u0442\u043e \u0431\u0443\u0434\u0443\u0442 \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043f\u0440\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0436\u0438\u0437\u043d\u0438. \u041c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0443\u043c\u0435\u044e\u0442 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u044d\u0442\u043e\u0439 \u0443\u0442\u0435\u0447\u043a\u043e\u0439, \u0431\u0443\u0434\u0443\u0442 \u0438\u043c\u0435\u0442\u044c \u043d\u0435\u043e\u043f\u0440\u0430\u0432\u0434\u0430\u043d\u043d\u043e \u043d\u0438\u0437\u043a\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435 \u0438 \u0432\u044b\u0431\u0440\u0430\u043d\u044b \u0434\u043b\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u0436\u0438\u0437\u043d\u0438. \u0415\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0438\u0434\u043e\u0432 <strong>data leakage:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0443\u0442\u0435\u0447\u043a\u0430 \u0442\u0430\u0440\u0433\u0435\u0442\u0430 \u0432 \u0444\u0430\u043a\u0442\u043e\u0440\u044b:<\/strong> \u0415\u0441\u043b\u0438, \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0441 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u043c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u044b \u0432\u044b \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u0435 \u0444\u0430\u043a\u0442\u043e\u0440 \u2013 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430 \u0437\u0430 <em>K<\/em> \u0434\u043d\u0435\u0439, \u0438 \u0432 \u044d\u0442\u0438 <em>K<\/em> \u0434\u043d\u0435\u0439 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u043f\u043e\u043f\u0430\u0434\u0451\u0442 \u0432 \u0442\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0438 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u0434\u0435\u043d\u044c, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0443\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437, \u0442\u043e \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u0438\u0441\u043f\u043e\u0440\u0447\u0435\u043d\u043d\u044b\u0439 \u0438\u043b\u0438 \u043d\u0435\u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440.  \u041c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435 \u0443\u0442\u0435\u0447\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u0444\u0430\u043a\u0442\u043e\u0440\u044b. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0432\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043f\u0440\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0438\u043b\u0438 \u043f\u043e\u0441\u043b\u0435.<\/p>\n<\/li>\n<li>\n<p><strong>\u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0443\u0442\u0435\u0447\u043a\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430:<\/strong> \u0418\u043d\u043e\u0433\u0434\u0430 \u0432\u0441\u0451 \u043f\u0440\u043e\u0441\u0442\u043e \u2013 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u043f\u043e\u043f\u0430\u0434\u0430\u044e\u0442 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>\u0443\u0442\u0435\u0447\u043a\u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/strong> \u041f\u0440\u0430\u0432\u0438\u043b\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0440\u0430\u0437\u0440\u0435\u0448\u0435\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b, \u043e\u0431\u043c\u0430\u043d\u0447\u0438\u0432\u043e \u043f\u0440\u043e\u0441\u0442\u043e. \u0417\u0434\u0435\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u043e\u0431\u043c\u0430\u043d\u0443\u0442\u044c\u0441\u044f. \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u043d\u0435\u044f\u0432\u043d\u043e\u0439 \u0443\u0442\u0435\u0447\u043a\u0438 \u2013 \u044d\u0442\u043e \u043f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u0430\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438. \u0423 \u0432\u0441\u044f\u043a\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u044c \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0443 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430 \u0435\u0441\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 &#171;\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f&#187; \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u0437\u0430\u0434\u0430\u044e\u0449\u0438\u0439 \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0430. \u0415\u0449\u0451 \u0432\u044b \u043a Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043c\u043e\u0436\u0435\u0442\u0435 \u0434\u043e\u0431\u0430\u0432\u0438\u0442\u044c \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_2=\\lambda_2 \\sum w_i^2\" alt=\"R_2=\\lambda_2 \\sum w_i^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/373\/8aa\/22c\/3738aa22cd539d1fc166f3bb8037329e.svg\" width=\"127\" height=\"30\"\/>\u0438  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R_1=\\lambda_2 \\sum |w_i|\" alt=\"R_1=\\lambda_2 \\sum |w_i|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/33e\/c30\/bf3\/33ec30bf361d6827bae6e000ba5b8874.svg\" width=\"136\" height=\"30\"\/>, \u0438 \u0432\u043e\u0442 \u0432\u0430\u043c \u0435\u0449\u0451 \u0434\u0432\u0430 \u0433\u0438\u043f\u0435\u0440\u0430\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_1\" alt=\"\\lambda_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8fb\/9e9\/e79\/8fb9e9e7920a489f2be0a5834f8c5e1b.svg\" width=\"20\" height=\"19\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_2\" alt=\"\\lambda_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a9\/738\/ed2\/2a9738ed25eb1fb0a4314fd45264e386.svg\" width=\"20\" height=\"19\"\/>. \u041f\u0440\u0438\u0441\u0442\u0430\u0432\u043a\u0430 &#171;\u0433\u0438\u043f\u0435\u0440&#187; \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f, \u0447\u0442\u043e\u0431\u044b \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043c\u043e\u0434\u0435\u043b\u0438 (\u0432\u0435\u0441\u0430), \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u0445 \u043d\u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<br \/>    \u0418\u0442\u0430\u043a, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0432\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u0432 \u0446\u0438\u043a\u043b\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0442\u0435 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435. \u041d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443\u0442\u0435\u0447\u043a\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u0432 \u043c\u043e\u0434\u0435\u043b\u044c. &#171;\u0417\u0430\u0441\u0430\u0434\u0443&#187;, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0437\u0434\u0435\u0441\u044c \u0441\u043a\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043d\u044f\u0442\u044c, \u0438\u043c\u0435\u043d\u043d\u043e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u041a\u043e\u0433\u0434\u0430 \u0432\u044b \u0437\u0430\u0434\u0430\u0435\u0442\u0435 \u0432\u043e\u043f\u0440\u043e\u0441, \u0447\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435, \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435. \u0410 \u043a\u043e\u0433\u0434\u0430 \u0432\u044b, \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u044d\u0442\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442\u0435 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u0435, \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u0435 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u043d\u0430 \u0432\u0435\u0441\u0430 \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0442\u043e \u0437\u043d\u0430\u0447\u0438\u0442 \u0431\u0438\u0442\u044b \u044d\u0442\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432 \u0432\u0435\u0441\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438. <br \/>\u0415\u0449\u0451 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e \u0443\u0442\u0435\u0447\u043a\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u0434\u043e\u0432\u0435\u0434\u044f \u0434\u043e \u0430\u0431\u0441\u0443\u0440\u0434\u0430 \u043f\u043e\u043d\u044f\u0442\u0438\u0435 \u0433\u0438\u043f\u0435\u0440\u0430\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0412\u0435\u0434\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u043c\u0435\u0436\u0434\u0443 \u0432\u0435\u0441\u0430\u043c\u0438 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438) \u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 (\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f) \u0447\u0438\u0441\u0442\u043e \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u0430 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0432\u0441\u0435 \u043d\u0430\u0437\u043e\u0432\u043e\u0451\u043c \u0433\u0438\u043f\u0435\u0440\u0430\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438, \u0430 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0443 \u043d\u0430\u0441 \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 (\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0432\u0435\u0441\u043e\u0432 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 \u043f\u0443\u0441\u0442\u044b\u043c). \u0418 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u043c \u0431\u0435\u0437\u0443\u043c\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u043f\u043e \u043f\u0435\u0440\u0435\u0431\u043e\u0440\u0443 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u0431\u0443\u0434\u0435\u043c \u043f\u0435\u0440\u0435\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0442 -1000 \u0434\u043e +1000 \u0441  \u0448\u0430\u0433\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"10^{-6}\" alt=\"10^{-6}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1f\/922\/8dc\/e1f9228dc5f8f76dd497bda824220cfd.svg\" width=\"39\" height=\"21\"\/>) \u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044e \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435. \u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0447\u0435\u0440\u0435\u0437 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0435 \u043c\u0438\u043b\u043b\u0438\u0430\u0440\u0434 \u043b\u0435\u0442 \u043c\u044b \u043d\u0430\u0439\u0434\u0451\u043c \u0442\u0430\u043a\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0451\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435 \u0438 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0443 \u0432\u044b\u0448\u0435 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u0437\u0430\u043f\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u043d\u043e\u0432\u0430, \u043d\u043e \u0443\u0436\u0435 \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u043f\u043e\u0434\u043f\u0438\u0441\u044c\u044e: <\/p>\n<figure class=\"\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/0d5\/b70\/416\/0d5b70416094b15939bcee1e49e674a4.png\" alt=\"\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a. \" title=\"\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a. \" width=\"auto\" height=\"auto\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0d5\/b70\/416\/0d5b70416094b15939bcee1e49e674a4.png\"\/><figcaption>\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a. <\/figcaption><\/figure>\n<p>\u042d\u0442\u043e\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440 \u0431\u0443\u0434\u0435\u0442 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0435\u0431\u044f \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435, \u0430 \u0432 \u0436\u0438\u0437\u043d\u0438 \u2013 \u043f\u043b\u043e\u0445\u043e. <\/p>\n<ul>\n<li>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u043c\u043e\u0434\u0435\u043b\u0438 \u0441 \u0442\u044b\u0441\u044f\u0447\u0430\u043c\u0438 \u0438\u043b\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430\u043c\u0438 \u0432\u0435\u0441\u043e\u0432 \u0438 \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u044b \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0443\u043b\u0430\u0445 \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432, \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e (\u0441\u043c. \u043d\u0438\u0436\u0435).<\/p>\n<\/li>\n<li>\n<p>\u041d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0443\u0442\u0435\u0447\u043a\u0430 \u0442\u0435\u0441\u0442\u0430 \u0447\u0435\u0440\u0435\u0437 \u043f\u043e\u0434\u0431\u043e\u0440 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442. \u0414\u0430\u0436\u0435 \u0435\u0441\u043b\u0438 \u0432\u044b \u0441\u0434\u0435\u043b\u0430\u043b\u0438 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043f\u0443\u043b \u0434\u043b\u044f \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043b\u0438 \u0434\u043b\u044f \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0432\u0441\u0451 \u0440\u0430\u0432\u043d\u043e \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435. \u0410 \u043f\u043e\u0442\u043e\u043c \u043d\u0430\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u043c\u043e\u043c\u0435\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u043d\u044b\u0445 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435 \u0438 \u0432\u044b \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0435 \u043b\u0443\u0447\u0448\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0435 \u043d\u0430 \u0442\u0435\u0441\u0442\u0435. \u042d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u044b\u0431\u043e\u0440\u0430 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0443\u0442\u0435\u0447\u043a\u043e\u0439, \u043d\u043e \u043d\u0435 \u0432\u0441\u0435\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u044f\u0442\u044c\u0441\u044f \u044d\u0442\u043e\u0439 \u0443\u0442\u0435\u0447\u043a\u0438.<\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u0430\u0436\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u0440\u043e \u0442\u043e, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u0431\u043e\u044f\u0442\u0441\u044f \u044d\u0442\u043e\u0439 \u0443\u0442\u0435\u0447\u043a\u0438.<\/strong> \u0415\u0441\u043b\u0438 <strong>\u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> (\u0441\u043c. \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0438\u0436\u0435) \u0443 \u0432\u0430\u0441 \u0441\u043e\u0442\u043d\u0438 \u0438\u043b\u0438 \u0431\u043e\u043b\u044c\u0448\u0435 \u0431\u0438\u0442, \u0442\u043e \u0443\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u0431\u043e\u044f\u0442\u0441\u044f \u0443\u0442\u0435\u0447\u043a\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0441\u043e\u0440\u0442\u0430 \u0438 \u043d\u0435 \u0432\u044b\u0434\u0435\u043b\u044f\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0443\u043b \u0434\u043b\u044f \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0447\u0438\u0441\u043b\u0430 \u0432\u044b\u0441\u0442\u0440\u0435\u043b\u043e\u0432 \u0434\u043b\u044f \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u0438).<\/p>\n<\/li>\n<\/ul>\n<ul>\n<li>\n<p><strong>\u0443\u0442\u0435\u0447\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e: <\/strong>\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440,<strong> <\/strong>\u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u0442\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u044b \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0438\u043a\u0430 \u043d\u0430 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0435, \u0442\u043e \u0432 \u0438\u0434\u0435\u0430\u043b\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u0434\u043e\u043b\u0436\u0435\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u0438\u0441\u043a\u043b\u044e\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0430 \u0434\u0430\u0442\u044b \u043c\u0435\u043d\u044c\u0448\u0435 \u0434\u0430\u0442\u044b X, \u0433\u0434\u0435 X \u2013 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f  \u0434\u0430\u0442\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0432 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435. \u0418\u043d\u0430\u0447\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0445\u0438\u0442\u0440\u044b\u0435 \u0443\u0442\u0435\u0447\u043a\u0438 \u0442\u0438\u043f\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439. \u041f\u0443\u0441\u0442\u044c \u043c\u044b \u0432\u0437\u044f\u043b\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u044b \u0440\u0435\u043a\u043b\u0430\u043c\u044b \u0440\u0430\u0437\u043c\u0435\u0447\u0435\u043d\u043d\u043e\u0439 <em>target<\/em> = 1 \u0434\u043b\u044f \u043a\u043b\u0438\u043a\u043d\u0443\u0442\u044b\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e\u043a\u0430\u0437\u0430, \u0438 target = 0 \u0434\u043b\u044f \u043d\u0435\u043a\u043b\u0438\u043a\u043d\u0443\u0442\u043e\u0439. \u0418 \u043f\u0443\u0441\u0442\u044c \u043c\u044b \u0440\u0430\u0437\u0431\u0438\u043b\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u043d\u0435 \u043f\u043e \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u0434\u0430\u0442\u044b X, \u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u0438 50:50. \u0418\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0438 \u043b\u044e\u0431\u044f\u0442 \u043a\u043b\u0438\u043a\u0430\u0442\u044c \u0441\u0440\u0430\u0437\u0443 \u043d\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u043f\u043e\u0434\u0440\u044f\u0434 \u0432 \u0442\u0435\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043c\u0438\u043d\u0443\u0442, \u043e\u0442\u0431\u0438\u0440\u0430\u044f \u043d\u0443\u0436\u043d\u044b\u0439 \u0442\u043e\u0432\u0430\u0440 \u0438\u043b\u0438 \u0443\u0441\u043b\u0443\u0433\u0443.  \u0418 \u0442\u043e\u0433\u0434\u0430 \u0442\u0430\u043a\u0438\u0435 \u0441\u0435\u0440\u0438\u0438 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043a\u043b\u0438\u043a\u043e\u0432 \u0431\u0443\u0434\u0443\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0434\u0435\u043b\u0438\u0442\u044c\u0441\u044f \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438 \u2013 \u043e\u0434\u043d\u0430 \u043f\u043e\u0439\u0434\u0451\u0442 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439, \u0434\u0440\u0443\u0433\u0430\u044f \u2013 \u0432 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b. \u041c\u043e\u0436\u043d\u043e \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0443\u0442\u0435\u0447\u043a\u043e\u0439:  \u0432\u043e\u0437\u044c\u043c\u0451\u043c \u0441\u0430\u043c\u0443\u044e \u0445\u043e\u0440\u043e\u0448\u0443\u044e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c \u0431\u0435\u0437 \u0443\u0442\u0435\u0447\u043a\u0438 \u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u0444\u0430\u043a\u0442\u044b &#171;\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c U \u043a\u043b\u0438\u043a\u0430\u043b \u043d\u0430 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0443 T&#187; \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043b\u043e\u0433\u0430. \u0417\u0430\u0442\u0435\u043c \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u043e\u0432\u0441\u0435\u043c \u043d\u0435\u043d\u0430\u043c\u043d\u043e\u0433\u043e \u043f\u043e\u0432\u044b\u0448\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0438\u043a\u0430 \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u0435\u0432 (U, T) \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430. \u042d\u0442\u043e \u0443\u043b\u0443\u0447\u0448\u0438\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435, \u043d\u043e \u0443\u0445\u0443\u0434\u0448\u0438\u0442 \u0435\u0451 \u0441 \u0442\u043e\u0447\u043a\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0430 \u043d\u043e\u0432\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041c\u044b \u043e\u043f\u0438\u0441\u0430\u043b\u0438 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c, \u043d\u043e \u043d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u0442\u044c \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u043c\u0435\u0445\u0430\u043d\u0438\u0437\u043c \u0442\u0430\u043a\u043e\u0433\u043e \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u043f\u0430\u0440 (U, T) \u0438 \u0437\u0430\u0432\u044b\u0448\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043d\u0438\u0445 \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u0438 \u0434\u0440\u0443\u0433\u0438\u0445 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430\u0445 ML. \u041d\u0430\u043b\u0438\u0447\u0438\u0435 \u0442\u0430\u043a\u0438\u0445 \u0443\u0442\u0435\u0447\u0435\u043a \u0438\u0437 \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e \u0443\u0441\u0443\u0433\u0443\u0431\u043b\u044f\u0435\u0442 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u0443\u0442\u0435\u0447\u043a\u0438 \u0447\u0435\u0440\u0435\u0437 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b. \u041d\u0430 \u0442\u0430\u043a\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435 \u0441 \u0443\u0442\u0435\u0447\u043a\u043e\u0439 \u0431\u0443\u0434\u0443\u0442 \u0432\u044b\u0438\u0433\u0440\u044b\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0435\u0440\u0435\u043a\u0440\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0437\u0430\u043f\u043e\u043c\u0438\u043d\u0430\u043d\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445. \u0411\u043e\u043b\u0435\u0435 \u043e\u0431\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u044d\u0442\u0443 \u043f\u0440\u043e\u0431\u043b\u0435\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0438\u0441\u0430\u0442\u044c \u0442\u0430\u043a: <strong>MI \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0432 train set \u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0432 test set \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0432 train set \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0436\u0438\u0437\u043d\u0438.<\/strong><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<h3>\u0417\u0430\u0434\u0430\u0447\u0438<\/h3>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.1.<\/strong> \u041f\u0443\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target = w_0 + w_1\\cdot f + w_2\\cdot f^2+ \\alpha \\cdot \\nu\" alt=\"target = w_0 + w_1\\cdot f + w_2\\cdot f^2+ \\alpha \\cdot \\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e27\/e18\/479\/e27e184797d64a67c9251e0bd0280b17.svg\" width=\"314\" height=\"25\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nu\" alt=\"\\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d3\/735\/b4e\/2d3735b4e5f929609986a9b0402d90cc.svg\" width=\"10\" height=\"12\"\/>\u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f7\/c57\/a52\/9f7c57a523e9256ac9c3d7e003981893.svg\" width=\"63\" height=\"23\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha=0.2\" alt=\"\\alpha=0.2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/377\/e57\/e0a\/377e57e0a4a709b123d5eb811589858d.svg\" width=\"63\" height=\"17\"\/>. \u0424\u0430\u043a\u0442\u043e\u0440<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d09\/3ee\/3df\/d093ee3dfadfa7128687b445d18653f4.svg\" width=\"11\" height=\"21\"\/> \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f7\/c57\/a52\/9f7c57a523e9256ac9c3d7e003981893.svg\" width=\"63\" height=\"23\"\/>.  \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0443\u0436\u043d\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0447\u0442\u043e\u0431\u044b, \u0438\u043c\u0435\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0443\u044e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0435\u0441\u043e\u0432 \u0440\u0430\u0432\u043d\u044b\u0435 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon=0.01\" alt=\"\\varepsilon=0.01\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f0\/055\/a96\/8f0055a96060a12cb09884e645f3406b.svg\" width=\"70\" height=\"17\"\/>? \u0421\u0447\u0438\u0442\u0430\u0439\u0442\u0435, \u0447\u0442\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u2013 \u044d\u0442\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,\\sigma^2)\" alt=\"\\mathcal{N}(0,\\sigma^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/64c\/09c\/b0c\/64c09cb0c6809399e04eb2f5cf8c1fc4.svg\" width=\"73\" height=\"25\"\/>. \u0417\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u043e\u0442\u0432\u0435\u0442 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha\" alt=\"\\alpha\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67d\/045\/3cd\/67d0453cd58d52357cf0c0b6bd0d20c3.svg\" width=\"12\" height=\"12\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/319\/e30\/fa0\/319e30fa092ca8ef1a973b961479416c.svg\" width=\"9\" height=\"12\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma\" alt=\"\\sigma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f92\/ef8\/8f3\/f92ef88f3dfdf128e2d1c41292055aa2.svg\" width=\"11\" height=\"12\"\/>.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.2.<\/strong> \u041f\u0443\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e <em>target<\/em> \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 2-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0442 10 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0432 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u0435 \u2013 \u044d\u0442\u043e \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0437\u043e\u0432\u043e \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1),\" alt=\"\\mathcal{N}(0,1),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/261\/e78\/c57\/261e78c5727c11ec98fed3751bd0252b.svg\" width=\"68\" height=\"23\"\/> \u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u2013 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f7\/c57\/a52\/9f7c57a523e9256ac9c3d7e003981893.svg\" width=\"63\" height=\"23\"\/>. \u0421\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0443\u0436\u043d\u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043b\u043e\u0433\u0435, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u043e\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u043b\u0435\u0436\u0430\u0442 \u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0435 [-1, 1], \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0435\u0440\u043d\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 2-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438? <br \/>\u0410 \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 3-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438?<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.3.<\/strong> \u041f\u043e\u0441\u0442\u0440\u043e\u0439\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432 \u043a\u0430\u0436\u0434\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442 \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0441\u043a\u043b\u043e\u043d\u043d\u044b \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043b\u0438\u043a\u0430\u0442\u044c \u043d\u0430 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043e\u0434\u043d\u043e\u0439 \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438, \u0437\u0430\u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043e\u0432\u0430\u0432\u0448\u0435\u0439 \u0438\u0445 \u0432 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442, \u0438 \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0443\u043b\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u043d\u0435 \u043f\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438, \u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e, \u043f\u0440\u0438\u0432\u043e\u0434\u0438\u0442 \u043a <em>\u0443\u0442\u0435\u0447\u043a\u0435 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e<\/em>. \u041c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0430\u043a\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u0423 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0435\u0441\u0442\u044c 10 \u043b\u044e\u0431\u0438\u043c\u044b\u0445 \u0442\u0435\u043c\u0430\u0442\u0438\u043a, \u043c\u044b \u0438\u0445 \u0437\u043d\u0430\u0435\u043c \u0438 \u0445\u0440\u0430\u043d\u0438\u043c \u0432 \u043f\u0440\u043e\u0444\u0438\u043b\u0435 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f.<br \/>     \u041f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u0441\u043a\u0430\u044f \u0430\u043a\u0442\u0438\u0432\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0434\u0435\u043b\u0435\u043d\u0430 \u043d\u0430 \u0441\u0435\u0441\u0441\u0438\u0438, \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0435\u0441\u0441\u0438\u044f \u0434\u043b\u0438\u0442\u0441\u044f 5 \u043c\u0438\u043d\u0443\u0442, \u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u0441\u0435\u0441\u0441\u0438\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0432\u0438\u0434\u0438\u0442 \u0440\u043e\u0432\u043d\u043e 10 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0439 \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u0435\u0433\u043e 10 \u0442\u0435\u043c\u0430\u0442\u0438\u043a, \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0430 \u0438\u0437 \u043b\u044e\u0431\u0438\u043c\u044b\u0445 \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e. \u0412 \u043a\u0430\u0436\u0434\u0443\u044e \u0441\u0435\u0441\u0441\u0438\u044e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0438\u0437 \u044d\u0442\u0438\u0445 10 \u0442\u0435\u043c\u0430\u0442\u0438\u043a \u043e\u0441\u043e\u0431\u0435\u043d\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u043e, \u0438 \u043d\u0435\u0442 \u043d\u0438\u043a\u0430\u043a\u0438\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0449\u0438\u0445 \u0443\u0433\u0430\u0434\u0430\u0442\u044c, \u043a\u0430\u043a\u043e\u0439 \u0438\u043c\u0435\u043d\u043d\u043e.  \u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0438\u043a\u0430 \u0434\u043b\u044f \u0442\u0430\u043a\u043e\u0439 &#171;\u0433\u043e\u0440\u044f\u0447\u0435\u0439&#187; \u0442\u0435\u043c\u0430\u0442\u0438\u043a\u0438 \u0432 2 \u0440\u0430\u0437\u0430 \u0431\u043e\u043b\u044c\u0448\u0435, \u0447\u0435\u043c \u043e\u0431\u044b\u0447\u043d\u043e. \u0414\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0438 \u0435\u0433\u043e \u043a\u043b\u0438\u043a\u043e\u0432 \u043c\u044b \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u043d\u0430\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0438\u043a\u0430 \u0434\u043b\u044f \u0435\u0433\u043e 10 \u0442\u0435\u043c\u0430\u0442\u0438\u043a, \u0438 \u043f\u0443\u0441\u0442\u044c, \u0435\u0441\u043b\u0438 \u0438\u0445 \u0443\u043f\u043e\u0440\u044f\u0434\u043e\u0447\u0438\u0442\u044c \u043f\u043e \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f, \u0432\u0435\u043a\u0442\u043e\u0440 \u044d\u0442\u0438\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0430\u0432\u0435\u043d  {0.10, 0.11, 0.12, &#8230;, 0.19} . <br \/>    \u0418\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044f \u0438 \u043d\u043e\u043c\u0435\u0440 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0438 \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0435 \u043d\u0430\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u044b. \u041d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0442\u044c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435, \u0435\u0441\u043b\u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u0430\u044f \u0441\u0435\u0441\u0441\u0438\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0430\u0441\u044c \u0440\u043e\u0432\u043d\u043e \u043f\u043e\u043f\u043e\u043b\u0430\u043c \u043c\u0435\u0436\u0434\u0443 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u043c \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u043f\u0443\u043b\u0430\u043c\u0438  (5 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043f\u043e\u0448\u043b\u0438 \u0432 \u043e\u0434\u0438\u043d \u043f\u0443\u043b \u0438 5 \u2013 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439), \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u043e 5 \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c \u0438\u0437 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0438\u043a\u0430 \u043d\u0430 5 \u0434\u0440\u0443\u0433\u0438\u0445?<br \/>    \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c overfitting \u0438\u0437-\u0437\u0430 \u0443\u0442\u0435\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0431\u0443\u0434\u0443\u0449\u0435\u0433\u043e , \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043a\u0430\u043a\u0443\u044e-\u043b\u0438\u0431\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0443 \u0434\u043b\u044f ML, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, CatBoost.<\/p>\n<p><strong>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 3.1.<\/strong> <strong>\u0418\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/>-\u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 (<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/>-\u0418\u0421)<\/strong> \u2013 \u044d\u0442\u043e \u0442\u043e, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u0430 \u0434\u0440\u0443\u0433\u043e\u043c\u0443, \u0447\u0442\u043e\u0431\u044b \u0442\u043e\u0442 \u0441\u043c\u043e\u0433 \u0435\u0451 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u043d\u0435 \u0431\u043e\u043b\u0435\u0435, \u0447\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/212\/38d\/b70\/21238db701790b6957e9901c8e87324c.svg\" width=\"9\" height=\"12\"\/>. \u0414\u0432\u0430 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u0430 \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0433\u043e\u0432\u0430\u0440\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 (\u0432\u0435\u0441\u043e\u0432) \u044d\u0442\u043e\u0433\u043e \u0441\u0435\u043c\u0435\u0439\u0441\u0442\u0432\u0430. <br \/><strong>\u042d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> \u2013 \u044d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0438\u043c\u043f\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0441\u0440\u0435\u0434\u0438 \u0432\u0441\u0435\u0445 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u044e\u0442 <em>\u0442\u0430\u043a\u043e\u0435 \u0436\u0435 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 <\/em>\u0442\u0430\u043a\u043e\u0435, \u0447\u0442\u043e \u0438 \u0434\u0430\u043d\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.4.<\/strong> \u041a\u0430\u043a\u0430\u044f \u0441\u0440\u0435\u0434\u043d\u044f\u044f <strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/><\/strong>-\u0418\u0421 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432\u0438\u0434\u0430<\/p>\n<p>                                             <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p(f_1,\\ldots,f_n)=\\sum_{i=1}^n w_i\\cdot f_i\" alt=\"p(f_1,\\ldots,f_n)=\\sum_{i=1}^n w_i\\cdot f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aca\/809\/8af\/aca8098af84a8745545c6b051499f510.svg\" width=\"216\" height=\"57\"\/>   <\/p>\n<p>\u043e\u0442 <em>n<\/em> \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u0441\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,\\sigma^2)\" alt=\"\\mathcal{N}(0,\\sigma^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/64c\/09c\/b0c\/64c09cb0c6809399e04eb2f5cf8c1fc4.svg\" width=\"73\" height=\"25\"\/>, \u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/af9\/00c\/86c\/af900c86c43f1bdfec385c0bbd5944f8.svg\" width=\"63\" height=\"23\"\/>.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0432\u0435\u0441\u043e\u0432 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\delta p^2 = \\sum_i \\delta w_i ^2 f_i^2\" alt=\"\\delta p^2 = \\sum_i \\delta w_i ^2 f_i^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6b3\/52a\/644\/6b352a644d8cec0af0459c787f357e61.svg\" width=\"137\" height=\"45\"\/><\/p>\n<p>\u0412 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta p^2 = {\\sum}_i \\delta w_i ^2\" alt=\"\\delta p^2 = {\\sum}_i \\delta w_i ^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/612\/010\/20f\/61201020fabe07831753941c8ab79c1f.svg\" width=\"117\" height=\"45\"\/>. \u0415\u0441\u043b\u0438 \u043c\u044b \u0445\u043e\u0442\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta p^2 \\le \\varepsilon^2\" alt=\"\\delta p^2 \\le \\varepsilon^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6fa\/61c\/e8e\/6fa61ce8e15587377462efe1f276fd75.svg\" width=\"71\" height=\"24\"\/>, \u0442\u043e \u0432\u0435\u0441\u0430 \u043d\u0443\u0436\u043d\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta w_i \\le  \\varepsilon^2 \/n\" alt=\"\\delta w_i \\le  \\varepsilon^2 \/n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a03\/c94\/8ea\/a03c948ea28ba791c5a01611454af559.svg\" width=\"95\" height=\"25\"\/>. <\/p>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0443 \u0432 <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#task_1.9\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u0434\u0430\u0447\u0435 1.9<\/a>, \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0443\u0436\u043d\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\\cdot \\log(\\sqrt{n}\\cdot \\sigma\/\\varepsilon)\" alt=\"n\\cdot \\log(\\sqrt{n}\\cdot \\sigma\/\\varepsilon)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/494\/a67\/960\/494a67960037c5bf44ae0455d24c603f.svg\" width=\"138\" height=\"24\"\/>\u0431\u0438\u0442. \u0417\u0434\u0435\u0441\u044c \u0432\u0438\u0434\u043d\u043e \u0432\u0430\u0436\u043d\u043e\u0435 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u043e \u043e\u0447\u0435\u043d\u044c \u0441\u043b\u043e\u0436\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u2013 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435 \u0442\u0430\u043a \u0432\u0430\u0436\u043d\u043e \u043a\u0430\u043a\u043e\u0435 \u0438 \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0443 \u0432\u0430\u0441 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u043d\u0438\u0435 \u043e \u0432\u0435\u0441\u0430\u0445, \u0438 \u043d\u0435 \u0442\u0430\u043a \u0432\u0430\u0436\u043d\u043e, \u043a\u0430\u043a\u0430\u044f \u0432\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0438\u043b\u0438 \u043a\u0430\u043a\u0430\u044f \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f. \u041e\u0441\u043d\u043e\u0432\u043d\u0430\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430 \u0432 \u0418\u0421 \u043c\u043e\u0434\u0435\u043b\u0438 \u044d\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"0.5 \\cdot n\\cdot \\log n\" alt=\"0.5 \\cdot n\\cdot \\log n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/769\/865\/ce0\/769865ce0e1295581bc8305238c15a29.svg\" width=\"105\" height=\"21\"\/>, \u0433\u0434\u0435 <em>n<\/em> \u2013 \u043d\u0435\u043a\u043e\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u043d\u043e\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0432\u0435\u0441\u043e\u0432, \u0440\u0430\u0432\u043d\u043e\u043f\u0440\u0430\u0432\u043d\u043e \u0438 \u0441 \u043f\u043e\u043b\u044c\u0437\u043e\u0439 \u0443\u0447\u0430\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.5.<\/strong> \u0424\u0443\u043d\u043a\u0446\u0438\u044f <em>t<\/em>(id) \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u0435\u0439 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u043e\u0434\u043d\u043e\u0433\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430 \u2013 id \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438. \u0415\u0441\u0442\u044c <em>N <\/em>= 1 \u043c\u043b\u043d. \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u0438\u0445 \u0434\u043e\u043b\u0438 \u0432 \u0434\u0430\u043d\u043d\u044b\u0445 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b, \u0438 \u043c\u043e\u0436\u043d\u043e \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0438\u0445 \u0434\u043e\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c 1 \u043c\u043b\u043d. \u0447\u0438\u0441\u0435\u043b \u0438\u0437 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u0447\u0442\u043e\u0431\u044b \u0441\u0443\u043c\u043c\u0430 \u0434\u043e\u043b\u0435\u0439 \u0431\u044b\u043b\u0430 1 (\u0442\u0430\u043a\u043e\u0435 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0430\u0437\u043e\u0432\u043e\u043c\u0443 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044e \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0414\u0438\u0440\u0438\u0445\u043b\u0435 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 {1,1,&#8230;,1}  \u2013 1  \u043c\u043b\u043d. \u0435\u0434\u0438\u043d\u0438\u0447\u0435\u043a).  \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <em>t<\/em> \u0434\u043b\u044f \u044d\u0442\u0438\u0445 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438\u0437 \u0431\u0435\u0442\u0430-\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B(\\alpha, \\beta)\" alt=\"B(\\alpha, \\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/245\/e2f\/7f0\/245e2f7f0a7a429b14a30b517ff87856.svg\" width=\"62\" height=\"22\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\alpha=2,\\;\\beta=10\" alt=\"\\alpha=2,\\;\\beta=10\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f4\/58a\/1b0\/7f458a1b04359e11c0a054c32a8f6b97.svg\" width=\"119\" height=\"20\"\/> \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u043e\u0442 \u0438\u0445 \u0434\u043e\u043b\u0438. <br \/>\u041a\u0430\u043a\u043e\u0432\u0430 \u0441\u0440\u0435\u0434\u043d\u044f\u044f<strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/><\/strong>-\u0418\u0421 \u0442\u0430\u043a\u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0438?<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u043f\u0438\u0448\u0435\u043c \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u043e\u0447\u0435\u043d\u044c  \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445 <strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/><\/strong>. \u041a\u043e\u0433\u0434\u0430 <strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon \\ll 1\/10^6\" alt=\"\\varepsilon \\ll 1\/10^6\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0be\/d70\/d0e\/0bed70d0efa3485ba6600222d4220c25.svg\" width=\"87\" height=\"25\"\/><\/strong>, \u043c\u044b \u0432\u044b\u043d\u0443\u0436\u0434\u0435\u043d\u044b \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0442\u0430\u0431\u043b\u0438\u0447\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u2013 1 \u043c\u043b\u043d. \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439.  \u041c\u043e\u0436\u043d\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u0438\u043b\u0438 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0438\u0437 \u0432\u0438\u043a\u0438\u043f\u0435\u0434\u0438\u0438 \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u0431\u0435\u0442\u0430-\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B(\\alpha, \\beta)\" alt=\"B(\\alpha, \\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/683\/387\/b5f\/683387b5f3dab07c847a3e9c3f9d4c9d.svg\" width=\"62\" height=\"22\"\/>. \u0414\u0430\u043b\u0435\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u0447\u0442\u043e \u043c\u044b \u0445\u043e\u0442\u0438\u043c \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u043c\u0443 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u0443, \u0447\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>t<\/em> \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 <em>i<\/em> \u043b\u0435\u0436\u0438\u0442 \u0432 \u0440\u0430\u0439\u043e\u043d\u0435 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t_i\" alt=\"t_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c7e\/c7b\/0fb\/c7ec7b0fbc46d44690ac3258bc62fce8.svg\" width=\"14\" height=\"19\"\/>\u0441 \u0440\u0430\u0437\u0440\u0435\u0448\u0451\u043d\u043d\u043e\u0439 \u043f\u043e\u0433\u0440\u0435\u0448\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/55b\/f16\/f35\/55bf16f358304df68eecc1b8d3cc3112.svg\" width=\"9\" height=\"12\"\/>. \u042d\u0442\u043e \u0432\u0441\u0435 \u0440\u0430\u0432\u043d\u043e \u0447\u0442\u043e \u0441\u0443\u0437\u0438\u0442\u044c &#171;\u043a\u043e\u043b\u043f\u0430\u043a&#187; \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B(\\alpha, \\beta)\" alt=\"B(\\alpha, \\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/245\/e2f\/7f0\/245e2f7f0a7a429b14a30b517ff87856.svg\" width=\"62\" height=\"22\"\/> \u0434\u043e, \u0441\u043a\u0430\u0436\u0435\u043c, \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(t_i, \\varepsilon^2).\" alt=\"\\mathcal{N}(t_i, \\varepsilon^2).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/870\/96c\/018\/87096c01834ab02003e4c6c959592e37.svg\" width=\"81\" height=\"25\"\/> \u0420\u0430\u0437\u043d\u0438\u0446\u0430 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B(\\alpha, \\beta)\" alt=\"B(\\alpha, \\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/245\/e2f\/7f0\/245e2f7f0a7a429b14a30b517ff87856.svg\" width=\"62\" height=\"22\"\/>  \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(t_i, \\varepsilon^2)\" alt=\"\\mathcal{N}(t_i, \\varepsilon^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aee\/b59\/eff\/aeeb59eff788ae29f37efd46df15abab.svg\" width=\"75\" height=\"25\"\/> \u0440\u0430\u0432\u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-2.38 -\\log \\varepsilon\" alt=\"-2.38 -\\log \\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/462\/4de\/7a6\/4624de7a65c96a856cb9dd2658490437.svg\" width=\"111\" height=\"21\"\/>. \u042d\u0442\u043e \u043d\u0430\u0434\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0434\u043b\u044f 1 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439,  \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0434\u043b\u044f \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0445  <strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/><\/strong>  \u043e\u0442\u0432\u0435\u0442  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\\cdot (-2.72727 + \\log 1\/\\varepsilon)\" alt=\"N\\cdot (-2.72727 + \\log 1\/\\varepsilon)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c9\/4e4\/ac4\/9c94e4ac49052adfc1c0c3d85740165a.svg\" width=\"207\" height=\"22\"\/>. <\/p>\n<p>\u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0438\u0445 <strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4e0\/3e4\/8c2\/4e03e48c2a0dd4d7f7b443d537f9ac32.svg\" width=\"9\" height=\"12\"\/><\/strong> (\u043d\u043e \u0432\u0441\u0451 \u0435\u0449\u0451  \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 1) \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0434\u0440\u0443\u0433\u0430\u044f \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044f. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0437\u043e\u0431\u044c\u0435\u043c \u043f\u0440\u043e\u043c\u0435\u0436\u0443\u0442\u043e\u043a [0,1] \u043d\u0430 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0435 \u043e\u0442\u0440\u0435\u0437\u043a\u0438 \u0434\u043b\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta\" alt=\"\\delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/56b\/311\/ff3\/56b311ff35a96de09acd93c98bed2082.svg\" width=\"9\" height=\"18\"\/>, \u0438 \u0431\u0443\u0434\u0435\u043c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u043d\u043e\u043c\u0435\u0440 \u043e\u0442\u0440\u0435\u0437\u043a\u0430, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043f\u0430\u043b\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044f. \u042d\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0438\u043c\u0435\u0435\u0442 \u043e\u0431\u044a\u0451\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\\cdot (H_{B(2,10)}+ \\log(1\/\\delta))\" alt=\"N\\cdot (H_{B(2,10)}+ \\log(1\/\\delta))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/212\/815\/b7e\/212815b7e10e32e79ac1fff1d510e4d0.svg\" width=\"203\" height=\"25\"\/> (\u0441\u043c. <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#task_1.7\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u0434\u0430\u0447\u0443 1.7<\/a>).  \u0412 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u0435 \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u043e\u0442\u0432\u0435\u0442\u0435 \u043d\u0430\u0448\u0430 \u043e\u0448\u0438\u0431\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0430 \u0434\u043b\u0438\u043d\u043e\u0439 \u043e\u0442\u0440\u0435\u0437\u043a\u0430,  \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043c\u044b \u043f\u043e\u043f\u0430\u043b\u0438. \u0415\u0441\u043b\u0438 \u043e\u0442\u0432\u0435\u0442\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0443 \u043e\u0442\u0440\u0435\u0437\u043a\u0430 \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f (\u0447\u0442\u043e \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c\u043e, \u043a\u043e\u0433\u0434\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0438 \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0435), \u0442\u043e \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u0440\u0430\u043c\u043a\u0430\u0445 \u043e\u0442\u0440\u0435\u0437\u043a\u0430 \u0434\u043b\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta\" alt=\"\\delta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/27f\/20a\/66a\/27f20a66a5437142612581af8383405a.svg\" width=\"9\" height=\"18\"\/>\u0440\u0430\u0432\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta\/\\sqrt{12} \" alt=\"\\delta\/\\sqrt{12} \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/576\/f40\/9db\/576f409dbd733e72b2857611b942da0a.svg\" width=\"54\" height=\"24\"\/>. \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0437\u0430\u0434\u0430\u043d\u043d\u0443\u044e \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043e\u0448\u0438\u0431\u043a\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/099\/d58\/cb2\/099d58cb2d2c76a0a2a93c7dd1b81a4e.svg\" width=\"9\" height=\"12\"\/>, \u043d\u0443\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043e\u0442\u0440\u0435\u0437\u043a\u0438 \u0434\u043b\u0438\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta=\\sqrt{12}\\cdot \\varepsilon\" alt=\"\\delta=\\sqrt{12}\\cdot \\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c82\/06b\/b6e\/c8206bb6e2c3b29ac6e761514e37eec6.svg\" width=\"94\" height=\"23\"\/>. \u0418\u0442\u043e\u0433\u043e \u043e\u0442\u0432\u0435\u0442 \u0440\u0430\u0432\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\\cdot (-2.20487 + \\log 1\/\\varepsilon)\" alt=\"N\\cdot (-2.20487 + \\log 1\/\\varepsilon)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/449\/b45\/14a\/449b4514ab087c67dcd7fb8d8f95d9fc.svg\" width=\"207\" height=\"22\"\/>. <\/p>\n<p>\u041e\u0431\u0430 \u043f\u043e\u0434\u0445\u043e\u0434\u0430 \u0434\u0430\u044e\u0442 \u043e\u0442\u0432\u0435\u0442 \u0432\u0438\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"N\\cdot (c + \\log 1\/\\varepsilon)\" alt=\"N\\cdot (c + \\log 1\/\\varepsilon)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f6\/666\/ba6\/2f6666ba65cad032ccafb26b91e9420e.svg\" width=\"136\" height=\"22\"\/>. \u0418\u0434\u0435\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0438\u043b\u044c\u0442\u0440\u0430 \u0411\u043b\u044e\u043c\u0430 \u0434\u043b\u044f \u0445\u0440\u0430\u043d\u0435\u043d\u0438\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0442\u0440\u0435\u0437\u043a\u0430 \u0434\u0430\u0451\u0442 \u0442\u043e\u0442 \u0436\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.6.<\/strong> \u041f\u0443\u0441\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0441\u043c\u044b\u0441\u043b \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u2013 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043b\u0438\u043a\u0430 \u043d\u0430 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0435.  \u041f\u0435\u0440\u0435\u043d\u0443\u043c\u0435\u0440\u0443\u0435\u043c \u0432\u0441\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0443\u0431\u044b\u0432\u0430\u043d\u0438\u044f \u0438\u0445 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0439 \u0434\u043e\u043b\u0438 \u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u043f\u043e\u0440\u044f\u0434\u043a\u043e\u0432\u044b\u0439 \u043d\u043e\u043c\u0435\u0440 \u043a\u0430\u043a order_id, \u0430 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043a\u0430\u043a id. \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b ML \u0441 \u043e\u0433\u0440\u0443\u0431\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u043e\u043c\u0435\u0440\u0430 (\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430) \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438 \u0434\u043e \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0447\u0438\u0441\u043b\u0430 \u043e\u0442 1 \u0434\u043e 1000. \u042d\u0442\u043e \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044f\u0437\u0430\u043d\u043e \u0441\u0432\u044f\u0437\u0430\u043d\u043e,  \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u0432\u044b \u0445\u043e\u0442\u0438\u0442\u0435 \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443 \u043f\u043e \u0438\u0441\u0442\u043e\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0434\u0430\u043d\u043d\u044b\u043c \u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c \u0445\u0440\u0430\u043d\u0438\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e 1000 \u043f\u0430\u0440 (\u043f\u043e\u043a\u0430\u0437\u044b, \u043a\u043b\u0438\u043a\u0438). \u0412\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u043e\u0433\u0440\u0443\u0431\u043b\u0435\u043d\u0438\u044f \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438:<br \/>(a) \u043e\u0433\u0440\u0443\u0431\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0440\u0430\u0432\u043d\u044b\u0439 id&#8217; = id \/\/ 1000  (\u0446\u0435\u043b\u043e\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 1000);<br \/>(b) \u043e\u0433\u0440\u0443\u0431\u043b\u0435\u043d\u043d\u044b\u0439 \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u0440\u0430\u0432\u043d\u044b\u0439 id&#8217; = order_id \u0434\u043b\u044f \u0442\u043e\u043f\u043e\u0432\u044b\u0445 999 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439 \u043f\u043e \u0434\u043e\u043b\u0435, \u0430 \u0432\u0441\u0435\u043c \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u043c \u043d\u0430\u0437\u043d\u0430\u0447\u0438\u0442\u044c \u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 1000;<br \/>(\u0441) \u043a\u0430\u043a\u043e\u0439-\u0442\u043e \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u0433\u0440\u0443\u0431\u043b\u0435\u043d\u0438\u044f id&#8217; = G(id), \u0433\u0434\u0435 G \u2013 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u0431\u0430\u0437\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043a\u043b\u0438\u043a\u043e\u0432 \u043d\u0430 100 \u043c\u043b\u043d \u043f\u043e\u043a\u0430\u0437\u043e\u0432, \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u044b\u0439 \u043f\u043e\u043a\u0430\u0437 \u0438\u043c\u0435\u0435\u0442 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u044e \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0440\u043e\u0432\u043d\u043e\u0439 \u0434\u043e\u043b\u0435 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0439, \u0430 \u043a\u043b\u0438\u043a \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043a\u043b\u0438\u043a\u0430 \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0438.<br \/>\u041e\u0446\u0435\u043d\u0438\u0442\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438 <em>error<\/em> \u0432 \u044d\u0442\u0438\u0445 \u0442\u0440\u0451\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u0445, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"error = (LL_0 - LL)\/n, \" alt=\"error = (LL_0 - LL)\/n, \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb3\/4f2\/bbe\/eb34f2bbe64e1859d1713fc03e895e75.svg\" width=\"199\" height=\"22\"\/> \u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" LL=-{\\sum}_{i=1}^n t_i \\log(p_i) + (1-t_i)\\log(1-p_i)\" alt=\" LL=-{\\sum}_{i=1}^n t_i \\log(p_i) + (1-t_i)\\log(1-p_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c04\/09f\/068\/c0409f0682e6f6be102e4d34219bc40c.svg\" width=\"374\" height=\"32\"\/>, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"LL_0\" alt=\"LL_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b46\/35b\/e41\/b4635be414af4ad9f15463f1d3f31d6b.svg\" width=\"35\" height=\"20\"\/>\u2013 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"LL\" alt=\"LL\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1d8\/9c2\/eb7\/1d89c2eb7b85ddf861b98500ee44a510.svg\" width=\"27\" height=\"17\"\/> \u0434\u043b\u044f \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_i = t_i\" alt=\"p_i = t_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8a9\/371\/583\/8a93715839dbc105cc5f9c3fc976d49e.svg\" width=\"57\" height=\"19\"\/>.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.7.<\/strong> \u041f\u0443\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target ={\\sum}_{i=1}^{45} w_i\\cdot f_i +0.02 \\cdot \\nu\" alt=\"target ={\\sum}_{i=1}^{45} w_i\\cdot f_i +0.02 \\cdot \\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c7\/afe\/7e0\/0c7afe7e079b9c7b4549009695c0e28b.svg\" width=\"264\" height=\"35\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nu\" alt=\"\\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d3\/735\/b4e\/2d3735b4e5f929609986a9b0402d90cc.svg\" width=\"10\" height=\"12\"\/>\u2013 \u044d\u0442\u043e \u0448\u0443\u043c, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2f9\/f31\/4dd\/2f9f314dd216825f0bda384fd6bbf5de.svg\" width=\"63\" height=\"23\"\/>. \u0410 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict = {\\sum}_{i=1}^{50} w_i\\cdot f_i +0.02 \\cdot \\nu,\" alt=\"predict = {\\sum}_{i=1}^{50} w_i\\cdot f_i +0.02 \\cdot \\nu,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9f8\/1ae\/3f2\/9f81ae3f21d37e9c5e12caa1cec089b5.svg\" width=\"279\" height=\"35\"\/> <br \/>\u0433\u0434\u0435 \u0432\u0435\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_1,w_2, \\ldots,w_{70}\" alt=\"w_1,w_2, \\ldots,w_{70}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d6\/195\/842\/4d619584272531ff651b95f948859283.svg\" width=\"128\" height=\"15\"\/> \u0432\u0430\u043c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0438 \u0438\u043c\u0435\u044e\u0442 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043b\u0430\u043f\u043b\u0430\u0441\u0430 \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c 0 \u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 1. \u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 5 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0431\u0435\u0441\u043f\u043e\u043b\u0435\u0437\u043d\u044b \u0434\u043b\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. \u041a\u0430\u043a\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u0442\u044c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u043e\u0448\u0438\u0431\u043a\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mse={\\sum}_{i=1}^n(predict_i - target_i)^2 \/ n  \\le 0.04^2\" alt=\"mse={\\sum}_{i=1}^n(predict_i - target_i)^2 \/ n  \\le 0.04^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e80\/fe6\/bbb\/e80fe6bbba9c69348e2a74cb7b2daccf.svg\" width=\"378\" height=\"32\"\/>. <\/p>\n<p>    \u0421\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0439\u0442\u0435 \u0442\u0440\u0438 \u043f\u0443\u043b\u0430 \u21161, \u21162, \u21163 c  \u0440\u0430\u0437\u043c\u0435\u0440\u0430\u043c\u0438 50, 50, 100000 \u0438 \u0443\u0437\u043d\u0430\u0439\u0442\u0435 \u043a\u0430\u043a \u043b\u0443\u0447\u0448\u0435 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u2013 (\u0430), (\u0431) \u0438\u043b\u0438 (\u0432):<br \/>(\u0430) \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u043f\u0443\u043b\u0430 \u0432 \u043e\u0434\u0438\u043d \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0432\u0435\u0441\u0430, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mse\" alt=\"mse\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/704\/641\/d20\/704641d2074c26d254ef699550dba9d1.svg\" width=\"35\" height=\"12\"\/>\u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0443\u043b\u0435<br \/>(\u0431) \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445  \u043f\u0430\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\lambda_1, \\lambda_2)\" alt=\"(\\lambda_1, \\lambda_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/409\/dcd\/10a\/409dcd10a98b21e2bde8e16acbb0d61c.svg\" width=\"64\" height=\"22\"\/>, \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0432\u0435\u0441\u0430, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mse  + \\lambda_1  \\sum |w_i| + \\lambda_2 \\cdot \\sum w_i^2\" alt=\"mse  + \\lambda_1  \\sum |w_i| + \\lambda_2 \\cdot \\sum w_i^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/364\/a51\/6bc\/364a516bcd575de545d70d3117a0322c.svg\" width=\"258\" height=\"30\"\/> \u043d\u0430 \u043f\u0443\u043b\u0435 \u21161;  \u0438\u0437 \u0432\u0441\u0435\u0445 \u043f\u0430\u0440 \u0432\u044b\u0431\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u043f\u0430\u0440\u0443  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_1\" alt=\"\\lambda_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7f\/b27\/84a\/b7fb2784adceb50d9bd7001d0df13feb.svg\" width=\"20\" height=\"19\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_2\" alt=\"\\lambda_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d16\/f99\/044\/d16f990441fb50477c81f2c13bd469de.svg\" width=\"20\" height=\"19\"\/> , \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043c\u0438\u043d\u0438\u043c\u0443\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mse\" alt=\"mse\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c7\/f32\/09a\/9c7f3209a30c4880abda8d132d7f2971.svg\" width=\"35\" height=\"12\"\/>\u043d\u0430 \u043f\u0443\u043b\u0435 \u21162; \u043f\u0430\u0440\u044b  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\lambda_1, \\lambda_2)\" alt=\"(\\lambda_1, \\lambda_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/409\/dcd\/10a\/409dcd10a98b21e2bde8e16acbb0d61c.svg\" width=\"64\" height=\"22\"\/> \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0432\u0437\u044f\u0442\u044c \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"A \\times B,\" alt=\"A \\times B,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/45a\/b27\/a4a\/45ab27a4a14f4d672e09262d51cc3e63.svg\" width=\"59\" height=\"20\"\/>  \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"A\" alt=\"A\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7a\/8ff\/3eb\/a7a8ff3eb51da99e6e61631bf61ca1da.svg\" width=\"15\" height=\"17\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"B\" alt=\"B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/831\/5be\/fa0\/8315befa098995a5eecbbbf27456d5bb.svg\" width=\"15\" height=\"17\"\/> \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u043e\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q=1.2\" alt=\"q=1.2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2eb\/dfc\/61e\/2ebdfc61e34575cb827b59c09bb7a2b6.svg\" width=\"60\" height=\"20\"\/> \u043e\u0442<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1\/10^3\" alt=\"1\/10^3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/483\/ff2\/334\/483ff2334a446c61082bb594f0b2188a.svg\" width=\"48\" height=\"25\"\/>\u0434\u043e 1.  \u041d\u0430\u0440\u0438\u0441\u0443\u0439\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u043e\u0448\u0438\u0431\u043a\u0438 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_1\" alt=\"\\lambda_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7f\/b27\/84a\/b7fb2784adceb50d9bd7001d0df13feb.svg\" width=\"20\" height=\"19\"\/>, \u043f\u043e\u043b\u043e\u0436\u0438\u0432<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_2 = 0\" alt=\"\\lambda_2 = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e74\/8bc\/119\/e748bc119d04801e134f7f05253da486.svg\" width=\"56\" height=\"19\"\/>. <br \/>(\u0432) \u0441\u043e\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u0434\u0432\u0430 \u043f\u0443\u043b\u0430 \u0432 \u043e\u0434\u0438\u043d \u0438 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u043d\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0438\u0435 \u0432\u0435\u0441\u0430, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044e\u0449\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mse  + \\lambda_1  \\sum |w_i| + \\lambda_2 \\cdot \\sum w_i^2\" alt=\"mse  + \\lambda_1  \\sum |w_i| + \\lambda_2 \\cdot \\sum w_i^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/364\/a51\/6bc\/364a516bcd575de545d70d3117a0322c.svg\" width=\"258\" height=\"30\"\/>\u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0443\u043b\u0435; \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_1\" alt=\"\\lambda_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b7f\/b27\/84a\/b7fb2784adceb50d9bd7001d0df13feb.svg\" width=\"20\" height=\"19\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_2\" alt=\"\\lambda_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d16\/f99\/044\/d16f990441fb50477c81f2c13bd469de.svg\" width=\"20\" height=\"19\"\/>  \u0432\u0437\u044f\u0442\u044c \u0438\u0437 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0435\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f. <br \/>    \u041c\u0435\u0442\u043e\u0434 \u0442\u0435\u043c \u043b\u0443\u0447\u0448\u0435, \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u0430 \u043f\u0443\u043b\u0435 \u21163, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044e \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438. \u0421\u0442\u0430\u0431\u0438\u043b\u0435\u043d \u043b\u0438 \u043f\u043e\u0431\u0435\u0434\u0438\u0442\u0435\u043b\u044c, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0435 \u043d\u043e\u0432\u044b\u0435 \u043f\u0443\u043b\u044b? \u041d\u0430\u0440\u0438\u0441\u0443\u0439\u0442\u0435 \u0442\u0430\u0431\u043b\u0438\u0446\u0443 3&#215;3 mse \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u0442\u0440\u0451\u0445 \u043f\u0443\u043b\u0430\u0445 \u0432 \u044d\u0442\u0438\u0445 \u0442\u0440\u0451\u0445 \u043c\u0435\u0442\u043e\u0434\u0430\u0445. <br \/>\u041a\u0430\u043a \u043f\u0430\u0434\u0430\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0430 \u043d\u0430 \u043f\u0443\u043b\u0435 \u21163 \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u043e\u0432 \u043f\u0443\u043b\u043e\u0432 \u21161 \u0438 \u21162?<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.8.<\/strong> \u041f\u0443\u0441\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target =l_1(\\vec{f})+ l_2(\\vec{f}) +l_3(\\vec{f})+\\nu\" alt=\"target =l_1(\\vec{f})+ l_2(\\vec{f}) +l_3(\\vec{f})+\\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/71f\/421\/99e\/71f42199e3381cc1276e49559ab2c3fe.svg\" width=\"291\" height=\"27\"\/>, \u0433\u0434\u0435<\/p>\n<ul>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nu\" alt=\"\\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2d3\/735\/b4e\/2d3735b4e5f929609986a9b0402d90cc.svg\" width=\"10\" height=\"12\"\/>\u2013 \u044d\u0442\u043e \u0448\u0443\u043c, \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,\\delta^2)\" alt=\"\\mathcal{N}(0,\\delta^2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/19b\/200\/73a\/19b20073a052201ffc567be914c86b14.svg\" width=\"71\" height=\"25\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\delta=0.02\" alt=\"\\delta=0.02\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/026\/4d6\/50b\/0264d650be21ef1bd453d1f97b17bf57.svg\" width=\"70\" height=\"18\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0444\u0430\u043a\u0442\u043e\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\vec{f}=\\|f_1,\\ldots,f_{m}\\|^t\" alt=\"\\vec{f}=\\|f_1,\\ldots,f_{m}\\|^t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a7\/c75\/192\/5a7c7519218ae24dc1528f97abd6e9b2.svg\" width=\"152\" height=\"27\"\/> \u2013 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0441 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"[-1,1]\" alt=\"[-1,1]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a15\/6f2\/102\/a156f2102b618df870a3f80617fa74e9.svg\" width=\"54\" height=\"22\"\/>, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m=10\" alt=\"m=10\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/315\/4cf\/07f\/3154cf07f6a6a956b1316ef9f4540a5f.svg\" width=\"63\" height=\"17\"\/>.<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l_1(\\vec{f})=\\sum w_{i}\\cdot f_i\" alt=\"l_1(\\vec{f})=\\sum w_{i}\\cdot f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e9\/c75\/b2e\/6e9c75b2e21db3435408f7cedfad6f80.svg\" width=\"152\" height=\"31\"\/>\u2013 \u044d\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438 \u0438\u0437<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40a\/965\/ea2\/40a965ea2a0681e22474b357f3ec8813.svg\" width=\"63\" height=\"23\"\/>.<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l_2(\\vec{f})={1 \\over 2}\\sum w_{ij}\\cdot f_i\\cdot f_j\" alt=\"l_2(\\vec{f})={1 \\over 2}\\sum w_{ij}\\cdot f_i\\cdot f_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c34\/7fa\/a39\/c347faa390cdc39c3f051ad3cc1b8699.svg\" width=\"209\" height=\"43\"\/> \u2013 \u044d\u0442\u043e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u043e\u0434\u043d\u043e\u0440\u043e\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{ij}\" alt=\"w_{ij}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/690\/4d6\/f76\/6904d6f763f60907bd4446372be3a227.svg\" width=\"26\" height=\"17\"\/>\u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u043a\u0440\u043e\u043c\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m_2=20\" alt=\"m_2=20\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/518\/1c9\/fe4\/5181c9fe4e59cedf751c0d50c6c0a214.svg\" width=\"72\" height=\"19\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435  \u0431\u044b\u043b\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438\u0437 \u0438\u0437<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40a\/965\/ea2\/40a965ea2a0681e22474b357f3ec8813.svg\" width=\"63\" height=\"23\"\/>.<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"l_3(\\vec{f})={1 \\over 6}\\sum w_{ijk}\\cdot f_i\\cdot f_j\\cdot f_j\" alt=\"l_3(\\vec{f})={1 \\over 6}\\sum w_{ijk}\\cdot f_i\\cdot f_j\\cdot f_j\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/765\/d91\/240\/765d9124039645132ce7c86f48f59a40.svg\" width=\"248\" height=\"43\"\/> \u2013 \u044d\u0442\u043e \u043a\u0443\u0431\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0434\u043d\u043e\u0440\u043e\u0434\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{ijk}\" alt=\"w_{ijk}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cf\/134\/526\/2cf1345267cc57739dafe8addd2f2745.svg\" width=\"34\" height=\"17\"\/>\u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u043a\u0440\u043e\u043c\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"m_3=20\" alt=\"m_3=20\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b43\/1a1\/77d\/b431a177d325de29870ba62641fde820.svg\" width=\"72\" height=\"20\"\/>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0431\u044b\u043b\u0438 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438\u0437 \u0438\u0437<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/40a\/965\/ea2\/40a965ea2a0681e22474b357f3ec8813.svg\" width=\"63\" height=\"23\"\/>.<\/p>\n<\/li>\n<\/ul>\n<p>\u041a\u0430\u043a\u0430\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0448\u0438\u0431\u043a\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 <em>\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u0438\u0445<\/em> \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0443\u043b\u0430\u0445 \u043f\u043e \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target(\\vec{f})\" alt=\"target(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1e2\/ca6\/a1b\/1e2ca6a1b1d508dcc2b9f7b47ac311c9.svg\" width=\"81\" height=\"27\"\/>(\u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_i, \\; w_{ij},\\; w_{ijk}\" alt=\"w_i, \\; w_{ij},\\; w_{ijk}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/834\/64a\/20a\/83464a20a1823a4e94b5a86f6d93c530.svg\" width=\"109\" height=\"17\"\/>) \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f \u043a\u043e\u0433\u0434\u0430 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c<\/p>\n<ul>\n<li>\n<p>(\u04300) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})\" alt=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/956\/0e3\/546\/9560e354659a96a46987e4fc61cdbbe4.svg\" width=\"113\" height=\"27\"\/> \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>(\u04310) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})+l_2(\\vec{f})\" alt=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})+l_2(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/509\/0e6\/55a\/5090e655a2844c3a8c812350168b7e67.svg\" width=\"181\" height=\"27\"\/> \u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432.<\/p>\n<\/li>\n<li>\n<p>(\u04301) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})\" alt=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/449\/e13\/fee\/449e13fee6bf254be0a26d6ae749474d.svg\" width=\"113\" height=\"27\"\/> \u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c.<\/p>\n<\/li>\n<li>\n<p>(\u04311) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})+l_2(\\vec{f})\" alt=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})+l_2(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/509\/0e6\/55a\/5090e655a2844c3a8c812350168b7e67.svg\" width=\"181\" height=\"27\"\/> \u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c, \u0431\u0435\u0437 \u0437\u043d\u0430\u043d\u0438\u044f, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u044b 0<\/p>\n<\/li>\n<li>\n<p>(\u04321) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})+l_2(\\vec{f})+l_3(\\vec{f})\" alt=\"\\mathcal{P}(\\vec{f})=l_1(\\vec{f})+l_2(\\vec{f})+l_3(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9c9\/43a\/5ba\/9c943a5ba23017386f58a951bcb91e8f.svg\" width=\"249\" height=\"27\"\/> \u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c, \u0431\u0435\u0437 \u0437\u043d\u0430\u043d\u0438\u044f, \u043a\u0430\u043a\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u044b 0.<\/p>\n<\/li>\n<li>\n<p>(\u04331) <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\\vec{f})\" alt=\"\\mathcal{P}(\\vec{f})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/806\/f78\/ca9\/806f78ca9011fb2171ae88ffca49cc47.svg\" width=\"43\" height=\"27\"\/> \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c \u0433\u043b\u0443\u0431\u0438\u043d\u044b d = 5, \u0440\u0430\u0437\u043c\u0435\u0440 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0441\u043b\u043e\u0451\u0432 h=5 (\u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440 h x h). <\/p>\n<\/li>\n<\/ul>\n<p>\u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u2013 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u0443\u043b, \u0443\u0434\u0432\u043e\u0435\u043d\u0438\u0435 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435 \u0434\u0430\u0451\u0442 \u0437\u0430\u043c\u0435\u0442\u043d\u043e\u0433\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u0442\u0435\u0441\u0442\u0435.<\/p>\n<p>\u0414\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u2013 \u044d\u0442\u043e \u0442\u0430\u043a\u043e\u0439 \u043f\u0443\u043b, \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0435 \u0432\u043d\u043e\u0441\u0438\u0442 \u043e\u0448\u0438\u0431\u043a\u0438, \u0441\u0440\u0430\u0432\u043d\u0438\u043c\u043e\u0439 \u0441 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0441\u0430\u043c\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438. \u0422\u043e \u0435\u0441\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u043d\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442 \u0432\u0430\u043c \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u043e \u043e\u0448\u0438\u0431\u0438\u0442\u044c\u0441\u044f \u0432 \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0435\u0439. \u0420\u0430\u0437\u0440\u0435\u0448\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u2013 \u044d\u0442\u043e \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430\u0445 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u0441 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e \u043a\u043e\u043d\u0441\u0442\u0430\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c. \u0412 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 6  \u043c\u043e\u0434\u0435\u043b\u0435\u0439.<\/p>\n<p>\u041f\u0440\u043e\u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0439\u0442\u0435 \u044f\u0432\u043b\u0435\u043d\u0438\u0435 <em>\u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f<\/em> \u0432 \u044d\u0442\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u044f\u0445 (\u043a\u0440\u043e\u043c\u0435 \u043f\u0435\u0440\u0432\u044b\u0445 \u0434\u0432\u0443\u0445), \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0432 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430 \u0434\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f. \u041f\u043e\u043f\u0440\u043e\u0431\u0443\u0439\u0442\u0435 \u043e\u0442 \u043d\u0435\u0433\u043e \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u0441\u044f <br \/>1) \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0447\u043b\u0435\u043d\u044b R1, R2 <br \/>2) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f early stopping <br \/>3) \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f SGD  <br \/>4) \u043c\u0435\u043d\u044f\u044f \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438  <br \/>5) \u0434\u043e\u0431\u0430\u0432\u043b\u044f\u044f Dropout <br \/>6) \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0445  \u043c\u0435\u0442\u043e\u0434\u043e\u0432. <\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0430 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u0437\u0443\u0447\u0438\u0442\u044c \u0443\u0441\u0438\u043b\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. \u0412 \u043c\u043e\u0434\u0435\u043b\u0438 (\u04321) \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u0432\u0437\u044f\u0442\u044c \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430  \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0435 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e. \u0418 \u043f\u043e\u0442\u043e\u043c \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u043e\u0432 \u0441 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u0432 \u043c\u043e\u0434\u0435\u043b\u044c \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u044b\u0445 \u043b\u0438\u0448\u043d\u0438\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432. \u041d\u0430\u0440\u0438\u0441\u0443\u0439\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u0440\u043e\u0441\u0442\u0430 \u043e\u0448\u0438\u0431\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u0442 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 \u0447\u0438\u0441\u043b\u0430 \u043b\u0438\u0448\u043d\u0438\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 \u0432 \u043c\u043e\u0434\u0435\u043b\u0438. \u041d\u0430\u0440\u0438\u0441\u0443\u0439\u0442\u0435 \u0433\u0440\u0430\u0444\u0438\u043a \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 (\u04331) \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 \u0447\u0438\u0441\u043b\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u0441\u043b\u043e\u0451\u0432 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0441\u043b\u043e\u0451\u0432.<\/p>\n<h2>\u041a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438 Mutual Information<\/h2>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0448\u0438\u0431\u043a\u0438:<\/p>\n<p><strong>ML-task \u21163.1:<\/strong> \u041f\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict=\\mathcal{P}(f_1, \\ldots)\" alt=\"predict=\\mathcal{P}(f_1, \\ldots)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a63\/262\/e18\/a63262e186f91a4a9ebfce004fdf8458.svg\" width=\"166\" height=\"22\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442 \u0441\u0440\u0435\u0434\u043d\u044e\u044e \u043e\u0448\u0438\u0431\u043a\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Loss(predict, target)\" alt=\"Loss(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd0\/34f\/a16\/cd034fa16f180d795b9629a3af6b127f.svg\" width=\"177\" height=\"22\"\/>. \u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0431\u0443\u0434\u0435\u0442 \u0438\u0437\u043c\u0435\u0440\u044f\u0442\u044c\u0441\u044f \u043f\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0441\u043a\u0440\u044b\u0442\u043e\u043c \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435.<\/p>\n<p>\u041d\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 MI.<\/p>\n<p><strong>ML-task \u21163.2:<\/strong>  \u041f\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1, \\ldots)\" alt=\"\\mathcal{P}(f_1, \\ldots)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/96f\/d15\/405\/96fd15405c5a2cde0971a5730db881cb.svg\" width=\"79\" height=\"22\"\/>\u0442\u0430\u043a\u0443\u044e, \u0447\u0442\u043e<\/p>\n<ul>\n<li>\n<p>\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435<em> predict<\/em> \u0438\u043c\u0435\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0441 <em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a2\/f04\/792\/6a2f047923d5fe0a2b51b06bf543531d.svg\" width=\"52\" height=\"20\"\/>, <\/em>\u0442\u043e \u0435\u0441\u0442\u044c<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\\to \\mathrm{max}\" alt=\"\\mathrm{MI}(predict, target)\\to \\mathrm{max}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf7\/aad\/cff\/bf7aadcff3473a5927d94a9e637a85c7.svg\" width=\"227\" height=\"22\"\/>;<\/p>\n<\/li>\n<li>\n<p><em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf4\/708\/095\/bf4708095dfc51310253bd0a822d17eb.svg\" width=\"61\" height=\"20\"\/><\/em>\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b5\/108\/b20\/0b5108b2039a50bff8740369afeeb663.svg\" width=\"52\" height=\"20\"\/>, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u043d\u0435\u0432\u044f\u0437\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi = predict - target\" alt=\"\\xi = predict - target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/893\/0ec\/8b1\/8930ec8b188f8443508639ebd62591a9.svg\" width=\"170\" height=\"21\"\/>\u0440\u0430\u0432\u043d\u043e 0 \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict = x\" alt=\"predict = x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c3b\/8fb\/5f7\/c3b8fb5f7d3ae401a3d9cb35361c165f.svg\" width=\"98\" height=\"20\"\/> \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/22e\/3da\/dbe\/22e3dadbefa66562734d7dfe5f86b471.svg\" width=\"11\" height=\"12\"\/>.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u043e \u043a\u043e\u0440\u043e\u0442\u043a\u0430\u044f, \u043d\u043e \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0430, \u0442\u0440\u0435\u0431\u0443\u044e\u0449\u0430\u044f \u0440\u044f\u0434 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u0439. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u0442\u0440\u0435\u0431\u0443\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u043c\u043e\u043c\u0435\u043d\u0442\u044b:<\/p>\n<ul>\n<li>\n<p>\u0412 \u043a\u0430\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u043f\u0430\u0440\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(predict, target)\" alt=\"(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6d\/001\/7e2\/e6d0017e23deecfa70a60861fbb2b694.svg\" width=\"136\" height=\"22\"\/>\u043c\u043e\u0436\u0435\u0442 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u043f\u0430\u0440\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445  \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d?<\/p>\n<\/li>\n<li>\n<p>\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043d\u0435\u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u044b\u043c, \u0435\u0441\u043b\u0438 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0434\u0430\u043d\u043d\u044b\u0445, \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043c\u044b \u043e\u0431\u0443\u0447\u0430\u0435\u043c\u0441\u044f \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u0435\u043c\u0441\u044f, \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e.<\/p>\n<\/li>\n<\/ul>\n<p>\u042d\u0442\u0438 \u043c\u043e\u043c\u0435\u043d\u0442\u044b, \u0432 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u0435, \u0440\u0435\u0448\u0430\u044e\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e. \u041f\u0440\u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u043c\u044b \u043a\u0430\u043a \u0431\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u043f\u0440\u0438\u043c\u0435\u0440 \u0438\u0437 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u043f\u0430\u0440\u0443 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(predict, target)\" alt=\"(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e6d\/001\/7e2\/e6d0017e23deecfa70a60861fbb2b694.svg\" width=\"136\" height=\"22\"\/>. \u0410 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c \u0442\u0430\u043a, \u043a\u0430\u043a \u044d\u0442\u043e\u0442 \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u044e\u0442 \u0432 \u043c\u0430\u0442. \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435 \u0432 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u2013 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u043c \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u043c \u043f\u0443\u043b\u0430\u043c.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0414\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1, \\ldots, f_k)\" alt=\"\\mathcal{P}(f_1, \\ldots, f_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c14\/acc\/7af\/c14acc7af4609465a9efb466e87a65a8.svg\" width=\"110\" height=\"22\"\/>\u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043c\u044b \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u043c \u0441\u0442\u0440\u043e\u0447\u043a\u0443 \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430, \u0431\u0435\u0440\u0451\u043c \u0438\u0437 \u043d\u0435\u0451 \u043d\u0430\u0431\u043e\u0440 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(f_1, \\ldots, f_k)\" alt=\"(f_1, \\ldots, f_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0c0\/e23\/03f\/0c0e2303ffdcf2f86fb0198a7558e33a.svg\" width=\"96\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/929\/c71\/c7c\/929c71c7c1fedf1efac5dd60e7779c87.svg\" width=\"52\" height=\"20\"\/>, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u0432  \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e9a\/d2c\/582\/e9ad2c5824a71cddb194483090f6656f.svg\" width=\"61\" height=\"20\"\/> \u0438 \u043f\u0430\u0440\u0443 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445  \u0432\u0435\u043b\u0438\u0447\u0438\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(predict, target)\" alt=\"(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/884\/407\/c0f\/884407c0feb058ee9dbbab6160193a8a.svg\" width=\"136\" height=\"22\"\/>.<\/p>\n<p>\u0422\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u043a\u0430\u043a \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043f\u0440\u0438 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u043e\u0432 \u043a\u0430\u043a \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0422\u043e \u0435\u0441\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0439 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u0434\u0430\u0441\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u043c \u2013 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0440\u0430\u0437\u043d\u0438\u0446\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict - target\" alt=\"predict - target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ba4\/747\/9a9\/ba47479a9872a446ee43152973bf95b7.svg\" width=\"136\" height=\"21\"\/>\u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e \u043d\u0443\u043b\u044e \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043d\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u0438\u0437 \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0433\u043e \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430. \u041d\u043e \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0440\u0430\u0437\u043d\u0438\u0446\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"avg(predict) - target\" alt=\"avg(predict) - target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8c\/6ca\/cbe\/f8c6cacbe64914df28fc34452d9b81a4.svg\" width=\"180\" height=\"22\"\/>, \u0433\u0434\u0435 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u043c\u043e\u0434\u0435\u043b\u044f\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c, \u043e\u0431\u0443\u0447\u0430\u044f\u0441\u044c \u043d\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0443\u043b\u0430\u0445 \u0438 \u0442\u0435\u0441\u0442\u0438\u0440\u0443\u044f \u043d\u0430 \u0433\u0438\u043f\u043e\u0442\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0445 \u043f\u0443\u043b\u0430\u0445. \u0414\u0440\u0443\u0433\u043e\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u043b\u0435\u0433\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u0438 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u2013 \u044d\u0442\u043e \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0435, \u043f\u0440\u0438 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430 \u0432 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u044c. \u0422\u0430\u043a\u0438\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0434\u0430\u044e\u0442 \u0448\u0430\u043d\u0441 \u043d\u0430 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 ML-task \u21163.2.2. \u041d\u043e \u0447\u0435\u0441\u0442\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u044f, \u043d\u0438 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u044b, \u043d\u0438 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u043a\u0438 ML \u043d\u0435 \u0443\u0434\u0435\u043b\u044f\u044e\u0442 \u0432\u043e\u043f\u0440\u043e\u0441\u0443 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u044f, \u043a\u0430\u043a \u044d\u0442\u043e \u043e\u0431\u044b\u0447\u043d\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0432 \u043c\u0435\u0442\u043e\u0434\u0430\u0445 \u043c\u0430\u0442. \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438. ML-\u0449\u0438\u043a\u0438 \u044d\u0442\u043e \u043f\u0440\u0438\u0437\u043d\u0430\u044e\u0442, \u0438 \u043e\u0442\u043a\u0440\u044b\u0442\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u0447\u0438\u0442\u0430\u044e\u0442 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0438 \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u0442\u044c \u0441\u0432\u043e\u0438 \u043c\u0435\u0442\u043e\u0434\u044b \u043d\u0430 \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0438\u043b\u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u043e \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u043e\u0448\u0438\u0431\u043a\u0438, \u043d\u0435 \u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u044f \u0438\u0445 \u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u044c.<\/p>\n<p>\u041d\u043e \u043c\u043d\u0435 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c, \u0447\u0442\u043e\u0431\u044b \u043f\u0435\u0440\u0435\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 MI.<\/p>\n<\/div>\n<\/details>\n<p>\u0418\u0442\u0430\u043a, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0442\u044c \u0441\u0435\u0431\u0435 \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b \u043a\u0430\u043a \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044e \u0442\u0435\u043e\u0440\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438.<\/p>\n<p><strong>\u041e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 3.2:<\/strong> Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0440\u0430\u0432\u043d\u0443\u044e \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044e \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{\\xi^2}\" alt=\"M_{\\xi^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4b9\/095\/ca1\/4b9095ca10f2c615198607a86edc428f.svg\" width=\"33\" height=\"25\"\/> \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bdd\/a4c\/6a7\/bdda4c6a7f5e1e523c5f8653d5223ab9.svg\" width=\"22\" height=\"19\"\/><strong>\u2013 \u043e\u0448\u0438\u0431\u043a\u043e\u0439<\/strong> \u0438\u043b\u0438 <strong>\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439<\/strong> \u0438\u043b\u0438 <strong>mse<\/strong>. \u0410 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{|\\xi|^p}\" alt=\"M_{|\\xi|^p}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/182\/6df\/7d6\/1826df7d6f605c30c089af16ff1eff0b.svg\" width=\"41\" height=\"24\"\/> \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_p\" alt=\"L_p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6da\/39d\/450\/6da39d450ed99e4741b764c05570aa45.svg\" width=\"22\" height=\"22\"\/><strong>\u2013 \u043e\u0448\u0438\u0431\u043a\u043e\u0439<\/strong>.<\/p>\n<p><strong>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 3.1:<\/strong> \u041f\u0443\u0441\u0442\u044c \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 ML-task \u21163.2.2 \u0438\u043b\u0438  ML-task \u21163.2.1 \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e \u043d\u0435\u0432\u044f\u0437\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi = predict - target\" alt=\"\\xi = predict - target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a63\/4b7\/737\/a634b7737ca578e2e128c2e6f558218e.svg\" width=\"170\" height=\"21\"\/> \u043e\u0431\u043b\u0430\u0434\u0430\u0435\u0442 \u0434\u0432\u0443\u043c\u044f \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430\u043c\u0438:<\/p>\n<ol>\n<li>\n<p>\u042f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c (\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435 \u0441\u043c\u0435\u0449\u0451\u043d) \u043f\u0440\u0438 \u043b\u044e\u0431\u043e\u043c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d45\/8cb\/d6d\/d458cbd6d4cfc7ea80ec4580f6e60771.svg\" width=\"61\" height=\"20\"\/>.<\/p>\n<\/li>\n<li>\n<p>\u0418\u043c\u0435\u0435\u0442 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d29\/dee\/7b3\/d29dee7b302454ac45e9f69f88a3c8b4.svg\" width=\"61\" height=\"20\"\/>.<\/p>\n<\/li>\n<\/ol>\n<p>\u0422\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 ML-task \u21163.1 \u0438 ML-task \u21163.2 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b \u0434\u043b\u044f Loss=mse, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 &#171;maximize MI&#187; \u0434\u0430\u0451\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0442\u0432\u0435\u0442, \u0447\u0442\u043e \u0438 \u0437\u0430\u0434\u0430\u0447\u0430 &#171;minimize mse-\u043e\u0448\u0438\u0431\u043a\u0443&#187;.<\/p>\n<p>\u041a\u043e\u043d\u0435\u0447\u043d\u043e, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u044b\u0435 \u0432 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0440\u0435\u0434\u043a\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u044e\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435, \u043d\u043e \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u044d\u0442\u043e\u0442 \u0444\u0430\u043a\u0442 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0435\u043d.<br \/>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u044d\u0442\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u044b \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u043a\u0442\u043e\u0440 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"n\" alt=\"n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/709\/fb1\/31d\/709fb131ddb81f4cb28bd51c2da3e9cf.svg\" width=\"12\" height=\"12\"\/> \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/18d\/1f8\/401\/18d1f84010fd673e6ddb595b4f45c08a.svg\" width=\"52\" height=\"20\"\/>-\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(f_1, f_2, \\ldots, f_n, target)\" alt=\"(f_1, f_2, \\ldots, f_n, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/50e\/3f8\/c6c\/50e3f8c6c4be81f8bc1aff5c9a2b2af3.svg\" width=\"184\" height=\"22\"\/>\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435\u043c \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u043e\u0439 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u0442\u0430\u043a \u0438 \u0431\u0443\u0434\u0435\u0442, \u0435\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/515\/677\/3b0\/5156773b00b60438b813cd5006c6f43c.svg\" width=\"52\" height=\"20\"\/> \u0435\u0441\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0438 \u0434\u0430\u043d\u044b \u043a\u0430\u043a \u0444\u0430\u043a\u0442\u043e\u0440\u044b. \u0422\u043e\u0433\u0434\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0442\u043e\u0436\u0435 \u0438\u0441\u043a\u0430\u0442\u044c \u043a\u0430\u043a \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044e \u0434\u0430\u043d\u043d\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432.<br \/>\u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(target, predict) = \\log({\\sigma_t^2 \/ \\sigma_e^2})\" alt=\"\\mathrm{MI}(target, predict) = \\log({\\sigma_t^2 \/ \\sigma_e^2})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8f8\/f71\/870\/8f8f718705b05d6165d256df3c52aec1.svg\" width=\"277\" height=\"24\"\/>, <\/p>\n<p>\u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma_e^2\" alt=\"\\sigma_e^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9b9\/c87\/c56\/9b9c87c56cffb5e3e0313987b1821137.svg\" width=\"20\" height=\"22\"\/> \u0438 \u0435\u0441\u0442\u044c \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430, \u0442\u043e \u0435\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{\\xi^2} = M_{{(target - predict)}^2}\" alt=\"M_{\\xi^2} = M_{{(target - predict)}^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/20f\/bf6\/664\/20fbf666437ac40a5563af7aa096b817.svg\" width=\"187\" height=\"26\"\/>, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma_t^2\" alt=\"\\sigma_t^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8dc\/36e\/e8c\/8dc36ee8c15367c9dd029d78f77b0ade.svg\" width=\"20\" height=\"24\"\/> \u2014 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5ac\/77e\/413\/5ac77e4136fd2383f4cd28c3478f1870.svg\" width=\"52\" height=\"20\"\/>-\u0430 (\u0441\u043c. \u0437\u0430\u0434\u0430\u0447\u0443 2.8 \u043f\u0440\u043e MI \u0434\u0432\u0443\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d).  \u041f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u0432 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}\" alt=\"\\mathrm{MI}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/230\/84f\/9a7\/23084f9a7baeb4dd9285f76be5c8317b.svg\" width=\"25\" height=\"17\"\/>  \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{\\xi^2}=\\sigma_e^2\" alt=\"M_{\\xi^2}=\\sigma_e^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/de2\/3b4\/6c8\/de23b46c89bc800f9ebd4710f4027a3d.svg\" width=\"79\" height=\"27\"\/><\/p>\n<p>\u041d\u0430\u0434\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0445\u043e\u0442\u044f \u0447\u0438\u0441\u0442\u044b\u0439 \u0438 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u0439 \u043e\u0442<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97f\/772\/2b2\/97f7722b20607025d5a95294983d871b.svg\" width=\"61\" height=\"20\"\/> \u0433\u0430\u0443\u0441\u0441 \u0434\u043b\u044f \u043e\u0448\u0438\u0431\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi\" alt=\"\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dde\/48a\/881\/dde48a88145c2e4ee9600cfa26ff7a8e.svg\" width=\"9\" height=\"21\"\/> \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u043d\u0435 \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f, \u0442\u0435\u043c \u043d\u0435 \u043c\u0435\u043d\u0435\u0435, \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a5b\/297\/417\/a5b297417445e9f3a61a6351d65e4ecc.svg\" width=\"52\" height=\"20\"\/> \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c3\/57a\/7f1\/8c357a7f14c93d117af6cf426e760e9e.svg\" width=\"61\" height=\"20\"\/> \u0447\u0430\u0441\u0442\u043e \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0433\u0430\u0443\u0441\u0441\u043e\u0432\u0441\u043a\u0438\u0439 &#171;\u043a\u043e\u043b\u043e\u043a\u043e\u043b&#187; \u0441 \u0446\u0435\u043d\u0442\u0440\u043e\u043c \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fda\/5b3\/30f\/fda5b330f9340dc1334dce3c2cb58c8e.svg\" width=\"61\" height=\"20\"\/>, \u0438 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0436\u0435 <em>\u043f\u043e\u0447\u0442\u0438<\/em> \u0432\u0435\u0440\u043d\u043e, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 MI \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7c2\/03c\/86f\/7c203c86f79d3f930a84e69780994a69.svg\" width=\"22\" height=\"19\"\/>-\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u043c\u0435\u0442\u0440\u0438\u043a\u0435, \u0433\u0434\u0435 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u0441 \u0432\u0435\u0441\u043e\u043c, \u043d\u0435\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c \u043e\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a2a\/060\/283\/a2a06028300bb188abe64c0a11b75b84.svg\" width=\"61\" height=\"20\"\/>.<\/p>\n<p>\u0422\u043e\u0447\u043d\u0435\u0435 \u0442\u0430\u043a  \u2014 \u0435\u0441\u043b\u0438 \u043a\u043e\u043b\u043e\u043a\u043e\u043b \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\rho_\\xi\" alt=\"\\rho_\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a6f\/727\/dce\/a6f727dce353942abb409d41f84fdc45.svg\" width=\"18\" height=\"17\"\/> \u043e\u0434\u043d\u043e\u043c\u043e\u0434\u0430\u043b\u044c\u043d\u044b\u0439, \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u044b\u0439, \u0441 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u0432\u0435\u0440\u0448\u0438\u043d\u043a\u043e\u0439, \u0442\u043e \u0438 \u043d\u0430\u0439\u0434\u0451\u0442\u0441\u044f \u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e MI. \u042d\u0442\u043e \u043c\u044b \u043e\u0431\u0441\u0443\u0434\u0438\u043c \u043d\u0438\u0436\u0435. <\/p>\n<p>\u0410 \u0441\u0435\u0439\u0447\u0430\u0441 \u043f\u043e\u043f\u0440\u043e\u0431\u0443\u0435\u043c \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u043f\u0440\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447 &#171;maximize MI&#187; \u0438 &#171;minimize <em>L<\/em><sub>2<\/sub>&#187; \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f, \u043e\u043f\u0438\u0441\u0430\u043d\u043d\u043e\u0433\u043e \u0432 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0438 3.1.<\/p>\n<p>\u0412\u0432\u0435\u0434\u0451\u043c \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <strong><em>t<\/em><\/strong> = <strong><em>target<\/em><\/strong>, <strong><em>p<\/em><\/strong> = <strong><em>predict<\/em><\/strong>.<\/p>\n<p>\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043e \u043d\u0430 \u0442\u043e\u043c, \u0447\u0442\u043e \u043c\u044b \u043f\u0440\u043e\u0441\u0442\u043e \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}\" alt=\"\\mathrm{MI}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ac0\/51b\/6de\/ac051b6debbbcd95dae1e4d553cf22ce.svg\" width=\"25\" height=\"17\"\/> \u0432 \u0442\u0430\u043a\u043e\u043c \u0432\u0438\u0434\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(p, t) = H(t) - \\int H(t | p = x) \\rho_{p}(x) dx\" alt=\"\\mathrm{MI}(p, t) = H(t) - \\int H(t | p = x) \\rho_{p}(x) dx\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c78\/92e\/7cf\/c7892e7cfabba1c4880135eb311f6eb4.svg\" width=\"336\" height=\"46\"\/><\/p>\n<p>\u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(t)\" alt=\"H(t)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a00\/895\/c82\/a00895c82ac649429c37ddc2d718f729.svg\" width=\"40\" height=\"22\"\/> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0438 \u0440\u0430\u0432\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"C + 0.5\\cdot \\log(D(t)).\" alt=\"C + 0.5\\cdot \\log(D(t)).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f0c\/3f4\/f05\/f0c3f4f05a002af2ee6617a964e1d00b.svg\" width=\"162\" height=\"22\"\/> \u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(t | p = x)\" alt=\"H(t | p = x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7ec\/892\/812\/7ec892812961bc5d838fcd7d0dc41f6d.svg\" width=\"92\" height=\"22\"\/> \u0440\u0430\u0432\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"C + 0.5\\cdot \\log(D(t|p=x)),\" alt=\"C + 0.5\\cdot \\log(D(t|p=x)),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b2\/a6a\/4c1\/1b2a6a4c16b4c638384b8106987e1968.svg\" width=\"214\" height=\"22\"\/> \u0433\u0434\u0435 \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"D(t|p=x)\" alt=\"D(t|p=x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b94\/cc8\/6da\/b94cc86daa55d7d29338a99d2dd15f5e.svg\" width=\"91\" height=\"22\"\/> \u043c\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043b\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. \u0421\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u0443\u0441\u043b\u043e\u0432\u0438\u044e \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f \u043e\u043d\u0430 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430. \u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u044d\u0442\u043e<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{\\xi^2}\" alt=\"M_{\\xi^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e19\/3c1\/e2a\/e193c1e2a1fb4f1c85275525f6c53ca6.svg\" width=\"33\" height=\"25\"\/> (\u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0430\u043a \u0440\u0430\u0437 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430) \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p=x.\" alt=\"p=x.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ac\/986\/f59\/2ac986f590e4a17fdf28d2dcc0a25701.svg\" width=\"53\" height=\"15\"\/> <\/p>\n<p>\u0412\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\int \\ldots \\rho_{p}(x) dx\" alt=\"\\int \\ldots \\rho_{p}(x) dx\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/97b\/cf9\/27f\/97bcf927f63d3ed02f47cf7415a5fbcb.svg\" width=\"115\" height=\"46\"\/> \u2014 \u0441\u0443\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u043f\u043e \u043f\u0443\u043b\u0443. <\/p>\n<p>\u0415\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"M_{\\xi^2}\" alt=\"M_{\\xi^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e50\/368\/3f7\/e503683f78d53efe33adb534083832a4.svg\" width=\"33\" height=\"25\"\/> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p=x,\" alt=\"p=x,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a80\/10e\/e15\/a8010ee155d331ed81938e17da73e644.svg\" width=\"53\" height=\"15\"\/> \u0442\u043e \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c \u043d\u0443\u0436\u043d\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435. \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(p, t) = \u0421 +  0.5\\cdot \\log(D(t)) - \\int (C +  0.5 \\log(\\mathrm{mse})) \\rho_{p}(x) dx = \\\\ = 0.5 \\cdot \\log(D(t) \/ \\mathrm{mse})\" alt=\"\\mathrm{MI}(p, t) = \u0421 +  0.5\\cdot \\log(D(t)) - \\int (C +  0.5 \\log(\\mathrm{mse})) \\rho_{p}(x) dx = \\\\ = 0.5 \\cdot \\log(D(t) \/ \\mathrm{mse})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4d1\/96a\/d46\/4d196ad469d6fdff8b032f1c97de337e.svg\" width=\"697\" height=\"74\"\/><\/p>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0440\u0430\u0432\u043d\u043e\u0441\u0438\u043b\u044c\u043d\u0430 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 mse. \u041a\u043e\u043d\u0435\u0446 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430.<\/p>\n<p>\u0414\u043b\u044f \u0431\u043e\u043b\u044c\u0448\u0435\u0433\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0431\u043e\u043b\u0435\u0435 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(p, t) =\\\\= H(t) - \\int H(t | p = x) \\rho_{p}(x) dx =\\\\=  H(t) - \\int \\rho_{t}(y | p = x) \\log(1\/\\rho_{t}(y | p = x)) \\rho_{p}(x) dx dy =\\\\  = H(t) - \\int \\log(1\/\\rho_{t}(y | p = x)) \\cdot \\rho_{t,p}(x, y) dx dy\" alt=\"\\mathrm{MI}(p, t) =\\\\= H(t) - \\int H(t | p = x) \\rho_{p}(x) dx =\\\\=  H(t) - \\int \\rho_{t}(y | p = x) \\log(1\/\\rho_{t}(y | p = x)) \\rho_{p}(x) dx dy =\\\\  = H(t) - \\int \\log(1\/\\rho_{t}(y | p = x)) \\cdot \\rho_{t,p}(x, y) dx dy\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a8\/2f5\/a13\/5a82f5a131aa09e61ecd26ea25ccc201.svg\" width=\"697\" height=\"178\"\/><\/p>\n<p>\u0418\u043d\u0442\u0435\u0433\u0440\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435<\/p>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\int \\ldots (\\rho_{t,p}(x, y) dx dy\" alt=\"\\int \\ldots (\\rho_{t,p}(x, y) dx dy\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a58\/042\/0e2\/a580420e243dca5f30e63e91a014e106.svg\" width=\"169\" height=\"46\"\/> <\/p>\n<p>\u0441\u043d\u043e\u0432\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u044e \u043f\u043e \u043f\u0443\u043b\u0443, \u0430 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/\\rho_{t}(y | p = x))\" alt=\"\\log(1\/\\rho_{t}(y | p = x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/78b\/531\/521\/78b53152142148e444b83d9dd24d52e5.svg\" width=\"154\" height=\"22\"\/> \u0438 \u0435\u0441\u0442\u044c \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043e\u0448\u0438\u0431\u043a\u0438. \u0415\u0441\u043b\u0438 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u0441\u043b\u0443\u0447\u0430\u044e, \u0438 \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u0442\u044c \u043f\u0440\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430, \u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/P(t= y | p = x))\" alt=\"\\log(1\/P(t= y | p = x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d75\/097\/b34\/d75097b3486a9aefcc45e338b90acbf6.svg\" width=\"185\" height=\"22\"\/> \u0435\u0441\u0442\u044c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0431\u0438\u0442, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043a\u043e\u0434\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t=y\" alt=\"t=y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8de\/922\/29c\/8de92229c2917ddeda5d58c9b9f41f89.svg\" width=\"43\" height=\"20\"\/>(\u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/003\/9d2\/ecd\/0039d2ecda82e325f0ecd1953b4698a7.svg\" width=\"9\" height=\"12\"\/>) \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p=x\" alt=\"p=x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/be8\/4dc\/da4\/be84dcda4f829b7dd993eb82c3ece8bf.svg\" width=\"48\" height=\"15\"\/>. \u0415\u0441\u043b\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435 \u0441\u043c\u0435\u0449\u0435\u043d, \u0438 \u043e\u043d \u043d\u0430\u043c \u0434\u0430\u043d, \u0442\u043e, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf7\/58e\/8b2\/cf758e8b2c9599914e1eda3447f412de.svg\" width=\"7\" height=\"16\"\/> \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u0440\u043e\u0449\u0435 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u043e\u0434 \u0434\u043b\u044f \u043d\u0435\u0432\u044f\u0437\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi=t- p\" alt=\"\\xi=t- p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2cd\/25b\/bb7\/2cd25bbb79045c66c7026a0bd5d444d9.svg\" width=\"75\" height=\"21\"\/>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0435\u0441\u0442\u044c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0438 \u043c\u0435\u043d\u044c\u0448\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438, \u043d\u0435\u0436\u0435\u043b\u0438 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"t\" alt=\"t\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7e5\/31b\/b91\/7e531bb9197631c54fba2455c1152eb2.svg\" width=\"7\" height=\"16\"\/>. \u042d\u0442\u0438 \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u043d\u0430\u0432\u043e\u0434\u044f\u0442 \u0435\u0449\u0451 \u043d\u0430 \u043e\u0434\u043d\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0443 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 MI:<\/p>\n<p><strong>ML-task \u21163.3:<\/strong>  \u041f\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u043e\u0431\u0443\u0447\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict(f_1, \\ldots, f_k)\" alt=\"predict(f_1, \\ldots, f_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/80f\/614\/29a\/80f61429a0e539590123b76fd43a3be8.svg\" width=\"157\" height=\"22\"\/>\u0442\u0430\u043a\u0443\u044e, \u0447\u0442\u043e\u0431\u044b \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435\u0432\u044f\u0437\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target-predict\" alt=\"target-predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b1c\/61f\/c79\/b1c61fc790777ba755f0269ba6140c8e.svg\" width=\"136\" height=\"21\"\/> \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cae\/ee3\/e61\/caeee3e6100a7a82fa6f88733aecfbba.svg\" width=\"9\" height=\"12\"\/> \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u0430 \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0431\u0438\u0442. <\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435 \u0438\u043c\u0435\u0435\u0442\u0441\u044f \u0432 \u0432\u0438\u0434\u0443 \u043d\u0430\u0438\u0432\u043d\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0447\u0438\u0441\u0435\u043b, \u043a\u043e\u0433\u0434\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0432\u0441\u0435 \u0437\u043d\u0430\u0447\u0430\u0449\u0438\u0435 \u0446\u0438\u0444\u0440\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u0443\u0441\u0442\u044c \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0430 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon = 0.000001\" alt=\"\\varepsilon = 0.000001\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42d\/f76\/a3d\/42df76a3db4361c5ab61abf1cc02b2ce.svg\" width=\"109\" height=\"17\"\/>, \u0442\u043e\u0433\u0434\u0430 \u0447\u0438\u0441\u043b\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"-0.000123456789\\pm 0.000001\" alt=\"-0.000123456789\\pm 0.000001\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dd7\/70d\/73b\/dd770d73b52ecc6d4bf1c556b1cd47ee.svg\" width=\"245\" height=\"18\"\/> \u043b\u043e\u0433\u0438\u0447\u043d\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a &#171;-123&#187;.  \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0442\u0440\u0430\u0442\u0438\u043c \u043e\u0434\u0438\u043d \u0431\u0438\u0442 \u043d\u0430 \u0437\u043d\u0430\u043a  (+ \u0438\u043b\u0438 &#8212; \u0432 \u043d\u0430\u0447\u0430\u043b\u0435), \u0434\u0430\u043b\u0435\u0435 \u043d\u0430\u0441 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0442 \u0432\u0441\u0435 \u0446\u0438\u0444\u0440\u044b \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0441\u0435\u0434\u044c\u043c\u043e\u0433\u043e \u043c\u0435\u0441\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0434\u0435\u0441\u044f\u0442\u0438\u0447\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438, \u0438 \u043c\u044b \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0437\u043d\u0430\u0447\u0430\u0449\u0438\u0435 \u0446\u0438\u0444\u0440\u044b, \u043d\u0435 \u043f\u0435\u0440\u0435\u0447\u0438\u0441\u043b\u044f\u044f \u043b\u0438\u0434\u0438\u0440\u0443\u044e\u0449\u0438\u0435 \u043d\u0443\u043b\u0438, \u0438 \u043c\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0435\u043c, \u0447\u0442\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u044f\u044f \u0446\u0438\u0444\u0440\u0430 \u0432 \u043a\u043e\u0434\u0435 \u0441\u0442\u043e\u0438\u0442 \u043d\u0430 \u0448\u0435\u0441\u0442\u043e\u043c \u043c\u0435\u0441\u0442\u0430 \u043f\u043e\u0441\u043b\u0435 \u0434\u0435\u0441\u044f\u0442\u0438\u0447\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0438. \u0412 \u0442\u0430\u043a\u043e\u043c \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0447\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043e\u0448\u0438\u0431\u043a\u0430 \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0431\u0438\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0434\u043b\u044f \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u0435\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435. \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon\" alt=\"\\varepsilon\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cae\/ee3\/e61\/caeee3e6100a7a82fa6f88733aecfbba.svg\" width=\"9\" height=\"12\"\/> \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043c\u0430\u043b\u043e. \u041d\u043e \u043f\u043e\u0432\u0435\u0440\u0445 \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0438\u0432\u043d\u043e\u0433\u043e \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0430\u0448\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0435\u0449\u0451 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430, \u0447\u0442\u043e\u0431\u044b \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0435 \u0432 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u043e \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0436\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u043a\u0435 \u043c\u044b \u043a\u0430\u043a \u0431\u044b \u043d\u0435\u0432\u043e\u043b\u044c\u043d\u044b \u043d\u0430\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u0441\u0432\u043e\u044e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u041d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043a\u043b\u043e\u043d\u043d\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u044d\u0442\u043e \u043a\u0430\u043a \u043a\u0440\u0438\u0442\u0435\u0440\u0438\u0439 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0433\u043e \u0432\u044b\u0431\u043e\u0440\u0430 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438: \u0435\u0441\u043b\u0438 \u0432\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 mse, \u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u043a\u043e\u0433\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/P(t= y | p = x))\" alt=\"\\log(1\/P(t= y | p = x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d75\/097\/b34\/d75097b3486a9aefcc45e338b90acbf6.svg\" width=\"185\" height=\"22\"\/> \u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u043e\u0432 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"A \\cdot (y  - x)^2 + B\" alt=\"A \\cdot (y  - x)^2 + B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e41\/948\/5f2\/e419485f2e97fcf18f10074b54a5a8bc.svg\" width=\"136\" height=\"25\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u0432\u044f\u0437\u043a\u0438 \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443, \u0430 \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 <em>L<\/em><sub>1<\/sub>&#8212; \u043e\u0448\u0438\u0431\u043a\u0443, \u0442\u043e \u0445\u043e\u0440\u043e\u0448\u043e, \u0435\u0441\u043b\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/P(t= y | p = x))\" alt=\"\\log(1\/P(t= y | p = x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d75\/097\/b34\/d75097b3486a9aefcc45e338b90acbf6.svg\" width=\"185\" height=\"22\"\/> \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u0441\u044f \u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"A\\cdot |y  - x| + B\" alt=\"A\\cdot |y  - x| + B\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/255\/0e1\/99e\/2550e199e7ce388e63d2a6a6a5e89866.svg\" width=\"123\" height=\"22\"\/>,  \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u0432\u044f\u0437\u043a\u0438 \u0431\u043b\u0438\u0437\u043a\u043e \u043a \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u041b\u0430\u043f\u043b\u0430\u0441\u0430. \u0412 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043e\u0436\u0438\u0434\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u043e\u0435 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P(t = y| p=x) \\approx e^{-A \\cdot Loss(y,x) + B}\" alt=\"P(t = y| p=x) \\approx e^{-A \\cdot Loss(y,x) + B}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/14a\/ddc\/0af\/14addc0af9d13866f32651bd696ab2d7.svg\" width=\"267\" height=\"26\"\/> \u0438 \u0435\u0441\u043b\u0438 \u044d\u0442\u043e \u043d\u0435 \u0442\u0430\u043a, \u0442\u043e \u043b\u0438\u0431\u043e \u0432\u044b &#171;\u043d\u0435\u0434\u043e\u0434\u0435\u043b\u0430\u043b\u0438 ML&#187;, \u043b\u0438\u0431\u043e \u0432\u0430\u0448\u0430 \u0437\u0430\u0434\u0430\u0447\u0430 \u043d\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 \u0445\u043e\u0440\u043e\u0448\u0438\u0445. <\/p>\n<p>\u0412\u0438\u0434\u0438\u043c\u043e, \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u044b\u0445 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u0445, \u0432\u0435\u0440\u043d\u044b \u0440\u0430\u0441\u0441\u0443\u0436\u0434\u0435\u043d\u0438\u044f \u0438 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441  \u0435\u0441\u0442\u044c \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 ML-task \u21163.3, \u0442\u043e \u0438\u0437\u0443\u0447\u0438\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0435\u0432\u044f\u0437\u043a\u0438 \u0434\u043b\u044f \u0435\u0451 \u0440\u0435\u0448\u0435\u043d\u0438\u044f, \u0432\u044b \u0443\u0437\u043d\u0430\u0451\u0442\u0435 \u043a\u0430\u043a\u0443\u044e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043d\u0443\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0435.<\/p>\n<h2>Log-Likelihood \u0438 Mutual Information<\/h2>\n<p><strong>\u041f\u0440\u0438\u043c\u0435\u0440 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u0437 \u0436\u0438\u0437\u043d\u0438:<\/strong>  \u0420\u0435\u0430\u043b\u0438\u0437\u0443\u0439\u0442\u0435 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e  <br \/>                           <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(\u043f\u043e\u043b, \u0432\u043e\u0437\u0440\u0430\u0441\u0442, \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435\\ 10\\ \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445\\ \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \\ldots)\" alt=\"\\mathcal{P}(\u043f\u043e\u043b, \u0432\u043e\u0437\u0440\u0430\u0441\u0442, \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435\\ 10\\ \u043f\u043e\u0438\u0441\u043a\u043e\u0432\u044b\u0445\\ \u0437\u0430\u043f\u0440\u043e\u0441\u043e\u0432, \\ldots)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/973\/ddf\/389\/973ddf38902da93a1aa88c717da52216.svg\" width=\"395\" height=\"27\"\/> <br \/>\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u044e\u0449\u0443\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <em>p<\/em> \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043b\u0438\u043a\u043d\u0435\u0442 \u043d\u0430 \u0434\u0430\u043d\u043d\u043e\u0435 \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u043e\u0433\u043e \u0442\u0438\u043f\u0430, \u043a\u043e\u0433\u0434\u0430 \u043d\u0443\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0431\u0443\u043b\u0435\u0432\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 (\u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0443\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f &#171;\u0414\u0430&#187; \u0438\u043b\u0438 &#171;\u041d\u0435\u0442&#187;), \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 (Binary Classification Problems).<br \/>\u0414\u043b\u044f \u0438\u0445 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict\" alt=\"predict\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2e0\/32f\/f54\/2e032ff5467ec845b67aefd94915b36d.svg\" width=\"61\" height=\"20\"\/> \u0434\u043e\u043b\u0436\u0435\u043d \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0442\u044c \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 \u0447\u0438\u0441\u043b\u043e \u043e\u0442 0 \u0434\u043e 1, \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target = 1\" alt=\"target = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/347\/2da\/b96\/3472dab9661c723990ef458101fb3daf.svg\" width=\"87\" height=\"21\"\/>(\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u0435\u043b\u044c \u043a\u043b\u0438\u043a\u043d\u0435\u0442 \u043d\u0430 \u0440\u0435\u043a\u043b\u0430\u043c\u0443).  \u041f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u0430 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 (aka \u0432\u0435\u0441\u043e\u0432), \u043d\u0430 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0434\u0435\u0442\u044c \u0442\u043e, \u0447\u0442\u043e \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435.<\/p>\n<p>\u041e\u0431\u044b\u0447\u043d\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043d\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u0430 \u043a\u043e\u043c\u0431\u0438\u043d\u0430\u0446\u0438\u044f \u044d\u0442\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0438 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b. \u041d\u0438\u043a\u0442\u043e \u043d\u0435 \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0438\u0432\u0430\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a\u043e\u0432 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0432 \u0442\u043e\u043c, \u043a\u0430\u043a \u0438\u043c\u0435\u043d\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u0430 \u0432\u044b\u0433\u043b\u044f\u0434\u0435\u0442\u044c \u044d\u0442\u0430 \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u0430\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430. \u0418 \u0432\u043e\u043e\u0431\u0449\u0435,  \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043b\u044e\u0431\u044b\u043c, \u0432\u0430\u0436\u043d\u044b \u043b\u0438\u0448\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0434\u0432\u0430 \u043c\u043e\u043c\u0435\u043d\u0442\u0430:<\/p>\n<ul>\n<li>\n<p>\u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043d\u0435 &#171;\u0432\u0438\u0434\u0438\u0442&#187; \u0434\u0430\u043d\u043d\u044b\u0445 \u0438\u0437 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430;<\/p>\n<\/li>\n<li>\n<p>\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u044b \u0441\u0440\u0430\u0432\u043d\u0438\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e \u043e\u0446\u0435\u043d\u043a\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435.<\/p>\n<\/li>\n<\/ul>\n<p>\u0412\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0438\u0434\u0435\u0442\u044c \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u0432\u0438\u0434\u0438\u043c \u0432 \u043f\u0443\u043b\u0435, \u0432 \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u0438 \u043a \u043c\u043e\u0434\u0435\u043b\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435\u043c \u043c\u043e\u0434\u0435\u043b\u0438<\/strong> (<strong>model likelihood<\/strong>). \u0422\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u0433\u043e\u0432\u043e\u0440\u0438\u043c &#8216;\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0431\u044b\u0442\u0438\u044f&#8217; \u0438  &#8216;\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438&#8217;, \u043d\u043e \u043d\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043c &#8216;\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u0438&#8217; \u0438\u043b\u0438 &#8216;\u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u0439&#8217;.<\/p>\n<p>\u0412\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u0433\u043e \u043f\u0443\u043b\u0430 \u0438\u0437 \u0442\u0440\u0451\u0445 \u0441\u0442\u0440\u043e\u0447\u0435\u043a:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">i<\/p>\n<\/td>\n<td>\n<p align=\"left\"><em>f<\/em><sub>1<\/sub><\/p>\n<\/td>\n<td>\n<p align=\"left\"><em>f<\/em><sub>1<\/sub><\/p>\n<\/td>\n<td>\n<p align=\"left\"><em>f<\/em><sub>1<\/sub><\/p>\n<\/td>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">target<\/p>\n<\/td>\n<td>\n<p align=\"left\">predict=<br \/>P(target=1)<\/p>\n<\/td>\n<td>\n<p align=\"left\">P(target=0)<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_1\" alt=\"p_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ed2\/5c8\/f94\/ed25c8f9454703708e61cf52ffbc9f91.svg\" width=\"19\" height=\"15\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1 - p_1\" alt=\"1 - p_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/797\/664\/1da\/7976641daed543c7f5643c456d262cd3.svg\" width=\"52\" height=\"20\"\/><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_2\" alt=\"p_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/58a\/d8e\/3a2\/58ad8e3a23ea5019e59dc622ce868e09.svg\" width=\"19\" height=\"15\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1-p_2\" alt=\"1-p_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d03\/f04\/e57\/d03f04e575fc1b8b8ee3ddade2995072.svg\" width=\"52\" height=\"20\"\/><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">3<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">0<\/p>\n<\/td>\n<td>\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_3\" alt=\"p_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bca\/820\/de8\/bca820de8b4152ca81b7f18b03127ffc.svg\" width=\"19\" height=\"15\"\/><\/p>\n<\/td>\n<td>\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"1-p_3\" alt=\"1-p_3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7fe\/041\/867\/7fe041867e4440e2aa4f283179d91bcd.svg\" width=\"52\" height=\"20\"\/><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td data-colwidth=\"100\" width=\"100\">\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td>\n<p align=\"left\">\n<\/td>\n<td colspan=\"4\" data-colwidth=\"0,100,0,0\" width=\"0\">\n<p align=\"left\"><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{Likelihood}=(1-p_1)\\cdot p_2\\cdot(1-p_3)\" alt=\"\\mathrm{Likelihood}=(1-p_1)\\cdot p_2\\cdot(1-p_3)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/674\/c34\/eae\/674c34eae33f3c07d8a125bd4fc82d06.svg\" width=\"297\" height=\"22\"\/><\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0423\u0434\u043e\u0431\u043d\u0435\u0435 \u043e\u043f\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c LogLikelihood:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{LogLikelihood} = \\log((1 - p_1)\\cdot p_2\\cdot (1 - p_3)) = \\log(1 - p_1) + \\log (p_2) + \\log(1 - p_3) \" alt=\"\\mathrm{LogLikelihood} = \\log((1 - p_1)\\cdot p_2\\cdot (1 - p_3)) = \\log(1 - p_1) + \\log (p_2) + \\log(1 - p_3) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/828\/1e0\/e7b\/8281e0e7bf50b7ad453f9802c479f238.svg\" width=\"686\" height=\"22\"\/><\/p>\n<p>\u0421\u0442\u0440\u043e\u0447\u043a\u0438 \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target=1\" alt=\"target=1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/14b\/007\/527\/14b0075275bc5f0461349cd42a47ef64.svg\" width=\"87\" height=\"21\"\/> \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u0441\u0443\u043c\u043c\u0430\u0440\u043d\u044b\u0439 LogLikelihood \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(predict)\" alt=\"\\log(predict)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c67\/34b\/c5b\/c6734bc5b6c9c800e9ad851f520f69a9.svg\" width=\"100\" height=\"22\"\/>, \u0430 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0441 <em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target = 0\" alt=\"target = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e93\/46e\/032\/e9346e032d4e67591b65ba872b8e29a0.svg\" width=\"87\" height=\"21\"\/><\/em>\u2014  \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1 - predict)\" alt=\"\\log(1 - predict)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c15\/9fc\/c0e\/c159fcc0e590465f37adeed36efddcdb.svg\" width=\"134\" height=\"22\"\/>.<\/p>\n<p>\u0412 \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0442\u0430\u043a:<\/p>\n<p><strong>ML-task \u21163.4:<\/strong>  \u0414\u0430\u043d \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043b\u043e\u0433. \u041d\u0430\u0439\u0434\u0438\u0442\u0435 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict(f_1,f_2,\\ldots)\" alt=\"predict(f_1,f_2,\\ldots)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/67f\/ac0\/56f\/67fac056fc6e08f778ca83bd49949c1e.svg\" width=\"153\" height=\"22\"\/>, \u0447\u0442\u043e\u0431\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{LogLikelihood}(predict, target)\" alt=\"\\mathrm{LogLikelihood}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f81\/a90\/baf\/f81a90bafb12323f34e214a6c1d2c42f.svg\" width=\"256\" height=\"22\"\/> \u043d\u0430 \u0442\u0435\u0441\u0442\u043e\u0432\u043e\u043c \u043f\u0443\u043b\u0435 \u0431\u044b\u043b\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e.<\/p>\n<p>\u0421\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u0443\u0435\u043c \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0447\u0443 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 MI.<\/p>\n<p><strong>ML-task \u21163.5:<\/strong>  \u041d\u0430\u0439\u0434\u0438\u0442\u0435 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p=predict(f_1,f_2,\\ldots)\" alt=\"p=predict(f_1,f_2,\\ldots)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b9\/a18\/df1\/0b9a18df1a0f5f925ffaa849a11310c5.svg\" width=\"189\" height=\"22\"\/>, <br \/>\u0447\u0442\u043e\u0431\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi\" alt=\"\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2c9\/cb7\/6e9\/2c9cb76e93e212ab8cbb8bd92b70add0.svg\" width=\"9\" height=\"21\"\/> \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0430\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f 0 \u0438 1 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{p,\\; 1 - p\\}\" alt=\"\\{p,\\; 1 - p\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4bd\/732\/d79\/4bd732d79acea9d841efd13e5a78df29.svg\" width=\"87\" height=\"22\"\/> \u0438\u043c\u0435\u043b\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(\\xi, target)\" alt=\"\\mathrm{MI}(\\xi, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f08\/7ab\/7ff\/f087ab7ffbc9179e0e7ce1c7945c3266.svg\" width=\"109\" height=\"22\"\/> \u0441 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/930\/2e5\/7c4\/9302e57c48dd94c93c32044ed5cdf631.svg\" width=\"52\" height=\"20\"\/>.<\/p>\n<p><strong>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 3.2:<\/strong> \u0415\u0441\u043b\u0438 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0442\u0430\u043a\u043e\u0432\u0430, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi = predict - target\" alt=\"\\xi = predict - target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/395\/507\/416\/3955074167526886dc46bee42e79a58d.svg\" width=\"170\" height=\"21\"\/> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f  \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439 \u0441 \u043d\u0443\u043b\u0435\u0432\u044b\u043c \u0441\u0440\u0435\u0434\u043d\u0438\u043c (\u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435 \u0441\u043c\u0435\u0449\u0451\u043d), \u0442\u043e\u0433\u0434\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 ML-task \u21163.2.2 \u0438  ML-task \u21163.2.1 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0437\u0430\u0434\u0430\u0447\u0430 &#171;maximize MI(target, predict)&#187; \u0434\u0430\u0451\u0442 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0442\u0432\u0435\u0442, \u0447\u0442\u043e \u0438 \u0437\u0430\u0434\u0430\u0447\u0430 &#171;maximize LogLikilihood&#187;.<\/p>\n<p>\u0422\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435 \u0441\u043c\u0435\u0449\u0451\u043d \u0438\u043b\u0438, \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043d\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u043b\u043e\u0436\u043d\u044b\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u0435\u043c. \u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438, \u0435\u0441\u043b\u0438 \u0432\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0439\u0442\u0435 Gradient Boosted Trees \u0438\u043b\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 (\u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0447\u0438\u0441\u043b\u043e \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u0439) \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u043c. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u0435\u0441\u043b\u0438 \u0432\u044b \u0431\u0435\u0440\u0451\u0442\u0435 \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0441<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict \\in [x - \\varepsilon, x + \\varepsilon]\" alt=\"predict \\in [x - \\varepsilon, x + \\varepsilon]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/901\/f06\/e92\/901f06e923546cdf8a1768c9a727a5df.svg\" width=\"193\" height=\"22\"\/>, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0441 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_{fact} = { \\mathrm{number\\_of\\_lines\\_with\\_target\\_1} \\over  \\mathrm{number\\_of\\_lines}} = {\\mathrm{clicks} \\over  \\mathrm{impressions}}\\approx x\" alt=\"p_{fact} = { \\mathrm{number\\_of\\_lines\\_with\\_target\\_1} \\over  \\mathrm{number\\_of\\_lines}} = {\\mathrm{clicks} \\over  \\mathrm{impressions}}\\approx x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eaf\/f29\/638\/eaff29638644399b4dcac6f9e732370f.svg\" width=\"508\" height=\"47\"\/> <\/p>\n<p>\u0412 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0441\u0442\u0440\u043e\u0447\u043a\u0438, \u0443 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 <em>target<\/em> = 1  \u043c\u043d\u0435 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u043a\u043b\u0438\u043a\u0430\u043c\u0438 (clicks), \u0430 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0441 <em>target<\/em> = 0 \u2013 \u043d\u0435\u043a\u043b\u0438\u043a\u0430\u043c\u0438 (notclicks). \u041a\u043b\u0438\u043a\u0438 + \u043d\u0435\u043a\u043b\u0438\u043a\u0438 \u0434\u0430\u044e\u0442 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0432\u0441\u0435\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u043f\u043e\u043a\u0430\u0437\u0430\u043c\u0438 (impressions).  \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a\u043b\u0438\u043a\u043e\u0432 \u043a \u043f\u043e\u043a\u0430\u0437\u0430\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Click-through_rate\" rel=\"noopener noreferrer nofollow\">CTR<\/a>   \u2014 Click Through Rate.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 3.2, \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0438:<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.9.<\/strong> \u041a\u0430\u043a \u043f\u043e <em>N<\/em> \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u2014 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi\" alt=\"\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d54\/5a7\/232\/d545a7232cc9f9116cb6c8bb7f4ac989.svg\" width=\"9\" height=\"21\"\/>, \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0449\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0442 1 \u0434\u043e <em>M<\/em>, \u0438 \u0431\u0443\u043b\u0435\u0432\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\mu\" alt=\" \\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/095\/455\/95f\/09545595f0a8f14d15095b41b19ef076.svg\" width=\"12\" height=\"16\"\/>, \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(\\xi,\\; \\mu)\" alt=\"\\mathrm{MI}(\\xi,\\; \\mu)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6aa\/b13\/b25\/6aab13b25e7711d1f91d80eab406d62f.svg\" width=\"75\" height=\"22\"\/>?<\/p>\n<p>\u041c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c \u043f\u0440\u043e \u044d\u0442\u0443 \u0437\u0430\u0434\u0430\u0447\u0443 \u0442\u0430\u043a: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi\" alt=\"\\xi\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b17\/e21\/f66\/b17e21f667224bd1f3fd557cdec00aea.svg\" width=\"9\" height=\"21\"\/> \u2014 \u044d\u0442\u043e \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043a\u0430\u0442\u0435\u0433\u043e\u0440\u0438\u0430\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043f\u0440\u043e \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u0435 \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u0435, \u0435\u0451 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a <em>\u0438\u0434\u0435\u043d\u0442\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440 \u043a\u043b\u0430\u0441\u0441\u0430<\/em>, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu = \\mathrm{IsClick}\" alt=\"\\mu = \\mathrm{IsClick}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f51\/6d5\/6ee\/f516d56eec62195a305b4d504a697609.svg\" width=\"96\" height=\"21\"\/> \u2014 \u044d\u0442\u043e \u0438\u043d\u0434\u0438\u043a\u0430\u0442\u043e\u0440 \u0442\u043e\u0433\u043e, \u0431\u044b\u043b \u043b\u0438 \u043a\u043b\u0438\u043a. \u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u043e \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043f\u0430\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\xi, \\mu)\" alt=\"(\\xi, \\mu)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/14d\/c7a\/2b3\/14dc7a2b39c051a68a5a5345bde4dbeb.svg\" width=\"44\" height=\"22\"\/> \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043b\u043e\u0433 \u043a\u043b\u0438\u043a\u043e\u0432 \u0438 \u043d\u0435\u043a\u043b\u0438\u043a\u043e\u0432.<\/p>\n<p>\u0414\u043b\u044f \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0443\u0434\u043e\u0431\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439<\/p>\n<p>     <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(\\xi,\\mu) = H(\\mu) - H(\\mu | \\xi)=H(\\mu)-{\\sum}_i P(\\xi=i)\\cdot H(\\mu|\\xi=i)\" alt=\"\\mathrm{MI}(\\xi,\\mu) = H(\\mu) - H(\\mu | \\xi)=H(\\mu)-{\\sum}_i P(\\xi=i)\\cdot H(\\mu|\\xi=i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/467\/044\/7cd\/4670447cd6b7bd488100bedbbba49eb8.svg\" width=\"527\" height=\"31\"\/><\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(\\mu)=H(\\mathrm{ctr}_{0})\" alt=\"H(\\mu)=H(\\mathrm{ctr}_{0})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4cf\/c3d\/863\/4cfc3d863c3a5bc13ca5f6b96327230c.svg\" width=\"136\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_{0} = \\mathrm{ctr}_{total} = \\mathrm{clicks}_{total} \/ \\mathrm{impressions}_{total}\" alt=\"\\mathrm{ctr}_{0} = \\mathrm{ctr}_{total} = \\mathrm{clicks}_{total} \/ \\mathrm{impressions}_{total}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/369\/3a0\/572\/3693a05721cc25a1507545dd2f9e3778.svg\" width=\"353\" height=\"22\"\/> \u2014 \u0441\u0440\u0435\u0434\u043d\u0438\u0439 CTR \u043f\u043e \u0432\u0441\u0435\u043c\u0443 \u043b\u043e\u0433\u0443.<\/p>\n<p>\u0417\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(\\mu | \\xi = i) = H(\\mathrm{ctr}_i)\" alt=\"H(\\mu | \\xi = i) = H(\\mathrm{ctr}_i)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1f0\/e8c\/72c\/1f0e8c72cab60c8fa1bdf5b0617b5f48.svg\" width=\"180\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_{i} = \\mathrm{clicks}_{i} \/ \\mathrm{impressions}_{i}\" alt=\"\\mathrm{ctr}_{i} = \\mathrm{clicks}_{i} \/ \\mathrm{impressions}_{i}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f5\/0ca\/05f\/6f50ca05f722801cb4486de4ac981ef9.svg\" width=\"224\" height=\"22\"\/>  \u2014 CTR \u043f\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u044f\u043c, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\xi = i\" alt=\"\\xi = i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ab\/0f8\/818\/1ab0f8818b26808611b4650533c06295.svg\" width=\"41\" height=\"21\"\/>, \u0447\u0442\u043e \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c CTR \u0432 \u043a\u043b\u0430\u0441\u0441\u0435 <em>i<\/em>. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u044d\u0442\u043e \u0432 \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:<\/p>\n<p>.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(\\mu, \\xi) = H(\\mu) - H(\\mu | \\xi) = \\\\ = H(\\mathrm{ctr}_{0}) - \\displaystyle\\sum_{i\\in classes} { \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total} } \\cdot H(\\mathrm{ctr}_i) = \\\\  = - (\\mathrm{ctr}_{0}\\cdot \\log(\\mathrm{ctr}_{0}) + (1 - \\mathrm{ctr}_{0})\\cdot \\log(1 - \\mathrm{ctr}_{0})) +\\\\  +  \\displaystyle\\sum_{i\\in classes} {\\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\cdot ( \\mathrm{ctr}_{i}\\cdot \\log(\\mathrm{ctr}_{i}) + (1 - \\mathrm{ctr}_{i})\\cdot \\log(1 - \\mathrm{ctr}_{i})) \" alt=\"\\mathrm{MI}(\\mu, \\xi) = H(\\mu) - H(\\mu | \\xi) = \\\\ = H(\\mathrm{ctr}_{0}) - \\displaystyle\\sum_{i\\in classes} { \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total} } \\cdot H(\\mathrm{ctr}_i) = \\\\  = - (\\mathrm{ctr}_{0}\\cdot \\log(\\mathrm{ctr}_{0}) + (1 - \\mathrm{ctr}_{0})\\cdot \\log(1 - \\mathrm{ctr}_{0})) +\\\\  +  \\displaystyle\\sum_{i\\in classes} {\\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\cdot ( \\mathrm{ctr}_{i}\\cdot \\log(\\mathrm{ctr}_{i}) + (1 - \\mathrm{ctr}_{i})\\cdot \\log(1 - \\mathrm{ctr}_{i})) \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/521\/8db\/80c\/5218db80c46aa29610ee22678d8ea8fa.svg\" width=\"693\" height=\"169\"\/><\/p>\n<p><\/p>\n<p>\u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0437\u0430\u0439\u043c\u0451\u043c\u0441\u044f \u043f\u0435\u0440\u0432\u044b\u043c \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u043c \u0438 \u0437\u0430\u043f\u0438\u0448\u0435\u043c \u0435\u0433\u043e \u0432 \u0432\u0438\u0434\u0435 \u0441\u0443\u043c\u043c\u044b \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"H(\\mu) =  - \\left(\\displaystyle{\\mathrm{clicks}_{total} \\over \\mathrm{impressions}_{total}} \\log(\\mathrm{ctr}_{0}) + \\displaystyle{\\mathrm{notclicks}_{total} \\over \\mathrm{impressions}_{total}}\\cdot \\log(1 - \\mathrm{ctr}_{0})\\right)  = \\\\ \" alt=\"H(\\mu) =  - \\left(\\displaystyle{\\mathrm{clicks}_{total} \\over \\mathrm{impressions}_{total}} \\log(\\mathrm{ctr}_{0}) + \\displaystyle{\\mathrm{notclicks}_{total} \\over \\mathrm{impressions}_{total}}\\cdot \\log(1 - \\mathrm{ctr}_{0})\\right)  = \\\\ \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5c9\/fa9\/7df\/5c9fa97df8cc80a0bf79d5b4e41ad674.svg\" width=\"697\" height=\"58\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"= - \\displaystyle\\sum_{i \\in classes}\\left({\\mathrm{clicks}_i \\over \\mathrm{impressions}_{total}} \\log(\\mathrm{ctr}_{0}) + {\\mathrm{notclicks}_i \\over \\mathrm{impressions}_{total}}\\cdot \\log(1 - \\mathrm{ctr}_{0})\\right) = \" alt=\"= - \\displaystyle\\sum_{i \\in classes}\\left({\\mathrm{clicks}_i \\over \\mathrm{impressions}_{total}} \\log(\\mathrm{ctr}_{0}) + {\\mathrm{notclicks}_i \\over \\mathrm{impressions}_{total}}\\cdot \\log(1 - \\mathrm{ctr}_{0})\\right) = \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a7a\/138\/780\/a7a13878028ddc1cb51461e8dd180b65.svg\" width=\"640\" height=\"56\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"- \\displaystyle\\sum_{i \\in classes}\\left({\\mathrm{ctr}_i \\cdot \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\log(\\mathrm{ctr}_{0}) + {(1 - \\mathrm{ctr}_i)\\cdot \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\log(1 - \\mathrm{ctr}_{0})\\right).\" alt=\"- \\displaystyle\\sum_{i \\in classes}\\left({\\mathrm{ctr}_i \\cdot \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\log(\\mathrm{ctr}_{0}) + {(1 - \\mathrm{ctr}_i)\\cdot \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\log(1 - \\mathrm{ctr}_{0})\\right).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c22\/251\/39f\/c2225139f2e298d4247c95fbe4f556f5.svg\" width=\"688\" height=\"56\"\/><\/p>\n<p>\u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u044d\u0442\u043e \u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f MI, \u0438 \u043f\u043e\u043c\u0435\u0441\u0442\u0438\u0432 \u043e\u0431\u0435 \u0447\u0430\u0441\u0442\u0438 \u0432 \u043e\u0434\u043d\u0443 \u0441\u0443\u043c\u043c\u0443 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c, \u043f\u043e\u043b\u0443\u0447\u0438\u043c <strong>\u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f MI<\/strong>:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\displaystyle\\sum_{i \\in classes} { \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\cdot \\left(\\mathrm{ctr}_{i}\\cdot \\log\\left({\\mathrm{ctr}_{i} \\over \\mathrm{ctr}_{0}}\\right) + (1 - \\mathrm{ctr}_{i})\\cdot \\log\\left({1 - \\mathrm{ctr}_{i} \\over 1 - \\mathrm{ctr}_{0}}\\right)\\right) = \\\\ = \\displaystyle{1 \\over \\mathrm{impressions}_{total}} \\displaystyle\\sum_{e \\in \\mathrm{impressions}} \\mathrm{ctr}_{i(e)}\\cdot \\log{\\left({\\mathrm{ctr}_{i(e)} \\over \\mathrm{ctr}_{0}}\\right)} + (1 - \\mathrm{ctr}_{i(e)})\\cdot \\log{\\left({1 - \\mathrm{ctr}_{i(e)} \\over 1 - \\mathrm{ctr}_{0}}\\right)}\" alt=\"\\displaystyle\\sum_{i \\in classes} { \\mathrm{impressions}_i \\over \\mathrm{impressions}_{total}} \\cdot \\left(\\mathrm{ctr}_{i}\\cdot \\log\\left({\\mathrm{ctr}_{i} \\over \\mathrm{ctr}_{0}}\\right) + (1 - \\mathrm{ctr}_{i})\\cdot \\log\\left({1 - \\mathrm{ctr}_{i} \\over 1 - \\mathrm{ctr}_{0}}\\right)\\right) = \\\\ = \\displaystyle{1 \\over \\mathrm{impressions}_{total}} \\displaystyle\\sum_{e \\in \\mathrm{impressions}} \\mathrm{ctr}_{i(e)}\\cdot \\log{\\left({\\mathrm{ctr}_{i(e)} \\over \\mathrm{ctr}_{0}}\\right)} + (1 - \\mathrm{ctr}_{i(e)})\\cdot \\log{\\left({1 - \\mathrm{ctr}_{i(e)} \\over 1 - \\mathrm{ctr}_{0}}\\right)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efb\/39f\/e71\/efb39fe71d9301236df20f4ec6b453a0.svg\" width=\"701\" height=\"119\"\/><\/p>\n<p>\u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u043c \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0435 \u043c\u044b \u0437\u0430\u043c\u0435\u043d\u0438\u043b\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u043a\u043b\u0430\u0441\u0441\u0430\u043c \u043d\u0430 \u0441\u0443\u043c\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0441\u0442\u0440\u043e\u0447\u043a\u0430\u043c \u043b\u043e\u0433\u0430, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u044b \u0441 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 LogLikelihood.<\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u043a\u043b\u0430\u0441\u0441\u044b \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e <em>\u043a\u043e\u0440\u0437\u0438\u043d\u044b \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430<\/em>, \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435 \u0441\u043c\u0435\u0449\u0451\u043d, \u0442\u043e \u0435\u0441\u0442\u044c  \u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0432 \u043a\u043e\u0440\u0437\u0438\u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}\" alt=\"\\mathrm{ctr}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/321\/0f0\/f76\/3210f0f7640a98972e82f2962e95248f.svg\" width=\"24\" height=\"16\"\/> \u0432 \u043a\u043e\u0440\u0437\u0438\u043d\u0435,  \u0438\u043c\u0435\u0435\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{LogLikelihood(predict)}=\\\\ = \\sum_{e\\in \\mathrm{impressions}}\\mathrm{ctr}_{i(e)}\\cdot \\log(\\mathrm{ctr}_{i(e)}) + (1-\\mathrm{ctr}_{i(e)})\\cdot\\log(1-\\mathrm{ctr}_{i(e)})=\\\\=\" alt=\"\\mathrm{LogLikelihood(predict)}=\\\\ = \\sum_{e\\in \\mathrm{impressions}}\\mathrm{ctr}_{i(e)}\\cdot \\log(\\mathrm{ctr}_{i(e)}) + (1-\\mathrm{ctr}_{i(e)})\\cdot\\log(1-\\mathrm{ctr}_{i(e)})=\\\\=\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a83\/eb2\/28c\/a83eb228cdb5ee5af2d573b5dc72825c.svg\" width=\"697\" height=\"91\"\/><\/p>\n<p>\u0410  \u0435\u0441\u043b\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0440\u0430\u0432\u0435\u043d \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_0\" alt=\"\\mathrm{ctr}_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e02\/ad1\/160\/e02ad116042d99b391e34af623e1970e.svg\" width=\"33\" height=\"19\"\/> ,  \u0442\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0440\u0430\u0432\u043d\u043e<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{LogLikelihood}(\\mathrm{predict}=\\mathrm{ctr}_0)=\\\\ = \\sum_{e\\in \\mathrm{impressions}}\\mathrm{ctr}_{0}\\cdot \\log(\\mathrm{ctr}_{0}) + (1-\\mathrm{ctr}_{0})\\cdot\\log(1-\\mathrm{ctr}_{0})=\\\\= \\sum_{e\\in \\mathrm{impressions}}\\mathrm{ctr}_{i(e)}\\cdot \\log(\\mathrm{ctr}_{0}) + (1-\\mathrm{ctr}_{i(0)})\\cdot\\log(1-\\mathrm{ctr}_{0})\" alt=\"\\mathrm{LogLikelihood}(\\mathrm{predict}=\\mathrm{ctr}_0)=\\\\ = \\sum_{e\\in \\mathrm{impressions}}\\mathrm{ctr}_{0}\\cdot \\log(\\mathrm{ctr}_{0}) + (1-\\mathrm{ctr}_{0})\\cdot\\log(1-\\mathrm{ctr}_{0})=\\\\= \\sum_{e\\in \\mathrm{impressions}}\\mathrm{ctr}_{i(e)}\\cdot \\log(\\mathrm{ctr}_{0}) + (1-\\mathrm{ctr}_{i(0)})\\cdot\\log(1-\\mathrm{ctr}_{0})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/868\/363\/bb2\/868363bb2a7fc8d4f6e5ae5e4536e034.svg\" width=\"697\" height=\"128\"\/><\/p>\n<p>\u0417\u0430\u043c\u0435\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_0\" alt=\"\\mathrm{ctr}_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e9\/298\/ef0\/6e9298ef0566b45936b58ec7dafeffc6.svg\" width=\"33\" height=\"19\"\/> \u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_{i(e)}\" alt=\"\\mathrm{ctr}_{i(e)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c6\/f5b\/cf6\/8c6f5bcf6f911d4cfaf0cc2e5af653ce.svg\" width=\"48\" height=\"23\"\/> \u0432\u0430\u043b\u0438\u0434\u043d\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430\u043c\u0438 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b \u0438 \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_{i(e)}\" alt=\"\\mathrm{ctr}_{i(e)}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/8c6\/f5b\/cf6\/8c6f5bcf6f911d4cfaf0cc2e5af653ce.svg\" width=\"48\" height=\"23\"\/> \u043f\u043e \u0432\u0441\u0435\u043c impressions \u0440\u0430\u0432\u043d\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_0\" alt=\"\\mathrm{ctr}_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e9\/298\/ef0\/6e9298ef0566b45936b58ec7dafeffc6.svg\" width=\"33\" height=\"19\"\/>.<\/p>\n<p>B \u0437\u0434\u0435\u0441\u044c \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e <em>\u0438\u0442\u043e\u0433\u043e\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f MI<\/em> \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f \u0440\u0430\u0437\u043d\u0438\u0446\u0430 \u0434\u0432\u0443\u0445 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0439 \u0434\u043b\u044f LogLikelihood:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(\\xi, \\mu) = \\ \\mathrm{MI}(predict, \\mu) =\\\\ \\ {1 \\over \\mathrm{impressions}_{total}}\\cdot (\\mathrm{LogLikelihood}(predict) - \\mathrm{LogLikelihood}(predict = \\mathrm{ctr}_{0})\" alt=\"\\mathrm{MI}(\\xi, \\mu) = \\ \\mathrm{MI}(predict, \\mu) =\\\\ \\ {1 \\over \\mathrm{impressions}_{total}}\\cdot (\\mathrm{LogLikelihood}(predict) - \\mathrm{LogLikelihood}(predict = \\mathrm{ctr}_{0})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/98f\/de4\/1f1\/98fde41f1cc10740cdaa962b6fff29da.svg\" width=\"697\" height=\"75\"\/><\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/920\/59a\/ba5\/92059aba5181aabf026c76b1444ee026.svg\" width=\"161\" height=\"22\"\/> \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0435\u0441\u0442\u044c \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 LogLikelihood.<\/p>\n<p>\u041a\u0441\u0442\u0430\u0442\u0438, \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{LogLikelihood}(predict_1) - \\mathrm{LogLikelihood}(predict_2)\" alt=\"\\mathrm{LogLikelihood}(predict_1) - \\mathrm{LogLikelihood}(predict_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6de\/5d4\/986\/6de5d4986c737fbd375ce40438f70f8a.svg\" width=\"433\" height=\"22\"\/> \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f  <a href=\"https:\/\/en.wikipedia.org\/wiki\/Likelihood-ratio_test\" rel=\"noopener noreferrer nofollow\"><strong>Log Likelihood Ratio<\/strong><\/a> \u0434\u0432\u0443\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u043e\u0432, \u0438 \u0435\u0451 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0439 (impressions). \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict_2\" alt=\"predict_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c2\/2ef\/177\/6c22ef177ea24dc32354585fed072dbc.svg\" width=\"70\" height=\"20\"\/>\u0447\u0430\u0441\u0442\u043e \u0431\u0435\u0440\u0443\u0442 \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u0431\u0443\u0434\u044c \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437, \u0432 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u044d\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437. \u0427\u0430\u0441\u0442\u043e \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c \u0433\u0440\u0430\u0444\u0438\u043a  \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b LogLikelihoodRatio \/ impressions, \u0430 \u043d\u0435 LogLikelihood \/ impressions, \u0431\u0435\u0440\u044f \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 <em>\u0431\u0435\u0439\u0441\u043b\u0430\u0439\u043d\u043e\u0432\u043e\u0433\u043e<\/em> \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict_2\" alt=\"predict_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb2\/6d1\/16f\/bb26d116fabf2ec89f71e5bbf29beae0.svg\" width=\"70\" height=\"20\"\/> \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e <em>\u0440\u043e\u0431\u0430\u0441\u0442\u043d\u044b\u0439<\/em> (\u043f\u0440\u043e\u0441\u0442\u043e\u0439, \u043d\u0430\u0434\u0451\u0436\u043d\u044b\u0439 \u043d\u0435\u043b\u043e\u043c\u0430\u044e\u0449\u0438\u0439\u0441\u044f) \u043f\u0440\u043e\u0433\u043d\u043e\u0437, \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u043d\u044b\u0439 \u043d\u0430 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0447\u0438\u0441\u043b\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u0422\u0430\u043a\u0436\u0435 \u0438\u043d\u043e\u0433\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\mathrm{LogLikelihoodRatio} \/ \\mathrm{impressions} \\cdot \\mathrm{ctr}_0^{\\gamma}\" alt=\" \\mathrm{LogLikelihoodRatio} \/ \\mathrm{impressions} \\cdot \\mathrm{ctr}_0^{\\gamma}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/74d\/087\/07d\/74d08707db649bfa3319757a6d7dc02f.svg\" width=\"323\" height=\"25\"\/>, \u0434\u043b\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\gamma\" alt=\"\\gamma\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2b7\/51d\/93d\/2b751d93d17ba63f8be41c9d51bc3fc6.svg\" width=\"11\" height=\"16\"\/>, \u0447\u0442\u043e\u0431\u044b \u0443\u0441\u0442\u0440\u0430\u043d\u0438\u0442\u044c \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u0438\u043b\u0438 \u0430\u043d\u0442\u0438\u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044e \u0441 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{ctr}_0\" alt=\"\\mathrm{ctr}_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/094\/008\/c1f\/094008c1fe407cdcc084407f5951d673.svg\" width=\"33\" height=\"19\"\/> \u0438 \u043b\u0443\u0447\u0448\u0435 \u0432\u0438\u0434\u0435\u0442\u044c \u0442\u043e\u0447\u043a\u0438 \u043f\u043e\u043b\u043e\u043c\u043e\u043a \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430.<\/p>\n<p>\u0418\u0442\u0430\u043a, \u0434\u043b\u044f \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 MI \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043e\u043c \u0438 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c \u0440\u0430\u0432\u043d\u0430 \u0443\u0434\u0435\u043b\u044c\u043d\u043e\u043c\u0443 (\u043d\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u043c\u0443 \u043d\u0430 \u0447\u0438\u0441\u043b\u043e \u0441\u0442\u0440\u043e\u043a) Log Likelihood Ratio \u0432\u0430\u0448\u0435\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0438 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0435\u0433\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. <\/p>\n<h2>\u041e\u0446\u0435\u043d\u043a\u0430 Mutual Information = Machine Learning<\/h2>\n<p>\u0414\u0432\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f  \u2014 <strong>3.1<\/strong> \u0438<strong> 3.2<\/strong>  \u2014 \u0433\u043e\u0432\u043e\u0440\u044f\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e <strong>Mutual Information \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430<\/strong>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0434\u043e\u043f\u0443\u0449\u0435\u043d\u0438\u044f\u0445 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0434\u0432\u0443\u043c \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u2014 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0441 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c \u0438 LogLikelihood \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<p>\u0421\u0430\u043c\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <strong>Mutual Information<\/strong> \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u043d\u0430 \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0442\u0440\u0438\u043a\u043e\u0439 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0445, \u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0430\u043c \u043f\u0443\u043b\u0430. \u0421\u043c\u044b\u0441\u043b &#171;\u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u044f&#187; \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u044f\u0441\u043d\u0438\u0442\u044c \u0442\u0430\u043a: \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0432\u0441\u0435 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u043e\u043c \u0438\u0442\u043e\u0433\u0435 \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0435\u0439 <strong>Mutual Information<\/strong> <em>predict<\/em>-\u0430 \u0438 <em>target<\/em>-\u0430, \u043d\u043e \u0441 \u0440\u0430\u0437\u043d\u044b\u043c\u0438 \u0434\u043e\u043f\u043e\u043b\u043d\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0434\u043e\u0431\u0430\u0432\u043a\u0430\u043c\u0438.<\/p>\n<p>\u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0441\u0432\u0435\u0442 \u043d\u0430 \u044d\u0442\u043e \u043f\u0440\u043e\u043b\u044c\u044e\u0442 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0435 \u0434\u0432\u0430 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f (\u043e\u043f\u044f\u0442\u044c \u0431\u0435\u0437 \u0434\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u0430):<\/p>\n<p><strong>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 3.3:<\/strong> \u0415\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_1,\\ldots,f_k\" alt=\"f_1,\\ldots,f_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cca\/cc4\/e76\/ccacc4e762930c2eb60c639a47be07c1.svg\" width=\"81\" height=\"21\"\/>, \u0438 \u0435\u0441\u0442\u044c \u043d\u043e\u0432\u044b\u0439 \u0444\u0430\u043a\u0442\u043e\u0440  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_{k+1}\" alt=\"f_{k+1}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e7\/7c0\/e02\/6e77c0e02b1f0728860ddf19b8e37894.svg\" width=\"36\" height=\"21\"\/> , \u0442\u0430\u043a\u043e\u0439 \u0447\u0442\u043e <img class=\"formula inline\" source=\"\\mathrm{MI}(\\{f_{k+1}, predict\\}, target) > \\mathrm{MI}(predict, target)&#187; alt=&#187;\\mathrm{MI}(\\{f_{k+1}, predict\\}, target) > \\mathrm{MI}(predict, target)&#187; src=&#187;https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/389\/5c2\/f3a\/3895c2f3abfb188cfa1c0cf8dacf8804.svg&#187; width=&#187;412&#8243; height=&#187;22&#8243;\/>, \u0442\u043e \u043f\u0440\u0438 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043b\u043e\u0433\u0435 \u044d\u0442\u043e\u0442 \u0444\u0430\u043a\u0442\u043e\u0440 \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442 \u0432\u0430\u0448\u0443 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f. <strong>Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0439<\/strong> \u0435\u0441\u043b\u0438 \u043e\u043d\u0430 \u043f\u0430\u0434\u0430\u0435\u0442, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0432 \u043b\u044e\u0431\u043e\u043c \u044d\u043b\u0435\u043c\u0435\u043d\u0442\u0435 \u043f\u0443\u043b\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 predict \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0430\u0435\u0442\u0435 \u043a target. \u041a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 mse, <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_p\" alt=\"L_p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4f2\/7a3\/29d\/4f27a329d7e11fc1470e75e3405348f9.svg\" width=\"22\" height=\"22\"\/>-\u043e\u0448\u0438\u0431\u043a\u0430, LogLikelihood \u2014 \u044d\u0442\u043e \u0432\u0441\u0451 \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0414\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430\u044f. <\/p>\n<p>\u041f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0435 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c <strong>\u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430<\/strong>.<\/p>\n<p><strong>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 3.4 (\u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0443\u0442\u043e\u0447\u043d\u0435\u043d\u0438\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u0439):<\/strong> \u0415\u0441\u043b\u0438 \u0432\u044b \u043d\u0430\u0448\u043b\u0438 \u0442\u0430\u043a\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 (\u0430\u043a\u0430 \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432) \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u0432\u0435\u043b\u0438\u0447\u0438\u0432\u0430\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d84\/62d\/802\/d8462d802507601ab9ee656fb4b8e9e6.svg\" width=\"161\" height=\"22\"\/>, \u0442\u043e \u043f\u043e\u0441\u043b\u0435 \u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0435\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u044b\u0440\u0430\u0441\u0442\u0435\u0442 \u0438 \u0432\u0430\u0448\u0430 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f.<\/p>\n<p>\u0412 \u044d\u0442\u0438\u0445 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u044f\u0445 \u043d\u0435\u043b\u044c\u0437\u044f \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c MI \u043d\u0430 \u043a\u0430\u043a\u0443\u044e-\u0442\u043e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044e. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u044b \u0434\u0435\u043b\u0430\u0435\u0442\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u043e\u0432 \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u0443\u043c\u0435\u043d\u044c\u0448\u0430\u0435\u0442<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_1\" alt=\"L_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a33\/c84\/236\/a33c84236a353c2bce2429ed821b6325.svg\" width=\"22\" height=\"19\"\/>-\u043e\u0448\u0438\u0431\u043a\u0443, \u0442\u043e \u044d\u0442\u043e \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442, \u0447\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043f\u0430\u0434\u0430\u0442\u044c \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/75e\/070\/ac4\/75e070ac43d1a6846c9475993c089751.svg\" width=\"22\" height=\"19\"\/>-\u043e\u0448\u0438\u0431\u043a\u0430 \u0434\u0430\u0436\u0435 \u043f\u043e\u0441\u043b\u0435 \u043d\u0430\u0434\u043b\u0435\u0436\u0430\u0449\u0435\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043f\u043e\u0434 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1cf\/a2a\/a26\/1cfa2aa26505fe6a5ff4fccdcfac4696.svg\" width=\"22\" height=\"19\"\/>. \u0422\u0430\u043a\u0430\u044f \u0432\u044b\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c MI \u0441\u0432\u044f\u0437\u0430\u043d\u0430 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e, \u043a\u0430\u043a \u0443\u0436\u0435 \u0431\u044b\u043b\u043e \u0441\u043a\u0430\u0437\u0430\u043d\u043e \u0432\u044b\u0448\u0435, \u043e\u043d\u0430 \u043d\u0435 \u0441\u043e\u0432\u0441\u0435\u043c Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0438 \u043f\u043e \u0441\u0432\u043e\u0435\u0439 \u043f\u0440\u0438\u0440\u043e\u0434\u0435 \u0434\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442 \u043b\u044e\u0431\u0443\u044e \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0443 (\u0442\u043e \u0435\u0441\u0442\u044c \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0439 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430).<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.10:<\/strong>  \u0414\u043e\u043a\u0430\u0436\u0438\u0442\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f, \u043a\u043e\u0433\u0434\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target=F(f_1,f_2,\\ldots,w_1,w_2,\\ldots) + \\nu\" alt=\"target=F(f_1,f_2,\\ldots,w_1,w_2,\\ldots) + \\nu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0fa\/24f\/06b\/0fa24f06bb6599fadc3257d301a540bb.svg\" width=\"317\" height=\"22\"\/>,  \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\nu \" alt=\"\\nu \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/209\/a52\/597\/209a52597c48507dc7ba531e25a27c7c.svg\" width=\"10\" height=\"12\"\/> \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c, \u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438,  \u043f\u0440\u0438 \u0443\u0432\u0435\u043b\u0438\u0447\u0435\u043d\u0438\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043b\u043e\u0433\u0430 \u0432\u0435\u0441\u0430 \u0441\u0442\u0440\u0435\u043c\u044f\u0442\u0441\u044f \u043a \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c \u0432\u0435\u0441\u043e\u0432 \u0434\u043b\u044f \u043e\u0431\u043e\u0438\u0445 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_1\" alt=\"L_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a33\/c84\/236\/a33c84236a353c2bce2429ed821b6325.svg\" width=\"22\" height=\"19\"\/>\u0438<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/458\/88c\/eeb\/45888ceeb188b1cdfc6b8b63c37194dc.svg\" width=\"22\" height=\"19\"\/>.  \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432 \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u0448\u0443\u043c \u0438\u043c\u0435\u0435\u0442 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u043e\u0431\u0435 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0434\u0430\u044e\u0442 \u043d\u0435\u0441\u043c\u0435\u0449\u0451\u043d\u043d\u044b\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 3.11:<\/strong>  \u041f\u0440\u0438\u0432\u0435\u0434\u0438\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 \u043c\u043e\u0434\u0435\u043b\u0438 \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e target, \u043a\u043e\u0433\u0434\u0430  Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_1\" alt=\"L_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd6\/ced\/aec\/bd6cedaec973a38902ca28beb19eaaec.svg\" width=\"22\" height=\"19\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"L_2\" alt=\"L_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5e0\/7da\/f3e\/5e07daf3efc44b884fa81674db271178.svg\" width=\"22\" height=\"19\"\/>\u0434\u0430\u044e\u0442 \u0440\u0430\u0437\u043d\u044b\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b \u0434\u0430\u0436\u0435 \u043d\u0430 \u043e\u0447\u0435\u043d\u044c \u0431\u043e\u043b\u044c\u0448\u043e\u043c \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435, \u0442\u0430\u043a \u0447\u0442\u043e \u043e\u0434\u0438\u043d \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0432\u043e \u0432\u0442\u043e\u0440\u043e\u0439 \u043d\u0438\u043a\u0430\u043a\u0438\u043c \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u044b\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435\u043c (\u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u043e\u0439 \u0432\u0442\u043e\u0440\u043e\u0433\u043e).<\/p>\n<p><strong>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 3.5:<\/strong> \u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mi = \\mathrm{MI}(\\{f_1,\\ldots, f_k\\}, target)\" alt=\"mi = \\mathrm{MI}(\\{f_1,\\ldots, f_k\\}, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e1c\/7b8\/c04\/e1c7b8c045f12ad0892e2927fdb6ed85.svg\" width=\"251\" height=\"22\"\/> \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"predict=\\mathcal{P}(f_1,\\ldots, f_k)\" alt=\"predict=\\mathcal{P}(f_1,\\ldots, f_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/30c\/c81\/16c\/30cc8116cd7fa019794a525fbba51d73.svg\" width=\"197\" height=\"22\"\/> \u0432 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e  Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<p>\u042d\u0442\u043e \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442, \u0447\u0442\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 mi \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0440\u0430\u0432\u043d\u043e supremum <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cf6\/a82\/a23\/cf6a82a2397463cd384ee1100c8a0c18.svg\" width=\"161\" height=\"22\"\/>\u0432\u0441\u0435\u043c \u043f\u0430\u0440\u0430\u043c (ML-\u043c\u0435\u0442\u043e\u0434, Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f), \u0433\u0434\u0435 <br \/>      ML-\u043c\u0435\u0442\u043e\u0434 ::= (&#171;\u0441\u0442\u0440\u0443\u043a\u0442\u0443\u0440\u0430 \u043c\u043e\u0434\u0435\u043b\u0438&#187;, &#171;\u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438&#187;),  <br \/>      &#171;\u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438&#187; ::= (&#171;\u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c&#187;, &#171;\u0433\u0438\u043f\u0435\u0440\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430&#187;), <br \/>\u0430 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0442\u0435\u043c \u0442\u043e\u0447\u043d\u0435\u0435, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b.<\/p>\n<p>\u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0442\u0430 \u043f\u0430\u0440\u0430 (ML-\u043c\u0435\u0442\u043e\u0434, Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f), \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0434\u0430\u0441\u0442 \u0441\u0430\u043c\u043e\u0435 \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0b1\/3d8\/d30\/0b13d8d3077e65e11440ff83bba5f7e8.svg\" width=\"161\" height=\"22\"\/> \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a mi, \u0438 \u0435\u0441\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u0441\u0430\u043c\u0430\u044f \u0431\u043b\u0438\u0437\u043a\u0430\u044f \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u043e\u043c\u0443, \u043a\u0430\u043a \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0441\u0432\u044f\u0437\u0430\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f_1,\\ldots,f_k\" alt=\"f_1,\\ldots,f_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f5d\/24e\/d34\/f5d24ed34c59143571006d97ca4b6bf5.svg\" width=\"81\" height=\"21\"\/> \u0438 <em>target<\/em>.<\/p>\n<p><strong>\u0418\u0442\u0430\u043a: \u041c\u044b \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0432\u0435 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u0435 \u0441\u0432\u044f\u0437\u0438 \u043c\u0435\u0436\u0434\u0443 \u0437\u0430\u0434\u0430\u0447\u0430\u043c\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0438 MI:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f MI  \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0437\u0430\u0434\u0430\u0447\u0435 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043a\u0430\u043a\u043e\u0439-\u0442\u043e  Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438<\/strong><\/p>\n<\/li>\n<li>\n<p><strong>\u0412\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, &#171;\u043e\u0446\u0435\u043d\u043a\u0430 MI&#187; = &#171;ML&#187;, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 <\/strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(\\{f_1,\\ldots, f_k\\}, target)\" alt=\"\\mathrm{MI}(\\{f_1,\\ldots, f_k\\}, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/406\/712\/0a0\/4067120a069f33dec7fe92c94183f3e4.svg\" width=\"201\" height=\"22\"\/><strong> \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0435 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u044f \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 <\/strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{P}(f_1,\\ldots, f_k)\" alt=\"\\mathcal{P}(f_1,\\ldots, f_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/045\/986\/efb\/045986efb25aac5498722d8dbc9c1a6c.svg\" width=\"110\" height=\"22\"\/><strong> \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u0442\u043e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0418 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e,  ML-\u043c\u0435\u0442\u043e\u0434 \u0438 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0434\u0430\u044e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c  <\/strong><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/aa3\/6a1\/16b\/aa36a116bb5c8819f19e757272e50d2a.svg\" width=\"161\" height=\"22\"\/> <strong> \u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e.<\/strong><\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/690100\/\"> https:\/\/habr.com\/ru\/post\/690100\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u041f\u043e\u043d\u044f\u0442\u0438\u0435 Mututal Information (MI) \u0441\u0432\u044f\u0437\u0430\u043d\u043e \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043c\u043e\u0436\u043d\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0437\u0430\u0434\u0430\u0447\u0443 \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e <strong>\u0441\u0438\u0433\u043d\u0430\u043b\u0435<\/strong> \u0438\u0437 <strong>\u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432<\/strong>. \u041a\u0430\u043a\u0430\u044f-\u0442\u043e \u0447\u0430\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0441\u0438\u0433\u043d\u0430\u043b\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445. \u0418 \u0435\u0441\u043b\u0438 \u0432\u044b \u043d\u0430\u043f\u0438\u0448\u0438\u0442\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442 \u0447\u0438\u0441\u043b\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a \u0441\u0438\u0433\u043d\u0430\u043b\u0443, \u0442\u043e \u044d\u0442\u043e \u0438 \u0431\u0443\u0434\u0435\u0442 \u0434\u0435\u043c\u043e\u043d\u0441\u0442\u0440\u0430\u0446\u0438\u0435\u0439 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u044b \u0441\u043c\u043e\u0433\u043b\u0438 \u0438\u0437\u0432\u043b\u0435\u0447\u044c MI \u043c\u0435\u0436\u0434\u0443 \u0441\u0438\u0433\u043d\u0430\u043b\u043e\u043c \u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438.<\/p>\n<h2>\u0427\u0442\u043e \u0442\u0430\u043a\u043e\u0435 Machine Learning?<\/h2>\n<p>\u0427\u0442\u043e\u0431\u044b \u0434\u0432\u0438\u0433\u0430\u0442\u044c\u0441\u044f \u0434\u0430\u043b\u044c\u0448\u0435, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f \u0438\u0437 ML, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a: \u0444\u0430\u043a\u0442\u043e\u0440\u044b, <em>target<\/em>, Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b\u044b,  overfitting \u0438 underfitting \u0438 \u0438\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b, \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u044f, \u0440\u0430\u0437\u043d\u044b\u0435 \u0432\u0438\u0434\u044b \u0443\u0442\u0435\u0447\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n<p><strong>\u0424\u0430\u043a\u0442\u043e\u0440\u044b (<em>features<\/em>)<\/strong> \u2013 \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e  \u0432\u0430\u043c \u0434\u0430\u0451\u0442\u0441\u044f \u043d\u0430 \u0432\u0445\u043e\u0434, \u0430 <strong>\u0441\u0438\u0433\u043d\u0430\u043b<\/strong> <strong>(<em>target<\/em>)<\/strong> \u2013 \u044d\u0442\u043e  \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0444\u0430\u043a\u0442\u043e\u0440\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0443 <strong>\u0437\u0430\u0432\u0442\u0440\u0430 \u0432 12:00<\/strong> \u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u043c \u0433\u043e\u0440\u043e\u0434\u0435 \u2013 \u044d\u0442\u043e <em>target<\/em>, \u0430 \u0434\u0430\u043d\u043e \u0432\u0430\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u0447\u0438\u0441\u0435\u043b <strong>\u043f\u0440\u043e \u0441\u0435\u0433\u043e\u0434\u043d\u044f \u0438 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0435 \u0434\u043d\u0438<\/strong>: \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u0430, \u0434\u0430\u0432\u043b\u0435\u043d\u0438\u0435, \u0432\u043b\u0430\u0436\u043d\u043e\u0441\u0442\u044c, \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u0438\u0435 \u0438 \u0441\u0438\u043b\u0430 \u0432\u0435\u0442\u0440\u0430 \u0432 \u044d\u0442\u043e\u043c \u0438 \u0441\u043e\u0441\u0435\u0434\u043d\u0438\u0445 \u0433\u043e\u0440\u043e\u0434\u0430\u0445 \u0432 \u0440\u0430\u0437\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0434\u043d\u044f \u2013 \u044d\u0442\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u044b. <\/p>\n<p><strong>\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0414\u0430\u043d\u043d\u044b\u0435<\/strong>  \u2013  \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 (aka  \u0441\u044d\u043c\u043f\u043b\u043e\u0432) \u0441 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u043c\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0442\u0432\u0435\u0442\u0430\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0432 \u0442\u0430\u0431\u043b\u0438\u0446\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0435\u0441\u0442\u044c \u0438 \u043f\u043e\u043b\u044f \u0441 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438  <em>features<\/em>=(<em>f<\/em><sub>1<\/sub>, <em>f<\/em><sub>2<\/sub>, &#8230;, <em>f<\/em><sub>n<\/sub>), \u0438 \u043f\u043e\u043b\u0435 <em>target<\/em>. \u0414\u0430\u043d\u043d\u044b\u0435 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430 \u0434\u0432\u0435 \u0447\u0430\u0441\u0442\u0438 \u2013  <strong>\u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b (train set)<\/strong> \u0438 <strong>\u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b (test set)<\/strong>. \u0412\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u044d\u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0442\u0430\u043a.<\/p>\n<p><strong>\u041e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b:<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong><em>id<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>1<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>2<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>&#8230;<\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>target<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>predict<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.234<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.678<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.23<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.345<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.123<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.34<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18987<\/p>\n<\/td>\n<td>\n<p align=\"left\">1.432<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.444<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;.<\/p>\n<\/td>\n<td>\n<p align=\"left\">5.67<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p><strong>\u0422\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b:<\/strong><\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<td>\n<p align=\"left\"><strong><em>id<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>1<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>f<\/em><sub>2<\/sub><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong>&#8230;<\/strong><\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\"><strong><em>target<\/em><\/strong><\/p>\n<\/td>\n<td>\n<p align=\"left\"><strong><em>predict<\/em><\/strong><\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18988<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.321<\/p>\n<\/td>\n<td>\n<p align=\"left\">6.545<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">4.987<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">18989<\/p>\n<\/td>\n<td>\n<p align=\"left\">4.123<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.348<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">3.765<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">&#8230;.<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">30756<\/p>\n<\/td>\n<td>\n<p align=\"left\">2.678<\/p>\n<\/td>\n<td>\n<p align=\"left\">3.187<\/p>\n<\/td>\n<td>\n<p align=\"left\">&#8230;<\/p>\n<\/td>\n<td data-colwidth=\"117\" width=\"117\">\n<p align=\"left\">2.593<\/p>\n<\/td>\n<td>\n<p align=\"left\">?<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0412 \u043e\u0431\u0449\u0438\u0445 \u0447\u0435\u0440\u0442\u0430\u0445 \u0437\u0430\u0434\u0430\u0447\u0443 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043c\u043e\u0436\u043d\u043e \u0441\u0444\u043e\u0440\u043c\u0443\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432 \u0434\u0443\u0445\u0435 \u0441\u043e\u0440\u0435\u0432\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0430 <a href=\"https:\/\/www.kaggle.com\/\" rel=\"noopener noreferrer nofollow\">kaggle.com<\/a>:<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430  (\u0437\u0430\u0434\u0430\u0447\u0430 ML).<\/strong> \u0412\u0430\u043c \u0434\u0430\u043d \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b. \u0420\u0435\u0430\u043b\u0438\u0437\u0443\u0439\u0442\u0435 \u0432 \u0432\u0438\u0434\u0435 \u043a\u043e\u0434\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e , \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0431\u043b\u0438\u0437\u043a\u043e\u0435 \u043a target.  \u041c\u0435\u0440\u0430 \u0431\u043b\u0438\u0437\u043e\u0441\u0442\u0438 \u0437\u0430\u0434\u0430\u043d\u0430 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430: , <strong>\u041a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430<\/strong> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0440\u0435\u0434\u043d\u0438\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043e\u0448\u0438\u0431\u043a\u0438 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432 \u0436\u0438\u0437\u043d\u0438, \u043d\u043e \u043f\u043e \u0444\u0430\u043a\u0442\u0443 \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u044d\u0442\u043e\u0439 \u0441\u0440\u0435\u0434\u043d\u0435\u0439 \u043e\u0448\u0438\u0431\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0439 \u043f\u0443\u043b, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442 \u0432\u0430\u0441 \u0441\u043a\u0440\u044b\u0442. <\/p>\n<p>\u0423 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b  \u0435\u0441\u0442\u044c \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u2013  <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9D%D0%B5%D0%B2%D1%8F%D0%B7%D0%BA%D0%B0\" rel=\"noopener noreferrer nofollow\"><strong>\u043d\u0435\u0432\u044f\u0437\u043a\u0430<\/strong><\/a>. \u0414\u0432\u0430 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043b\u044f \u0437\u0430\u0434\u0430\u0447 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u2013  \u044d\u0442\u043e:<\/p>\n<ul>\n<li>\n<p>\u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043a\u0432\u0430\u0434\u0440\u0430\u0442 \u043d\u0435\u0432\u044f\u0437\u043a\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u0440\u0435\u0434\u043d\u0435\u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439 \u0438\u043b\u0438 mse (mean square error);<\/p>\n<\/li>\n<li>\n<p>\u0441\u0440\u0435\u0434\u043d\u0438\u0439 \u043c\u043e\u0434\u0443\u043b\u044c \u043d\u0435\u0432\u044f\u0437\u043a\u0438, \u0447\u0442\u043e \u0442\u0430\u043a\u0436\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 L1-\u043e\u0448\u0438\u0431\u043a\u043e\u0439.<\/p>\n<\/li>\n<\/ul>\n<p>\u041d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0437\u0430\u0434\u0430\u0447\u0430 ML \u0431\u043e\u043b\u0435\u0435 \u043e\u0431\u0449\u0430\u044f \u0438 \u0432\u044b\u0441\u043e\u043a\u043e\u0443\u0440\u043e\u0432\u043d\u0435\u0432\u0430\u044f. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, \u043d\u0443\u0436\u043d\u043e \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0432 \u043c\u0435\u0440\u0443 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0430\u043b\u044c\u043d\u0443\u044e <strong>ML-\u043c\u043e\u0434\u0435\u043b\u044c<\/strong> \u2013 \u0441\u043f\u043e\u0441\u043e\u0431 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f  \u0444\u0443\u043d\u043a\u0446\u0438\u0439  \u043f\u043e \u0434\u0430\u043d\u043d\u043e\u043c\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0410 \u0442\u0430\u043a\u0436\u0435 \u043d\u0443\u0436\u043d\u043e \u0443\u043c\u0435\u0442\u044c \u0434\u0435\u043b\u0430\u0442\u044c <em>model evaluation<\/em>: \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u0442\u044c  \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0432 \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u0435, \u0443\u043c\u0435\u0442\u044c \u043e\u0431\u043d\u043e\u0432\u043b\u044f\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 (\u043f\u043e\u0448\u0430\u0433\u043e\u0432\u043e, \u0434\u0435\u043b\u0430\u044f \u043d\u043e\u0432\u044b\u0435 \u0432\u0435\u0440\u0441\u0438\u0438, \u0438\u043b\u0438 \u043c\u043e\u0434\u0438\u0444\u0438\u0446\u0438\u0440\u0443\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0432 \u0440\u0435\u0436\u0438\u043c\u0435 online), \u0443\u043b\u0443\u0447\u0448\u0430\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438, \u043a\u043e\u043d\u0442\u0440\u043e\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0447\u0438\u0441\u0442\u043e\u0442\u0443 \u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. <\/p>\n<p>\u041f\u0440\u043e\u0446\u0435\u0441\u0441 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c\u0443 \u043f\u0443\u043b\u0443 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <strong>\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c<\/strong>. \u041f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b ML-\u043c\u043e\u0434\u0435\u043b\u0435\u0439 (\u043a\u043b\u0430\u0441\u0441\u044b  \u043c\u043e\u0434\u0435\u043b\u0435\u0439):<\/p>\n<ul>\n<li>\n<p><strong>\u041b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c<\/strong>, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 , \u0438  \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a  \u043f\u043e\u0434\u0431\u043e\u0440\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 , \u0447\u0442\u043e \u0434\u0435\u043b\u0430\u0435\u0442\u0441\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u0441\u043f\u0443\u0441\u043a\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>Gradient boosted trees<\/strong> \u2013 \u043c\u043e\u0434\u0435\u043b\u044c, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u043a\u0430\u043a \u0441\u0443\u043c\u043c\u0430 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u0438\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445 (\u0441\u043e\u0442\u0435\u043d, \u0442\u044b\u0441\u044f\u0447), \u0433\u0434\u0435 \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u2013 \u044d\u0442\u043e \u0440\u0435\u0448\u0430\u044e\u0449\u0435\u0435 \u0434\u0435\u0440\u0435\u0432\u043e, \u0432 \u0443\u0437\u043b\u0430\u0445 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0443\u0441\u043b\u043e\u0432\u0438\u044f \u043d\u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u0430 \u0432 \u043b\u0438\u0441\u0442\u044c\u044f\u0445 \u2013 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u044b\u0435 \u0447\u0438\u0441\u043b\u0430; \u043a\u0430\u0436\u0434\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u043a\u0430\u043a \u043a\u0430\u043a\u0443\u044e-\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u0432\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u0445 if-\u043a\u043e\u043d\u0441\u0442\u0440\u0443\u043a\u0446\u0438\u0439 \u0441 \u0443\u0441\u043b\u043e\u0432\u0438\u044f\u043c\u0438 \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 \u0432 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u0445 \u0443\u0437\u043b\u0430\u0445 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e \u0447\u0438\u0441\u043b\u0430. \u0414\u043b\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f GBT \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u0433\u043e\u0442\u043e\u0432\u044b\u0445 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c: <a href=\"https:\/\/catboost.ai\/\" rel=\"noopener noreferrer nofollow\">CatBoost<\/a>, <a href=\"https:\/\/github.com\/dmlc\/xgboost\" rel=\"noopener noreferrer nofollow\">xgboost<\/a>.  \u0421\u043c. <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/645887\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044e \u043d\u0430 \u0445\u0430\u0431\u0440\u0435<\/a>.<\/p>\n<\/li>\n<li>\n<p><strong>Neural Networks<\/strong> \u2013 \u0432 \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0435\u043c \u0431\u0430\u0437\u043e\u0432\u043e\u043c \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0435 \u044d\u0442\u043e \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u0438\u0434\u0430 , \u0433\u0434\u0435 \u2013 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u0440\u0430\u0437\u043c\u0435\u0440\u044b \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0447\u0438\u043a \u043c\u043e\u0434\u0435\u043b\u0438, \u0444\u0430\u043a\u0442\u043e\u0440\u044b \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u044b \u0432 \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 , \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440  \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044e \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441 \u043f\u043e\u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u043d\u0443\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0441\u0435\u0445 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u0432 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0438\u0440\u0443\u044e\u0449\u0435\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0435. \u041e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u0432 \u043f\u043e\u0440\u044f\u0434\u043a\u0435 \u0441\u043f\u0440\u0430\u0432\u0430 \u043d\u0430\u043b\u0435\u0432\u043e \u2013 \u044d\u0442\u043e \u0432\u0430\u0436\u043d\u043e \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u043d\u0430\u043b\u0438\u0447\u0438\u044f \u0442\u0430\u043a\u043e\u0433\u043e \u043e\u0431\u043d\u0443\u043b\u0435\u043d\u0438\u044f. \u041c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u043e\u044f\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u0430 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043c\u0430\u0442\u0440\u0438\u0446 \u2013 \u0433\u043b\u0443\u0431\u0438\u043d\u043e\u0439 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438. \u0412\u043c\u0435\u0441\u0442\u043e \u043e\u0431\u043d\u0443\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0445 \u043c\u043e\u0436\u043d\u043e \u0431\u0440\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0435 \u0434\u0440\u0443\u0433\u0438\u0435 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f. \u0415\u0441\u043b\u0438 \u0431\u044b \u043d\u0435 \u0431\u044b\u043b\u043e \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0439 \u043f\u043e\u0441\u043b\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443, \u0432\u0441\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u0431\u044b &#171;\u0441\u0445\u043b\u043e\u043f\u043d\u0443\u0442\u044c&#187; \u0432 \u043e\u0434\u043d\u0443 \u0438 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u043d\u0435 \u043e\u0442\u043b\u0438\u0447\u0430\u043b\u043e\u0441\u044c \u0431\u044b \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e. \u042f \u043e\u043f\u0438\u0441\u0430\u043b \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438, \u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b \u0438 \u0431\u043e\u043b\u0435\u0435 \u0441\u043b\u043e\u0436\u043d\u044b\u0435, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <\/p>\n<p>. <\/p>\n<p>\u041a\u0440\u043e\u043c\u0435 \u0441\u0430\u043c\u044b\u0445 \u0440\u0430\u0437\u043d\u044b\u0445 \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u044b\u0445 \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u044f \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0432 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u0445 \u043c\u043e\u0433\u0443\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u044b \u0441\u043a\u0430\u043b\u044f\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 \u043f\u043e\u044d\u043b\u0435\u043c\u0435\u043d\u0442\u043d\u043e\u0433\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u0434\u043b\u044f \u0434\u0432\u0443\u0445 \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u043e\u0434\u043d\u043e\u0439 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438, \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u0432 \u0432 \u043e\u0434\u0438\u043d \u0431\u043e\u043b\u0435\u0435 \u0434\u043b\u0438\u043d\u043d\u044b\u0439 \u0438 \u0434\u0440. \u041c\u043e\u0436\u043d\u043e \u0434\u0443\u043c\u0430\u0442\u044c \u043e\u0431 \u043e\u0431\u0449\u0435\u0439 \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0435 \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 , \u043a\u043e\u0433\u0434\u0430 \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0432\u0435\u043a\u0442\u043e\u0440, \u0430 \u0434\u0430\u043b\u044c\u0448\u0435 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u043e\u0432 ,  \u043d\u0435\u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u0439 \u0438 \u0432\u0435\u0441\u043e\u0432  \u043a\u043e\u043d\u0441\u0442\u0440\u0443\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u043e\u0442\u0432\u0435\u0442. \u0412 \u044d\u0442\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0438 \u043c\u043e\u0433\u0443\u0442 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0441\u0430\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043e\u0431\u0449\u0435\u0433\u043e \u0432\u0438\u0434\u0430. \u041f\u043e \u0444\u0430\u043a\u0442\u0443, \u0430\u0440\u0445\u0438\u0442\u0435\u043a\u0442\u0443\u0440\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044c\u044e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432 \u043d\u0435\u0439 \u043f\u0440\u0438\u0441\u0443\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0447\u0442\u043e-\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435\u0435 \u043d\u0430 \u0446\u0435\u043f\u043e\u0447\u043a\u0443 \u0432\u0438\u0434\u0430 . \u0410 \u0442\u0430\u043a, \u043c\u044b \u043f\u043e \u0441\u0443\u0442\u0438 \u0438\u043c\u0435\u0435\u043c \u0437\u0430\u0434\u0430\u0447\u0443 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u2013 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b (\u0432\u0435\u0441\u0430) \u0432 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0443. \u0415\u0441\u0442\u044c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u0435\u0442\u043e\u0434\u043e\u0432 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0439, \u043e\u043d\u0438 \u0432 \u0441\u0432\u043e\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0438\u0442\u0435\u0440\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435, \u0438 \u0437\u0430 \u0448\u0430\u0433 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u044f \u0432\u0435\u0441\u043e\u0432 \u043e\u0442\u0432\u0435\u0447\u0430\u0435\u0442 \u043c\u043e\u0434\u0443\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u0440\u043e\u0433\u0440\u0430\u043c\u043c\u0438\u0441\u0442\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <a href=\"https:\/\/habr.com\/ru\/post\/318970\/\" rel=\"noopener noreferrer nofollow\">\u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0442\u043e\u0440\u043e\u043c<\/a>, \u0441\u043c. \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440 <a href=\"https:\/\/pytorch.org\/docs\/stable\/generated\/torch.optim.Adam.html\" rel=\"noopener noreferrer nofollow\">AdamOptimizer<\/a>.  <\/p>\n<\/li>\n<\/ul>\n<h2>\u0422\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u044f ML<\/h2>\n<p>\u0412 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Regression_analysis\" rel=\"noopener noreferrer nofollow\">\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u043e\u043c \u0430\u043d\u0430\u043b\u0438\u0437\u0435<\/a> \u043f\u043e\u044f\u0432\u0438\u043b\u043e\u0441\u044c \u043c\u043d\u043e\u0433\u043e \u0432\u0430\u0436\u043d\u044b\u0445 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043b\u0443\u0447\u0448\u0435 \u043f\u043e\u043d\u044f\u0442\u044c \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0438 \u043d\u0435 \u0434\u0435\u043b\u0430\u0442\u044c \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u043e\u0448\u0438\u0431\u043e\u043a. \u042d\u0442\u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u044b  \u043f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u043f\u0435\u0440\u0435\u043a\u043e\u0447\u0435\u0432\u0430\u043b\u0438 \u0432 ML. \u0417\u0434\u0435\u0441\u044c \u044f \u0438\u0437\u043b\u043e\u0436\u0443 \u0431\u0430\u0437\u043e\u0432\u044b\u0435 \u043f\u043e\u043d\u044f\u0442\u0438\u044f, \u0441\u0442\u0430\u0440\u0430\u044f\u0441\u044c \u043e\u0442\u043c\u0435\u0447\u0430\u0442\u044c \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043e\u0440\u0438\u0435\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438<\/p>\n<h3>Overfitting<\/h3>\n<p><strong>Overfitting<\/strong> \u2013 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u0432\u044b\u0431\u0440\u0430\u043d\u043d\u0430\u044f \u0432\u0430\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0437\u0430 target \u0418\/\u0418\u041b\u0418 \u0434\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043c\u0430\u043b\u043e, \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u0442\u0430\u043a\u0443\u044e \u0441\u043b\u043e\u0436\u043d\u0443\u044e \u043c\u043e\u0434\u0435\u043b\u044c. \u0415\u0441\u0442\u044c \u0434\u0432\u0435  \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0435 \u043f\u0440\u0438\u0447\u0438\u043d\u044b <strong>overfitting:<\/strong><\/p>\n<ul>\n<li>\n<p><strong>too complex model:<\/strong> \u0423\u0441\u0442\u0440\u043e\u0439\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0438 \u0441\u0438\u043b\u044c\u043d\u043e \u0441\u043b\u043e\u0436\u043d\u0435\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438\u043b\u0438 \u0432  \u0441\u0432\u043e\u0435\u0439 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438 \u0435\u0439 \u043d\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442. \u041f\u0440\u043e\u0449\u0435 \u044d\u0442\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043e\u0434\u043d\u043e\u0444\u0430\u043a\u0442\u043e\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438.<br \/>\u041f\u0443\u0441\u0442\u044c \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435 11 \u0442\u043e\u0447\u0435\u043a  \u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u2013 \u0441\u0443\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0432 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u0435, \u0447\u0442\u043e \u043e\u043d &#171;\u0437\u0430\u0433\u043b\u044f\u043d\u0435\u0442&#187; \u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u043d\u0435 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043b\u0430\u0434\u0430\u0442\u044c \u0445\u043e\u0440\u043e\u0448\u0438\u043c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430:<\/p>\n<figure class=\"\"><figcaption>\u0413\u043e\u043b\u0443\u0431\u0430\u044f \u043b\u0438\u043d\u0438\u044f \u2013 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10 \u0441\u0442\u0435\u043f\u0435\u043d\u0438,  \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u043c\u043e\u0433 \u0432 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043f\u0443\u043b \u0438\u0437 11 \u0442\u043e\u0447\u0435\u043a.  \u041d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043a\u043e\u0440\u0435\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f (\u0447\u0451\u0440\u043d\u0430\u044f \u043b\u0438\u043d\u0438\u044f), \u0430 \u043e\u0442\u043a\u043b\u043e\u043d\u0435\u043d\u0438\u044f \u043e\u0442 \u043d\u0435\u0451 \u2013 \u044d\u0442\u043e \u0438\u043b\u0438 \u0448\u0443\u043c, \u0438\u043b\u0438 \u0447\u0442\u043e-\u0442\u043e, \u043e\u0431\u044a\u044f\u0441\u043d\u044f\u0435\u043c\u043e\u0435 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438, \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0443 \u043d\u0430\u0441 \u043d\u0435\u0442<\/figcaption><\/figure>\n<p>\u041c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 10-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u2013 \u044d\u0442\u043e \u043e\u0447\u0435\u0432\u0438\u0434\u043d\u044b\u0439 \u0438 \u0447\u0430\u0441\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440. \u041c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u044b \u043d\u0435\u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438, \u043d\u043e \u043e\u0442 \u043c\u043d\u043e\u0433\u0438\u0445 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 \u0442\u043e\u0436\u0435 \u043c\u043e\u0433\u0443\u0442  \u0434\u0430\u0432\u0430\u0442\u044c overfitting. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c <em>predict<\/em> = \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0441\u0442\u0435\u043f\u0435\u043d\u0438 3 \u043e\u0442 100 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 (\u043a\u0441\u0442\u0430\u0442\u0438, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432 \u043d\u0451\u043c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432?), \u0432 \u0442\u043e \u0432\u0440\u0435\u043c\u044f \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 <em>predict<\/em> = \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0441\u0442\u0435\u043f\u0435\u043d\u0438 2 \u043e\u0442 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 + \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0448\u0443\u043c. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0435\u0441\u043b\u0438 \u0443 \u0432\u0430\u0441 \u0434\u0430\u043d\u043d\u044b\u0445 \u0434\u043e\u0432\u043e\u043b\u044c\u043d\u043e \u043c\u043d\u043e\u0433\u043e, \u0442\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043c\u043e\u0433\u0443\u0442 \u0434\u0430\u0442\u044c \u043f\u0440\u0438\u0435\u043c\u043b\u0435\u043c\u044b\u0439 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043f\u0440\u0438 \u0447\u043b\u0435\u043d\u0430\u0445 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 3 \u0431\u0443\u0434\u0443\u0442 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c\u0438. \u042d\u0442\u0438 \u0447\u043b\u0435\u043d\u044b \u0441\u0442\u0435\u043f\u0435\u043d\u0438 3 \u0431\u0443\u0434\u0443\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u0439 \u0432\u043a\u043b\u0430\u0434 \u0432 \u043e\u0442\u0432\u0435\u0442 \u043f\u0440\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0435 \u0434\u043b\u044f \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 (\u043a\u0430\u043a \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u0435\u0439). \u041d\u043e \u0432 \u0437\u043e\u043d\u0435  \u043a\u0440\u0430\u0439\u043d\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432, \u0433\u0434\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0443\u0436\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u044d\u043a\u0441\u0442\u0440\u0430\u043f\u043e\u043b\u044f\u0446\u0438\u044f, \u0430 \u043d\u0435 \u0438\u043d\u0442\u0435\u0440\u043f\u043e\u043b\u044f\u0446\u0438\u044f, \u0432\u044b\u0441\u043e\u043a\u0438\u0435 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0431\u0443\u0434\u0443\u0442 \u0432\u043d\u043e\u0441\u0438\u0442\u044c \u0437\u0430\u043c\u0435\u0442\u043d\u044b\u0439 \u0432\u043a\u043b\u0430\u0434 \u0438 \u043f\u043e\u0440\u0442\u0438\u0442\u044c \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u043e \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430. \u041d\u0443 \u0438, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043a\u043e\u0433\u0434\u0430 \u0434\u0430\u043d\u043d\u044b\u0445 \u043c\u0430\u043b\u043e, \u0448\u0443\u043c \u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u0447\u0430\u0442\u044c \u0432\u043e\u0441\u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0437\u0430 \u0447\u0438\u0441\u0442\u0443\u044e \u043c\u043e\u043d\u0435\u0442\u0443, \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437 \u0431\u0443\u0434\u0435\u0442 \u0441\u043b\u043e\u0436\u043d\u044b\u043c\u0438 \u043f\u043e\u0432\u0435\u0440\u0445\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u0442\u0440\u0435\u0442\u044c\u0435\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u0441\u0442\u0430\u0440\u0430\u0442\u044c\u0441\u044f \u0437\u0430\u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432 \u043a\u0430\u0436\u0434\u0443\u044e \u0442\u043e\u0447\u043a\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430.<\/p>\n<\/li>\n<li>\n<p><strong>insufficient train data<\/strong>: \u041c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u043c\u0435\u043d\u0435\u0435 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438, \u043d\u043e \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u043d\u0435 \u0438\u043c\u0435\u0442\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e\u0435  \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u0438\u0432\u0435\u0434\u0451\u043c \u043e\u043f\u044f\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d\u043e\u043c: \u043f\u0443\u0441\u0442\u044c \u0438 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0438 \u0432\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d 3-\u0439 \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043e\u0442 \u0434\u0432\u0443\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u042d\u0442\u043e\u0442 \u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d \u0437\u0430\u0434\u0430\u0451\u0442\u0441\u044f 10 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u043c\u0438, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0443 \u0432\u0430\u0441 10-\u043c\u0435\u0440\u043d\u043e\u0435. \u0415\u0441\u043b\u0438 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435 \u0443 \u0432\u0430\u0441 9 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432, \u0442\u043e, \u0437\u0430\u043f\u0438\u0441\u0430\u0432 \u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e &#171;\u043c\u043d\u043e\u0433\u043e\u0447\u043b\u0435\u043d(<em>features<sub>i<\/sub><\/em>)  = <em>target<sub>i<\/sub><\/em>&#187; \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 9 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0439 \u043d\u0430 \u044d\u0442\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0438 \u0438\u0445 \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c 10 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432. \u0412 \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440\u043e\u0432 \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u0435 \u043f\u0440\u044f\u043c\u0443\u044e \u0438 \u043a\u0430\u0436\u0434\u0430\u044f \u0442\u043e\u0447\u043a\u0430 \u043d\u0430 \u044d\u0442\u043e\u0439 \u043f\u0440\u044f\u043c\u043e\u0439 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0432\u0442\u043e\u0440\u044f\u0435\u0442 \u0442\u043e, \u0447\u0442\u043e \u0443 \u0432\u0430\u0441 \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435. \u0412\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0442\u044c \u043e\u0434\u0438\u043d \u0438\u0437 \u043d\u0438\u0445, \u0438 \u044d\u0442\u043e \u0441 \u0432\u044b\u0441\u043e\u043a\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0431\u0443\u0434\u0435\u0442 \u043f\u043b\u043e\u0445\u043e\u0439 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440.<\/p>\n<ul>\n<li>\n<p><strong>\u0412\u0430\u0436\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u0440\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043d\u043e\u0433\u043e\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/strong>. \u041f\u0440\u0438\u043c\u0435\u0440 \u0432\u044b\u0448\u0435 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0438\u0441\u043a\u0443\u0441\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c, \u043d\u043e \u043f\u0440\u0430\u0432\u0434\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0441\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0435 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u0435\u0432\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u044b \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0438\u043b\u0438 \u0434\u0430\u0436\u0435 \u0431\u043e\u043b\u044c\u0448\u0435. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, <a href=\"https:\/\/en.wikipedia.org\/wiki\/GPT-3\" rel=\"noopener noreferrer nofollow\">\u044f\u0437\u044b\u043a\u043e\u0432\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c GPT3<\/a> \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 175 \u043c\u043b\u0440\u0434. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432. <\/p>\n<p>\u0415\u0441\u043b\u0438 \u0432 \u0432\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 <em>N<\/em> = 175 \u043c\u043b\u0440\u0434. \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432, \u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430 <em>M<\/em> = 1 \u043c\u043b\u0440\u0434, \u0442\u043e \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0432\u044b \u0438\u043c\u0435\u0435\u0442\u0435 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0438\u0434\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u043e\u0434\u0445\u043e\u0434\u044f\u0449\u0438\u0445 \u043f\u043e\u0434 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0439 \u043b\u043e\u0433, \u0438 \u044d\u0442\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e \u2013 \u0441\u0443\u0442\u044c \u043c\u043d\u043e\u0433\u043e\u043e\u0431\u0440\u0430\u0437\u0438\u0435 \u0440\u0430\u0437\u043c\u0435\u0440\u043d\u043e\u0441\u0442\u0438 <em>N<\/em> &#8212; <em>M<\/em> = 174 \u043c\u043b\u0440\u0434. <\/p>\n<p>\u0412 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 \u0433\u043b\u0443\u0431\u043e\u043a\u0438\u043c\u0438 \u043c\u043d\u043e\u0433\u043e\u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043d\u0435\u0439\u0440\u043e\u0441\u0435\u0442\u044f\u043c\u0438 \u044d\u0444\u0444\u0435\u043a\u0442 &#171;<strong>insufficient train data<\/strong>&#187; \u043f\u0440\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u043e\u043b\u043d\u044b\u0439 \u0440\u043e\u0441\u0442, \u0435\u0441\u043b\u0438 \u0434\u0435\u0439\u0441\u0442\u0432\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e. \u0410 \u0438\u043c\u0435\u043d\u043d\u043e, <strong>\u0435\u0441\u043b\u0438 \u0438\u0441\u043a\u0430\u0442\u044c \u0441\u0442\u0440\u043e\u0433\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u043e\u0448\u0438\u0431\u043a\u0438 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u043c \u043f\u0443\u043b\u0435, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u043b\u043e\u0445\u043e\u0439, overfitted, \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430\u0442\u043e\u0440<\/strong>. <strong>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430 \u043f\u0440\u0430\u043a\u0442\u0438\u043a\u0435 \u0442\u0430\u043a \u043d\u0435 \u0434\u0435\u043b\u0430\u044e\u0442.<\/strong>  \u0412\u044b\u0440\u0430\u0431\u043e\u0442\u0430\u043d\u044b \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438 \u0438 \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044f \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043e\u0431\u0443\u0447\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0441 <em>N<\/em> \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 \u043d\u0430 <em>M<\/em> \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u0445, \u0433\u0434\u0435 <em>M<\/em> \u0437\u0430\u043c\u0435\u0442\u043d\u043e \u043c\u0435\u043d\u044c\u0448\u0435 <em>N<\/em>.  \u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0442\u0441\u044f \u0440\u0435\u0433\u0443\u043b\u044f\u0440\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0435 \u0434\u043e\u0431\u0430\u0432\u043a\u0438 \u043a Loss-\u0444\u0443\u043d\u043a\u0446\u0438\u0438 (<a href=\"https:\/\/en.wikipedia.org\/wiki\/Regularization_(mathematics)#Tikhonov_regularization\" rel=\"noopener noreferrer nofollow\">L2<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Regularization_(mathematics)#Regularizers_for_sparsity\" rel=\"noopener noreferrer nofollow\">L1<\/a>), <a href=\"https:\/\/en.wikipedia.org\/wiki\/Stochastic_gradient_descent\" rel=\"noopener noreferrer nofollow\">Stochastic Gradient Descent<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Dropout_(neural_networks)\" rel=\"noopener noreferrer nofollow\">Dropout Layers<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Early_stopping\" rel=\"noopener noreferrer nofollow\">Early Stopping<\/a>, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Decision_tree_pruning\" rel=\"noopener noreferrer nofollow\">prunning<\/a> \u0438 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Regularization_(mathematics)\" rel=\"noopener noreferrer nofollow\">\u0434\u0440\u0443\u0433\u0438\u0435 \u0442\u0435\u0445\u043d\u0438\u043a\u0438<\/a>. <br \/><strong>\u0412\u0410\u0416\u041d\u041e:<\/strong> <strong>\u0417\u043d\u0430\u043d\u0438\u0435 \u044d\u0442\u0438\u0445 \u0442\u0435\u0445\u043d\u0438\u043a \u0438 \u0443\u043c\u0435\u043d\u0438\u0435 \u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0442\u044c \u0432\u043e \u043c\u043d\u043e\u0433\u043e\u043c \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0438\u0437\u0443 \u0432 ML<\/strong>.<\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<h3>Underfitting<\/h3>\n<p><strong>Underfitting<\/strong> \u2013 \u044d\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u043f\u0440\u043e\u0449\u0435, \u0447\u0435\u043c \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0422\u0430\u043a\u0436\u0435 \u043a\u0430\u043a \u0438 \u0432 \u0441\u043b\u0443\u0447\u0430\u0435 \u0441 overfitting \u0437\u0434\u0435\u0441\u044c \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u0440\u0438\u0447\u0438\u043d\u044b:<\/p>\n<ul>\n<li>\n<p><strong>too simplistic model: <\/strong>\u0432\u044b\u0431\u0440\u0430\u043d\u0430 \u0441\u043b\u0438\u0448\u043a\u043e\u043c \u043f\u0440\u043e\u0441\u0442\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c, \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043f\u0440\u043e\u0449\u0430\u044e\u0449\u0430\u044f \u0442\u043e, \u0447\u0442\u043e \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u0441\u0442\u043e\u0438\u0442 \u0437\u0430 <em>target<\/em>. \u0422\u0430\u043a\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0438 \u043f\u043e-\u043f\u0440\u0435\u0436\u043d\u0435\u043c\u0443<\/p>\n<\/li>\n<\/ul>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-341457","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/341457","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=341457"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/341457\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=341457"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=341457"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=341457"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}