{"id":297829,"date":"2020-01-28T15:00:36","date_gmt":"2020-01-28T15:00:36","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=297829"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=297829","title":{"rendered":"\u041f\u0435\u0440\u0435\u0436\u0435\u0432\u044b\u0432\u0430\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e"},"content":{"rendered":"\n<div class=\"post__text post__text-html\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/485872\/\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gz\/x1\/oz\/gzx1ozgcc-evcxyxrjjefqfetja.jpeg\"><\/p>\n<p>  \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i> \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043b\u043e\u0433\u0438\u0442-\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f (\u0438\u043d\u0430\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430)<\/i>. \u0417\u0430\u0442\u0435\u043c, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0441\u044c \u0430\u0440\u0441\u0435\u043d\u0430\u043b\u043e\u043c <i>\u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>, \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <i>Logistic Loss<\/i>, \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432 \u043c\u043e\u0434\u0435\u043b\u0435 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u041f\u043b\u0430\u043d \u0441\u0442\u0430\u0442\u044c\u0438:<\/p>\n<ol>\n<li>\u041f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u043e \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438<\/li>\n<li>\u0412\u044b\u044f\u0432\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/585\/ef6\/e3a\/585ef6e3a3cddcd7fc7f3a2066a186b5.svg\" alt=\"$ f(w,x_i) = \\vec{w}^T \\vec{x_i}$\" data-tex=\"inline\"><\/math> \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e80\/d81\/93d\/e80d8193d49469dee69b5a8c4bf8b6ec.svg\" alt=\"$\\sigma(\\vec{w}^T \\vec{x_i}) = \\frac{1}{1+e^{-\\vec{w}^T \\vec{x_i}}}$\" data-tex=\"inline\"><\/math><\/li>\n<li>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043c <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i><\/li>\n<li>\u041f\u043e\u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0435\u043c \u043f\u043b\u043e\u0445 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u043f\u0440\u0438 \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <i>Logistic Loss<\/i><\/li>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c <i>\u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i> \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>:\n<p>   5.1. \u0421\u043b\u0443\u0447\u0430\u0439 1: \u0444\u0443\u043d\u043a\u0446\u0438\u044f <i>Logistic Loss<\/i> \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 <b>0<\/b> \u0438 <b>1<\/b>:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6cd\/3e7\/a4e\/6cd3e7a4e1762efb4733a1ef7d0047de.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n(-y_i \\mkern 2mu log_e \\mkern 5mu \\sigma(\\vec{w}^T \\vec{x_i}) - (1-y_i) \\mkern 2mu log_e \\mkern 5mu (1 - \\sigma(\\vec{w}^T \\vec{x_i})) ) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>   5.2. \u0421\u043b\u0443\u0447\u0430\u0439 2: \u0444\u0443\u043d\u043a\u0446\u0438\u044f <i>Logistic Loss<\/i> \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 <b>-1<\/b> \u0438 <b>+1<\/b>:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6e\/0b4\/554\/d6e0b4554b2d543ca71a394156c386b1.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n \\mkern 2mu log_e \\mkern 5mu (1+e^{-y_i\\vec{w}^T\\vec{x_i}}) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<\/li>\n<\/ol>\n<p><a name=\"habracut\"><\/a><br \/>  \u0421\u0442\u0430\u0442\u044c\u044f \u0438\u0437\u043e\u0431\u0438\u043b\u0443\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u0441\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u044b \u043b\u0435\u0433\u043a\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0441\u0442\u0438 \u0443\u0441\u0442\u043d\u043e \u0438\u043b\u0438 \u043d\u0430 \u0431\u0443\u043c\u0430\u0433\u0435, \u0432 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u0442\u0440\u0435\u0431\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043b\u044c\u043a\u0443\u043b\u044f\u0442\u043e\u0440. \u0422\u0430\u043a \u0447\u0442\u043e \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u044c\u0442\u0435\u0441\u044c \ud83d\ude42<\/p>\n<p>  \u0414\u0430\u043d\u043d\u0430\u044f \u0441\u0442\u0430\u0442\u044c\u044f \u0432 \u0431\u043e\u043b\u044c\u0448\u0435\u0439 \u043c\u0435\u0440\u0435 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043d\u0430 \u043d\u0430 \u0434\u0430\u0442\u0430\u0441\u0430\u0439\u043d\u0442\u0438\u0441\u0442\u043e\u0432 \u0441 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u044b\u043c \u0443\u0440\u043e\u0432\u043d\u0435\u043c \u043f\u043e\u0437\u043d\u0430\u043d\u0438\u0439 \u0432 \u043e\u0441\u043d\u043e\u0432\u0430\u0445 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n<p>  \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u0442\u0430\u043a\u0436\u0435 \u0431\u0443\u0434\u0435\u0442 \u043f\u0440\u0438\u0432\u0435\u0434\u0435\u043d \u043a\u043e\u0434 \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u043e\u0432 \u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432. \u0412\u0435\u0441\u044c \u043a\u043e\u0434 \u043d\u0430\u043f\u0438\u0441\u0430\u043d \u043d\u0430 \u044f\u0437\u044b\u043a\u0435 <i>python 2.7<\/i>. \u0417\u0430\u0440\u0430\u043d\u0435\u0435 \u043f\u043e\u044f\u0441\u043d\u044e \u043e \u00ab\u043d\u043e\u0432\u0438\u0437\u043d\u0435\u00bb \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0432\u0435\u0440\u0441\u0438\u0438 \u2014 \u0442\u0430\u043a\u043e\u0432\u043e \u043e\u0434\u043d\u043e \u0438\u0437 \u0443\u0441\u043b\u043e\u0432\u0438\u0439 \u043f\u0440\u043e\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043a\u0443\u0440\u0441\u0430 \u043e\u0442 <i>\u042f\u043d\u0434\u0435\u043a\u0441\u0430<\/i> \u043d\u0430 \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u043f\u043b\u043e\u0449\u0430\u0434\u043a\u0435 \u043e\u043d\u043b\u0430\u0439\u043d \u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <i>Coursera<\/i>, \u0438, \u043a\u0430\u043a \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u0442\u044c, \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043b\u0435\u043d \u043f\u043e \u043c\u043e\u0442\u0438\u0432\u0430\u043c \u044d\u0442\u043e\u0433\u043e \u043a\u0443\u0440\u0441\u0430.<\/p>\n<h2>01. \u041f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c<\/h2>\n<p>  \u0412\u043f\u043e\u043b\u043d\u0435 \u0440\u0435\u0437\u043e\u043d\u043d\u043e \u0437\u0430\u0434\u0430\u0442\u044c \u0432\u043e\u043f\u0440\u043e\u0441 \u2014 \u043f\u0440\u0438\u0447\u0435\u043c \u0437\u0434\u0435\u0441\u044c \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f?<\/p>\n<p>  \u0412\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u043e! \u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043e\u0434\u043d\u0443 \u0438\u0437 \u043c\u043e\u0434\u0435\u043b\u0435\u0439, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0442\u043d\u043e\u0441\u044f\u0442\u0441\u044f \u043a \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0443. \u041f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0437\u0430\u0434\u0430\u0447\u0435\u0439 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0446\u0435\u043b\u0435\u0432\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9b3\/4c4\/da5\/9b34c4da5c757d4982bbd1b6f2e8998a.svg\" alt=\"$y$\" data-tex=\"inline\"><\/math> \u043e\u0442 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u0445 (\u0440\u0435\u0433\u0440\u0435\u0441\u0441\u043e\u0440\u043e\u0432) <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6d6\/a4f\/78f\/6d6a4f78fbacd6edecc018ce8ad3e364.svg\" alt=\"$X$\" data-tex=\"inline\"><\/math>. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c \u0441\u0447\u0438\u0442\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6d6\/a4f\/78f\/6d6a4f78fbacd6edecc018ce8ad3e364.svg\" alt=\"$X$\" data-tex=\"inline\"><\/math> \u0438 \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9b3\/4c4\/da5\/9b34c4da5c757d4982bbd1b6f2e8998a.svg\" alt=\"$y$\" data-tex=\"inline\"><\/math> \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f. \u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438 \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440\u0430 \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u0439. \u0415\u0441\u043b\u0438 \u043e\u0447\u0435\u043d\u044c \u0433\u0440\u0443\u0431\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c, \u0442\u043e \u0432 \u043e\u0441\u043d\u043e\u0432\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043b\u0435\u0436\u0438\u0442 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0435 \u043e \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6d6\/a4f\/78f\/6d6a4f78fbacd6edecc018ce8ad3e364.svg\" alt=\"$X$\" data-tex=\"inline\"><\/math> \u0438 \u0446\u0435\u043b\u0435\u0432\u044b\u043c\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9b3\/4c4\/da5\/9b34c4da5c757d4982bbd1b6f2e8998a.svg\" alt=\"$y$\" data-tex=\"inline\"><\/math>. \u0412\u043e\u0442 \u043e\u043d\u0430 \u2014 \u0441\u0432\u044f\u0437\u044c.<\/p>\n<p>  \u0412 \u0441\u0442\u0443\u0434\u0438\u0438 \u043f\u0435\u0440\u0432\u044b\u0439 \u043f\u0440\u0438\u043c\u0435\u0440, \u0438 \u043e\u043d, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e, \u043e \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0412 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 \u043f\u043e\u0434\u0433\u043e\u0442\u043e\u0432\u043a\u0438 \u0441\u0442\u0430\u0442\u044c\u0438 \u043d\u0430\u0442\u043a\u043d\u0443\u043b\u0441\u044f \u043d\u0430 \u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u0431\u0438\u0432\u0448\u0438\u0439 \u0443\u0436\u0435 \u043c\u043d\u043e\u0433\u0438\u043c \u043e\u0441\u043a\u043e\u043c\u0438\u043d\u0443 \u2014 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0441\u0438\u043b\u044b \u0442\u043e\u043a\u0430 \u043e\u0442 \u043d\u0430\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u044f <i>(\u00ab\u041f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437\u00bb, \u041d.\u0414\u0440\u0435\u0439\u043f\u0435\u0440, \u0413.\u0421\u043c\u0438\u0442)<\/i>. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0435\u0433\u043e \u0442\u043e\u0436\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c. <\/p>\n<p>  \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 <i>\u0437\u0430\u043a\u043e\u043d\u043e\u043c \u041e\u043c\u0430:<\/i><\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c6e\/9ce\/6fa\/c6e9ce6fa3ec33e39afdda03e5559c67.svg\" alt=\"$I = U\/R$\" data-tex=\"inline\"><\/math>, \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/64b\/eb7\/37a\/64beb737a23fb5cb0a455f0e9213f2a4.svg\" alt=\"$I$\" data-tex=\"inline\"><\/math> \u2014 \u0441\u0438\u043b\u0430 \u0442\u043e\u043a\u0430, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d07\/cc5\/b26\/d07cc5b26db621faab45e0e0b54ede62.svg\" alt=\"$U$\" data-tex=\"inline\"><\/math> \u2014 \u043d\u0430\u043f\u0440\u044f\u0436\u0435\u043d\u0438\u0435, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b81\/a7c\/1e9\/b81a7c1e9676b36cc02ddeea5d5f6e51.svg\" alt=\"$R$\" data-tex=\"inline\"><\/math> \u2014 \u0441\u043e\u043f\u0440\u043e\u0442\u0438\u0432\u043b\u0435\u043d\u0438\u0435. <\/p>\n<p>  \u0415\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u043d\u0435 \u0437\u043d\u0430\u043b\u0438 <i>\u0437\u0430\u043a\u043e\u043d \u041e\u043c\u0430<\/i>, \u0442\u043e \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u043d\u0430\u0439\u0442\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u044d\u043c\u043f\u0438\u0440\u0438\u0447\u0435\u0441\u043a\u0438, \u0438\u0437\u043c\u0435\u043d\u044f\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d07\/cc5\/b26\/d07cc5b26db621faab45e0e0b54ede62.svg\" alt=\"$U$\" data-tex=\"inline\"><\/math> \u0438 \u0438\u0437\u043c\u0435\u0440\u044f\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/64b\/eb7\/37a\/64beb737a23fb5cb0a455f0e9213f2a4.svg\" alt=\"$I$\" data-tex=\"inline\"><\/math>, \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044f \u043f\u0440\u0438 \u044d\u0442\u043e\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b81\/a7c\/1e9\/b81a7c1e9676b36cc02ddeea5d5f6e51.svg\" alt=\"$R$\" data-tex=\"inline\"><\/math> \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c. \u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u0431\u044b \u0443\u0432\u0438\u0434\u0435\u043b\u0438, \u0447\u0442\u043e \u0433\u0440\u0430\u0444\u0438\u043a \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/64b\/eb7\/37a\/64beb737a23fb5cb0a455f0e9213f2a4.svg\" alt=\"$I$\" data-tex=\"inline\"><\/math> \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d07\/cc5\/b26\/d07cc5b26db621faab45e0e0b54ede62.svg\" alt=\"$U$\" data-tex=\"inline\"><\/math> \u0434\u0430\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u0435\u0435 \u043f\u0440\u044f\u043c\u0443\u044e \u043b\u0438\u043d\u0438\u044e, \u043f\u0440\u043e\u0445\u043e\u0434\u044f\u0449\u0443\u044e \u0447\u0435\u0440\u0435\u0437 \u043d\u0430\u0447\u0430\u043b\u043e \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442. \u041c\u044b \u0441\u043a\u0430\u0437\u0430\u043b\u0438 \u00ab\u0431\u043e\u043b\u0435\u0435 \u0438\u043b\u0438 \u043c\u0435\u043d\u0435\u0435\u00bb, \u0442\u0430\u043a \u043a\u0430\u043a, \u0445\u043e\u0442\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u0442\u043e\u0447\u043d\u0430\u044f, \u043d\u0430\u0448\u0438 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u043c\u043e\u0433\u0443\u0442 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442\u044c \u043c\u0430\u043b\u044b\u0435 \u043e\u0448\u0438\u0431\u043a\u0438, \u0438 \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0443\u0442 \u0441\u0442\u0440\u043e\u0433\u043e \u043d\u0430 \u043b\u0438\u043d\u0438\u044e, \u0430 \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0437\u0431\u0440\u043e\u0441\u0430\u043d\u044b \u0432\u043e\u043a\u0440\u0443\u0433 \u043d\u0435\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c.<\/p>\n<p>  \u0413\u0440\u0430\u0444\u0438\u043a 1 \u00ab\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/64b\/eb7\/37a\/64beb737a23fb5cb0a455f0e9213f2a4.svg\" alt=\"$I$\" data-tex=\"inline\"><\/math> \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d07\/cc5\/b26\/d07cc5b26db621faab45e0e0b54ede62.svg\" alt=\"$U$\" data-tex=\"inline\"><\/math>\u00bb<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/is\/xw\/0m\/isxw0mnnbx1iowlms-cim4nekzs.jpeg\"><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0430<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">import matplotlib.pyplot as plt %matplotlib inline  import numpy as np  import random  R = 13.75  x_line = np.arange(0,220,1) y_line = [] for i in x_line:     y_line.append(i\/R)      y_dot = [] for i in y_line:     y_dot.append(i+random.uniform(-0.9,0.9))   fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(x_line,y_line,color = 'purple',lw = 3, label = 'I = U\/R') plt.scatter(x_line,y_dot,color = 'red', label = 'Actual results') plt.xlabel('I', size = 16) plt.ylabel('U', size = 16) plt.legend(prop = {'size': 14}) plt.show()<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  <\/p>\n<h2>02. \u041d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0439 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/h2>\n<p>  \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c \u0432 \u0431\u0430\u043d\u043a\u0435 \u0438 \u043f\u0435\u0440\u0435\u0434 \u043d\u0430\u043c\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u0414\u043b\u044f \u0443\u043f\u0440\u043e\u0449\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u043e\u043b\u044c\u043a\u043e \u0434\u0432\u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u0430: \u043c\u0435\u0441\u044f\u0447\u043d\u0430\u044f \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0430 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430 \u0438 \u043c\u0435\u0441\u044f\u0447\u043d\u044b\u0439 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u043b\u0430\u0442\u0435\u0436\u0430 \u043d\u0430 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u0435 \u043a\u0440\u0435\u0434\u0438\u0442\u0430. <\/p>\n<p>  \u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u0447\u0435\u043d\u044c \u0443\u0441\u043b\u043e\u0432\u043d\u0430\u044f, \u043d\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435 \u043c\u044b \u0441\u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043d\u044f\u0442\u044c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0434\u043b\u044f \u0435\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f \u043d\u0435\u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043f\u0440\u0438\u043c\u0435\u043d\u0435\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i>, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0443\u0437\u043d\u0430\u0435\u043c \u043a\u0430\u043a\u0438\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438.<\/p>\n<p>  \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443. \u041f\u043e\u043d\u044f\u0442\u043e, \u0447\u0442\u043e \u0447\u0435\u043c \u0432\u044b\u0448\u0435 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0430, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u0430\u0435\u043c\u0449\u0438\u043a \u0441\u043c\u043e\u0436\u0435\u0442 \u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u043e \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u044f\u0442\u044c \u043d\u0430 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u0435 \u043a\u0440\u0435\u0434\u0438\u0442\u0430. \u041f\u0440\u0438 \u044d\u0442\u043e\u043c, \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0437\u0430\u0440\u043f\u043b\u0430\u0442 \u044d\u0442\u0430 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0431\u0443\u0434\u0435\u0442 \u0432\u043f\u043e\u043b\u043d\u0435 \u0441\u0435\u0431\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d \u0437\u0430\u0440\u043f\u043b\u0430\u0442 \u043e\u0442 60.000\u0420 \u0434\u043e 200.000\u0420 \u0438 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0432 \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043d\u044b\u0445 \u043f\u043b\u0430\u0442, \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0433\u043e \u043f\u043b\u0430\u0442\u0435\u0436\u0430 \u043e\u0442 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u044b \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f. \u0414\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0434\u043b\u044f \u0443\u043a\u0430\u0437\u0430\u043d\u043d\u043e\u0433\u043e \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0430 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043d\u044b\u0445 \u043f\u043b\u0430\u0442 \u0431\u044b\u043b\u043e \u0432\u044b\u044f\u0432\u043b\u0435\u043d\u043e, \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u044b \u043a \u043f\u043b\u0430\u0442\u0435\u0436\u0443 \u043d\u0435 \u043c\u043e\u0436\u0435\u0442 \u043e\u043f\u0443\u0441\u043a\u0430\u0442\u044c\u0441\u044f \u043d\u0438\u0436\u0435 3 \u0438 \u0435\u0449\u0435 \u0443 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430 \u0434\u043e\u043b\u0436\u043d\u043e \u043e\u0441\u0442\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0437\u0430\u043f\u0430\u0441\u0435 5.000\u0420. \u0418 \u0442\u043e\u043b\u044c\u043a\u043e \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0437\u0430\u0435\u043c\u0449\u0438\u043a \u0432\u0435\u0440\u043d\u0435\u0442 \u043a\u0440\u0435\u0434\u0438\u0442 \u0431\u0430\u043d\u043a\u0443. \u0422\u043e\u0433\u0434\u0430, \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043f\u0440\u0438\u043c\u0435\u0442 \u0432\u0438\u0434:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bc0\/520\/56d\/bc052056d1d8b3737378422e61c0b96a.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}, $\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d6\/fc6\/8e9\/1d6fc68e93e5b2fb640d3c5ba30838b4.svg\" alt=\"$w_0 = -5.000$\" data-tex=\"inline\"><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b9a\/683\/b5b\/b9a683b5bb695de57126e5db4ebb7436.svg\" alt=\"$w_1 = 1$\" data-tex=\"inline\"><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4d5\/24b\/21f\/4d524b21f2020047e2d340a59f17ccba.svg\" alt=\"$w_2 = -3$\" data-tex=\"inline\"><\/math>, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0df\/530\/fff\/0df530ffff8762f5174e6539bc64ddc4.svg\" alt=\"$x_{i1}$\" data-tex=\"inline\"><\/math> \u2014 <i>\u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0430<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bf8\/3b5\/32c\/bf83b532cd867d34004f8eded8c5c79a.svg\" alt=\"$i$\" data-tex=\"inline\"><\/math>-\u0433\u043e \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/941\/d95\/780\/941d95780d8800fd32e758b586120101.svg\" alt=\"$x_{i2}$\" data-tex=\"inline\"><\/math> \u2014 <i>\u043f\u043b\u0430\u0442\u0435\u0436 \u043f\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0443<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bf8\/3b5\/32c\/bf83b532cd867d34004f8eded8c5c79a.svg\" alt=\"$i$\" data-tex=\"inline\"><\/math>-\u0433\u043e \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430. <\/p>\n<p>  \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u0432 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0443 \u0438 \u043f\u043b\u0430\u0442\u0435\u0436 \u043f\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0443 \u0441 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u043c\u043e\u0436\u043d\u043e \u043f\u0440\u0438\u043d\u044f\u0442\u044c \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u0432\u044b\u0434\u0430\u0447\u0435 \u0438\u043b\u0438 \u043e\u0442\u043a\u0430\u0437\u0435 \u043a\u0440\u0435\u0434\u0438\u0442\u0430. <\/p>\n<p>  \u0417\u0430\u0431\u0435\u0433\u0430\u044f \u0432\u043f\u0435\u0440\u0435\u0434, \u043e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e, \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i>, \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u043c\u0430\u044f \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0438\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i> \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0437\u0430\u0442\u0440\u0443\u0434\u043d\u044f\u0442 \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043d\u0430\u0448\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0441\u043a\u0430\u0436\u0435\u043c \u0442\u0430\u043a, \u0432 25.000 \u0440\u0430\u0437. \u041e\u0442 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0432 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u0445, \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u043e \u0432\u044b\u0434\u0430\u0447\u0438 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043d\u0435 \u0438\u0437\u043c\u0435\u043d\u0438\u0442\u0441\u044f. \u0417\u0430\u043f\u043e\u043c\u043d\u0438\u043c \u044d\u0442\u043e\u0442 \u043c\u043e\u043c\u0435\u043d\u0442 \u043d\u0430 \u0431\u0443\u0434\u0443\u0449\u0435\u0435, \u0430 \u0441\u0435\u0439\u0447\u0430\u0441 \u0447\u0442\u043e\u0431\u044b \u0431\u044b\u043b\u043e \u0435\u0449\u0435 \u043f\u043e\u043d\u044f\u0442\u043d\u0435\u0435, \u043e \u0447\u0435\u043c \u0440\u0435\u0447\u044c, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u0441 \u0442\u0440\u0435\u043c\u044f \u043f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430\u043c\u0438.<\/p>\n<p>  \u0422\u0430\u0431\u043b\u0438\u0446\u0430 1 \u00ab\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0438\u00bb<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/6u\/mu\/vk\/6umuvkl-ulskbew1eptm9azq-ns.jpeg\"><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">import pandas as pd  r = 25000.0 w_0 = -5000.0\/r w_1 = 1.0\/r w_2 = -3.0\/r  data = {'The borrower':np.array(['Vasya', 'Fedya', 'Lesha']),          'Salary':np.array([120000,180000,210000]),        'Payment':np.array([3000,50000,70000])}  df = pd.DataFrame(data)  df['f(w,x)'] = w_0 + df['Salary']*w_1 + df['Payment']*w_2  decision = [] for i in df['f(w,x)']:     if i &gt; 0:         dec = 'Approved'         decision.append(dec)     else:         dec = 'Refusal'         decision.append(dec)          df['Decision'] = decision  df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision']]<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0434\u0430\u043d\u043d\u044b\u043c\u0438 \u0442\u0430\u0431\u043b\u0438\u0446\u044b, \u0412\u0430\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0435 \u0432 120.000\u0420 \u0445\u043e\u0447\u0435\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0442\u0430\u043a\u043e\u0439 \u043a\u0440\u0435\u0434\u0438\u0442, \u0447\u0442\u043e\u0431\u044b \u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0433\u043e \u0433\u0430\u0441\u0438\u0442\u044c \u0435\u0433\u043e \u043f\u043e 3.000\u0420. \u041d\u0430\u043c\u0438 \u0431\u044b\u043b\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043e, \u0447\u0442\u043e \u0434\u043b\u044f \u043e\u0434\u043e\u0431\u0440\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430, \u0440\u0430\u0437\u043c\u0435\u0440 \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u044b \u0412\u0430\u0441\u0438 \u0434\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0435\u0432\u044b\u0448\u0430\u0442\u044c \u0432 \u0442\u0440\u0438 \u0440\u0430\u0437\u0430 \u0440\u0430\u0437\u043c\u0435\u0440 \u043f\u043b\u0430\u0442\u0435\u0436\u0430, \u0438 \u0447\u0442\u043e\u0431\u044b \u0435\u0449\u0435 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u043e\u0441\u044c 5.000\u0420. \u042d\u0442\u043e\u043c\u0443 \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043d\u0438\u044e \u0412\u0430\u0441\u044f \u0443\u0434\u043e\u0432\u043b\u0435\u0442\u0432\u043e\u0440\u044f\u0435\u0442: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c8a\/7a1\/d6e\/c8a7a1d6ed0bb61476e853b184c1ae34.svg\" alt=\"$120.000-3 * 3.000-5.000 = 106.000$\" data-tex=\"inline\"><\/math>. \u041e\u0441\u0442\u0430\u0435\u0442\u0441\u044f \u0434\u0430\u0436\u0435 106.000\u0420. \u041d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math> \u043c\u044b \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u043b\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u0432 25.000 \u0440\u0430\u0437, \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438 \u0442\u043e\u0442 \u0436\u0435 \u2014 \u043a\u0440\u0435\u0434\u0438\u0442 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043e\u0434\u043e\u0431\u0440\u0435\u043d. \u0424\u0435\u0434\u044f \u0442\u043e\u0436\u0435 \u043f\u043e\u043b\u0443\u0447\u0438\u0442 \u043a\u0440\u0435\u0434\u0438\u0442, \u0430 \u0432\u043e\u0442 \u041b\u0435\u0448\u0435, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0435 \u0432\u0441\u0435\u0445, \u043f\u0440\u0438\u0434\u0435\u0442\u0441\u044f \u043f\u043e\u0443\u043c\u0435\u0440\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u0430\u043f\u043f\u0435\u0442\u0438\u0442\u044b.<\/p>\n<p>  \u041d\u0430\u0440\u0438\u0441\u0443\u0435\u043c \u0433\u0440\u0430\u0444\u0438\u043a \u043f\u043e \u0442\u0430\u043a\u043e\u043c\u0443 \u0441\u043b\u0443\u0447\u0430\u044e.<\/p>\n<p>  \u0413\u0440\u0430\u0444\u0438\u043a 2 \u00ab\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432\u00bb<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/d5\/mt\/vp\/d5mtvp3cdodptyrglkqkjumcz4c.jpeg\"><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0430<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">salary = np.arange(60000,240000,20000) payment = (-w_0-w_1*salary)\/w_2   fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(salary, payment, color = 'grey', lw = 2, label = '$f(w,x_i)=w_0 + w_1x_{i1} + w_2x_{i2}$') plt.plot(df[df['Decision'] == 'Approved']['Salary'], df[df['Decision'] == 'Approved']['Payment'],           'o', color ='green', markersize = 12, label = 'Decision - Loan approved') plt.plot(df[df['Decision'] == 'Refusal']['Salary'], df[df['Decision'] == 'Refusal']['Payment'],           's', color = 'red', markersize = 12, label = 'Decision - Loan refusal') plt.xlabel('Salary', size = 16) plt.ylabel('Payment', size = 16) plt.legend(prop = {'size': 14}) plt.show()<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0418\u0442\u0430\u043a, \u043d\u0430\u0448\u0430 \u043f\u0440\u044f\u043c\u0430\u044f, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math>, \u043e\u0442\u0434\u0435\u043b\u044f\u0435\u0442 \u00ab\u043f\u043b\u043e\u0445\u0438\u0445\u00bb \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432 \u043e\u0442 \u00ab\u0445\u043e\u0440\u043e\u0448\u0438\u0445\u00bb. \u0422\u0435 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0438, \u0443 \u043a\u043e\u0433\u043e \u0436\u0435\u043b\u0430\u043d\u0438\u044f \u043d\u0435 \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044f\u043c\u0438 \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432\u044b\u0448\u0435 \u043f\u0440\u044f\u043c\u043e\u0439 (\u041b\u0435\u0448\u0430), \u0442\u0435 \u0436\u0435, \u043a\u0442\u043e \u0441\u043f\u043e\u0441\u043e\u0431\u0435\u043d \u0441\u043e\u0433\u043b\u0430\u0441\u043d\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c \u043d\u0430\u0448\u0435\u0439 \u043c\u043e\u0434\u0435\u043b\u0438, \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u0440\u0435\u0434\u0438\u0442, \u043d\u0430\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u043f\u043e\u0434 \u043f\u0440\u044f\u043c\u043e\u0439 (\u0412\u0430\u0441\u044f \u0438 \u0424\u0435\u0434\u044f). \u0418\u043d\u0430\u0447\u0435 \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u0430\u0437\u0430\u0442\u044c \u0442\u0430\u043a \u2014 \u043d\u0430\u0448\u0430 \u043f\u0440\u044f\u043c\u0430\u044f \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u0442 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432 \u043d\u0430 \u0434\u0432\u0430 \u043a\u043b\u0430\u0441\u0441\u0430. \u041e\u0431\u043e\u0437\u043d\u0430\u0447\u0438\u043c \u0438\u0445 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c: \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u043e\u0442\u043d\u0435\u0441\u0435\u043c \u0442\u0435\u0445 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0432\u0435\u0440\u043d\u0443\u0442 \u043a\u0440\u0435\u0434\u0438\u0442, \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math> \u0438\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u043e\u0442\u043d\u0435\u0441\u0435\u043c \u0442\u0435\u0445 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u043d\u0435 \u0441\u043c\u043e\u0433\u0443\u0442 \u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043a\u0440\u0435\u0434\u0438\u0442. <\/p>\n<p>  \u041e\u0431\u043e\u0431\u0449\u0438\u043c \u0432\u044b\u0432\u043e\u0434\u044b \u0438\u0437 \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0441\u0442\u0435\u043d\u044c\u043a\u043e\u0433\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u0430. \u0412\u043e\u0437\u044c\u043c\u0435\u043c \u0442\u043e\u0447\u043a\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/83a\/09b\/484\/83a09b484baf09b29374b626743ee4de.svg\" alt=\"$M(x_1,x_2)$\" data-tex=\"inline\"><\/math> \u0438, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044f \u043a\u043e\u043e\u0440\u0434\u0438\u043d\u0430\u0442\u044b \u0442\u043e\u0447\u043a\u0438 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0435\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043f\u0440\u044f\u043c\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math>, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0442\u0440\u0438 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u0430:<\/p>\n<ol>\n<li>\u0415\u0441\u043b\u0438 \u0442\u043e\u0447\u043a\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043f\u043e\u0434 \u043f\u0440\u044f\u043c\u043e\u0439, \u0438 \u043c\u044b \u043e\u0442\u043d\u043e\u0441\u0438\u043c \u0435\u0435 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math> \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b0b\/232\/f34\/b0b232f343595119559cf1186dd5f4a7.svg\" alt=\"$+\\infty$\" data-tex=\"inline\"><\/math>. \u0417\u043d\u0430\u0447\u0438\u0442 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430, \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e52\/d01\/8f8\/e52d018f87e1844bc2e714af79f0cdf0.svg\" alt=\"$(0.5,1]$\" data-tex=\"inline\"><\/math>. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c.<\/li>\n<li>\u0415\u0441\u043b\u0438 \u0442\u043e\u0447\u043a\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430\u0434 \u043f\u0440\u044f\u043c\u043e\u0439 \u0438 \u043c\u044b \u043e\u0442\u043d\u043e\u0441\u0438\u043c \u0435\u0435 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math> \u0438\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u043c \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6d\/1e2\/ab7\/d6d1e2ab791a06785be738fe3a3a4f9d.svg\" alt=\"$-\\infty$\" data-tex=\"inline\"><\/math>. \u0422\u043e\u0433\u0434\u0430 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u043e\u043b\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d11\/82d\/cbe\/d1182dcbec38620f7bdfad6d7a8529ab.svg\" alt=\"$[0,0.5)$\" data-tex=\"inline\"><\/math> \u0438, \u0447\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043f\u043e \u043c\u043e\u0434\u0443\u043b\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0442\u0435\u043c \u0432\u044b\u0448\u0435 \u043d\u0430\u0448\u0430 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c.<\/li>\n<li>\u0422\u043e\u0447\u043a\u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u043f\u0440\u044f\u043c\u043e\u0439, \u043d\u0430 \u0433\u0440\u0430\u043d\u0438\u0446\u0435 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438. \u0412 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math> \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0432\u043d\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0440\u0430\u0432\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f68\/2d0\/19e\/f682d019e8fd1f11da97e75f9863c232.svg\" alt=\"$0.5$\" data-tex=\"inline\"><\/math>.<\/li>\n<\/ol>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u043d\u0435 \u0434\u0432\u0430 \u0444\u0430\u043a\u0442\u043e\u0440\u0430, \u0430 \u0434\u0435\u0441\u044f\u0442\u043a\u0438, \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432 \u043d\u0435 \u0442\u0440\u0438, \u0430 \u0442\u044b\u0441\u044f\u0447\u0438. \u0422\u043e\u0433\u0434\u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u043f\u0440\u044f\u043c\u043e\u0439 \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0435\u0442 <i>m-\u043c\u0435\u0440\u043d\u0430\u044f<\/i> \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c \u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math> \u0443 \u043d\u0430\u0441 \u0431\u0443\u0434\u0443\u0442 \u0432\u0437\u044f\u0442\u044b \u043d\u0435 \u0441 \u043f\u043e\u0442\u043e\u043b\u043a\u0430, \u0430 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u044b \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c, \u0434\u0430 \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0430\u043a\u043e\u043f\u043b\u0435\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u043e \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430\u0445, \u0432\u0435\u0440\u043d\u0443\u0432\u0448\u0438\u0445 \u0438\u043b\u0438 \u043d\u0435 \u0432\u0435\u0440\u043d\u0443\u0432\u0448\u0438\u0445 \u043a\u0440\u0435\u0434\u0438\u0442. \u0418 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0437\u0430\u043c\u0435\u0442\u044c\u0442\u0435, \u043c\u044b \u0441\u0435\u0439\u0447\u0430\u0441 \u043e\u0442\u0431\u0438\u0440\u0430\u0435\u043c \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u0432 \u043f\u0440\u0438 \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u0430\u0445 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>. \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0436\u0435 \u0434\u0435\u043b\u0435, \u0437\u0430\u0434\u0430\u0447\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043a\u0430\u043a \u0440\u0430\u0437 \u0438 \u0441\u043e\u0441\u0442\u043e\u0438\u0442 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <i>Logistic Loss<\/i> \u0431\u0443\u0434\u0435\u0442 \u0441\u0442\u0440\u0435\u043c\u0438\u0442\u044c\u0441\u044f \u043a \u043c\u0438\u043d\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u043c\u0443. \u041d\u043e \u043e \u0442\u043e\u043c, \u043a\u0430\u043a \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>, \u043c\u044b \u0435\u0449\u0435 \u0443\u0437\u043d\u0430\u0435\u043c \u0432 5-\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438. \u0410 \u043f\u043e\u043a\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f \u043d\u0430 \u0437\u0435\u043c\u043b\u044e \u043e\u0431\u0435\u0442\u043e\u0432\u0430\u043d\u043d\u0443\u044e \u2014 \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u0431\u0430\u043d\u043a\u0438\u0440\u0443 \u0438 \u0442\u0440\u0435\u043c \u0435\u0433\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0430\u043c.<\/p>\n<p>  \u0411\u043b\u0430\u0433\u043e\u0434\u0430\u0440\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math> \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u043a\u043e\u043c\u0443 \u043c\u043e\u0436\u043d\u043e \u0434\u0430\u0442\u044c \u043a\u0440\u0435\u0434\u0438\u0442, \u0430 \u043a\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e \u043e\u0442\u043a\u0430\u0437\u0430\u0442\u044c. \u041d\u043e \u0441 \u0442\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043a \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440\u0443 \u0438\u0434\u0442\u0438 \u043d\u0435\u043b\u044c\u0437\u044f, \u0432\u0435\u0434\u044c \u043e\u0442 \u043d\u0430\u0441 \u0445\u043e\u0442\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c. \u0427\u0442\u043e \u0434\u0435\u043b\u0430\u0442\u044c? \u041e\u0442\u0432\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u2014 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u043a-\u0442\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math>, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043b\u0435\u0436\u0430\u0442 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/80b\/03c\/cfd\/80b03ccfdd0e8cb84e222715755ccf26.svg\" alt=\"$(-\\infty,+\\infty)$\" data-tex=\"inline\"><\/math> \u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0431\u0443\u0434\u0443\u0442 \u043b\u0435\u0436\u0430\u0442\u044c \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a5d\/538\/f83\/a5d538f83bd73f9d1c9e8338db9a398a.svg\" alt=\"$[0,1]$\" data-tex=\"inline\"><\/math>. \u0418 \u0442\u0430\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442, \u0435\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0435\u0439 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430 \u0438\u043b\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e-\u043b\u043e\u0433\u0438\u0442 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/i>. \u0417\u043d\u0430\u043a\u043e\u043c\u044c\u0442\u0435\u0441\u044c:   <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e80\/d81\/93d\/e80d8193d49469dee69b5a8c4bf8b6ec.svg\" alt=\"$\\sigma(\\vec{w}^T \\vec{x_i}) = \\frac{1}{1+e^{-\\vec{w}^T \\vec{x_i}}}$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u043e \u0448\u0430\u0433\u0430\u043c \u043a\u0430\u043a \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i>. \u041e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0448\u0430\u0433\u0430\u0442\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443, \u0442.\u0435. \u043c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043b\u0435\u0436\u0438\u0442 \u0432 \u043f\u0440\u0435\u0434\u0435\u043b\u0430\u0445 \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1$\" data-tex=\"inline\"><\/math> \u0438 \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u00ab\u0440\u0430\u0441\u043a\u0440\u0443\u0447\u0438\u0432\u0430\u0442\u044c\u00bb \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0441\u044e \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0447\u0438\u0441\u0435\u043b \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6d\/1e2\/ab7\/d6d1e2ab791a06785be738fe3a3a4f9d.svg\" alt=\"$-\\infty$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b0b\/232\/f34\/b0b232f343595119559cf1186dd5f4a7.svg\" alt=\"$+\\infty$\" data-tex=\"inline\"><\/math>.<\/p>\n<h2>03. \u0412\u044b\u0432\u043e\u0434\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/h2>\n<p>  <\/p>\n<h3>\u0428\u0430\u0433 1. \u041f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1f1\/806\/caa\/1f1806caa396ad814c5cbae44638a38f.svg\" alt=\"$[0,+\\infty)$\" data-tex=\"inline\"><\/math><\/h3>\n<p>  \u041d\u0430 \u0432\u0440\u0435\u043c\u044f \u0442\u0440\u0430\u043d\u0441\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/77c\/86b\/417\/77c86b4173bc0406c4de95039461df33.svg\" alt=\"$f(w,x_i) = w_0 + w_1x_{i1} + w_2x_{i2}$\" data-tex=\"inline\"><\/math> \u0432 <i><i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i><\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3d4\/4dd\/ae7\/3d44ddae7c3d13b9dd873c4a1e09491b.svg\" alt=\"$\\sigma(\\vec{w}^T \\vec{x_i}) = \\frac{1}{1+e^{\\vec{w}^T \\vec{x_i}}}$\" data-tex=\"inline\"><\/math> \u043c\u044b \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0432 \u043f\u043e\u043a\u043e\u0435 \u043d\u0430\u0448\u0435\u0433\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u043d\u043e\u0433\u043e \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430, \u0430 \u0432\u043c\u0435\u0441\u0442\u043e \u044d\u0442\u043e\u0433\u043e \u043f\u0440\u043e\u0439\u0434\u0435\u043c\u0441\u044f \u043f\u043e \u0431\u0443\u043a\u043c\u0435\u043a\u0435\u0440\u0441\u043a\u0438\u043c \u043a\u043e\u043d\u0442\u043e\u0440\u0430\u043c. \u041d\u0435\u0442, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u0441\u0442\u0430\u0432\u043a\u0438 \u0434\u0435\u043b\u0430\u0442\u044c \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c, \u0432\u0441\u0435 \u0447\u0442\u043e \u043d\u0430\u0441 \u0442\u0430\u043c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u0435\u0442, \u0442\u0430\u043a \u044d\u0442\u043e \u0441\u043c\u044b\u0441\u043b \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0448\u0430\u043d\u0441 4 \u043a 1. \u0428\u0430\u043d\u0441\u044b, \u0437\u043d\u0430\u043a\u043e\u043c\u044b\u0435 \u0432\u0441\u0435\u043c \u0434\u0435\u043b\u0430\u044e\u0449\u0438\u043c \u0441\u0442\u0430\u0432\u043a\u0438 \u0438\u0433\u0440\u043e\u043a\u0430\u043c, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435\u043c \u00ab\u0443\u0441\u043f\u0435\u0445\u043e\u0432\u00bb \u043a \u00ab\u043d\u0435\u0443\u0441\u043f\u0435\u0445\u0430\u043c\u00bb. \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439, \u0448\u0430\u043d\u0441\u044b \u2014 \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u044f, \u0434\u0435\u043b\u0435\u043d\u043d\u0430\u044f \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043d\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0439\u0434\u0435\u0442. \u0417\u0430\u043f\u0438\u0448\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0448\u0430\u043d\u0441\u0430 \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/91c\/34b\/351\/91c34b351d7bb8df08e960b4cdc79b16.svg\" alt=\"$(odds_+)$\" data-tex=\"inline\"><\/math>:  <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/53f\/440\/8d3\/53f4408d3030531b75daef03c76269a0.svg\" alt=\"$odds_+ = \\frac{p_+}{1-p_+}$\" data-tex=\"display\"><\/math><\/p>\n<p>  , \u0433\u0434\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cc6\/f03\/35e\/cc6f0335e61e908711d629714f8d8b9e.svg\" alt=\"$p_+$\" data-tex=\"inline\"><\/math> \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u044f, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f5c\/dcd\/662\/f5cdcd662a6590cdf971e57494ad123e.svg\" alt=\"$(1-p_+)$\" data-tex=\"inline\"><\/math> \u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u041d\u0415 \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u044f<\/p>\n<p>  \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0435\u0441\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u043c\u043e\u043b\u043e\u0434\u043e\u0439, \u0441\u0438\u043b\u044c\u043d\u044b\u0439 \u0438 \u0440\u0435\u0437\u0432\u044b\u0439 \u043a\u043e\u043d\u044c \u043f\u043e \u043f\u0440\u043e\u0437\u0432\u0438\u0449\u0443 \u00ab\u0412\u0435\u0442\u0435\u0440\u043e\u043a\u00bb \u043e\u0431\u043e\u0439\u0434\u0435\u0442 \u043d\u0430 \u0441\u043a\u0430\u0447\u043a\u0430\u0445 \u0441\u0442\u0430\u0440\u0443\u044e \u0438 \u0434\u0440\u044f\u0431\u043b\u0443\u044e \u0441\u0442\u0430\u0440\u0443\u0448\u043a\u0443 \u043f\u043e \u043a\u043b\u0438\u0447\u043a\u0435 \u00ab\u041c\u0430\u0442\u0438\u043b\u044c\u0434\u0430\u00bb \u0440\u0430\u0432\u043d\u044f\u0435\u0442\u0441\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ca8\/978\/ec5\/ca8978ec597af63524046a377099d3e3.svg\" alt=\"$0.8$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0448\u0430\u043d\u0441\u044b \u043d\u0430 \u0443\u0441\u043f\u0435\u0445 \u00ab\u0412\u0435\u0442\u0435\u0440\u043a\u0430\u00bb \u0441\u043e\u0441\u0442\u0430\u0432\u044f\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/578\/281\/d89\/578281d8997e0a562a02dd61422d408e.svg\" alt=\"$4$\" data-tex=\"inline\"><\/math> \u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1$\" data-tex=\"inline\"><\/math> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c61\/27e\/d7b\/c6127ed7b7116b2c9a29e8e238568254.svg\" alt=\"$(0.8\/(1-0.8))$\" data-tex=\"inline\"><\/math> \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u0437\u043d\u0430\u044f \u0448\u0430\u043d\u0441\u044b, \u043d\u0430\u043c \u043d\u0435 \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442 \u0442\u0440\u0443\u0434\u0430 \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cc6\/f03\/35e\/cc6f0335e61e908711d629714f8d8b9e.svg\" alt=\"$p_+$\" data-tex=\"inline\"><\/math>:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e94\/750\/131\/e9475013121faba30996b549a41012e4.svg\" alt=\"$\\frac{p_+}{1-p_+} = 4 \\mkern 15mu \\Longrightarrow \\mkern 15mu p_+=4(1-p_+) \\mkern 15mu \\Longrightarrow \\mkern 15mu 5p_+=4 \\mkern 15mu \\Longrightarrow \\mkern 15mu p_+=0.8 $\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u044c\u00bb \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432 \u0448\u0430\u043d\u0441\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u044e\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b0b\/232\/f34\/b0b232f343595119559cf1186dd5f4a7.svg\" alt=\"$+\\infty$\" data-tex=\"inline\"><\/math>. \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u0435\u0449\u0435 \u043e\u0434\u0438\u043d \u0448\u0430\u0433 \u0438 \u043d\u0430\u0443\u0447\u0438\u043c\u0441\u044f \u00ab\u043f\u0435\u0440\u0435\u0432\u043e\u0434\u0438\u0442\u044c\u00bb \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430 \u0432\u0441\u044e \u0447\u0438\u0441\u043b\u043e\u0432\u0443\u044e \u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6d\/1e2\/ab7\/d6d1e2ab791a06785be738fe3a3a4f9d.svg\" alt=\"$-\\infty$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b0b\/232\/f34\/b0b232f343595119559cf1186dd5f4a7.svg\" alt=\"$+\\infty$\" data-tex=\"inline\"><\/math>.<\/p>\n<h3>\u0428\u0430\u0433 2. \u041f\u0435\u0440\u0435\u0432\u0435\u0434\u0435\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432 \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/80b\/03c\/cfd\/80b03ccfdd0e8cb84e222715755ccf26.svg\" alt=\"$(-\\infty,+\\infty)$\" data-tex=\"inline\"><\/math><\/h3>\n<p>  \u0428\u0430\u0433 \u044d\u0442\u043e\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u2014 \u043f\u0440\u043e\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u0443\u0435\u043c \u0448\u0430\u043d\u0441\u044b \u043f\u043e \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044e \u0447\u0438\u0441\u043b\u0430 \u042d\u0439\u043b\u0435\u0440\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5ca\/4b8\/ca1\/5ca4b8ca180f7495da819508f8afce6e.svg\" alt=\"$e$\" data-tex=\"inline\"><\/math> \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3b2\/5f5\/4ec\/3b25f54ec24ac9790536a5bfcdb7dcbd.svg\" alt=\"$f(w,x_i)=\\vec{w}^T\\vec{x}=ln(odds_+)$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c7e\/327\/ed9\/c7e327ed9d8fd93eb5907c962f2f0328.svg\" alt=\"$p_+=0.8$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math> \u0431\u0443\u0434\u0435\u0442 \u043e\u0447\u0435\u043d\u044c \u043f\u0440\u043e\u0441\u0442\u043e \u0438, \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0433\u043e, \u043e\u043d\u043e \u0434\u043e\u043b\u0436\u043d\u043e \u0431\u044b\u0442\u044c \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d2\/7d3\/bdb\/1d27d3bdb1b03bf2039cce88af50c550.svg\" alt=\"$f(w,x_i)=ln(odds_+)=ln(0.8\/0.2)=ln(4) \\approx +1.38629$\" data-tex=\"inline\"><\/math>. \u0422\u0430\u043a \u0438 \u0435\u0441\u0442\u044c.<\/p>\n<p>  \u0420\u0430\u0434\u0438 \u043b\u044e\u0431\u043e\u043f\u044b\u0442\u0441\u0442\u0432\u0430 \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c, \u0447\u0442\u043e \u0435\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d2c\/bf7\/357\/d2cbf7357ab08df200b02965bbb4ab7d.svg\" alt=\"$p_+=0.2$\" data-tex=\"inline\"><\/math>, \u0442\u043e\u0433\u0434\u0430 \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math>. \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u043c: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c6d\/3a5\/e80\/c6d3a5e8054aff891d32c89f4ee0c644.svg\" alt=\"$f(w,x_i)=ln(0.2\/0.8)=ln(0.25) \\approx -1.38629$\" data-tex=\"inline\"><\/math>. \u0412\u0441\u0435 \u0432\u0435\u0440\u043d\u043e.<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u043a\u0430\u043a \u043f\u0435\u0440\u0435\u0432\u0435\u0441\u0442\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1$\" data-tex=\"inline\"><\/math> \u043d\u0430 \u0432\u0441\u044e \u0447\u0438\u0441\u043b\u043e\u0432\u0443\u044e \u043f\u0440\u044f\u043c\u0443\u044e \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6d\/1e2\/ab7\/d6d1e2ab791a06785be738fe3a3a4f9d.svg\" alt=\"$-\\infty$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b0b\/232\/f34\/b0b232f343595119559cf1186dd5f4a7.svg\" alt=\"$+\\infty$\" data-tex=\"inline\"><\/math>. \u0412 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0448\u0430\u0433\u0435 \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0432\u0441\u0435 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442.<\/p>\n<p>  \u0410 \u043f\u043e\u043a\u0430, \u043e\u0442\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0437\u043d\u0430\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math>, \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u0447\u0438\u0441\u043b\u0438\u0442\u044c \u0448\u0430\u043d\u0441\u044b: <\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/833\/9ae\/0b9\/8339ae0b9d7645bc12a507a4ac54cf5d.svg\" alt=\"$odds_+ = e^{f(w,x_i)} = e^{\\vec{w}^T\\vec{x}}$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u042d\u0442\u043e\u0442 \u0441\u043f\u043e\u0441\u043e\u0431 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432 \u043d\u0430\u043c \u043f\u0440\u0438\u0433\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u043c \u0448\u0430\u0433\u0435.<\/p>\n<h3>\u0428\u0430\u0433 3. \u0412\u044b\u0432\u0435\u0434\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cc6\/f03\/35e\/cc6f0335e61e908711d629714f8d8b9e.svg\" alt=\"$p_+$\" data-tex=\"inline\"><\/math><\/h3>\n<p>  \u0418\u0442\u0430\u043a, \u043c\u044b \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c, \u0437\u043d\u0430\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cc6\/f03\/35e\/cc6f0335e61e908711d629714f8d8b9e.svg\" alt=\"$p_+$\" data-tex=\"inline\"><\/math>, \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math>. \u041e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0432\u0441\u0435 \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0434\u043e \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u2014 \u0437\u043d\u0430\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math> \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cc6\/f03\/35e\/cc6f0335e61e908711d629714f8d8b9e.svg\" alt=\"$p_+$\" data-tex=\"inline\"><\/math>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u043e\u0431\u0440\u0430\u0442\u0438\u043c\u0441\u044f \u043a \u0442\u0430\u043a\u043e\u043c\u0443 \u043f\u043e\u043d\u044f\u0442\u0438\u044e \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0448\u0430\u043d\u0441\u043e\u0432, \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043a\u043e\u0442\u043e\u0440\u043e\u0439:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/998\/ca3\/299\/998ca3299c7f4129d6975ea34d17809a.svg\" alt=\"$p_+ = \\frac{odds_+}{1+odds_+} $\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0412 \u0441\u0442\u0430\u0442\u044c\u0435 \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u044c \u0432\u044b\u0448\u0435\u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443, \u043d\u043e \u043f\u0440\u043e\u0432\u0435\u0440\u0438\u043c \u043d\u0430 \u0446\u0438\u0444\u0440\u0430\u0445 \u0438\u0437 \u043f\u0440\u0438\u043c\u0435\u0440\u0430 \u0432\u044b\u0448\u0435. \u041c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u0448\u0430\u043d\u0441\u0430\u0445 \u0440\u0430\u0432\u043d\u044b\u043c\u0438 4 \u043a 1 (<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f0f\/e94\/423\/f0fe944236e68f60b16034803d6f1823.svg\" alt=\"$odds_+=4$\" data-tex=\"inline\"><\/math>), \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u044f \u0441\u043e\u0431\u044b\u0442\u0438\u044f \u0440\u0430\u0432\u043d\u0430 0.8 (<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c7e\/327\/ed9\/c7e327ed9d8fd93eb5907c962f2f0328.svg\" alt=\"$p_+=0.8$\" data-tex=\"inline\"><\/math>). \u0421\u0434\u0435\u043b\u0430\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0443: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/84e\/9ac\/43b\/84e9ac43b312c23b9b1f4df072eef404.svg\" alt=\"$p_+=\\frac{4}{1+4}=0.8$\" data-tex=\"inline\"><\/math>. \u042d\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u0435\u0442 \u0441 \u043d\u0430\u0448\u0438\u043c\u0438 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f\u043c\u0438, \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043d\u044b\u043c\u0438 \u0440\u0430\u043d\u0435\u0435. \u0414\u0432\u0438\u0433\u0430\u0435\u043c\u0441\u044f \u0434\u0430\u043b\u0435\u0435.<\/p>\n<p>  \u041d\u0430 \u043f\u0440\u043e\u0448\u043b\u043e\u043c \u0448\u0430\u0433\u0435 \u043c\u044b \u0432\u044b\u0432\u0435\u043b\u0438, \u0447\u0442\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8a4\/3e6\/be5\/8a43e6be57441a31f74f074ea308af36.svg\" alt=\"$odds_+ = e^{\\vec{w}^T\\vec{x}}$\" data-tex=\"inline\"><\/math>, \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 \u043c\u043e\u0436\u043d\u043e \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u0437\u0430\u043c\u0435\u043d\u0443 \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u0448\u0430\u043d\u0441\u043e\u0432. \u041f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a63\/d3d\/38a\/a63d3d38ab1e837cefce61df83c7462e.svg\" alt=\"$p_+ = \\frac{e^{\\vec{w}^T\\vec{x}}}{1+e^{\\vec{w}^T\\vec{x}}}$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0420\u0430\u0437\u0434\u0435\u043b\u0438\u043c \u0438 \u0447\u0438\u0441\u043b\u0438\u0442\u0435\u043b\u044c \u0438 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u044c \u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/581\/dfc\/94f\/581dfc94f691212b843d5ca4ceb6cd9e.svg\" alt=\"$e^{\\vec{w}^T\\vec{x}}$\" data-tex=\"inline\"><\/math>, \u0442\u043e\u0433\u0434\u0430:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6c6\/dea\/0d6\/6c6dea0d6895ca8fd36155c626096403.svg\" alt=\"$p_+ = \\frac{1}{1+e^{-\\vec{w}^T\\vec{x}}} = \\sigma(\\vec{w}^T\\vec{x})$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u043f\u043e\u0436\u0430\u0440\u043d\u044b\u0439, \u0434\u0430\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u043d\u0438\u0433\u0434\u0435 \u043d\u0435 \u043e\u0448\u0438\u0431\u043b\u0438\u0441\u044c, \u0441\u0434\u0435\u043b\u0430\u0435\u043c \u0435\u0449\u0435 \u043e\u0434\u043d\u0443 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0443. \u041d\u0430 \u0448\u0430\u0433\u0435 2, \u043c\u044b \u0434\u043b\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c7e\/327\/ed9\/c7e327ed9d8fd93eb5907c962f2f0328.svg\" alt=\"$p_+=0.8$\" data-tex=\"inline\"><\/math> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438, \u0447\u0442\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a12\/825\/840\/a128258409b83f835e4ec02da427bfcf.svg\" alt=\"$f(w,x_i) \\approx +1.38629$\" data-tex=\"inline\"><\/math>. \u0422\u043e\u0433\u0434\u0430, \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math> \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430, \u043c\u044b \u043e\u0436\u0438\u0434\u0430\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c7e\/327\/ed9\/c7e327ed9d8fd93eb5907c962f2f0328.svg\" alt=\"$p_+=0.8$\" data-tex=\"inline\"><\/math>. \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c25\/62f\/5ef\/c2562f5ef0d27f9097183c0938c48b52.svg\" alt=\"$p_+=\\frac{1}{1+e^{-1.38629}}=0.8$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u041f\u043e\u0437\u0434\u0440\u0430\u0432\u043b\u044f\u044e \u0432\u0430\u0441, \u0443\u0432\u0430\u0436\u0430\u0435\u043c\u044b\u0439 \u0447\u0438\u0442\u0430\u0442\u0435\u043b\u044c, \u043c\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u0447\u0442\u043e \u0432\u044b\u0432\u0435\u043b\u0438 \u0438 \u043f\u0440\u043e\u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u0438.<\/p>\n<p>  \u0413\u0440\u0430\u0444\u0438\u043a 3 \u00ab\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430\u00bb<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/ks\/by\/4c\/ksby4cvyvhchnyw3g7mogrucage.jpeg\"><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u0434\u043b\u044f \u043e\u0442\u0440\u0438\u0441\u043e\u0432\u043a\u0438 \u0433\u0440\u0430\u0444\u0438\u043a\u0430<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">import math  def logit (f):     return 1\/(1+math.exp(-f))  f = np.arange(-7,7,0.05) p = []  for i in f:     p.append(logit(i))  fig, axes = plt.subplots(figsize = (14,6), dpi = 80) plt.plot(f, p, color = 'grey', label = '$ 1 \/ (1+e^{-w^Tx_i})$') plt.xlabel('$f(w,x_i) = w^Tx_i$', size = 16) plt.ylabel('$p_{i+}$', size = 16) plt.legend(prop = {'size': 14}) plt.show()<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0412 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0442\u0438\u0442\u044c \u043d\u0430\u0437\u0432\u0430\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043a\u0430\u043a <i>\u0441\u0438\u0433\u043c\u043e\u0439\u0434-\u0444\u0443\u043d\u043a\u0446\u0438\u044f<\/i>. \u041f\u043e \u0433\u0440\u0430\u0444\u0438\u043a\u0443 \u0445\u043e\u0440\u043e\u0448\u043e \u0437\u0430\u043c\u0435\u0442\u043d\u043e, \u0447\u0442\u043e \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u0435 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u043e\u043c \u0434\u0438\u0430\u043f\u0430\u0437\u043e\u043d\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a9\/d9b\/7c3\/4a9d9b7c3a796b664147c4267469a945.svg\" alt=\"$f(w,x_i)$\" data-tex=\"inline\"><\/math>, \u0433\u0434\u0435-\u0442\u043e \u043e\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/712\/33f\/9da\/71233f9da088a69f4f80e0a824f0bd91.svg\" alt=\"$-4$\" data-tex=\"inline\"><\/math> \u0434\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4c0\/d80\/e6b\/4c0d80e6b4c4049ac52c22fd0d27637e.svg\" alt=\"$+4$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u041f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u044e \u0432\u0435\u0440\u043d\u0443\u0442\u044c\u0441\u044f \u043a \u043d\u0430\u0448\u0435\u043c\u0443 \u043a\u0440\u0435\u0434\u0438\u0442\u043d\u043e\u043c\u0443 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0443 \u0438 \u043f\u043e\u043c\u043e\u0447\u044c \u0435\u043c\u0443 \u0441 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u043e\u0432, \u0438\u043d\u0430\u0447\u0435 \u043e\u043d \u0440\u0438\u0441\u043a\u0443\u0435\u0442 \u043e\u0441\u0442\u0430\u0442\u044c\u0441\u044f \u0431\u0435\u0437 \u043f\u0440\u0435\u043c\u0438\u0438 \ud83d\ude42<\/p>\n<p>  \u0422\u0430\u0431\u043b\u0438\u0446\u0430 2 \u00ab\u041f\u043e\u0442\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0435 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0438\u00bb<\/p>\n<p>  <img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/10\/tg\/7r\/10tg7rztpblsl8swwgjzmlgtwlo.jpeg\"><\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u0434\u043b\u044f \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0442\u0430\u0431\u043b\u0438\u0446\u044b<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">proba = [] for i in df['f(w,x)']:     proba.append(round(logit(i),2))      df['Probability'] = proba  df[['The borrower', 'Salary', 'Payment', 'f(w,x)', 'Decision', 'Probability']]<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  \u0418\u0442\u0430\u043a, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438. \u0412 \u0446\u0435\u043b\u043e\u043c, \u044d\u0442\u043e \u043f\u043e\u0445\u043e\u0436\u0435 \u043d\u0430 \u043f\u0440\u0430\u0432\u0434\u0443. <\/p>\n<p>  \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u0412\u0430\u0441\u044f \u043f\u0440\u0438 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0435 \u0432 120.000\u0420 \u0441\u043c\u043e\u0436\u0435\u0442 \u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u043e \u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c \u0432 \u0431\u0430\u043d\u043a 3.000\u0420 \u0431\u043b\u0438\u0437\u043a\u0430 \u043a 100%. \u041a\u0441\u0442\u0430\u0442\u0438, \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043f\u043e\u043d\u0438\u043c\u0430\u0442\u044c, \u0447\u0442\u043e \u0431\u0430\u043d\u043a \u043c\u043e\u0436\u0435\u0442 \u0432\u044b\u0434\u0430\u0442\u044c \u043a\u0440\u0435\u0434\u0438\u0442 \u0438 \u041b\u0435\u0448\u0435 \u0432 \u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0435\u0441\u043b\u0438 \u043f\u043e\u043b\u0438\u0442\u0438\u043a\u043e\u0439 \u0431\u0430\u043d\u043a\u0430 \u043f\u0440\u0435\u0434\u0443\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u043e, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043a\u0440\u0435\u0434\u0438\u0442\u043e\u0432\u0430\u0442\u044c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0431\u043e\u043b\u0435\u0435, \u043d\u0443 \u0441\u043a\u0430\u0436\u0435\u043c, 0.3. \u041f\u0440\u043e\u0441\u0442\u043e \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0431\u0430\u043d\u043a \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u0443\u0435\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u0439 \u0440\u0435\u0437\u0435\u0440\u0432 \u043f\u043e\u0434 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0435 \u043f\u043e\u0442\u0435\u0440\u0438.<\/p>\n<p>  \u0422\u0430\u043a\u0436\u0435 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u0441\u043e\u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u044b \u043a \u043f\u043b\u0430\u0442\u0435\u0436\u0443 \u043d\u0435 \u043c\u0435\u043d\u0435\u0435 3 \u0438 \u0441 \u0437\u0430\u043f\u0430\u0441\u043e\u043c \u0432 5.000\u0420 \u0431\u044b\u043b\u043e \u0432\u0437\u044f\u0442\u043e \u0441 \u043f\u043e\u0442\u043e\u043b\u043a\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043d\u0430\u043c \u043d\u0435\u043b\u044c\u0437\u044f \u0431\u044b\u043b\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0432 \u043f\u0435\u0440\u0432\u043e\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c \u0432\u0438\u0434\u0435 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/efe\/096\/7c6\/efe0967c69a87a9a7f693fd242b72387.svg\" alt=\"$\\vec w = (-5000,1,-3)$\" data-tex=\"inline\"><\/math>. \u041d\u0430\u043c \u0442\u0440\u0435\u0431\u043e\u0432\u0430\u043b\u043e\u0441\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u043c\u0435\u043d\u044c\u0448\u0438\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u0438 \u0432 \u0442\u0430\u043a\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u0438\u043b\u0438 \u043a\u0430\u0436\u0434\u044b\u0439 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442 \u043d\u0430 25.000, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u043e \u0441\u0443\u0442\u0438 \u043c\u044b \u043f\u043e\u0434\u043e\u0433\u043d\u0430\u043b\u0438 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442. \u041d\u043e \u044d\u0442\u043e \u0441\u0434\u0435\u043b\u0430\u043d\u043e \u0431\u044b\u043b\u043e \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u043e, \u0447\u0442\u043e\u0431\u044b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u0430 \u043d\u0430 \u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e\u043c \u044d\u0442\u0430\u043f\u0435. \u0412 \u0436\u0438\u0437\u043d\u0438, \u0436\u0435 \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0435 \u0432\u044b\u0434\u0443\u043c\u044b\u0432\u0430\u0442\u044c \u0438 \u043f\u043e\u0434\u0433\u043e\u043d\u044f\u0442\u044c \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b, \u0430 \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u044c \u0438\u0445. \u041a\u0430\u043a \u0440\u0430\u0437 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0445 \u0440\u0430\u0437\u0434\u0435\u043b\u0430\u0445 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>.<\/p>\n<h2>04. \u041c\u0435\u0442\u043e\u0434 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u0432 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/h2>\n<p>  \u041d\u0430\u043c \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u0435\u043d \u0442\u0430\u043a\u043e\u0439 \u043c\u0435\u0442\u043e\u0434 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>, \u043a\u0430\u043a <i>\u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 (\u041c\u041d\u041a)<\/i> \u0438 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u043d\u0430\u043c \u0442\u043e\u0433\u0434\u0430 \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438? \u0414\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u0438\u0447\u0442\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <i>\u041c\u041d\u041a<\/i>, \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0434\u0430\u0435\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u043c\u0435\u043d\u0435\u0435 \u0442\u043e\u0447\u043d\u044b\u0435, \u043d\u0435\u0436\u0435\u043b\u0438 <i>Logistic Loss<\/i>. \u042d\u0442\u043e\u043c\u0443 \u0435\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0435. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u043e\u0434\u0438\u043d \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440.<\/p>\n<p>  \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 (\u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044e\u0449\u0438\u0435 <i>MSE<\/i> \u0438 <i>Logistic Loss<\/i>) \u0443\u0436\u0435 \u043d\u0430\u0447\u0430\u043b\u0438 \u043f\u043e\u0434\u0431\u043e\u0440 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u0438 \u043c\u044b \u043e\u0441\u0442\u0430\u043d\u043e\u0432\u0438\u043b\u0438 \u0440\u0430\u0441\u0447\u0435\u0442 \u043d\u0430 \u043a\u0430\u043a\u043e\u043c-\u0442\u043e \u0448\u0430\u0433\u0435. \u041d\u0435\u0432\u0430\u0436\u043d\u043e, \u0432 \u0441\u0435\u0440\u0435\u0434\u0438\u043d\u0435, \u0432 \u043a\u043e\u043d\u0446\u0435 \u0438\u043b\u0438 \u0432 \u043d\u0430\u0447\u0430\u043b\u0435, \u0433\u043b\u0430\u0432\u043d\u043e\u0435, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0443\u0436\u0435 \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 \u0438 \u0434\u043e\u043f\u0443\u0441\u0442\u0438\u043c, \u0447\u0442\u043e \u043d\u0430 \u044d\u0442\u043e\u043c \u0448\u0430\u0433\u0435, \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u0434\u043b\u044f \u043e\u0431\u0435\u0438\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u043d\u0435 \u0438\u043c\u0435\u044e\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u0438\u0439. \u0422\u043e\u0433\u0434\u0430 \u0432\u043e\u0437\u044c\u043c\u0435\u043c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 \u0438 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0438\u0445 \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i> (<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cd6\/887\/374\/cd6887374d65ca7e0699f041a7654ae1.svg\" alt=\"$\\frac{1}{1+e^{-\\vec{w}^T\\vec{x}}}$\" data-tex=\"inline\"><\/math>) \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0433\u043e-\u043d\u0438\u0431\u0443\u0434\u044c \u043e\u0431\u044a\u0435\u043a\u0442\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>. \u0418\u0441\u0441\u043b\u0435\u0434\u0443\u0435\u043c \u0434\u0432\u0430 \u0441\u043b\u0443\u0447\u0430\u044f, \u043a\u043e\u0433\u0434\u0430 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u043d\u043d\u044b\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c \u0432\u0435\u0441\u043e\u0432 \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u043e\u0448\u0438\u0431\u0430\u0435\u0442\u0441\u044f \u0438 \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442 \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u0438\u043b\u044c\u043d\u043e \u0443\u0432\u0435\u0440\u0435\u043d\u0430 \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>. \u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043a\u0430\u043a\u0438\u0435 \u0448\u0442\u0440\u0430\u0444\u044b \u0431\u0443\u0434\u0443\u0442 \u00ab\u0432\u044b\u043f\u0438\u0441\u0430\u043d\u044b\u00bb \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <i>\u041c\u041d\u041a <\/i>\u0438 <i>Logistic Loss<\/i>.<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u0448\u0442\u0440\u0430\u0444\u043e\u0432 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\"># \u043a\u043b\u0430\u0441\u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 y = 1 # \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 w proba_1 = 0.01  MSE_1 = (y - proba_1)**2 print '\u0428\u0442\u0440\u0430\u0444 MSE \u043f\u0440\u0438 \u0433\u0440\u0443\u0431\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 =', MSE_1  # \u043d\u0430\u043f\u0438\u0448\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u0434\u043b\u044f \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f f(w,x) \u043f\u0440\u0438 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0439 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 +1 (f(w,x)=ln(odds+)) def f_w_x(proba):     return math.log(proba\/(1-proba))   LogLoss_1 = math.log(1+math.exp(-y*f_w_x(proba_1))) print '\u0428\u0442\u0440\u0430\u0444 Log Loss \u043f\u0440\u0438 \u0433\u0440\u0443\u0431\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 =', LogLoss_1  proba_2 = 0.99  MSE_2 = (y - proba_2)**2 LogLoss_2 = math.log(1+math.exp(-y*f_w_x(proba_2)))  print '**************************************************************' print '\u0428\u0442\u0440\u0430\u0444 MSE \u043f\u0440\u0438 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 =', MSE_2 print '\u0428\u0442\u0440\u0430\u0444 Log Loss \u043f\u0440\u0438 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u0438 =', LogLoss_2<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  <b>\u0421\u043b\u0443\u0447\u0430\u0439 \u0441 \u0433\u0440\u0443\u0431\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u043e\u0439<\/b> \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0432 0,01<\/p>\n<p>  \u0428\u0442\u0440\u0430\u0444 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <i>\u041c\u041d\u041a <\/i>\u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442: <br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/443\/801\/8cd\/4438018cd3c35de475a419ecf521c389.svg\" alt=\"$MSE = (y - p_+) = (1-0.01)^2 = 0.9801$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0428\u0442\u0440\u0430\u0444 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <i>Logistic Loss<\/i> \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442: <br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5c8\/4b2\/2b7\/5c84b22b7edd29e66fd652a658254ec0.svg\" alt=\"$Log Loss = log_e(1+e^{-yf(w,x)}) = log_e(1+e^{-1(-4.595...)}) \\approx 4.605$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>\u0421\u043b\u0443\u0447\u0430\u0439 \u0441 \u0441\u0438\u043b\u044c\u043d\u043e\u0439 \u0443\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0441\u0442\u044c\u044e<\/b> \u2014 \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0442\u043d\u043e\u0441\u0438\u0442 \u043e\u0431\u044a\u0435\u043a\u0442 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e \u0432 0,99<\/p>\n<p>  \u0428\u0442\u0440\u0430\u0444 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <i>\u041c\u041d\u041a<\/i> \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442: <br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/818\/0dc\/f31\/8180dcf31c8787d11205a3b3536e2900.svg\" alt=\"$MSE = (1-0.99)^2 = 0.0001$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0428\u0442\u0440\u0430\u0444 \u043f\u0440\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u0438 <i>Logistic Loss<\/i> \u0441\u043e\u0441\u0442\u0430\u0432\u0438\u0442: <br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/005\/ad0\/d51\/005ad0d512f20ff825d820bdbd26ba7f.svg\" alt=\"$Log Loss = log_e(1+e^{-4.595...}) \\approx 0.01 $\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u042d\u0442\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440 \u0445\u043e\u0440\u043e\u0448\u043e \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u043f\u0440\u0438 \u0433\u0440\u0443\u0431\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c <i>Log Loss<\/i> \u0448\u0442\u0440\u0430\u0444\u0443\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435, \u0447\u0435\u043c <i>MSE<\/i>. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0442\u0435\u043f\u0435\u0440\u044c \u0440\u0430\u0437\u0431\u0435\u0440\u0435\u043c\u0441\u044f, \u043a\u0430\u043a\u043e\u0432\u044b \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u0441\u044b\u043b\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <i>Log Loss<\/i> \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438.<\/p>\n<h2>05. \u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f<\/h2>\n<p>  \u041a\u0430\u043a \u0438 \u0431\u044b\u043b\u043e \u043e\u0431\u0435\u0449\u0430\u043d\u043e \u0432 \u043d\u0430\u0447\u0430\u043b\u0435, \u0441\u0442\u0430\u0442\u044c\u044f \u0438\u0437\u043e\u0431\u0438\u043b\u0443\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u044b\u043c\u0438 \u043f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438. \u0412 \u0441\u0442\u0443\u0434\u0438\u0438 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0439 \u043f\u0440\u0438\u043c\u0435\u0440 \u0438 \u0441\u0442\u0430\u0440\u044b\u0435 \u0433\u043e\u0441\u0442\u0438 \u2014 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0438 \u0431\u0430\u043d\u043a\u0430: \u0412\u0430\u0441\u044f, \u0424\u0435\u0434\u044f \u0438 \u041b\u0435\u0448\u0430. <\/p>\n<p>  \u041d\u0430 \u0432\u0441\u044f\u043a\u0438\u0439 \u043f\u043e\u0436\u0430\u0440\u043d\u044b\u0439, \u043f\u0435\u0440\u0435\u0434 \u0442\u0435\u043c \u043a\u0430\u043a \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c \u043f\u0440\u0438\u043c\u0435\u0440, \u043d\u0430\u043f\u043e\u043c\u043d\u044e, \u0447\u0442\u043e \u0432 \u0436\u0438\u0437\u043d\u0438 \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438\u0437 \u0442\u044b\u0441\u044f\u0447 \u0438\u043b\u0438 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u043e\u0432 \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u0434\u0435\u0441\u044f\u0442\u043a\u0430\u043c\u0438 \u0438\u043b\u0438 \u0441\u043e\u0442\u043d\u044f\u043c\u0438 \u043f\u0440\u0438\u0437\u043d\u0430\u043a\u043e\u0432. \u041e\u0434\u043d\u0430\u043a\u043e \u0437\u0434\u0435\u0441\u044c \u0446\u0438\u0444\u0440\u044b \u0432\u0437\u044f\u0442\u044b \u0442\u0430\u043a, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043b\u0435\u0433\u043a\u043e \u0443\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u043b\u0438\u0441\u044c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435 \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0435\u0433\u043e \u0434\u0430\u0442\u0430\u0441\u0430\u0439\u043d\u0442\u0435\u0441\u0442\u0430. <\/p>\n<p>  \u0412\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u043c\u0441\u044f \u043a \u043f\u0440\u0438\u043c\u0435\u0440\u0443. \u041f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u0434\u0438\u0440\u0435\u043a\u0442\u043e\u0440 \u0431\u0430\u043d\u043a\u0430 \u0440\u0435\u0448\u0438\u043b \u0432\u044b\u0434\u0430\u0442\u044c \u043a\u0440\u0435\u0434\u0438\u0442 \u0432\u0441\u0435\u043c \u043d\u0443\u0436\u0434\u0430\u044e\u0449\u0438\u043c\u0441\u044f, \u043d\u0435\u0441\u043c\u043e\u0442\u0440\u044f \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b \u043d\u0435 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0435\u0433\u043e \u041b\u0435\u0448\u0435. \u0418 \u0432\u043e\u0442 \u043f\u0440\u043e\u0448\u043b\u043e \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0432\u0440\u0435\u043c\u0435\u043d\u0438 \u0438 \u043d\u0430\u043c \u0441\u0442\u0430\u043b\u043e \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043a\u0442\u043e \u0438\u0437 \u0442\u0440\u0435\u0445 \u0433\u0435\u0440\u043e\u0435\u0432 \u043f\u043e\u0433\u0430\u0441\u0438\u043b \u043a\u0440\u0435\u0434\u0438\u0442, \u0430 \u043a\u0442\u043e \u043d\u0435\u0442. \u0427\u0442\u043e \u0438 \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043b\u043e \u043e\u0436\u0438\u0434\u0430\u0442\u044c: \u0412\u0430\u0441\u044f \u0438 \u0424\u0435\u0434\u044f \u043f\u043e\u0433\u0430\u0441\u0438\u043b\u0438 \u043a\u0440\u0435\u0434\u0438\u0442, \u0430 \u041b\u0435\u0448\u0430 \u2014 \u043d\u0435\u0442. \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u044d\u0442\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0431\u0443\u0434\u0435\u0442 \u0434\u043b\u044f \u043d\u0430\u0441 \u043d\u043e\u0432\u043e\u0439 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u0438, \u043f\u0440\u0438 \u044d\u0442\u043e\u043c \u0443 \u043d\u0430\u0441 \u043a\u0430\u043a \u0431\u0443\u0434\u0442\u043e \u0438\u0441\u0447\u0435\u0437\u043b\u0438 \u0432\u0441\u0435 \u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445, \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u0445 \u043d\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 (\u0437\u0430\u0440\u043f\u043b\u0430\u0442\u0430 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430, \u0440\u0430\u0437\u043c\u0435\u0440 \u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0433\u043e \u043f\u043b\u0430\u0442\u0435\u0436\u0430). \u0422\u043e\u0433\u0434\u0430 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u043b\u0430\u0433\u0430\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0440\u0435\u0442\u0438\u0439 \u0437\u0430\u0435\u043c\u0449\u0438\u043a \u043d\u0435 \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0431\u0430\u043d\u043a\u0443 \u043a\u0440\u0435\u0434\u0438\u0442 \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e64\/afb\/a2b\/e64afba2b591c3b84beebfc496e12c51.svg\" alt=\"$p=\\frac{2}{3}$\" data-tex=\"inline\"><\/math>. \u042d\u0442\u043e\u043c\u0443 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u043c\u0443 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u044e \u0435\u0441\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u043e\u0434\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0438 \u043e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u043d\u043e \u043d\u0430 <i>\u043c\u0435\u0442\u043e\u0434\u0435 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>, \u0447\u0430\u0441\u0442\u043e \u0432 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0435\u0433\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 <i>\u043f\u0440\u0438\u043d\u0446\u0438\u043f\u043e\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>.<\/p>\n<p>  \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043c\u0441\u044f \u0441 \u043f\u043e\u043d\u044f\u0442\u0438\u0439\u043d\u044b\u043c \u0430\u043f\u043f\u0430\u0440\u0430\u0442\u043e\u043c.<\/p>\n<p>  <i>\u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438<\/i> \u2014 \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u0438\u0445 \u043d\u0430\u0431\u043b\u044e\u0434\u0435\u043d\u0438\u0439 \/ \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432, \u0442.\u0435. \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 (\u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043f\u043e\u0433\u0430\u0448\u0435\u043d \u0438\u043b\u0438 \u043d\u0435 \u043f\u043e\u0433\u0430\u0448\u0435\u043d \u043a\u0440\u0435\u0434\u0438\u0442 \u0412\u0430\u0441\u0435\u0439, \u0424\u0435\u0434\u0435\u0439 \u0438 \u041b\u0435\u0448\u0435\u0439 \u043e\u0434\u043d\u043e\u0432\u0440\u0435\u043c\u0435\u043d\u043d\u043e). <\/p>\n<p>  <i>\u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i> \u0441\u0432\u044f\u0437\u044b\u0432\u0430\u0435\u0442 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u043c\u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. <\/p>\n<p>  \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0430\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0441\u043e\u0431\u043e\u0439 \u043e\u0431\u043e\u0431\u0449\u0451\u043d\u043d\u0443\u044e \u0441\u0445\u0435\u043c\u0443 \u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0432\u0441\u0435\u0433\u043e \u0434\u0432\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1$\" data-tex=\"inline\"><\/math> \u0438\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math>. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math> \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d0b\/857\/b4e\/d0b857b4ee991737b3ec7dbd1407cacb.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p) = \\prod\\limits_{i=1}^3 p^{y_i} (1-p)^{(1-y_i)} \\mkern 5mu = \\mkern 5mu p^1(1-p)^{1-1} \\centerdot p^1(1-p)^{1-1} \\centerdot p^0(1-p)^{1-0} \\mkern 5mu = $\" data-tex=\"inline\"><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/edf\/fd0\/f08\/edffd0f0825aef6a235b500fb1b87584.svg\" alt=\"$ = \\mkern 5mu p \\centerdot p \\centerdot (1-p) \\mkern 5mu = \\mkern 5mu p^2(1-p)$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0412\u044b\u0448\u0435\u0443\u043a\u0430\u0437\u0430\u043d\u043d\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a. \u0421\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0412\u0430\u0441\u044f \u0438 \u0424\u0435\u0434\u044f \u043f\u043e\u0433\u0430\u0441\u044f\u0442 \u043a\u0440\u0435\u0434\u0438\u0442 \u0440\u0430\u0432\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ad1\/c0a\/9f6\/ad1c0a9f6ac079079f55104222ff7a13.svg\" alt=\"$p \\centerdot p = p^2$\" data-tex=\"inline\"><\/math>, \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e \u0447\u0442\u043e \u041b\u0435\u0448\u0430 \u041d\u0415 \u043f\u043e\u0433\u0430\u0441\u0438\u0442 \u043a\u0440\u0435\u0434\u0438\u0442 \u0440\u0430\u0432\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d47\/c89\/4c4\/d47c894c4276b3f3b8b5fe9158ab0cfe.svg\" alt=\"$1-p$\" data-tex=\"inline\"><\/math> (\u0442\u0430\u043a \u043a\u0430\u043a \u0438\u043c\u0435\u043b\u043e \u043c\u0435\u0441\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u041d\u0415 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u0435 \u043a\u0440\u0435\u0434\u0438\u0442\u0430), \u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u0441\u0435\u0445 \u0442\u0440\u0435\u0445 \u0441\u043e\u0431\u044b\u0442\u0438\u0439 \u0440\u0430\u0432\u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/daf\/63d\/647\/daf63d6479f73e4d3402348866d62dbf.svg\" alt=\"$p^2(1-p)$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  <i>\u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i> \u2014 \u044d\u0442\u043e \u043c\u0435\u0442\u043e\u0434 \u043e\u0446\u0435\u043d\u043a\u0438 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 \u043f\u0443\u0442\u0451\u043c \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fb3\/a6d\/4e4\/fb3a6d4e4b9ab34c577d6e5ddc7cb395.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p) = p^2(1-p)$\" data-tex=\"inline\"><\/math> \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430. <\/p>\n<p>  \u041e\u0442\u043a\u0443\u0434\u0430 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0438\u0434\u0435\u044f \u2013 \u0438\u0441\u043a\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430? \u0418\u0441\u0442\u043e\u043a\u0438 \u0438\u0434\u0435\u0438 \u043f\u0440\u043e\u0438\u0441\u0442\u0435\u043a\u0430\u044e\u0442 \u0438\u0437 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u2013 \u044d\u0442\u043e \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u044b\u0439 \u043d\u0430\u043c, \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438. \u0412\u0441\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e \u043e \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438, \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043e \u0432 \u0432\u044b\u0431\u043e\u0440\u043a\u0435. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u0432\u0441\u0435, \u0447\u0442\u043e \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441\u043a\u0430\u0437\u0430\u0442\u044c, \u0442\u0430\u043a \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u2013 \u044d\u0442\u043e \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e\u0435 \u043e\u0442\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0433\u0435\u043d\u0435\u0440\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043e\u0432\u043e\u043a\u0443\u043f\u043d\u043e\u0441\u0442\u0438, \u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e\u0435 \u043d\u0430\u043c. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e, \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0438\u043c\u0435\u044e\u0449\u0430\u044f\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0439.<\/p>\n<p>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u043c\u044b \u0438\u043c\u0435\u0435\u043c \u0434\u0435\u043b\u043e \u0441 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0435\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0442\u043e\u0447\u043a\u0443 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438. \u0414\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0442\u043e\u0447\u043a\u0438 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c\u0430 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043a \u043d\u0443\u043b\u044e \u0438 \u0440\u0435\u0448\u0438\u0442\u044c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u0441\u043a\u043e\u043c\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u043e\u0438\u0441\u043a\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044f \u0431\u043e\u043b\u044c\u0448\u043e\u0433\u043e \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u0435\u0439 \u043c\u043e\u0433\u0443\u0442 \u043e\u043a\u0430\u0437\u0430\u0442\u044c\u0441\u044f \u0434\u0435\u043b\u043e\u043c \u0437\u0430\u0442\u044f\u0436\u043d\u044b\u043c, \u0447\u0442\u043e\u0431\u044b \u044d\u0442\u043e\u0433\u043e \u0438\u0437\u0431\u0435\u0436\u0430\u0442\u044c \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u0435\u0442 \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0439 \u043f\u0440\u0438\u0435\u043c \u2014 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0443 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>. \u041f\u043e\u0447\u0435\u043c\u0443 \u0432\u043e\u0437\u043c\u043e\u0436\u0435\u043d \u0442\u0430\u043a\u043e\u0439 \u043f\u0435\u0440\u0435\u0445\u043e\u0434? \u041e\u0431\u0440\u0430\u0442\u0438\u043c \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u043d\u0430 \u0442\u043e, \u0447\u0442\u043e \u043c\u044b \u0438\u0449\u0435\u043c \u043d\u0435 \u0441\u0430\u043c \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f8a\/1c5\/0ed\/f8a1c50ed39505a982ca83ce75812904.svg\" alt=\"$ P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p)$\" data-tex=\"inline\"><\/math>, \u0430 \u0442\u043e\u0447\u043a\u0443 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f8a\/1c5\/0ed\/f8a1c50ed39505a982ca83ce75812904.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p)$\" data-tex=\"inline\"><\/math> \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430. \u041f\u0440\u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0435 \u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0443 \u0442\u043e\u0447\u043a\u0430 \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c\u0430 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f (\u0445\u043e\u0442\u044f \u0441\u0430\u043c \u044d\u043a\u0441\u0442\u0440\u0435\u043c\u0443\u043c \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u043b\u0438\u0447\u0430\u0442\u044c\u0441\u044f), \u0442\u0430\u043a \u043a\u0430\u043a \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u2014 \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f.<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435, \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u0432\u044b\u0448\u0435\u0438\u0437\u043b\u043e\u0436\u0435\u043d\u043d\u044b\u043c, \u043f\u0440\u043e\u0434\u043e\u043b\u0436\u0438\u043c \u0440\u0430\u0437\u0432\u0438\u0432\u0430\u0442\u044c \u043d\u0430\u0448 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441 \u043a\u0440\u0435\u0434\u0438\u0442\u0430\u043c\u0438 \u0443 \u0412\u0430\u0441\u0438, \u0424\u0435\u0434\u0438 \u0438 \u041b\u0435\u0448\u0438. \u0414\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043f\u0435\u0440\u0435\u0439\u0434\u0435\u043c \u043a <i>\u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f8e\/ca7\/d90\/f8eca7d90ef3968c1680a1be4dc64103.svg\" alt=\"$logP(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p) \\mkern 5mu = \\mkern 5mu logp^2(1-p) \\mkern 5mu = \\mkern 5mu 2logp + log(1-p)$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0441 \u043b\u0435\u0433\u043a\u043e\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u043f\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math>:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/139\/181\/ad0\/139181ad0acdf2d6d84dcf662097019a.svg\" alt=\"$\\frac{\\partial logP(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p)}{\\partial p} \\mkern 5mu = \\mkern 5mu \\frac{\\partial}{\\partial p} (2logp + log(1-p)) \\mkern 5mu = \\mkern 5mu \\frac{2}{p} - \\frac{1}{1-p}$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0418 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u0435 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u043f\u043e\u0440\u044f\u0434\u043a\u0430 \u2014 \u043f\u0440\u0438\u0440\u0430\u0432\u043d\u044f\u0435\u043c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043a \u043d\u0443\u043b\u044e:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/832\/fa7\/c30\/832fa7c3084c0110a5e3d7621631a1fc.svg\" alt=\"$\\frac{2}{p} - \\frac{1}{1-p} = 0 \\mkern 5mu \\Longrightarrow \\mkern 5mu \\frac{2}{p} = \\frac{1}{1-p} \\mkern 5mu \\Longrightarrow \\mkern 5mu 2(1-p) = p \\mkern 5mu \\Longrightarrow \\mkern 5mu p = \\frac{2}{3}$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043d\u0430\u0448\u0430 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e64\/afb\/a2b\/e64afba2b591c3b84beebfc496e12c51.svg\" alt=\"$p = \\frac{2}{3}$\" data-tex=\"inline\"><\/math> \u0431\u044b\u043b\u0430 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043e\u0431\u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0430.<\/p>\n<p>  \u041e\u0442\u043b\u0438\u0447\u043d\u043e, \u043d\u043e \u0447\u0442\u043e \u043d\u0430\u043c \u0442\u0435\u043f\u0435\u0440\u044c \u0434\u0435\u043b\u0430\u0442\u044c \u0441 \u0442\u0430\u043a\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439? \u0415\u0441\u043b\u0438 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u043a\u0430\u0436\u0434\u044b\u0439 \u0442\u0440\u0435\u0442\u0438\u0439 \u0437\u0430\u0435\u043c\u0449\u0438\u043a \u043d\u0435 \u0432\u0435\u0440\u043d\u0435\u0442 \u0431\u0430\u043d\u043a\u0443 \u0434\u0435\u043d\u044c\u0433\u0438, \u0442\u043e \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0439 \u043d\u0435\u0438\u0437\u0431\u0435\u0436\u043d\u043e \u0440\u0430\u0437\u043e\u0440\u0438\u0442\u0441\u044f. \u0422\u0430\u043a-\u0442\u043e \u043e\u043d\u043e \u0442\u0430\u043a, \u0434\u0430 \u0442\u043e\u043b\u044c\u043a\u043e \u043f\u0440\u0438 \u043e\u0446\u0435\u043d\u043a\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0440\u0430\u0432\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/919\/a65\/b66\/919a65b6676bcd796279a8aac6163a7a.svg\" alt=\"$\\frac{2}{3}$\" data-tex=\"inline\"><\/math> \u043c\u044b \u043d\u0435 \u0443\u0447\u043b\u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u044b, \u0432\u043b\u0438\u044f\u044e\u0449\u0438\u0435 \u043d\u0430 \u0432\u043e\u0437\u0432\u0440\u0430\u0442 \u043a\u0440\u0435\u0434\u0438\u0442\u0430: \u0437\u0430\u0440\u0430\u0431\u043e\u0442\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0430 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u0430 \u0438 \u0440\u0430\u0437\u043c\u0435\u0440 \u0435\u0436\u0435\u043c\u0435\u0441\u044f\u0447\u043d\u043e\u0433\u043e \u043f\u043b\u0430\u0442\u0435\u0436\u0430. \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0440\u0430\u043d\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043a\u0430\u0436\u0434\u044b\u043c \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u043c \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u044d\u0442\u0438\u0445 \u0441\u0430\u043c\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432. \u041b\u043e\u0433\u0438\u0447\u043d\u043e, \u0447\u0442\u043e \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0443 \u043d\u0430\u0441 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u043e\u0442\u043b\u0438\u0447\u043d\u044b\u0435 \u043e\u0442 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u043e\u0439 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/919\/a65\/b66\/919a65b6676bcd796279a8aac6163a7a.svg\" alt=\"$\\frac{2}{3}$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043e\u043a:<\/p>\n<div class=\"spoiler\"><b class=\"spoiler_title\">\u041a\u043e\u0434 \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u043e\u0432 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0439 \u0432\u044b\u0431\u043e\u0440\u043e\u043a<\/b><\/p>\n<div class=\"spoiler_text\">\n<pre><code class=\"python\">from functools import reduce  def likelihood(y,p):     line_true_proba = []     for i in range(len(y)):         ltp_i = p[i]**y[i]*(1-p[i])**(1-y[i])         line_true_proba.append(ltp_i)     likelihood = []     return reduce(lambda a, b: a*b, line_true_proba)               y = [1.0,1.0,0.0] p_log_response = df['Probability'] const = 2.0\/3.0 p_const = [const, const, const]   print '\u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043f\u0440\u0438 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 p=2\/3:', round(likelihood(y,p_const),3)  print '****************************************************************************************************'  print '\u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 p:', round(likelihood(y,p_log_response),3)<\/code><\/pre>\n<p>  <\/div>\n<\/div>\n<p>  <i>\u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043f\u0440\u0438 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e64\/afb\/a2b\/e64afba2b591c3b84beebfc496e12c51.svg\" alt=\"$p=\\frac{2}{3}$\" data-tex=\"inline\"><\/math>:<\/i><\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e47\/b36\/a76\/e47b36a76b99b13313aff0043d484c77.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p) \\mkern 5mu = \\mkern 5mu p^2(1-p) \\mkern 5mu = \\mkern 5mu \\frac{2}{3}^2(1-\\frac{2}{3}) \\mkern 5mu \\approx \\mkern 5mu 0.148 $\" data-tex=\"inline\"><\/math><\/p>\n<p>  <i>\u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043f\u0440\u0438 \u0440\u0430\u0441\u0447\u0435\u0442\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cca\/29f\/b6c\/cca29fb6c52655a8f94f7bbe703f11c7.svg\" alt=\"$\\vec{x}$\" data-tex=\"inline\"><\/math>:<\/i><\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/72f\/090\/8f0\/72f0908f0f53ffc3a54f80d75d3fb568.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p) = \\prod\\limits_{i=1}^3 p^{y_i} (1-p)^{(1-y_i)} \\mkern 5mu = \\mkern 5mu p_1^1(1-p_1)^{1-1} \\centerdot p_2^1(1-p_2)^{1-1} \\centerdot p_3^0(1-p_3)^{1-0} \\mkern 5mu = $\" data-tex=\"inline\"><\/math><br \/>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/27f\/4f6\/6c3\/27f4f66c312aa01b7a3501d94baa0c49.svg\" alt=\"$ = \\mkern 5mu p_1 \\centerdot p_2 \\centerdot (1-p_3) \\mkern 5mu = \\mkern 5mu 0.99 \\centerdot 0.73 \\centerdot (1-0.45) \\mkern 5mu \\approx \\mkern 5mu 0.397$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u041f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e, \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u043d\u043d\u043e\u0439 \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u043e\u043a\u0430\u0437\u0430\u043b\u043e\u0441\u044c \u0432\u044b\u0448\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u0440\u0438 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u043e\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438. \u041e \u0447\u0435\u043c \u044d\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442? \u042d\u0442\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442 \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u0437\u043d\u0430\u043d\u0438\u044f \u043e \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u0445 \u043f\u043e\u0437\u0432\u043e\u043b\u0438\u043b\u0438 \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0431\u043e\u043b\u0435\u0435 \u0442\u043e\u0447\u043d\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043a\u043b\u0438\u0435\u043d\u0442\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443, \u043f\u0440\u0438 \u0432\u044b\u0434\u0430\u0447\u0435 \u043e\u0447\u0435\u0440\u0435\u0434\u043d\u043e\u0433\u043e \u043a\u0440\u0435\u0434\u0438\u0442\u0430, \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0435\u0435 \u0431\u0443\u0434\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c, \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0435\u043d\u043d\u0443\u044e \u0432 \u043a\u043e\u043d\u0446\u0435 3-\u0433\u043e \u0440\u0430\u0437\u0434\u0435\u043b\u0430 \u0441\u0442\u0430\u0442\u044c\u0438, \u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u043e\u043b\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438. <\/p>\n<p>  \u041d\u043e \u0442\u043e\u0433\u0434\u0430, \u0435\u0441\u043b\u0438 \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438<\/i>, \u0442\u043e \u043f\u043e\u0447\u0435\u043c\u0443 \u0431\u044b \u043d\u0435 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043a\u0430\u043a\u043e\u0439-\u043d\u0438\u0431\u0443\u0434\u044c \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0432\u044b\u0434\u0430\u0432\u0430\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0434\u043b\u044f \u0412\u0430\u0441\u0438, \u0424\u0435\u0434\u0438 \u0438 \u041b\u0435\u0448\u0438, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0440\u0430\u0432\u043d\u044b\u043c\u0438 0.99, 0.99 \u0438 0.01 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0438 \u0445\u043e\u0440\u043e\u0448\u043e \u0441\u0435\u0431\u044f \u043f\u0440\u043e\u044f\u0432\u0438\u0442 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435, \u0442\u0430\u043a \u043a\u0430\u043a \u043f\u0440\u0438\u0431\u043b\u0438\u0437\u0438\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1$\" data-tex=\"inline\"><\/math>, \u043d\u043e, \u0432\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0443 \u0442\u0430\u043a\u043e\u0433\u043e \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u0430 \u0431\u0443\u0434\u0443\u0442, \u0441\u043a\u043e\u0440\u0435\u0435 \u0432\u0441\u0435\u0433\u043e \u0442\u0440\u0443\u0434\u043d\u043e\u0441\u0442\u0438 \u0441 \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0435\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e, \u0432\u043e-\u0432\u0442\u043e\u0440\u044b\u0445, \u044d\u0442\u043e\u0442 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c \u0431\u0443\u0434\u0435\u0442 \u0442\u043e\u0447\u043d\u043e \u043d\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u044b\u043c. \u0418 \u0435\u0441\u043b\u0438, \u043c\u0435\u0442\u043e\u0434\u044b \u0431\u043e\u0440\u044c\u0431\u044b \u0441 \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0435\u043c (\u0440\u0430\u0432\u043d\u043e \u0441\u043b\u0430\u0431\u0430\u044f \u043e\u0431\u043e\u0431\u0449\u0430\u044e\u0449\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c) \u044f\u0432\u043d\u043e \u043d\u0435 \u0432\u0445\u043e\u0434\u044f\u0442 \u0432 \u043f\u043b\u0430\u043d \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0438, \u0442\u043e \u043f\u043e \u0432\u0442\u043e\u0440\u043e\u043c\u0443 \u043f\u0443\u043d\u043a\u0442\u0443 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u043e\u0439\u0434\u0435\u043c\u0441\u044f \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e, \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043e\u0442\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e\u0439 \u0432\u043e\u043f\u0440\u043e\u0441. \u041c\u043e\u0436\u0435\u0442 \u043b\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0412\u0430\u0441\u0435\u0439 \u0438 \u0424\u0435\u0434\u0435\u0439 \u0431\u044b\u0442\u044c \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u043e\u0439 \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u043d\u0430\u043c \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432? \u0421 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0437\u0434\u0440\u0430\u0432\u043e\u0439 \u043b\u043e\u0433\u0438\u043a\u0438 \u043a\u043e\u043d\u0435\u0447\u043d\u043e \u0436\u0435 \u043d\u0435\u0442, \u043d\u0435 \u043c\u043e\u0436\u0435\u0442. \u0422\u0430\u043a \u043d\u0430 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u0435 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0412\u0430\u0441\u044f \u0431\u0443\u0434\u0435\u0442 \u043e\u0442\u0434\u0430\u0432\u0430\u0442\u044c 2.5% \u0441\u0432\u043e\u0435\u0439 \u0437\u0430\u0440\u043f\u043b\u0430\u0442\u044b \u0432 \u043c\u0435\u0441\u044f\u0446, \u0430 \u0424\u0435\u0434\u044f \u2014 \u043f\u043e\u0447\u0442\u0438 27,8%. \u0422\u0430\u043a\u0436\u0435 \u043d\u0430 \u0433\u0440\u0430\u0444\u0438\u043a\u0435 2 \u00ab\u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432\u00bb \u043c\u044b \u0432\u0438\u0434\u0438\u043c, \u0447\u0442\u043e \u0412\u0430\u0441\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u0430\u043b\u044c\u0448\u0435 \u043e\u0442 \u043b\u0438\u043d\u0438\u0438, \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u044e\u0449\u0435\u0439 \u043a\u043b\u0430\u0441\u0441\u044b, \u0447\u0435\u043c \u0424\u0435\u0434\u044f. \u041d\u0443 \u0438 \u043d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ee0\/c6f\/fe8\/ee0c6ffe8a8600fd1cbf065d96aef5ee.svg\" alt=\"$f(w,x) = w_0 + w_1x_1 + w_2x_2$\" data-tex=\"inline\"><\/math> \u0434\u043b\u044f \u0412\u0430\u0441\u0438 \u0438 \u0424\u0435\u0434\u0438 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f: 4.24 \u0434\u043b\u044f \u0412\u0430\u0441\u0438 \u0438 1.0 \u0434\u043b\u044f \u0424\u0435\u0434\u0438. \u0412\u043e\u0442 \u0435\u0441\u043b\u0438 \u0431\u044b \u0424\u0435\u0434\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0437\u0430\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u043b \u043d\u0430 \u043f\u043e\u0440\u044f\u0434\u043e\u043a \u0431\u043e\u043b\u044c\u0448\u0435 \u0438\u043b\u0438 \u043a\u0440\u0435\u0434\u0438\u0442 \u043f\u043e\u043c\u0435\u043d\u044c\u0448\u0435 \u043f\u0440\u043e\u0441\u0438\u043b, \u0442\u043e \u0442\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u0443 \u0412\u0430\u0441\u0438 \u0438 \u0424\u0435\u0434\u0438 \u0431\u044b\u043b\u0438 \u0431\u044b \u0441\u0445\u043e\u0436\u0438\u043c\u0438. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043b\u0438\u043d\u0435\u0439\u043d\u0443\u044e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043d\u0435 \u043e\u0431\u043c\u0430\u043d\u0435\u0448\u044c. \u0418 \u0435\u0441\u043b\u0438 \u0431\u044b \u043c\u044b \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u0430\u043b\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u0430 \u043d\u0435 \u0432\u0437\u044f\u043b\u0438 \u0438\u0445 \u0441 \u043f\u043e\u0442\u043e\u043b\u043a\u0430, \u0442\u043e \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043c\u0435\u043b\u043e \u0437\u0430\u044f\u0432\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0430\u0448\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math> \u043b\u0443\u0447\u0448\u0435 \u0432\u0441\u0435\u0433\u043e \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c, \u043d\u043e \u0442\u0430\u043a \u043a\u0430\u043a \u043c\u044b \u0443\u0441\u043b\u043e\u0432\u0438\u043b\u0438\u0441\u044c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math> \u0431\u044b\u043b\u043e \u043f\u0440\u043e\u0432\u0435\u0434\u0435\u043d\u043e \u043f\u043e \u0432\u0441\u0435\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c, \u0442\u043e \u043c\u044b \u0442\u0430\u043a \u0438 \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c \u2014 \u043d\u0430\u0448\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u044e\u0442 \u0434\u0430\u0442\u044c \u043b\u0443\u0447\u0448\u0443\u044e \u043e\u0446\u0435\u043d\u043a\u0443 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \ud83d\ude42<\/p>\n<p>  \u041e\u0434\u043d\u0430\u043a\u043e \u043c\u044b \u043e\u0442\u0432\u043b\u0435\u043a\u043b\u0438\u0441\u044c. \u0412 \u044d\u0442\u043e\u043c \u0440\u0430\u0437\u0434\u0435\u043b\u0435 \u043d\u0430\u043c \u043d\u0430\u0434\u043e \u0440\u0430\u0437\u043e\u0431\u0440\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c \u0434\u043b\u044f \u043e\u0446\u0435\u043d\u043a\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0432\u043e\u0437\u0432\u0440\u0430\u0442\u0430 \u043a\u0440\u0435\u0434\u0438\u0442\u0430 \u043a\u0430\u0436\u0434\u044b\u043c \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c. <\/p>\n<p>  \u041a\u0440\u0430\u0442\u043a\u043e \u0440\u0435\u0437\u044e\u043c\u0438\u0440\u0443\u0435\u043c, \u0441 \u043a\u0430\u043a\u0438\u043c \u0430\u0440\u0441\u0435\u043d\u0430\u043b\u043e\u043c \u043c\u044b \u0432\u044b\u0441\u0442\u0443\u043f\u0430\u0435\u043c \u043d\u0430 \u043f\u043e\u0438\u0441\u043a\u0438 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>:<\/p>\n<p>  1. \u041c\u044b \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u043c, \u0447\u0442\u043e \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u0446\u0435\u043b\u0435\u0432\u043e\u0439 \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u043e\u0439 (\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c) \u0438 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u043c, \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u044e\u0449\u0438\u043c \u0432\u043b\u0438\u044f\u043d\u0438\u0435 \u043d\u0430 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u2014 \u043b\u0438\u043d\u0435\u0439\u043d\u0430\u044f. \u041f\u043e \u044d\u0442\u043e\u0439 \u043f\u0440\u0438\u0447\u0438\u043d\u0435 \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i> \u0432\u0438\u0434\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d9e\/f57\/1ce\/d9ef571ce10aee3f03bdbda6593efa25.svg\" alt=\"$f(w,x) = \\vec{w}^TX$\" data-tex=\"inline\"><\/math>, \u043b\u0438\u043d\u0438\u044f \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0434\u0435\u043b\u0438\u0442 \u043e\u0431\u044a\u0435\u043a\u0442\u044b (\u043a\u043b\u0438\u0435\u043d\u0442\u043e\u0432) \u043d\u0430 \u043a\u043b\u0430\u0441\u0441\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math> \u0438\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> (\u043a\u043b\u0438\u0435\u043d\u0442\u044b, \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0435 \u043f\u043e\u0433\u0430\u0441\u0438\u0442\u044c \u043a\u0440\u0435\u0434\u0438\u0442 \u0438 \u043d\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u044b\u0435). \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ee0\/c6f\/fe8\/ee0c6ffe8a8600fd1cbf065d96aef5ee.svg\" alt=\"$f(w,x) = w_0 + w_1x_1 + w_2x_2$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  2. \u041c\u044b \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043b\u043e\u0433\u0438\u0442-\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f<\/i> \u0432\u0438\u0434\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6c6\/dea\/0d6\/6c6dea0d6895ca8fd36155c626096403.svg\" alt=\"$p_+ = \\frac{1}{1+e^{-\\vec{w}^T\\vec{x}}} = \\sigma(\\vec{w}^T\\vec{x})$\" data-tex=\"inline\"><\/math> \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043f\u0440\u0438\u043d\u0430\u0434\u043b\u0435\u0436\u043d\u043e\u0441\u0442\u0438 \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  3. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u043d\u0430\u0448\u0443 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0443\u044e \u0432\u044b\u0431\u043e\u0440\u043a\u0443 \u043a\u0430\u043a \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u043e\u0431\u043e\u0431\u0449\u0435\u043d\u043d\u043e\u0439 <i>\u0441\u0445\u0435\u043c\u044b \u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438<\/i>, \u0442\u043e \u0435\u0441\u0442\u044c \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math> (\u0441\u0432\u043e\u0435\u0439 \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430) \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 1 \u0438 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c60\/0eb\/78d\/c600eb78d0627ef7e91964968ce726ab.svg\" alt=\"$(1\u2013p)$\" data-tex=\"inline\"><\/math> \u2013 0.<\/p>\n<p>  4. \u041c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438<\/i> \u0441 \u0443\u0447\u0435\u0442\u043e\u043c \u043f\u0440\u0438\u043d\u044f\u0442\u044b\u0445 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0434\u043b\u044f \u0442\u043e\u0433\u043e, \u0447\u0442\u043e\u0431\u044b \u0438\u043c\u0435\u044e\u0449\u0430\u044f\u0441\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0441\u0442\u0430\u043b\u0430 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439. \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u0442\u0430\u043a\u0438\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0432\u044b\u0431\u043e\u0440\u043a\u0430 \u0431\u0443\u0434\u0435\u0442 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u043d\u043e\u0439. \u0412 \u043d\u0430\u0448\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c\u044b\u0439 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440 \u2014 \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u043a\u0440\u0435\u0434\u0438\u0442\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u0432 \u0441\u0432\u043e\u044e \u043e\u0447\u0435\u0440\u0435\u0434\u044c \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>. \u0417\u043d\u0430\u0447\u0438\u0442 \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u0442\u0430\u043a\u043e\u0439 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>, \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c.<\/p>\n<p>  5. \u041c\u044b \u0437\u043d\u0430\u0435\u043c, \u0447\u0442\u043e \u0434\u043b\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438<\/i> \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c <i>\u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>. \u0418 \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0432\u0441\u0435 \u0445\u0438\u0442\u0440\u044b\u0435 \u043f\u0440\u0438\u0435\u043c\u044b \u0434\u043b\u044f \u0440\u0430\u0431\u043e\u0442\u044b \u0441 \u044d\u0442\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c.<\/p>\n<p>  \u0412\u043e\u0442 \u0442\u0430\u043a\u0430\u044f \u043c\u043d\u043e\u0433\u043e\u0445\u043e\u0434\u043e\u0432\u043e\u0447\u043a\u0430 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \ud83d\ude42<\/p>\n<p>  \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u0432\u0441\u043f\u043e\u043c\u043d\u0438\u043c, \u0447\u0442\u043e \u0432 \u0441\u0430\u043c\u043e\u043c \u043d\u0430\u0447\u0430\u043b\u0435 \u0441\u0442\u0430\u0442\u044c\u0438 \u043c\u044b \u0445\u043e\u0442\u0435\u043b\u0438 \u0432\u044b\u0432\u0435\u0441\u0442\u0438 \u0434\u0432\u0430 \u0432\u0438\u0434\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <i>Logistic Loss<\/i> \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u0442\u043e\u0433\u043e \u043a\u0430\u043a \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u043b\u0430\u0441\u0441\u044b \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432. \u0422\u0430\u043a \u043f\u043e\u0432\u0435\u043b\u043e\u0441\u044c, \u0447\u0442\u043e \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438, \u043a\u043b\u0430\u0441\u0441\u044b \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442 \u043a\u0430\u043a <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math> \u0438\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math>. \u0412 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f, \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u0442 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c.<\/p>\n<h3>\u0421\u043b\u0443\u0447\u0430\u0439 1. \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math><\/h3>\n<p>  \u0420\u0430\u043d\u043d\u0435\u0435, \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u043e\u0433\u0430\u0448\u0435\u043d\u0438\u044f \u0437\u0430\u0434\u043e\u043b\u0436\u0435\u043d\u043d\u043e\u0441\u0442\u0438 \u0437\u0430\u0435\u043c\u0449\u0438\u043a\u043e\u043c \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u043b\u0430\u0441\u044c \u0438\u0441\u0445\u043e\u0434\u044f \u0438\u0437 \u0444\u0430\u043a\u0442\u043e\u0440\u043e\u0432 \u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u043c\u044b \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u043b\u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0443:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ff3\/c27\/3c6\/ff3c273c683dbcd3c7b00d2a071d6a7c.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu p) = \\prod\\limits_{i=1}^3 p^{y_i} (1-p)^{(1-y_i)}$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u041d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/08b\/a9c\/561\/08ba9c56140cf603308f9b84a26dc818.svg\" alt=\"$p_i$\" data-tex=\"inline\"><\/math> \u2014 \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6c6\/dea\/0d6\/6c6dea0d6895ca8fd36155c626096403.svg\" alt=\"$p_+ = \\frac{1}{1+e^{-\\vec{w}^T\\vec{x}}} = \\sigma(\\vec{w}^T\\vec{x})$\" data-tex=\"inline\"><\/math> \u043f\u0440\u0438 \u0437\u0430\u0434\u0430\u043d\u043d\u043e\u043c \u0432\u0435\u043a\u0442\u043e\u0440\u0435 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u0422\u043e\u0433\u0434\u0430 \u043d\u0430\u043c \u043d\u0438\u0447\u0442\u043e \u043d\u0435 \u043c\u0435\u0448\u0430\u0435\u0442 \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0442\u0430\u043a:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d07\/f1d\/a80\/d07f1da809e6567bb1d0c45ee267aef7.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu \\sigma(\\vec{w}^TX)) \\mkern 5mu = \\mkern 5mu \\prod\\limits_{i=1}^n \\sigma(\\vec{w}^T\\vec{x_i})^{y_i} \\mkern 10mu (1-\\sigma(\\vec{w}^T\\vec{x_i})^{(1-y_i)} \\mkern 10mu \\rightarrow \\mkern 10mu max$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0411\u044b\u0432\u0430\u0435\u0442 \u0442\u0430\u043a, \u0447\u0442\u043e \u0438\u043d\u043e\u0433\u0434\u0430, \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u043c \u043d\u0430\u0447\u0438\u043d\u0430\u044e\u0449\u0438\u043c \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430\u043c \u0441\u043b\u043e\u0436\u043d\u043e \u0441\u0445\u043e\u0434\u0443 \u043f\u043e\u043d\u044f\u0442\u044c, \u043a\u0430\u043a \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c 4 \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u0441\u0435 \u043f\u0440\u043e\u044f\u0441\u043d\u044f\u0442:<\/p>\n<p>  <b>1. <\/b>\u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/577\/682\/05c\/57768205c03a5547a4d44277f9c9d441.svg\" alt=\"$y_i = +1$\" data-tex=\"inline\"><\/math> (\u0442.\u0435. \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u043e\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 +1), \u0430 \u043d\u0430\u0448 \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/eb8\/e5d\/bae\/eb8e5dbae515dac15b124967e822d9b9.svg\" alt=\"$\\sigma(\\vec{w}^TX))$\" data-tex=\"inline\"><\/math> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0440\u0430\u0432\u043d\u043e\u0439 0.9, \u0442\u043e \u0432\u043e\u0442 \u044d\u0442\u043e\u0442 \u043a\u0443\u0441\u043e\u0447\u0435\u043a \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0441\u0447\u0438\u0442\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0442\u0430\u043a:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/50b\/e11\/495\/50be114953cd6d5bc76bbb62189f8b1b.svg\" alt=\"$0.9^1 \\centerdot (1-0.9)^{(1-1)}= 0.9^1 \\centerdot 0.1^0 = 0.9$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>2.<\/b> \u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/577\/682\/05c\/57768205c03a5547a4d44277f9c9d441.svg\" alt=\"$y_i = +1$\" data-tex=\"inline\"><\/math>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f2d\/4d0\/64a\/f2d4d064aa2bf94950efb5b08c371248.svg\" alt=\"$\\sigma(\\vec{w}^TX)) = 0.1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0440\u0430\u0441\u0447\u0435\u0442 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0438\u043c:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f5e\/477\/412\/f5e477412164fb26f86f1919a3280d08.svg\" alt=\"$0.1^1 \\centerdot (1-0.1)^{(1-1)}= 0.1^1 \\centerdot 0.9^0 = 0.1$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>3. <\/b>\u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/961\/5a3\/c22\/9615a3c22f2f2616e78ffa70509cb3aa.svg\" alt=\"$y_i = 0$\" data-tex=\"inline\"><\/math>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f2d\/4d0\/64a\/f2d4d064aa2bf94950efb5b08c371248.svg\" alt=\"$\\sigma(\\vec{w}^TX)) = 0.1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0440\u0430\u0441\u0447\u0435\u0442 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0438\u043c:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/784\/337\/a20\/784337a20607f4c11e39bdf873b1136a.svg\" alt=\"$0.1^0 \\centerdot (1-0.1)^{(1-0)}= 0.1^0 \\centerdot 0.9^1 = 0.9$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>4.<\/b> \u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/961\/5a3\/c22\/9615a3c22f2f2616e78ffa70509cb3aa.svg\" alt=\"$y_i = 0$\" data-tex=\"inline\"><\/math>, \u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0cf\/b19\/be5\/0cfb19be54f9e85b2b01e516230de60c.svg\" alt=\"$\\sigma(\\vec{w}^TX)) = 0.9$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0440\u0430\u0441\u0447\u0435\u0442 \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u0438\u043c:<\/p>\n<p>  <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b2d\/f21\/037\/b2df210378053a29907debcb8e4594e9.svg\" alt=\"$0.9^0 \\centerdot (1-0.9)^{(1-0)}= 0.9^0 \\centerdot 0.1^1 = 0.1$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0431\u0443\u0434\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 1 \u0438 3 \u0438\u043b\u0438 \u0432 \u043e\u0431\u0449\u0435\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u2014 \u043f\u0440\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u0442\u0433\u0430\u0434\u0430\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u0412 \u0441\u0432\u044f\u0437\u0438 \u0441 \u0442\u0435\u043c, \u0447\u0442\u043e \u043f\u0440\u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043e\u0442\u043d\u0435\u0441\u0435\u043d\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u0430 \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u043d\u0430\u043c \u043d\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b \u0442\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u043c\u044b \u0438\u0445 \u0438 \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c. \u041a\u0430\u043a \u0438 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u043e\u0441\u044c \u0432\u044b\u0448\u0435, \u044d\u0442\u043e \u0437\u0430\u0434\u0430\u0447\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430 \u043d\u0430\u043c \u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u043e\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u043f\u043e \u0432\u0435\u043a\u0442\u043e\u0440\u0443 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>. \u041e\u0434\u043d\u0430\u043a\u043e \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u043c\u0435\u0435\u0442 \u0441\u043c\u044b\u0441\u043b \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u0441\u0435\u0431\u0435 \u0437\u0430\u0434\u0430\u0447\u0443: \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e \u0431\u0443\u0434\u0435\u043c \u0438\u0441\u043a\u0430\u0442\u044c \u043e\u0442 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0430 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>.<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6cd\/3e7\/a4e\/6cd3e7a4e1762efb4733a1ef7d0047de.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n(-y_i \\mkern 2mu log_e \\mkern 5mu \\sigma(\\vec{w}^T \\vec{x_i}) - (1-y_i) \\mkern 2mu log_e \\mkern 5mu (1 - \\sigma(\\vec{w}^T \\vec{x_i})) ) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041f\u043e\u0447\u0435\u043c\u0443 \u043f\u043e\u0441\u043b\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438<\/i>, \u043c\u044b \u043f\u043e\u043c\u0435\u043d\u044f\u043b\u0438 \u0437\u043d\u0430\u043a \u0441 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/ae4\/dc5\/c6f\/ae4dc5c6fd4ec28ba4b81a2ec09d88b9.svg\" alt=\"$+$\" data-tex=\"inline\"><\/math> \u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d3d\/f50\/b83\/d3df50b83f85c2e599b5a46b9d893c5e.svg\" alt=\"$-$\" data-tex=\"inline\"><\/math>. \u0412\u0441\u0435 \u043f\u0440\u043e\u0441\u0442\u043e, \u0442\u0430\u043a \u043a\u0430\u043a \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043e\u0446\u0435\u043d\u043a\u0438 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0444\u0443\u043d\u043a\u0446\u0438\u0438, \u0442\u043e \u043c\u044b \u0443\u043c\u043d\u043e\u0436\u0438\u043b\u0438 \u043f\u0440\u0430\u0432\u0443\u044e \u0447\u0430\u0441\u0442\u044c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d3d\/f50\/b83\/d3df50b83f85c2e599b5a46b9d893c5e.svg\" alt=\"$-$\" data-tex=\"inline\"><\/math> \u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e.<\/p>\n<p>  \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0441\u0435\u0439\u0447\u0430\u0441, \u043d\u0430 \u0432\u0430\u0448\u0438\u0445 \u0433\u043b\u0430\u0437\u0430\u0445 \u0431\u044b\u043b\u0430 \u043c\u043d\u043e\u0433\u043e \u0441\u0442\u0440\u0430\u0434\u0430\u043b\u044c\u0447\u0435\u0441\u043a\u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c \u2014 <i>Logistic Loss<\/i> \u0434\u043b\u044f \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441 \u0434\u0432\u0443\u043c\u044f \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u0422\u0435\u043f\u0435\u0440\u044c, \u0434\u043b\u044f \u043d\u0430\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u043e\u0432, \u043d\u0430\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u0443\u0435\u0442\u0441\u044f \u0432\u0441\u0435\u0433\u043e \u043b\u0438\u0448\u044c \u043d\u0430\u0439\u0442\u0438 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0443\u044e <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438<\/i> \u0438 \u0434\u0430\u043b\u0435\u0435, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u044b\u0435 \u043c\u0435\u0442\u043e\u0434\u044b \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a \u0438\u043b\u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u043d\u044b\u0439 \u0441\u043f\u0443\u0441\u043a, \u043f\u043e\u0434\u043e\u0431\u0440\u0430\u0442\u044c \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u043a\u043e\u044d\u0444\u0444\u0438\u0446\u0438\u0435\u043d\u0442\u044b <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1d0\/034\/a09\/1d0034a09108db7af7cf42ea23a91ecd.svg\" alt=\"$w$\" data-tex=\"inline\"><\/math>. \u041d\u043e, \u0443\u0447\u0438\u0442\u044b\u0432\u0430\u044f, \u0443\u0436\u0435 \u043d\u0435 \u043c\u0430\u043b\u044b\u0439 \u043e\u0431\u044a\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u0438, \u043f\u0440\u0435\u0434\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0432\u0435\u0441\u0442\u0438 \u0434\u0438\u0444\u0444\u0435\u0440\u0435\u043d\u0446\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0438\u043b\u0438, \u0431\u044b\u0442\u044c \u043c\u043e\u0436\u0435\u0442, \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0442\u0435\u043c\u043e\u0439 \u0434\u043b\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0441\u0442\u0430\u0442\u044c\u0438 \u0441 \u0431\u043e\u043b\u044c\u0448\u0438\u043c \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e\u043c \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u043a\u0438 \u0431\u0435\u0437 \u0441\u0442\u043e\u043b\u044c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432.<\/p>\n<h3>\u0421\u043b\u0443\u0447\u0430\u0439 2. \u041a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u043d\u0430 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math><\/h3>\n<p>  \u041f\u043e\u0434\u0445\u043e\u0434 \u0437\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u0436\u0435, \u043a\u0430\u043a \u0438 \u0441 \u043a\u043b\u0430\u0441\u0441\u0430\u043c\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3e4\/c77\/a6e\/3e4c77a6e7c579a778fa84a18b6f4be0.svg\" alt=\"$1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f9c\/3c8\/e48\/f9c3c8e488ead4696749012f5ece6d13.svg\" alt=\"$0$\" data-tex=\"inline\"><\/math>, \u043d\u043e \u0441\u0430\u043c\u0430 \u0434\u043e\u0440\u043e\u0436\u043a\u0430 \u043a \u0432\u044b\u0432\u043e\u0434\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0442\u0435\u0440\u044c <i>Logistic Loss<\/i>, \u0431\u0443\u0434\u0435\u0442 \u0431\u043e\u043b\u0435\u0435 \u0432\u0438\u0442\u0438\u0435\u0432\u0430\u0442\u043e\u0439. \u041f\u0440\u0438\u0441\u0442\u0443\u043f\u0430\u0435\u043c. \u0411\u0443\u0434\u0435\u043c \u0434\u043b\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440 <i>\u00ab\u0435\u0441\u043b\u0438&#8230;, \u0442\u043e&#8230;\u00bb<\/i>. \u0422\u043e \u0435\u0441\u0442\u044c, \u0435\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/bf8\/3b5\/32c\/bf83b532cd867d34004f8eded8c5c79a.svg\" alt=\"$i$\" data-tex=\"inline\"><\/math>-\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0434\u043b\u044f \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/839\/f25\/c27\/839f25c2746382debd4f08ea25ad5ecf.svg\" alt=\"$p$\" data-tex=\"inline\"><\/math>, \u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u043c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/fd1\/184\/5be\/fd11845becb97f0b8b77b8b6e081ae3f.svg\" alt=\"$(1-p)$\" data-tex=\"inline\"><\/math>. \u0412\u043e\u0442 \u0442\u0430\u043a \u0432\u044b\u0433\u043b\u044f\u0434\u0438\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4a1\/375\/d87\/4a1375d876abb71c1dd376a63d13c727.svg\" alt=\"$P(\\mkern 5mu \\vec{y} \\mkern 5mu |\\mkern 5mu \\sigma(\\vec{w}^TX)) \\mkern 5mu = \\mkern 5mu \\prod\\limits_{i=1}^n \\sigma(\\vec{w}^T\\vec{x_i})^{[y_i=+1]} \\mkern 10mu (1-\\sigma(\\vec{w}^T\\vec{x_i})^{[y_i=-1])} \\mkern 10mu \\rightarrow \\mkern 10mu max$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041d\u0430 \u043f\u0430\u043b\u044c\u0446\u0430\u0445 \u0440\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u043a\u0430\u043a \u044d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442. \u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c 4 \u0441\u043b\u0443\u0447\u0430\u044f:<\/p>\n<p>  <b>1. <\/b>\u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/577\/682\/05c\/57768205c03a5547a4d44277f9c9d441.svg\" alt=\"$y_i=+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/569\/d14\/c6b\/569d14c6b282aa74ae81d7e57e25205d.svg\" alt=\"$\\sigma(\\vec{w}^T\\vec{x_i})=0.9$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u00ab\u043f\u043e\u0439\u0434\u0435\u0442\u00bb <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f82\/7d8\/2db\/f827d82db4267e554348e2466d45bba6.svg\" alt=\"$0.9$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>2.<\/b> \u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/577\/682\/05c\/57768205c03a5547a4d44277f9c9d441.svg\" alt=\"$y_i=+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/482\/d62\/b49\/482d62b4937323f4105296ea8c16acef.svg\" alt=\"$\\sigma(\\vec{w}^T\\vec{x_i})=0.1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u00ab\u043f\u043e\u0439\u0434\u0435\u0442\u00bb <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b5d\/f1c\/a28\/b5df1ca28f5177703028579f63ece0a3.svg\" alt=\"$0.1$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>3.<\/b> \u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/42a\/ee5\/5a3\/42aee55a3d38b48198849d201571fec7.svg\" alt=\"$y_i=-1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/482\/d62\/b49\/482d62b4937323f4105296ea8c16acef.svg\" alt=\"$\\sigma(\\vec{w}^T\\vec{x_i})=0.1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u00ab\u043f\u043e\u0439\u0434\u0435\u0442\u00bb <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/631\/c81\/b26\/631c81b26a64fc66071635fc4d148e83.svg\" alt=\"$1-0.1=0.9$\" data-tex=\"inline\"><\/math><\/p>\n<p>  <b>4.<\/b> \u0415\u0441\u043b\u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/42a\/ee5\/5a3\/42aee55a3d38b48198849d201571fec7.svg\" alt=\"$y_i=-1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/569\/d14\/c6b\/569d14c6b282aa74ae81d7e57e25205d.svg\" alt=\"$\\sigma(\\vec{w}^T\\vec{x_i})=0.9$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u00ab\u043f\u043e\u0439\u0434\u0435\u0442\u00bb <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c78\/83a\/44f\/c7883a44f4318bc1e3efbc58d60ae578.svg\" alt=\"$1-0.9=0.1$\" data-tex=\"inline\"><\/math><\/p>\n<p>  \u041e\u0447\u0435\u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u0432 1 \u0438 3 \u0441\u043b\u0443\u0447\u0430\u0435, \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u043e\u043c, <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i> \u0431\u0443\u0434\u0435\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c\u0441\u044f, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u043c\u044b \u0438 \u0445\u043e\u0442\u0435\u043b\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c. \u041e\u0434\u043d\u0430\u043a\u043e, \u0442\u0430\u043a\u043e\u0439 \u043f\u043e\u0434\u0445\u043e\u0434 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u0433\u0440\u043e\u043c\u043e\u0437\u0434\u043e\u043a \u0438 \u0434\u0430\u043b\u0435\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0431\u043e\u043b\u0435\u0435 \u043a\u043e\u043c\u043f\u0430\u043a\u0442\u043d\u0443\u044e \u0437\u0430\u043f\u0438\u0441\u044c. \u041d\u043e \u0434\u043b\u044f \u043d\u0430\u0447\u0430\u043b\u0430, \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u0443\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0441 \u0437\u0430\u043c\u0435\u043d\u043e\u0439 \u0437\u043d\u0430\u043a\u0430, \u0442\u0430\u043a \u043a\u0430\u043a \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0435.<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/130\/e8f\/691\/130e8f691883e01464d6cff33b3855b8.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n(-[y_i=+1] \\mkern 2mu log_e \\mkern 5mu \\sigma(\\vec{w}^T \\vec{x_i}) - [y_i=-1] \\mkern 2mu log_e \\mkern 5mu (1 - \\sigma(\\vec{w}^T \\vec{x_i})) ) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u043c \u0432\u043c\u0435\u0441\u0442\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1ad\/a5b\/74b\/1ada5b74b1742762c61122c55c12278d.svg\" alt=\"$\\sigma(\\vec{w}^T \\vec{x_i})$\" data-tex=\"inline\"><\/math> \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/12e\/d0f\/ce9\/12ed0fce95916e6d30c11224edeedb2f.svg\" alt=\"$\\frac{1}{1+e^{-\\vec{w}^T\\vec{x_i}}}$\" data-tex=\"inline\"><\/math>:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c2c\/0ab\/36e\/c2c0ab36e7845ed6bc08f3bfa7f7a6f5.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n(-[y_i=+1] \\mkern 2mu log_e \\mkern 5mu (\\frac{1}{1+e^{-\\vec{w}^T\\vec{x_i}}}) - [y_i=-1] \\mkern 2mu log_e \\mkern 5mu (1 - \\frac{1}{1+e^{-\\vec{w}^T\\vec{x_i}}})) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0423\u043f\u0440\u043e\u0441\u0442\u0438\u043c \u043f\u0440\u0430\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u043f\u043e\u0434 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u0430\u0440\u0438\u0444\u043c\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043f\u0440\u0438\u0435\u043c\u044b \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c5e\/32f\/f29\/c5e32ff297d5114261c85aa8b00d74e4.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n(-[y_i=+1] \\mkern 2mu log_e \\mkern 5mu (\\frac{1}{1+e^{-\\vec{w}^T\\vec{x_i}}}) - [y_i=-1] \\mkern 2mu log_e \\mkern 5mu (\\frac{1}{1+e^{\\vec{w}^T\\vec{x_i}}})) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0410 \u0442\u0435\u043f\u0435\u0440\u044c \u043d\u0430\u0441\u0442\u0430\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u0438\u0437\u0431\u0430\u0432\u0438\u0442\u044c\u0441\u044f \u043e\u0442 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430 <i>\u00ab\u0435\u0441\u043b\u0438&#8230;, \u0442\u043e&#8230;\u00bb<\/i>. \u0417\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e \u043a\u043e\u0433\u0434\u0430 \u043e\u0431\u044a\u0435\u043a\u0442 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/98f\/639\/4b2\/98f6394b2bd98b852bb0895b97d55e9f.svg\" alt=\"$y_i$\" data-tex=\"inline\"><\/math> \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math>, \u0442\u043e \u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0438 \u043f\u043e\u0434 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c, \u0432 \u0437\u043d\u0430\u043c\u0435\u043d\u0430\u0442\u0435\u043b\u0435, <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5ca\/4b8\/ca1\/5ca4b8ca180f7495da819508f8afce6e.svg\" alt=\"$e$\" data-tex=\"inline\"><\/math> \u0432\u043e\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2ef\/fe9\/b2f\/2effe9b2fa746e71bccdc797bd588ee2.svg\" alt=\"$-\\vec{w}^T\\vec{x_i}$\" data-tex=\"inline\"><\/math>, \u0435\u0441\u043b\u0438 \u043e\u0431\u044a\u0435\u043a\u0442 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a \u043a\u043b\u0430\u0441\u0441\u0443 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math>, \u0442\u043e $e$ \u0432\u043e\u0437\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u0441\u0442\u0435\u043f\u0435\u043d\u044c <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/cd2\/d35\/acf\/cd2d35acf1773be3215db6fd6e748ec9.svg\" alt=\"$+\\vec{w}^T\\vec{x_i}$\" data-tex=\"inline\"><\/math>. \u0421\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u044c \u0441\u0442\u0435\u043f\u0435\u043d\u0438 \u043c\u043e\u0436\u043d\u043e \u0443\u043f\u0440\u043e\u0441\u0442\u0438\u0442\u044c \u2014 \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0438\u0442\u044c \u043e\u0431\u0430 \u0441\u043b\u0443\u0447\u0430\u044f \u0432 \u043e\u0434\u0438\u043d: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/938\/9c1\/2ac\/9389c12ac3c73b94e1a58ee72b0a2f4b.svg\" alt=\"$-y_i\\vec{w}^T\\vec{x_i}$\" data-tex=\"inline\"><\/math>. \u0422\u043e\u0433\u0434\u0430 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043e\u0448\u0438\u0431\u043a\u0438<\/i> \u043f\u0440\u0438\u043c\u0435\u0442 \u0432\u0438\u0434:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/870\/10b\/55a\/87010b55ab3e5edfcdce9d64fcd39532.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n- \\mkern 2mu log_e \\mkern 5mu (\\frac{1}{1+e^{-y_i\\vec{w}^T\\vec{x_i}}} ) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u0412 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u0430\u043c\u0438 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f, \u043f\u0435\u0440\u0435\u0432\u0435\u0440\u043d\u0435\u043c \u0434\u0440\u043e\u0431\u044c \u0438 \u0432\u044b\u043d\u0435\u0441\u0435\u043c \u0437\u043d\u0430\u043a &quot;<math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d3d\/f50\/b83\/d3df50b83f85c2e599b5a46b9d893c5e.svg\" alt=\"$-$\" data-tex=\"inline\"><\/math>&quot; (\u043c\u0438\u043d\u0443\u0441) \u0437\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c, \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6e\/0b4\/554\/d6e0b4554b2d543ca71a394156c386b1.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n \\mkern 2mu log_e \\mkern 5mu (1+e^{-y_i\\vec{w}^T\\vec{x_i}}) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>  \u041f\u0435\u0440\u0435\u0434 \u0432\u0430\u043c\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u043e\u0442\u0435\u0440\u044c <i>logistic Loss<\/i>, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0438\u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f \u0432 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0439 \u0432\u044b\u0431\u043e\u0440\u043a\u0435 \u0441 \u043e\u0431\u044a\u0435\u043a\u0442\u0430\u043c\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u043c\u044b\u0445 \u043a \u043a\u043b\u0430\u0441\u0441\u0430\u043c: <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9d1\/49e\/a8e\/9d149ea8ef8692eb106a55ce5af36ccd.svg\" alt=\"$+1$\" data-tex=\"inline\"><\/math> \u0438 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d06\/719\/edc\/d06719edc69908e7467f7e6189302b74.svg\" alt=\"$-1$\" data-tex=\"inline\"><\/math>. <\/p>\n<p>  \u0427\u0442\u043e \u0436, \u043d\u0430 \u044d\u0442\u043e\u043c \u043c\u043e\u043c\u0435\u043d\u0442\u0435 \u044f \u043e\u0442\u043a\u043b\u0430\u043d\u0438\u0432\u0430\u044e\u0441\u044c \u0438 \u043c\u044b \u0437\u0430\u0432\u0435\u0440\u0448\u0430\u0435\u043c \u0441\u0442\u0430\u0442\u044c\u044e.<\/p>\n<p>  <i><a href=\"https:\/\/habr.com\/ru\/post\/479398\/\"><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1ea\/f1d\/7cc\/1eaf1d7cc593750347f384d8d73d69a5.svg\" alt=\"$\\leftarrow$\" data-tex=\"inline\"><\/math><\/a> \u041f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0430\u044f \u0440\u0430\u0431\u043e\u0442\u0430 \u0430\u0432\u0442\u043e\u0440\u0430 \u2014 \u00ab\u041f\u0440\u0438\u0432\u043e\u0434\u0438\u043c \u0443\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u0435 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0432 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u044b\u0439 \u0432\u0438\u0434\u00bb<\/i><\/p>\n<h2>\u0412\u0441\u043f\u043e\u043c\u043e\u0433\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b<\/h2>\n<p>  <\/p>\n<h3>1. \u041b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0430<\/h3>\n<p>  1) \u041f\u0440\u0438\u043a\u043b\u0430\u0434\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u043e\u043d\u043d\u044b\u0439 \u0430\u043d\u0430\u043b\u0438\u0437 \/ \u041d. \u0414\u0440\u0435\u0439\u043f\u0435\u0440, \u0413. \u0421\u043c\u0438\u0442 \u2013 2-\u0435 \u0438\u0437\u0434. \u2013 \u041c.: \u0424\u0438\u043d\u0430\u043d\u0441\u044b \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430, 1986 (\u043f\u0435\u0440\u0435\u0432\u043e\u0434 \u0441 \u0430\u043d\u0433\u043b\u0438\u0439\u0441\u043a\u043e\u0433\u043e)<\/p>\n<p>  2) \u0422\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \/ \u0412.\u0415. \u0413\u043c\u0443\u0440\u043c\u0430\u043d \u2014 9-\u0435 \u0438\u0437\u0434. \u2014 \u041c.: \u0412\u044b\u0441\u0448\u0430\u044f \u0448\u043a\u043e\u043b\u0430, 2003<\/p>\n<p>  3) \u0422\u0435\u043e\u0440\u0438\u044f \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \/ \u041d.\u0418. \u0427\u0435\u0440\u043d\u043e\u0432\u0430 \u2014 \u041d\u043e\u0432\u043e\u0441\u0438\u0431\u0438\u0440\u0441\u043a: \u041d\u043e\u0432\u043e\u0441\u0438\u0431\u0438\u0440\u0441\u043a\u0438\u0439 \u0433\u043e\u0441\u0443\u0434\u0430\u0440\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0439 \u0443\u043d\u0438\u0432\u0435\u0440\u0441\u0438\u0442\u0435\u0442, 2007<\/p>\n<p>  4) \u0411\u0438\u0437\u043d\u0435\u0441-\u0430\u043d\u0430\u043b\u0438\u0442\u0438\u043a\u0430: \u043e\u0442 \u0434\u0430\u043d\u043d\u044b\u0445 \u043a \u0437\u043d\u0430\u043d\u0438\u044f\u043c \/ \u041f\u0430\u043a\u043b\u0438\u043d \u041d. \u0411., \u041e\u0440\u0435\u0448\u043a\u043e\u0432 \u0412. \u0418. \u2014 2-\u0435 \u0438\u0437\u0434. \u2014 \u0421\u0430\u043d\u043a\u0442-\u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433: \u041f\u0438\u0442\u0435\u0440, 2013<\/p>\n<p>  5) Data Science \u041d\u0430\u0443\u043a\u0430 \u043e \u0434\u0430\u043d\u043d\u044b\u0445 \u0441 \u043d\u0443\u043b\u044f \/ \u0414\u0436\u043e\u044d\u043b \u0413\u0440\u0430\u0441 \u2014 \u0421\u0430\u043d\u043a\u0442-\u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433: \u0411\u0425\u0412 \u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433, 2017<\/p>\n<p>  6) \u041f\u0440\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0430 \u0434\u043b\u044f \u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u043e\u0432 Data Science \/ \u041f.\u0411\u0440\u044e\u0441, \u042d.\u0411\u0440\u044e\u0441 \u2014 \u0421\u0430\u043d\u043a\u0442-\u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433: \u0411\u0425\u0412 \u041f\u0435\u0442\u0435\u0440\u0431\u0443\u0440\u0433, 2018<\/p>\n<h3>2. \u041b\u0435\u043a\u0446\u0438\u0438, \u043a\u0443\u0440\u0441\u044b (\u0432\u0438\u0434\u0435\u043e)<\/h3>\n<p>  1) <a href=\"https:\/\/www.youtube.com\/watch?v=2iRIqkm1mug\">\u0421\u0443\u0442\u044c \u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u0411\u043e\u0440\u0438\u0441 \u0414\u0435\u043c\u0435\u0448\u0435\u0432<\/a><\/p>\n<p>  2) <a href=\"https:\/\/www.youtube.com\/watch?v=9CeB32vxM0A\">\u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f \u0432 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435, \u0411\u043e\u0440\u0438\u0441 \u0414\u0435\u043c\u0435\u0448\u0435\u0432<\/a><\/p>\n<p>  3) <a href=\"https:\/\/www.youtube.com\/watch?v=NO4KSNbsXZE\">\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f. \u041e\u0442\u043a\u0440\u044b\u0442\u044b\u0439 \u043a\u0443\u0440\u0441 ODS, Yury Kashnitsky<\/a><\/p>\n<p>  4) <a href=\"https:\/\/www.youtube.com\/watch?v=PrsLyrz7Zlw&amp;list=PLEqoHzpnmTfDwuwrFHWVHdr1-qJsfqCUX&amp;index=3\">\u041b\u0435\u043a\u0446\u0438\u044f 4, \u0415\u0432\u0433\u0435\u043d\u0438\u0439 \u0421\u043e\u043a\u043e\u043b\u043e\u0432 (\u0441 47 \u043c\u0438\u043d\u0443\u0442\u044b \u0432\u0438\u0434\u0435\u043e)<\/a><\/p>\n<p>  5) <a href=\"https:\/\/www.coursera.org\/lecture\/vvedenie-mashinnoe-obuchenie\/loghistichieskaia-rieghriessiia-8G3Xu\">\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044f, \u0412\u044f\u0447\u0435\u0441\u043b\u0430\u0432 \u0412\u043e\u0440\u043e\u043d\u0446\u043e\u0432<\/a><\/p>\n<h3>3. \u0418\u043d\u0442\u0435\u0440\u043d\u0435\u0442-\u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0438<\/h3>\n<p>  1) <a href=\"https:\/\/habr.com\/ru\/company\/ods\/blog\/323890\/\">\u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/a><\/p>\n<p>  2) <a href=\"https:\/\/habr.com\/ru\/company\/io\/blog\/265007\/\">\u041a\u0430\u043a \u043b\u0435\u0433\u043a\u043e \u043f\u043e\u043d\u044f\u0442\u044c \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u044e<\/a><\/p>\n<p>  3) <a href=\"https:\/\/dyakonov.org\/2018\/03\/12\/%D0%BB%D0%BE%D0%B3%D0%B8%D1%81%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F-%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F-%D0%BE%D1%88%D0%B8%D0%B1%D0%BA%D0%B8\/\">\u041b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0448\u0438\u0431\u043a\u0438<\/a><\/p>\n<p>  4) <a href=\"http:\/\/mathprofi.ru\/nezavisimye_ispytanija_i_formula_bernulli.html\">\u041d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0438\u0441\u043f\u044b\u0442\u0430\u043d\u0438\u044f \u0438 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0411\u0435\u0440\u043d\u0443\u043b\u0438<\/a><\/p>\n<p>  5) <a href=\"https:\/\/www.hse.ru\/data\/2012\/11\/21\/1248365473\/%D0%9C%D0%9C%D0%9F%20%D0%B4%D0%BB%D1%8F%202%20%D0%BA%D1%83%D1%80%D1%81%D0%B0%20%D0%BF%D0%BE%D0%BB%D0%B8%D1%82%D0%BE%D0%BB%D0%BE%D0%B3%D0%BE%D0%B2%20(%D0%BF%D0%BE%D0%B2%D1%82%D0%BE%D1%80%D0%B5%D0%BD%D0%B8%D0%B5%20-%20%D1%87%D1%8C%D1%8F-%D1%82%D0%BE%20%D0%BC%D0%B0%D1%82%D1%8C).pdf\">\u0411\u0430\u043b\u043b\u0430\u0434\u0430 \u043e \u041c\u041c\u041f<\/a><\/p>\n<p>  6) <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BC%D0%B0%D0%BA%D1%81%D0%B8%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BF%D1%80%D0%B0%D0%B2%D0%B4%D0%BE%D0%BF%D0%BE%D0%B4%D0%BE%D0%B1%D0%B8%D1%8F\">\u041c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/a><\/p>\n<p>  7) <a href=\"https:\/\/ru.onlinemschool.com\/math\/formula\/logarithm_formula\/\">\u0424\u043e\u0440\u043c\u0443\u043b\u044b \u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u0432<\/a><\/p>\n<p>  8) <a href=\"https:\/\/zero2hero.org\/article\/math\/34-eksponenta-i-chislo-e-prosto-i-ponyatno\">\u041f\u043e\u0447\u0435\u043c\u0443 \u0447\u0438\u0441\u043b\u043e <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5ca\/4b8\/ca1\/5ca4b8ca180f7495da819508f8afce6e.svg\" alt=\"$e$\" data-tex=\"inline\"><\/math>?<\/a><\/p>\n<p>  <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9B%D0%B8%D0%BD%D0%B5%D0%B9%D0%BD%D1%8B%D0%B9_%D0%BA%D0%BB%D0%B0%D1%81%D1%81%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%82%D0%BE%D1%80\">9) \u041b\u0438\u043d\u0435\u0439\u043d\u044b\u0439 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0442\u043e\u0440<\/a><\/div>\n<p> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/485872\/\"> https:\/\/habr.com\/ru\/post\/485872\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"\n<div class=\"post__text post__text-html\" id=\"post-content-body\" data-io-article-url=\"https:\/\/habr.com\/ru\/post\/485872\/\"><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/webt\/gz\/x1\/oz\/gzx1ozgcc-evcxyxrjjefqfetja.jpeg\"><\/p>\n<p>  \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435, \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0437\u0431\u0438\u0440\u0430\u0442\u044c \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u0432\u044b\u043a\u043b\u0430\u0434\u043a\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i> \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0431\u0440\u0430\u0442\u043d\u043e\u0433\u043e \u043b\u043e\u0433\u0438\u0442-\u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f (\u0438\u043d\u0430\u0447\u0435 \u0433\u043e\u0432\u043e\u0440\u044f\u0442, \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430)<\/i>. \u0417\u0430\u0442\u0435\u043c, \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0432\u0448\u0438\u0441\u044c \u0430\u0440\u0441\u0435\u043d\u0430\u043b\u043e\u043c <i>\u043c\u0435\u0442\u043e\u0434\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i>, \u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0438\u0438 \u0441 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438, \u0432\u044b\u0432\u0435\u0434\u0435\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043f\u043e\u0442\u0435\u0440\u044c <i>Logistic Loss<\/i>, \u0438\u043b\u0438 \u0434\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u044e, \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432 \u043c\u043e\u0434\u0435\u043b\u0435 \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u044e\u0442\u0441\u044f \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0432\u0435\u0441\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>.<\/p>\n<p>  \u041f\u043b\u0430\u043d \u0441\u0442\u0430\u0442\u044c\u0438:<\/p>\n<ol>\n<li>\u041f\u043e\u0432\u0442\u043e\u0440\u0438\u043c \u043e \u043f\u0440\u044f\u043c\u043e\u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u043f\u0435\u0440\u0435\u043c\u0435\u043d\u043d\u044b\u043c\u0438<\/li>\n<li>\u0412\u044b\u044f\u0432\u0438\u043c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0439 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/585\/ef6\/e3a\/585ef6e3a3cddcd7fc7f3a2066a186b5.svg\" alt=\"$ f(w,x_i) = \\vec{w}^T \\vec{x_i}$\" data-tex=\"inline\"><\/math> \u0432 <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e80\/d81\/93d\/e80d8193d49469dee69b5a8c4bf8b6ec.svg\" alt=\"$\\sigma(\\vec{w}^T \\vec{x_i}) = \\frac{1}{1+e^{-\\vec{w}^T \\vec{x_i}}}$\" data-tex=\"inline\"><\/math><\/li>\n<li>\u041f\u0440\u043e\u0432\u0435\u0434\u0435\u043c \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u0432\u044b\u0432\u0435\u0434\u0435\u043c <i>\u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043b\u043e\u0433\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0442\u043a\u043b\u0438\u043a\u0430<\/i><\/li>\n<li>\u041f\u043e\u043f\u044b\u0442\u0430\u0435\u043c\u0441\u044f \u043f\u043e\u043d\u044f\u0442\u044c, \u0447\u0435\u043c \u043f\u043b\u043e\u0445 \u043c\u0435\u0442\u043e\u0434 \u043d\u0430\u0438\u043c\u0435\u043d\u044c\u0448\u0438\u0445 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u043e\u0432 \u043f\u0440\u0438 \u043f\u043e\u0434\u0431\u043e\u0440\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math> \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <i>Logistic Loss<\/i><\/li>\n<li>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c <i>\u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/i> \u0434\u043b\u044f \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <i>\u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u043e\u0434\u0431\u043e\u0440\u0430 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432<\/i> <math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/734\/c62\/0a1\/734c620a1b0b841a33c195da2b9eea42.svg\" alt=\"$\\vec{w}$\" data-tex=\"inline\"><\/math>:\n<p>   5.1. \u0421\u043b\u0443\u0447\u0430\u0439 1: \u0444\u0443\u043d\u043a\u0446\u0438\u044f <i>Logistic Loss<\/i> \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 <b>0<\/b> \u0438 <b>1<\/b>:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6cd\/3e7\/a4e\/6cd3e7a4e1762efb4733a1ef7d0047de.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n(-y_i \\mkern 2mu log_e \\mkern 5mu \\sigma(\\vec{w}^T \\vec{x_i}) - (1-y_i) \\mkern 2mu log_e \\mkern 5mu (1 - \\sigma(\\vec{w}^T \\vec{x_i})) ) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<p>   5.2. \u0421\u043b\u0443\u0447\u0430\u0439 2: \u0444\u0443\u043d\u043a\u0446\u0438\u044f <i>Logistic Loss<\/i> \u0434\u043b\u044f \u043e\u0431\u044a\u0435\u043a\u0442\u043e\u0432 \u0441 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 <b>-1<\/b> \u0438 <b>+1<\/b>:<\/p>\n<p><math><img decoding=\"async\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d6e\/0b4\/554\/d6e0b4554b2d543ca71a394156c386b1.svg\" alt=\"$L_{log}(X,\\vec{y},\\vec{w}) = \\sum\\limits_{i=1}^n \\mkern 2mu log_e \\mkern 5mu (1+e^{-y_i\\vec{w}^T\\vec{x_i}}) \\rightarrow min$\" data-tex=\"display\"><\/math><\/p>\n<\/li>\n<\/ol>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-297829","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/297829","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=297829"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/297829\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=297829"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=297829"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=297829"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}