{"id":338230,"date":"2022-09-11T21:00:29","date_gmt":"2022-09-11T21:00:29","guid":{"rendered":"http:\/\/savepearlharbor.com\/?p=338230"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=338230","title":{"rendered":"<span>\u0417\u0430\u0434\u0430\u0447\u043d\u0438\u043a \u043f\u043e \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 + ML. \u0427\u0430\u0441\u0442\u044c 2<\/span>"},"content":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 <a href=\"https:\/\/habr.com\/ru\/post\/686806\/\" rel=\"noopener noreferrer nofollow\">\u0447\u0430\u0441\u0442\u0438 1 <\/a>\u043c\u044b \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438\u0441\u044c \u0441 \u043f\u043e\u043d\u044f\u0442\u0438\u0435\u043c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u043f\u0440\u043e \u0412\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e (Mutual Information) \u2013 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0435\u0440\u0438 \u0432 \u043f\u043e\u043c\u0435\u0445\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u0436\u0430\u0442\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0430\u0451\u0442 \u043d\u043e\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 Machine Learning.  <\/p>\n<p>\u042d\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c ML \u043a\u0430\u043a \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 ML \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 <em>\u0431\u0443\u0442\u044b\u043b\u043e\u0447\u043d\u043e\u0435 \u0433\u043e\u0440\u043b\u044b\u0448\u043a\u043e<\/em>, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0431\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f (\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f) \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.  \u041d\u043e \u043f\u0440\u043e \u044d\u0442\u043e \u2013 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u043f\u0435\u0440\u0432\u0430\u044f \u2013 \u043f\u0440\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0438 \u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e;<\/p>\n<\/li>\n<li>\n<p>\u0432\u0442\u043e\u0440\u0430\u044f \u2013 \u043f\u0440\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0439 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438  \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0438 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u043b\u0435\u0432\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0438 \u0442\u0440\u0435\u0442\u044c\u044f \u2013 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0440\u0443 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Shannon%E2%80%93Hartley_theorem\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u043e\u0440\u0435\u043c\u044b \u0428\u0430\u043d\u043d\u043e\u043d\u0430-\u0425\u0430\u0440\u0442\u043b\u0438<\/a> \u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043d\u0430\u043b\u0430 \u0441 \u0448\u0443\u043c\u043e\u043c.<\/p>\n<h2>2. Mutual Information<\/h2>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u043c\u043e\u0436\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0442\u043e\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0431  \u043e\u0434\u043d\u043e\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u043e\u0439. <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#task_1.12\" rel=\"noopener noreferrer nofollow\">\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0447\u0430\u0441\u0442\u0438 1<\/a> \u043f\u043e \u0441\u0443\u0442\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u043e \u044d\u0442\u043e \u2013 \u043f\u0440\u043e  \u0412\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043f\u0430\u0440\u0443<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w,h)\" alt=\"(w,h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/853\/54b\/61e\/85354b61ee6071a0f8311453f1ebd319.svg\" width=\"49\" height=\"22\"\/>= (\u0432\u0435\u0441_\u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u0440\u043e\u0441\u0442_\u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430). \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u0446\u0435\u043b\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0432 \u043a\u0438\u043b\u043e\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u0438 \u0441\u0430\u043d\u0442\u0438\u043c\u0435\u0442\u0440\u0430\u0445 \u0441 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 7 \u043c\u043b\u0440\u0434. \u043b\u044e\u0434\u0435\u0439 \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w,h)\" alt=\"(w,h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d04\/8ef\/ecc\/d048efecc4c80cd3b8a57a4566ab7241.svg\" width=\"49\" height=\"22\"\/>\u2014 <strong>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/strong> \u0434\u0432\u0443\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{Pr}(w=x)\" alt=\"\\mathrm{Pr}(w=x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6c5\/064\/a5d\/6c5064a5d2d92f2b1ee19ccabfe68bf9.svg\" width=\"87\" height=\"22\"\/>(\u0437\u0430\u0431\u044b\u0432 \u043f\u0440\u043e \u0440\u043e\u0441\u0442), \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u043e\u0441\u0442\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{Pr}(h=y)\" alt=\"\\mathrm{Pr}(h=y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/029\/27f\/704\/02927f7042e82eef07c4aea025a41f5f.svg\" width=\"83\" height=\"22\"\/>(\u0437\u0430\u0431\u044b\u0432 \u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0435\u0441\u0430). \u042d\u0442\u0438 \u0434\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <strong>\u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438<\/strong> \u0434\u043b\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x,y)\" alt=\"(x,y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9af\/42b\/296\/9af42b29629a2febf008f5980c547774.svg\" width=\"45\" height=\"22\"\/><\/p>\n<p>\u042d\u0442\u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c  \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c <strong>\u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438<\/strong> \u2014 \u043e\u043d\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0430\u0448\u0435\u043c\u0443 \u0437\u043d\u0430\u043d\u0438\u044e \u043e \u0432\u0435\u0441\u0435 \u0438 \u0440\u043e\u0441\u0442\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043f\u0440\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430.<\/p>\n<p>\u042f\u0441\u043d\u043e, \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0440\u043e\u0441\u0442\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0430\u0441 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 &#171;\u0440\u043e\u0441\u0442 = 2 \u043c\u0435\u0442\u0440\u0430 10 \u0441\u043c&#187; \u0441\u043c\u0435\u0441\u0442\u0438\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u041d\u043e\u0432\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c <strong>\u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u044b\u043c<\/strong>. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0432 \u044d\u0442\u043e\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0438 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"I_{w}(``h=2.10 &quot;)=\\\\=H(\\{\\mathrm{Pr}(w=x)\\}_x) - H(\\{\\mathrm{Pr}(w=x | h=2.10)\\}_x)\" alt=\"I_{w}(``h=2.10 &quot;)=\\\\=H(\\{\\mathrm{Pr}(w=x)\\}_x) - H(\\{\\mathrm{Pr}(w=x | h=2.10)\\}_x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/76e\/fa4\/714\/76efa4714b5918cda3ef1cbfdfe1dbcc.svg\" width=\"697\" height=\"50\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <strong>\u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u0444\u0438\u0433\u0443\u0440\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043e\u043a \u044f \u043f\u0438\u0448\u0443 \u0438\u043d\u0434\u0435\u043a\u0441<\/strong>,  \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e &#171;\u0431\u0435\u0436\u0430\u0442\u044c&#187; \u0432\u043d\u0443\u0442\u0440\u0438 \u0444\u0438\u0433\u0443\u0440\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043e\u043a, <strong>\u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a<\/strong>, \u0430 \u0435\u0441\u043b\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u0434\u0432\u0430, \u0442\u043e<strong> \u043c\u0430\u0442\u0440\u0438\u0446\u0443<\/strong>.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u043e\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w,h)\" alt=\"(w,h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/784\/21c\/ccf\/78421cccf18a1bf94be896fe3f87c2d2.svg\" width=\"49\" height=\"22\"\/>\u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\mathrm{Pr}(w = x|h = 2.10)\\}_x\" alt=\"\\{\\mathrm{Pr}(w = x|h = 2.10)\\}_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ec6\/1c6\/0ba\/ec61c60ba9f002b871881c74dfdb4bfa.svg\" width=\"194\" height=\"22\"\/>\u0438\u043c\u0435\u0435\u0442 \u0431<strong>\u043e<\/strong>\u043b\u044c\u0448\u0443\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e (\u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c), \u043d\u0435\u0436\u0435\u043b\u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\mathrm{Pr}(w = x)\\}_x\" alt=\"\\{\\mathrm{Pr}(w = x)\\}_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bb1\/1fc\/755\/bb11fc755fc588de1f3da9695a956299.svg\" width=\"117\" height=\"22\"\/>. \u041d\u043e <strong>\u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c<\/strong> \u0434\u043b\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"I_{w}(``h=x&quot;)\" alt=\"I_{w}(``h=x&quot;)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9d\/d20\/2b3\/d9dd202b37ef96bf522ed70652f628c3.svg\" width=\"110\" height=\"22\"\/> \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"M_{I_{w}(``h= \\cdot&quot;)}=\\sum_x \\mathrm{Pr}(h=x) \\cdot I_{w}(``h=x&quot;) \\ge 0\" alt=\"M_{I_{w}(``h= \\cdot&quot;)}=\\sum_x \\mathrm{Pr}(h=x) \\cdot I_{w}(``h=x&quot;) \\ge 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/523\/383\/c75\/523383c75ee79401d938c1a8e606d324.svg\" width=\"385\" height=\"44\"\/><\/p>\n<p>\u042d\u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53d\/8c6\/7ca\/53d8c67cabe48a21b1d2cba655d97084.svg\" width=\"14\" height=\"12\"\/> \u0432 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b6c\/ec3\/4a3\/b6cec34a3932bbc1a95b541f45afe9c0.svg\" width=\"11\" height=\"17\"\/>. <strong>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043e\u043d\u0430 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0432 \u043f\u0430\u0440\u0435<\/strong> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h)\" alt=\"(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/23e\/d19\/371\/23ed1937119916a892d0b7f95fcc0265.svg\" width=\"49\" height=\"22\"\/>.<\/p>\n<p><strong>\u041e\u043f\u0440. 2.1:<\/strong> <strong>\u0412\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d  \u2013  \u044d\u0442\u043e<\/strong><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) = \\sum_x \\mathrm{Pr}(h=x) \\cdot I_{w}(``h=x&quot;)\" alt=\"\\mathrm{MI}(w, h) = \\sum_x \\mathrm{Pr}(h=x) \\cdot I_{w}(``h=x&quot;)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d59\/5a6\/b83\/d595a6b83a431278cb6eb7646b36df61.svg\" width=\"340\" height=\"44\"\/><\/p>\n<p>\u0438\u043b\u0438<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) = \\sum_x \\mathrm{Pr}(w=y) \\cdot I_{h}(``w=y&quot;)\" alt=\"\\mathrm{MI}(w, h) = \\sum_x \\mathrm{Pr}(w=y) \\cdot I_{h}(``w=y&quot;)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/332\/639\/3d2\/3326393d2d695bbba46873ac392b5585.svg\" width=\"341\" height=\"44\"\/><\/p>\n<p>\u0438\u043b\u0438<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) = H(w) + H(h) - H(\\{w,h\\})\" alt=\"\\mathrm{MI}(w, h) = H(w) + H(h) - H(\\{w,h\\})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ba\/172\/a0a\/1ba172a0ad4dfceba66a6652141525f3.svg\" width=\"324\" height=\"22\"\/><\/p>\n<p>\u042d\u0442\u043e \u0442\u0440\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(\\{w,h\\})\" alt=\"H(\\{w,h\\})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f51\/6c2\/9d3\/f516c29d3d7b916287ac1409d53e4cfe.svg\" width=\"86\" height=\"22\"\/>\u2014 \u044d\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f  \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u0447\u0438\u0441\u043b\u0430, \u0430 \u043f\u0430\u0440\u044b \u0447\u0438\u0441\u0435\u043b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{y,x\\}\" alt=\"\\{y,x\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/53d\/c23\/2ad\/53dc232ade008eb9e640c31a60c58a3c.svg\" width=\"49\" height=\"22\"\/>. \u042d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u043d\u0438\u0436\u0435.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u0433\u043e,  \u0447\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>MI<\/em>: <\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/f8e\/b75\/581\/f8eb75581eee30b7a2426470d9f91771.png\" width=\"914\" height=\"682\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8e\/b75\/581\/f8eb75581eee30b7a2426470d9f91771.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043a\u0440\u0443\u0433\u0438 \u2013 \u0437\u0435\u043b\u0451\u043d\u044b\u0439 \u0438 \u043a\u0440\u0430\u0441\u043d\u043e\u0432\u0430\u0442\u044b\u0439, \u0438\u0445 \u043f\u043b\u043e\u0449\u0430\u0434\u0438  \u0440\u0430\u0432\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(w)\" alt=\"H(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/506\/c0b\/6d6\/506c0b6d69f9c2682d25d557bedbc118.svg\" width=\"47\" height=\"22\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(h)\" alt=\"H(h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/277\/631\/fb2\/277631fb20f3bd3b1bb31af1920127d6.svg\" width=\"44\" height=\"22\"\/>, \u0430 \u043a\u043e\u0440\u0438\u0447\u043d\u0435\u0432\u0430\u044f \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u0438\u0445 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u043a \u0440\u0430\u0437 \u0440\u0430\u0432\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w,h).\" alt=\"\\mathrm{MI}(w,h).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/09d\/712\/c52\/09d712c52973f4edfe1ed2ba1212871b.svg\" width=\"79\" height=\"22\"\/><\/p>\n<details class=\"spoiler\">\n<summary>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043a\u0430\u043a \u043c\u0435\u0440\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u042d\u0442\u0430 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u043e\u0434\u0447\u0451\u0440\u043a\u0438\u0432\u0430\u044e\u0449\u0430\u044f, \u0447\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u2013 \u044d\u0442\u043e \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430, \u0438 \u0447\u0442\u043e<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w,h)\" alt=\"\\mathrm{MI}(w,h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/893\/5dc\/305\/8935dc305cf135ad5924e1ceed249861.svg\" width=\"74\" height=\"22\"\/>\u0442\u043e\u0436\u0435 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430,  \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u043b\u0438\u0431\u043e \u0440\u0430\u0432\u043d\u0430 \u043e\u0431\u0435\u0438\u0445 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(w)\" alt=\"H(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/506\/c0b\/6d6\/506c0b6d69f9c2682d25d557bedbc118.svg\" width=\"47\" height=\"22\"\/>\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(h)\" alt=\"H(h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/277\/631\/fb2\/277631fb20f3bd3b1bb31af1920127d6.svg\" width=\"44\" height=\"22\"\/>. \u041d\u043e, \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441 \u043c\u0435\u0440\u043e\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443,  \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d (\u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0432 \u043f\u0430\u0440\u0443), \u0430 \u043c\u0435\u0440\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0438 \u0435\u0441\u0442\u044c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. <\/p>\n<\/div>\n<\/details>\n<p>\u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0435\u0440\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) = \\sum_x \\mathrm{Pr}(h=x) \\cdot I_{w}(``h=x&quot;)\\\\= \\sum_x \\mathrm{Pr}(h=x) \\cdot ( H(\\{\\mathrm{Pr}(w=y)\\}_y) - H(\\{\\mathrm{Pr}(w=y|h=x)\\}_y)) \\\\ =   H(\\{\\mathrm{Pr}(w=y)\\}_y) - \\sum_x \\mathrm{Pr}(h=x) \\cdot H(\\{\\mathrm{Pr}(w=y|h=x)\\}_y)\\\\ = H(w) -  H( w | h)\" alt=\"\\mathrm{MI}(w, h) = \\sum_x \\mathrm{Pr}(h=x) \\cdot I_{w}(``h=x&quot;)\\\\= \\sum_x \\mathrm{Pr}(h=x) \\cdot ( H(\\{\\mathrm{Pr}(w=y)\\}_y) - H(\\{\\mathrm{Pr}(w=y|h=x)\\}_y)) \\\\ =   H(\\{\\mathrm{Pr}(w=y)\\}_y) - \\sum_x \\mathrm{Pr}(h=x) \\cdot H(\\{\\mathrm{Pr}(w=y|h=x)\\}_y)\\\\ = H(w) -  H( w | h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5b5\/2b3\/782\/5b52b3782e94700404cb5850ef133d2c.svg\" width=\"697\" height=\"171\"\/><\/p>\n<p>\u0417\u0430\u043f\u0438\u0441\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(w | h)\" alt=\"H(w | h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd1\/fbb\/571\/bd1fbb5712dae2f3243ec2bc3445aeae.svg\" width=\"63\" height=\"22\"\/> \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0434\u043b\u044f<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sum_x P(h=x) \\cdot H(\\{\\mathrm{Pr}(w=y|h=x)\\}_y)\" alt=\"\\sum_x P(h=x) \\cdot H(\\{\\mathrm{Pr}(w=y|h=x)\\}_y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f2\/ee0\/5da\/5f2ee05da947f6a65f393c964b601497.svg\" width=\"324\" height=\"44\"\/> <br \/>\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Conditional_entropy\" rel=\"noopener noreferrer nofollow\">\u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439<\/a>.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"I(``h=x&quot;) =\\\\= H({\\mathrm{Pr}(w=y)}) - H({\\mathrm{Pr}(w=y|h=x)})=0\" alt=\"I(``h=x&quot;) =\\\\= H({\\mathrm{Pr}(w=y)}) - H({\\mathrm{Pr}(w=y|h=x)})=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/35c\/8d5\/bd1\/35c8d5bd1c9dbcfdadbccb47ae772309.svg\" width=\"697\" height=\"50\"\/><\/p>\n<p>\u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{Pr}(w=y) = \\mathrm{Pr}(w=y | h=x)\" alt=\"\\mathrm{Pr}(w=y) = \\mathrm{Pr}(w=y | h=x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5f9\/0f4\/8b5\/5f90f48b571a317a7cfede7463cd02c5.svg\" width=\"252\" height=\"22\"\/> \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x,\" alt=\"x,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd0\/dec\/a01\/cd0deca01090a6ddda52d3fbf58e706d.svg\" width=\"17\" height=\"15\"\/> \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 <strong>\u0434\u043b\u044f<\/strong> <strong>\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 0<\/strong>. <\/p>\n<p>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0442\u043e\u0436\u0435 \u0432\u0435\u0440\u043d\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h) = 0\" alt=\"\\mathrm{MI}(w, h) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca9\/20f\/37f\/ca920f37f8638f84f5413e2152079cda.svg\" width=\"110\" height=\"22\"\/> \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0410 \u0432\u043e\u0442 \u0434\u043b\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438<\/a> \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 MI, \u0443\u0434\u043e\u0431\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P = \\{ p_{x,y} \\}_{x,y}\" alt=\"P = \\{ p_{x,y} \\}_{x,y}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/574\/a17\/0f1\/574a170f1778d40a6964ca9b042d3d6a.svg\" width=\"111\" height=\"23\"\/><br \/> \u2014  \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u043e\u0441\u0442 \u0438 \u0432\u0435\u0441 \u0440\u0430\u0432\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(x,\\; y)\" alt=\"(x,\\; y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/707\/077\/bfa\/707077bfa818e6aedb372da0e93d85a4.svg\" width=\"50\" height=\"22\"\/>.<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R = \\{ r_{x} \\}_x = \\{\\sum_y p_{x,y}\\}_x\" alt=\"R = \\{ r_{x} \\}_x = \\{\\sum_y p_{x,y}\\}_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/33d\/a76\/839\/33da76839f154bf5219f60ae0e27ae74.svg\" width=\"206\" height=\"47\"\/> <br \/>\u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u043e\u0441\u0442  \u0440\u0430\u0432\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/470\/1e1\/963\/4701e196349ccfc072648eec4d9878c1.svg\" width=\"11\" height=\"12\"\/> (\u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u043e\u0441\u0442\u0430).<\/p>\n<\/li>\n<li>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q = \\{ q_{y} \\}_y = \\{\\sum_x p_{x,y}\\}_y\" alt=\"Q = \\{ q_{y} \\}_y = \\{\\sum_x p_{x,y}\\}_y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0bf\/265\/2fa\/0bf2652fa7dce96d7ec8039d40a19eaa.svg\" width=\"203\" height=\"44\"\/> <br \/>\u2014  \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u0435\u0441  \u0440\u0430\u0432\u0435\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3aa\/390\/67c\/3aa39067c2d60e14e7dbef6928c4ab49.svg\" width=\"10\" height=\"16\"\/> (\u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430).<\/p>\n<\/li>\n<\/ul>\n<p>\u0411\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u043d\u0435 \u0440\u0430\u0432\u043d\u044b 0.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0437\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{Pr}(w=y | h=x) = p_{x, y} \/ r_x.\" alt=\"\\mathrm{Pr}(w=y | h=x) = p_{x, y} \/ r_x.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c3c\/205\/05b\/c3c20505b480dd89f1ad8a2739d21480.svg\" width=\"230\" height=\"23\"\/><\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) =\\\\=\\sum_x \\mathrm{Pr}(h=x)  \\cdot (H(\\{q_y\\}_y)  - H(\\{\\mathrm{Pr}(w=y | h=x)\\}_y ) = \\\\ \\ \\ = \\sum_x r_x \\cdot (H(Q)  - \\sum_y p_{x,y}\/r_x \\cdot \\log (r_x\/p_{x,y})) = \\\\ \\ \\ = H(Q) -  \\sum_{x,y} r_x \\cdot  (p_{x,y} \/ r_x) \\cdot\\log( r_x \/ p_{x,y}) = \\\\ \\ \\ = H(Q) -  \\sum_{x,y} p_{x,y} \\log (r_x \/ p_{x,y}) = \\\\ \\ \\ = H(Q) +  \\sum_{x,y} p_{x,y} \\log (1 \/ r_x) - \\sum_{x,y} p_{x,y} \\log (1 \/p_{x,y}) = \\\\ \\ \\ = H(Q) + \\sum_{x} r_x \\log (1 \/ r_x) - \\sum_{x,y} p_{x,y} \\log (1\/p_{x,y}) = \\\\ \\ \\ = H(Q) + H(R) - H(P)\" alt=\"\\mathrm{MI}(w, h) =\\\\=\\sum_x \\mathrm{Pr}(h=x)  \\cdot (H(\\{q_y\\}_y)  - H(\\{\\mathrm{Pr}(w=y | h=x)\\}_y ) = \\\\ \\ \\ = \\sum_x r_x \\cdot (H(Q)  - \\sum_y p_{x,y}\/r_x \\cdot \\log (r_x\/p_{x,y})) = \\\\ \\ \\ = H(Q) -  \\sum_{x,y} r_x \\cdot  (p_{x,y} \/ r_x) \\cdot\\log( r_x \/ p_{x,y}) = \\\\ \\ \\ = H(Q) -  \\sum_{x,y} p_{x,y} \\log (r_x \/ p_{x,y}) = \\\\ \\ \\ = H(Q) +  \\sum_{x,y} p_{x,y} \\log (1 \/ r_x) - \\sum_{x,y} p_{x,y} \\log (1 \/p_{x,y}) = \\\\ \\ \\ = H(Q) + \\sum_{x} r_x \\log (1 \/ r_x) - \\sum_{x,y} p_{x,y} \\log (1\/p_{x,y}) = \\\\ \\ \\ = H(Q) + H(R) - H(P)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bd7\/2d9\/3c9\/bd72d93c92b60a980e346a7f23d0ac18.svg\" width=\"697\" height=\"361\"\/><\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u044f, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0438\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0443\u0447\u0435\u0431\u043d\u0438\u043a\u0430\u043c.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.1:<\/strong> \u041f\u0440\u0438\u0432\u0435\u0434\u0438\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}\" alt=\"\\mathrm{MI}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d15\/76e\/1f4\/d1576e1f40f05166a717ea69fe8d860d.svg\" width=\"25\" height=\"17\"\/> \u043d\u0435 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.2:<\/strong> \u0414\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0438\u0437\u043c\u0435\u0440\u0438\u043b\u0438 \u0438 \u043d\u0430\u043d\u0435\u0441\u043b\u0438 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c. \u041a\u0430\u043a\u0438\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u043c,  \u0430 \u043a\u0430\u043a\u0438\u0435 \u2013 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c?<br \/>\u0414\u043b\u044f  \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u043d\u0438\u0445 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f x \u0438 y \u0440\u0430\u0432\u043d\u0430 0?<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/d69\/c2a\/187\/d69c2a1879c43a6e4c5cbfd1315788e4.png\" alt=\"\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d.   \u041d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 12 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b?\" title=\"\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d.   \u041d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 12 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b?\" width=\"1200\" height=\"892\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d69\/c2a\/187\/d69c2a1879c43a6e4c5cbfd1315788e4.png\"\/><figcaption>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d.   \u041d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 12 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b?<\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442\u044b<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435: 3-\u0439, 4-\u0439, 5-\u0439, 8-\u0439, 11-\u0439, 12-\u0439.<\/p>\n<p>\u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445, \u043a\u0440\u043e\u043c\u0435  4-\u0433\u043e, 5-\u0433\u043e, 8-\u0433\u043e \u0438 12-\u0433\u043e.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.3:<\/strong> \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 MI(<em>w<\/em>=&#187;\u0447\u0438\u0441\u043b\u043e \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 6&#8243;, <em>h<\/em>=&#187;\u0447\u0438\u0441\u043b\u043e \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 15&#8243;). \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u0431\u0435\u0440\u0451\u043c \u043e\u0434\u043d\u043e \u0438\u0437 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0438 \u0432\u0441\u0435 \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b. \u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043c\u0443\u0447\u0430\u0442\u0441\u044f \u0441 \u043f\u043e\u043d\u044f\u0442\u0438\u0435\u043c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445, \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435, \u0447\u0442\u043e \u043c\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0431\u0435\u0440\u0451\u043c \u0447\u0438\u0441\u043b\u043e \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 {1, &#8230;, 30}.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041c\u044b \u0437\u043d\u0430\u0435\u043c \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R= \\{5\/6, 1\/6\\}\" alt=\"R= \\{5\/6, 1\/6\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/68f\/c97\/4aa\/68fc974aa67a6d7eb86c09b954227df3.svg\" width=\"128\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q=\\{14\/15, 1\/15\\}.\" alt=\"Q=\\{14\/15, 1\/15\\}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03c\/522\/84e\/03c52284eb30e40d9caa1584242930c3.svg\" width=\"163\" height=\"22\"\/> \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0438 \u043d\u0430 6, \u0438 \u043d\u0430 15 \u0440\u0430\u0432\u043d\u0430 1\/30. \u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"P = \\|p_{xy}\\| =\\\\=\\left\\|\\begin{array}{cc}  5\/6 - (1\/15 - 1\/30)   &amp; 1\/6 - 1\/30 \\\\ 1\/15 - 1\/30 &amp; 1\/30\\end{array}\\right\\|=\\\\=\\left\\|\\begin{array}{cc}  4\/5  &amp; 2\/15\\\\ 1\/30  &amp; 1\/30\\end{array}\\right\\|\" alt=\"P = \\|p_{xy}\\| =\\\\=\\left\\|\\begin{array}{cc}  5\/6 - (1\/15 - 1\/30)   &amp; 1\/6 - 1\/30 \\\\ 1\/15 - 1\/30 &amp; 1\/30\\end{array}\\right\\|=\\\\=\\left\\|\\begin{array}{cc}  4\/5  &amp; 2\/15\\\\ 1\/30  &amp; 1\/30\\end{array}\\right\\|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/990\/fd9\/cdb\/990fd9cdb5a5ad859b312e7df97d62ee.svg\" width=\"615\" height=\"138\"\/><\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI} = H(w) + H(h) - H({w,h})\" alt=\"\\mathrm{MI} = H(w) + H(h) - H({w,h})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3b3\/7c8\/654\/3b37c8654fc501ac9957aa6445bb5ba1.svg\" width=\"255\" height=\"22\"\/> \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c<br \/> MI=0.0311278<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.4:<\/strong> \u0414\u043e\u043a\u0430\u0436\u0438\u0442\u0435, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h) = D_{KL}( \\{\\mathrm{Pr}(w = x, h = y)\\}_{x,y}, \\;\\{\\mathrm{Pr}(w=x) \\cdot \\mathrm{Pr}(h=y) \\}_{x,y}),\" alt=\"\\mathrm{MI}(w, h) = D_{KL}( \\{\\mathrm{Pr}(w = x, h = y)\\}_{x,y}, \\;\\{\\mathrm{Pr}(w=x) \\cdot \\mathrm{Pr}(h=y) \\}_{x,y}),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/072\/ae5\/f30\/072ae5f30714ddfebfc442c1d67153b9.svg\" width=\"582\" height=\"23\"\/><\/p>\n<p>\u0442\u043e \u0435\u0441\u0442\u044c <strong>MI \u2013 \u044d\u0442\u043e \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0434 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430 \u0434\u043b\u044f \u043f\u043e\u0442\u043e\u043a\u0430 \u043f\u0430\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{w,h\\},\" alt=\"\\{w,h\\},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6cf\/e3b\/e0f\/6cfe3be0f8e4d3d8f402466cb816e5c3.svg\" width=\"59\" height=\"22\"\/> \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438  \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <\/strong>(\u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438, \u0447\u0442\u043e \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445),<strong> \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d, \u0447\u0435\u043c \u043a\u043e\u0434 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438.  \u0418\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u043b\u0435\u043d\u043d\u044b\u0445 \u0431\u0438\u0442\u0430\u0445 \u043d\u0430  \u0441\u0438\u043c\u0432\u043e\u043b (\u0441\u0438\u043c\u0432\u043e\u043b \u2013 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{w,h\\}\" alt=\"\\{w,h\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e78\/aec\/f0a\/e78aecf0aeb5c66db33498d798d10076.svg\" width=\"53\" height=\"22\"\/>).<\/strong><\/p>\n<p>\u041c\u044b \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u0436\u0438\u043b\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439. \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e.<\/p>\n<p>\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043f\u0440\u043e <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#task_1.7\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u0434\u0430\u0447\u0443 1.7<\/a>. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h)\" alt=\"(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b0b\/4d8\/c2c\/b0b4d8c2cea3b48588ba03d8e680ba7c.svg\" width=\"49\" height=\"22\"\/>, \u043d\u043e \u043c\u044b \u0438\u0445 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438  \u2014 \u043f\u0435\u0440\u0432\u0443\u044e \u043d\u0430 \u043a\u043e\u0440\u0437\u0438\u043d\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon_1\" alt=\"\\varepsilon_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cb8\/586\/664\/cb85866641c3387fed99754af532610f.svg\" width=\"18\" height=\"14\"\/>,  \u0430 \u0432\u0442\u043e\u0440\u0443\u044e  \u2014 \u043d\u0430 \u043a\u043e\u0440\u0437\u0438\u043d\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon_2\" alt=\"\\varepsilon_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/969\/748\/f5e\/969748f5e713c9da8d932c0d62a86efe.svg\" width=\"18\" height=\"14\"\/>.  \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"H(\\{q_y\\}_y) + H(\\{r_x\\}_x) - H(\\{p_{x,y}\\}_{x,y})\" alt=\"H(\\{q_y\\}_y) + H(\\{r_x\\}_x) - H(\\{p_{x,y}\\}_{x,y})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/efa\/dff\/128\/efadff12810d6e559e6ee797888bf44d.svg\" width=\"310\" height=\"23\"\/><\/p>\n<p>\u0432\u043c\u0435\u0441\u0442\u043e <em>H<\/em> \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 (\u0441\u043c. \u0437\u0430\u0434\u0430\u0447\u0443 1.7)<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\" \\log(1\/\\varepsilon) - \\int_{-\\infty}^{+\\infty} \\rho(x)\\log(\\rho(x))dx \" alt=\" \\log(1\/\\varepsilon) - \\int_{-\\infty}^{+\\infty} \\rho(x)\\log(\\rho(x))dx \" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/72b\/c4a\/6d6\/72bc4a6d6b70fa707c6f22b071de3b12.svg\" width=\"281\" height=\"51\"\/><\/p>\n<p>\u0434\u043b\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c, \u0447\u0442\u043e \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u0432\u044b\u043b\u0435\u0437\u0435\u0442 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/\\varepsilon_1),\" alt=\"\\log(1\/\\varepsilon_1),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/10f\/1a7\/d73\/10f1a7d73c010773f81c52bf370388b0.svg\" width=\"83\" height=\"22\"\/> \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u2014 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/\\varepsilon_2),\" alt=\"\\log(1\/\\varepsilon_2),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1ab\/ffc\/db6\/1abffcdb69b7bc7d800ba0cbf7213dc0.svg\" width=\"83\" height=\"22\"\/> \u0430 \u0438\u0437 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0433\u043e  \u2014<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\log(1\/(\\varepsilon_1\\cdot \\varepsilon_2)\" alt=\"\\log(1\/(\\varepsilon_1\\cdot \\varepsilon_2)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/afb\/b45\/cfe\/afbb45cfe244fbc77ae23b60121dfb10.svg\" width=\"117\" height=\"22\"\/> \u0438 \u044d\u0442\u0438 \u0442\u0440\u0438 \u043a\u0443\u0441\u043e\u0447\u043a\u0430 \u0441\u043e\u043a\u0440\u0430\u0442\u044f\u0442\u0441\u044f.<br \/>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u0435\u043b MI \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043f\u0440\u0438 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0438 \u043a \u043a\u043e\u0440\u0437\u0438\u043d\u043a\u0430\u043c \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p><strong>\u041e\u043f\u0440. 2.2:<\/strong> <strong>\u0412\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d<\/strong>  \u0440\u0430\u0432\u043d\u0430<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(h,w) = H(\\rho_h) + H(\\rho_w) - H(\\rho_{(h,w)}).\" alt=\"\\mathrm{MI}(h,w) = H(\\rho_h) + H(\\rho_w) - H(\\rho_{(h,w)}).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a6\/037\/8c0\/1a60378c00434e3e1b4821ff0b54e40a.svg\" width=\"337\" height=\"25\"\/><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f <em>H<\/em> \u0438\u0437 <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#def_1.6\" rel=\"noopener noreferrer nofollow\">\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f 1.6 \u0447\u0430\u0441\u0442\u0438 1<\/a>.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.5:<\/strong> \u041e\u0446\u0435\u043d\u0438\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dde\/d59\/2e9\/dded592e9edcbf53102c51e9126d2b03.svg\" width=\"161\" height=\"22\"\/>\u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0438\u043c\u0435\u044e\u0449\u0435\u0439\u0441\u044f \u0443 \u0432\u0430\u0441 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0447\u0435\u0433\u043e-\u043b\u0438\u0431\u043e. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target) \/ H(target)\" alt=\"\\mathrm{MI}(predict, target) \/ H(target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/742\/c30\/4b0\/742c304b02291be83cfb4db4973152a2.svg\" width=\"255\" height=\"22\"\/>, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u044d\u0442\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a 1?<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 MI \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043f\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u043f\u043e \u0441\u0443\u0442\u0438 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\|p_{xy}\\|\" alt=\"\\|p_{xy}\\|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1a5\/132\/3fd\/1a51323fdb3fda96ca1a559b72ec8951.svg\" width=\"46\" height=\"23\"\/> \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u044d\u0442\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0440\u0437\u0438\u043d\u043e\u043a \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0430\u044f \u0441 \u044d\u0442\u043e\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043d\u043e \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"p_{xy}\" alt=\"p_{xy}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/4af\/cfe\/67e\/4afcfe67e8f13165b463a13d31e7d3e9.svg\" width=\"27\" height=\"17\"\/>.<\/p>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 MI \u043f\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0442\u0435\u043c\u0430, \u0438 \u043c\u044b \u043a \u043d\u0435\u0439 \u0435\u0449\u0451 \u0432\u0435\u0440\u043d\u0451\u043c\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 3.1.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.6:<\/strong> \u0414\u043e\u043a\u0430\u0436\u0438\u0442\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7aa\/8cb\/a82\/7aa8cba82d4a0b5b1dbcd1933984d2c8.svg\" width=\"11\" height=\"21\"\/> \u0432\u0435\u0440\u043d\u043e, \u0447\u0442\u043e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w,h) = \\mathrm{MI}(f(w), h).\" alt=\"\\mathrm{MI}(w,h) = \\mathrm{MI}(f(w), h).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/730\/abd\/0bb\/730abd0bb93d7c3e4b0ac1473236089b.svg\" width=\"205\" height=\"22\"\/><\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p> \u041f\u0443\u0441\u0442\u044c  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_f = f(w)\" alt=\"w_f = f(w)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/179\/647\/2a7\/1796472a7fc0a890e18b1e3320674e79.svg\" width=\"89\" height=\"23\"\/>. \u0412\u043e\u0437\u044c\u043c\u0451\u043c \u0434\u0432\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) = H(h) - H(h | w) =\\\\= H(h) - \\int (\\rho(y) dy)  H(h | w = y)\" alt=\"\\mathrm{MI}(w, h) = H(h) - H(h | w) =\\\\= H(h) - \\int (\\rho(y) dy)  H(h | w = y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/35b\/de0\/f27\/35bde0f27200581e8325bf01043857ef.svg\" width=\"615\" height=\"74\"\/><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w_f, h) = H(h) - H(h | w_f) =\\\\= H(h) - \\int (\\rho_f(z) dz)  H(h | w_f = z)\" alt=\"\\mathrm{MI}(w_f, h) = H(h) - H(h | w_f) =\\\\= H(h) - \\int (\\rho_f(z) dz)  H(h | w_f = z)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2ba\/7d7\/fe3\/2ba7d7fe3486c46ac7dc39ddbc3e3100.svg\" width=\"615\" height=\"75\"\/><\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0430 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0440\u0430\u0432\u043d\u044b, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043c\u044b\u0441\u043b \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(h')\" alt=\"H(h')\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c3b\/3d2\/c74\/c3b3d2c7477aa36996c7e4bd6c467d38.svg\" width=\"50\" height=\"23\"\/>,  \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h'\" alt=\"h'\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b49\/25a\/6d5\/b4925a6d5308cc3358f2ece69e0e687d.svg\" width=\"17\" height=\"19\"\/> \u2014  \u044d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b,  \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7fe\/068\/0e6\/7fe0680e6f0bc654860033171a7d5ab4.svg\" width=\"11\" height=\"17\"\/>\u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6bd\/b7b\/bcd\/6bdb7bbcdf135b43d600e0b95f3325ab.svg\" width=\"14\" height=\"12\"\/> \u0438\u043b\u0438, \u0447\u0442\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_f\" alt=\"w_f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae2\/1c1\/03c\/ae21c103cb0db089bdeb39cc5fc4a80b.svg\" width=\"24\" height=\"17\"\/>. \u0423\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435  \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6bd\/b7b\/bcd\/6bdb7bbcdf135b43d600e0b95f3325ab.svg\" width=\"14\" height=\"12\"\/> \u0438\u043b\u0438<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_f\" alt=\"w_f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae2\/1c1\/03c\/ae21c103cb0db089bdeb39cc5fc4a80b.svg\" width=\"24\" height=\"17\"\/>, \u0447\u0442\u043e, \u043e\u043f\u044f\u0442\u044c \u0436\u0435, \u043d\u0435\u0432\u0430\u0436\u043d\u043e.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044b.  \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(h | w = y)\" alt=\"H(h | w = y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/201\/225\/92b\/20122592b7827849dd9964d867fc825e.svg\" width=\"99\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(h | w_f = f(y))\" alt=\"H(h | w_f = f(y))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d9a\/cec\/af0\/d9acecaf0e96e63b1af13ac68d996fb6.svg\" width=\"134\" height=\"23\"\/>\u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0438 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u0435\u0440\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mu\" alt=\"\\mu\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f4\/95e\/c07\/7f495ec07261fc96e6d68e040c397ae0.svg\" width=\"12\" height=\"16\"\/> \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"d\\mu = \\rho(x) dx = \\rho_f(z) dz\" alt=\"d\\mu = \\rho(x) dx = \\rho_f(z) dz\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f8\/871\/3ff\/0f88713fff4fea1ea713a0fa240a2f50.svg\" width=\"195\" height=\"23\"\/> . <\/p>\n<\/div>\n<\/details>\n<p><strong>\u041e\u043f\u0440. 2.6:<\/strong> <strong>\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b<\/strong> \u2014  \u044d\u0442\u043e \u0446\u0435\u043f\u044c \u041c\u0430\u0440\u043a\u043e\u0432\u0430 \u0434\u043b\u0438\u043d\u044b 2, \u0437\u0430\u0434\u0430\u044e\u0449\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u043c\u0438, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f input, \u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u2014  output. \u0427\u0430\u0441\u0442\u043e \u043f\u043e\u0434 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u043c \u0438\u043c\u0435\u044e\u0442 \u0432 \u0432\u0438\u0434\u0443 \u043b\u0438\u0448\u044c <strong>\u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439<\/strong>:<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T=\\|t_{y,x}\\|=\\|\\{\\mathrm{Pr}(output = y | \\; input = x)\\}_{y,x}\\|,\" alt=\"T=\\|t_{y,x}\\|=\\|\\{\\mathrm{Pr}(output = y | \\; input = x)\\}_{y,x}\\|,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/065\/4ce\/0f9\/0654ce0f9620315005d6f476372dd2ef.svg\" width=\"400\" height=\"23\"\/> \u0431\u0435\u0437 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u043a\u0430\u043a \u0432\u0435\u043a\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R= \\|\\{r_x\\}_x\\|=\\|\\{\\mathrm{Pr}(input=x)\\}_x\\|,\" alt=\"R= \\|\\{r_x\\}_x\\|=\\|\\{\\mathrm{Pr}(input=x)\\}_x\\|,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/878\/f19\/d12\/878f19d12ec5e658684ffc6b7bd1f4f2.svg\" width=\"309\" height=\"22\"\/> \u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043a\u0430\u043a \u0432\u0435\u043a\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q = \\|\\{q_y\\}_y\\|=\\|\\{\\mathrm{Pr}(output=y)\\}_y\\|.\" alt=\"Q = \\|\\{q_y\\}_y\\|=\\|\\{\\mathrm{Pr}(output=y)\\}_y\\|.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/444\/ed0\/e99\/444ed0e9903c138369743ee9ca75f210.svg\" width=\"314\" height=\"23\"\/><\/p>\n<p>\u0414\u043b\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u043c\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 <em>M<\/em> \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043e\u0432 \u0438\u043c\u0435\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 <em>N<\/em> \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0432\u044b\u0445\u043e\u0434\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043f\u043e \u0441\u0443\u0442\u0438 \u0438\u043c\u0435\u0435\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0438\u0437 <em>M<\/em> \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 <em>N<\/em> \u0441\u0442\u0440\u043e\u0447\u0435\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0441\u0435 \u0447\u0438\u0441\u043b\u0430 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435, \u0430 \u0441\u0443\u043c\u043c\u0430 \u0447\u0438\u0441\u0435\u043b \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u0440\u0430\u0432\u043d\u0430 1.<\/p>\n<p>\u0422\u0430\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <strong> \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u043b\u0435\u0432\u044b\u043c\u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438<\/strong> <strong>(left stochastic matrix)<\/strong>.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e \u043b\u0435\u0432\u044b\u0435 \u0438 \u043f\u0440\u0430\u0432\u044b\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0423 \u043b\u0435\u0432\u044b\u0445 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u0441\u0443\u043c\u043c\u0430 \u0447\u0438\u0441\u0435\u043b \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u0440\u0430\u0432\u043d\u0430 1, \u0430 \u0443 \u043f\u0440\u0430\u0432\u044b\u0445 \u2013 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u0447\u043a\u0435. \u0411\u044b\u0432\u0430\u044e\u0442 \u0435\u0449\u0451 \u0434\u0432\u0430\u0436\u0434\u044b \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0438 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 1. \u042f \u0432\u044b\u0431\u0440\u0430\u043b \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0442\u043e\u043b\u0431\u0435\u0446, \u0438 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q  = T \\cdot R\" alt=\"Q  = T \\cdot R\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0f1\/6af\/ce4\/0f16afce485eb8e01b39dac9b5282724.svg\" width=\"84\" height=\"20\"\/>. <\/p>\n<p>\u0412  \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u0440\u0438\u043d\u044f\u0442\u043e \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0442\u044c \u043a\u0430\u043a \u0441\u0442\u0440\u043e\u0447\u043a\u0443, \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043e\u0432 \u0442\u0440\u0430\u043d\u0441\u043f\u043e\u043d\u0438\u0440\u043e\u0432\u0430\u0442\u044c (\u0438 \u043e\u043d\u0430 \u0441\u0442\u0430\u043d\u0435\u0442 \u043f\u0440\u0430\u0432\u043e\u0439 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439) \u0438 \u0443\u043c\u043d\u043e\u0436\u0430\u0442\u044c \u043d\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0441\u043b\u0435\u0432\u0430: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q=R\\cdot T\" alt=\"Q=R\\cdot T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7f0\/244\/21d\/7f024421d4661116262380021e275bc8.svg\" width=\"84\" height=\"20\"\/>.  \u042f \u0431\u043e\u044e\u0441\u044c, \u044d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u043c\u043d\u043e\u0433\u0438\u043c \u043d\u0435\u043f\u0440\u0438\u0432\u044b\u0447\u043d\u043e , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0432\u044b\u0431\u0440\u0430\u043b \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 \u043b\u0435\u0432\u044b\u0445 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0430.<\/p>\n<\/div>\n<\/details>\n<p>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u0441\u0443\u0442\u044c \u043b\u0435\u0432\u0430\u044f \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 <em>T<\/em>.  \u0417\u0430\u0434\u0430\u0432\u0430\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_x = \\mathrm{Pr}(input=x)\" alt=\"r_x = \\mathrm{Pr}(input=x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d96\/c32\/736\/d96c327361cc35f91655c45bdafb40a6.svg\" width=\"165\" height=\"22\"\/> \u043d\u0430 \u0432\u0445\u043e\u0434\u0435, \u0432\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"q_y = \\mathrm{Pr}(output=y)\" alt=\"q_y = \\mathrm{Pr}(output=y)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/9ed\/7f9\/9dd\/9ed7f99ddf5ea2dfd35eed6c0234e505.svg\" width=\"171\" height=\"23\"\/>\u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435, \u043f\u0440\u043e\u0441\u0442\u043e \u0443\u043c\u043d\u043e\u0436\u0430\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0443 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T= \\|t_{y,x}\\|\" alt=\"T= \\|t_{y,x}\\|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/da9\/10f\/ae9\/da910fae9104e4f0fede5f2808fc4c49.svg\" width=\"87\" height=\"23\"\/> \u043d\u0430 \u0432\u0435\u043a\u0442\u043e\u0440 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R\" alt=\"R\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/0fc\/3cb\/303\/0fc3cb303457af9d1aad79ec52e71afc.svg\" width=\"15\" height=\"17\"\/>: <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"q_y = \\sum_x t_{yx} \\cdot r_x\" alt=\"q_y = \\sum_x t_{yx} \\cdot r_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a31\/8ee\/cb7\/a318eecb76a8e311ff4b5d1e84d9099a.svg\" width=\"131\" height=\"44\"\/><\/p>\n<p><strong>\u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c\u044e<\/strong> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"C(T)\" alt=\"C(T)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/42d\/fb3\/a60\/42dfb3a605fa9f35ac690873d8ee00c6.svg\" width=\"44\" height=\"22\"\/>\u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ae4\/5aa\/0f5\/ae45aa0f548ce270ec21c8618d800b21.svg\" width=\"14\" height=\"17\"\/>\u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0435  \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(input, output)\" alt=\"\\mathrm{MI}(input, output)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/65c\/733\/11d\/65c73311dd20c30745ed45c2615795d9.svg\" width=\"151\" height=\"22\"\/>, \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c\u043e\u0435 \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R=\\{r_x\\}_x\" alt=\"R=\\{r_x\\}_x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9e\/623\/add\/c9e623add69cedeef5aedaca8f6053c2.svg\" width=\"89\" height=\"22\"\/> \u043d\u0430 \u0432\u0445\u043e\u0434\u0435.<\/p>\n<p>\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u0434\u043b\u044f \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0438 \u0431\u0438\u0442, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c 1 \u0438\u0437-\u0437\u0430 \u043f\u043e\u043c\u0435\u0445 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 0 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon_1,\" alt=\"\\varepsilon_1,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6cf\/f3f\/c81\/6cff3fc817649bd5c72b9d75adf81427.svg\" width=\"23\" height=\"15\"\/> \u0430 0 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 1 c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon_0\" alt=\"\\varepsilon_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c9c\/905\/602\/c9c90560271d4faac9bcc9f60e7d387b.svg\" width=\"18\" height=\"15\"\/> \u0437\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0435\u0439<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"T = \\left\\|\\begin{array}{cc} 1-\\varepsilon_0 &amp;  \\varepsilon_1\\\\ \\varepsilon_0 &amp; 1-\\varepsilon_1 \\end{array}\\right\\|\" alt=\"T = \\left\\|\\begin{array}{cc} 1-\\varepsilon_0 &amp;  \\varepsilon_1\\\\ \\varepsilon_0 &amp; 1-\\varepsilon_1 \\end{array}\\right\\|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7e\/7a8\/0f8\/d7e7a80f8f389ca6c61c084b2f007b71.svg\" width=\"188\" height=\"50\"\/><\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.7:<\/strong> \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b \u0441 \u043f\u043e\u043c\u0435\u0445\u0430\u043c\u0438, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c 1 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 0 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon_1,\" alt=\"\\varepsilon_1,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d7e\/54c\/4d7\/d7e54c4d777a22d6c377df3d33d0d87f.svg\" width=\"23\" height=\"15\"\/> \u0430 0 \u043f\u0440\u0435\u0432\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 1 c \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c\u044e <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\varepsilon_0.\" alt=\"\\varepsilon_0.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a3f\/acc\/82c\/a3facc82ce9df46eac339dde5dc76eb8.svg\" width=\"23\" height=\"15\"\/> \u0427\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(input, \\;output)\" alt=\"\\mathrm{MI}(input, \\;output)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/3d9\/56c\/37e\/3d956c37ec8e1a05fbb9f1e1e29e3856.svg\" width=\"156\" height=\"22\"\/> \u043f\u0440\u0438 \u0443\u0441\u043b\u043e\u0432\u0438\u0438, \u0447\u0442\u043e \u043d\u0430 \u0432\u0445\u043e\u0434 \u043f\u043e\u0441\u0442\u0443\u043f\u0430\u0435\u0442 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0439 \u0431\u0438\u0442 \u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R=\\{0.5,  0.5\\}\" alt=\"R=\\{0.5,  0.5\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/442\/41a\/958\/44241a958cc83e6ddf357a15e1a72bbb.svg\" width=\"119\" height=\"22\"\/>? \u041d\u0430 \u043a\u0430\u043a\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(input, output)\" alt=\"\\mathrm{MI}(input, output)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/b04\/d3e\/d74\/b04d3ed7443b6742b3696399ea2023d1.svg\" width=\"151\" height=\"22\"\/> \u0438 \u0447\u0435\u043c\u0443 \u043e\u043d \u0440\u0430\u0432\u0435\u043d, \u0442\u043e \u0435\u0441\u0442\u044c \u043a\u0430\u043a\u0430\u044f \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0443 \u044d\u0442\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430?<\/p>\n<p><strong>\u041e\u0442\u0432\u0435\u0442:<\/strong><\/p>\n<p>\u0417\u0434\u0435\u0441\u044c  \u0443\u0434\u043e\u0431\u043d\u043e \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI} =  H(Q) - \\sum_x p_x \\cdot H( \\{\\mathrm{Pr}(output = y | \\; input = x)\\}_y ).\" alt=\"\\mathrm{MI} =  H(Q) - \\sum_x p_x \\cdot H( \\{\\mathrm{Pr}(output = y | \\; input = x)\\}_y ).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1c0\/b59\/609\/1c0b596095291f1d7812538752abf4e4.svg\" width=\"476\" height=\"44\"\/><\/p>\n<p>\u0418\u043c\u0435\u0435\u043c:<\/p>\n<ul>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435:<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"R = \\{r_0, r_1\\}\" alt=\"R = \\{r_0, r_1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/281\/78e\/c73\/28178ec73702f3481f1ed5ba02d6dd1b.svg\" width=\"104\" height=\"22\"\/><\/p>\n<\/li>\n<li>\n<p>\u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435:<br \/><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"Q = \\{q_0, q_1\\}  = \\{r_0 \\cdot (1 - \\varepsilon_0) +  r_1 \\cdot \\varepsilon_1,  r_1 \\cdot (1 - \\varepsilon_1) +  r_0 \\cdot \\varepsilon_0\\}\" alt=\"Q = \\{q_0, q_1\\}  = \\{r_0 \\cdot (1 - \\varepsilon_0) +  r_1 \\cdot \\varepsilon_1,  r_1 \\cdot (1 - \\varepsilon_1) +  r_0 \\cdot \\varepsilon_0\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/322\/49e\/df9\/32249edf928027eab0558bc817ee584c.svg\" width=\"503\" height=\"22\"\/><\/p>\n<\/li>\n<li>\n<p>\u0421\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435, \u0442\u043e \u0435\u0441\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u043f\u0430\u0440\u0430\u0445 (\u0432\u0445\u043e\u0434, \u0432\u044b\u0445\u043e\u0434):<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"P =\\{\\{r_0 \\cdot (1 - \\varepsilon_0),   r_1 \\cdot \\varepsilon_1\\}, \\{r_1 \\cdot (1 - \\varepsilon_1),   r_0 \\cdot \\varepsilon_0 \\}\\}\" alt=\"P =\\{\\{r_0 \\cdot (1 - \\varepsilon_0),   r_1 \\cdot \\varepsilon_1\\}, \\{r_1 \\cdot (1 - \\varepsilon_1),   r_0 \\cdot \\varepsilon_0 \\}\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/32a\/647\/5a2\/32a6475a2b932a30babaa9eed2120cd4.svg\" width=\"422\" height=\"22\"\/><\/p>\n<\/li>\n<li>\n<p>\u0418 \u0434\u0432\u0430 \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\mathrm{Pr}(output = y|\\; input = 0)\\}_y = \\{1 - \\varepsilon_0, \\varepsilon_0 \\},\" alt=\"\\{\\mathrm{Pr}(output = y|\\; input = 0)\\}_y = \\{1 - \\varepsilon_0, \\varepsilon_0 \\},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/46d\/cbf\/1fa\/46dcbf1fa5e5bb735d1c3005e5c8b5bd.svg\" width=\"378\" height=\"23\"\/><\/p>\n<\/li>\n<li>\n<p> <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\mathrm{Pr}(output = y |\\; input = 1)\\}_y = \\{\\varepsilon_1, 1 - \\varepsilon_1 \\}.\" alt=\"\\{\\mathrm{Pr}(output = y |\\; input = 1)\\}_y = \\{\\varepsilon_1, 1 - \\varepsilon_1 \\}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a0b\/93b\/d9a\/a0b93bd9a8b637386a901551510db658.svg\" width=\"378\" height=\"23\"\/><\/p>\n<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<p>\u0415\u0441\u043b\u0438 \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f  \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439 MI, \u0442\u043e \u043f\u043e\u043b\u0443\u0447\u0438\u043c:<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"MI = H(Q) - r_0 \\cdot H(\\{1 - \\varepsilon_0, \\varepsilon_0 \\}) - r_1\\cdot H(\\{\\varepsilon_1, 1 - \\varepsilon_1\\})\" alt=\"MI = H(Q) - r_0 \\cdot H(\\{1 - \\varepsilon_0, \\varepsilon_0 \\}) - r_1\\cdot H(\\{\\varepsilon_1, 1 - \\varepsilon_1\\})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/34a\/b51\/316\/34ab513168ccb67455a7af78c4a741dc.svg\" width=\"476\" height=\"22\"\/><\/p>\n<p>\u0410 \u044d\u0442\u0430 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043d\u0435 \u0447\u0442\u043e \u0438\u043d\u043e\u0435 \u043a\u0430\u043a <em>\u043c\u0435\u0440\u0430 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u0438<\/em> \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(x)\" alt=\"H(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/256\/5c8\/1e1\/2565c81e1794c00f7054cbe1b7c71240.svg\" width=\"44\" height=\"22\"\/> (aka JSD, \u0441\u043c. \u043d\u0438\u0436\u0435) \u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"x \\in [\\varepsilon_1, 1 - \\varepsilon_0]\" alt=\"x \\in [\\varepsilon_1, 1 - \\varepsilon_0]\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/c22\/9bf\/98a\/c229bf98af96cf523ec5acde9b532219.svg\" width=\"124\" height=\"22\"\/>, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u044d\u0442\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0439 \u0441\u0443\u043c\u043c\u0435 \u0430\u0431\u0441\u0446\u0438\u0441\u0441 \u043a\u043e\u043d\u0446\u043e\u0432 \u044d\u0442\u043e\u0433\u043e \u043e\u0442\u0440\u0435\u0437\u043a\u0430 \u043c\u0438\u043d\u0443\u0441 \u0432\u044b\u043f\u0443\u043a\u043b\u0430\u044f \u0441\u0443\u043c\u043c\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u044d\u0442\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043d\u0430 \u043a\u043e\u043d\u0446\u0430\u0445 \u043e\u0442\u0440\u0435\u0437\u043a\u0430 (\u043e\u0440\u0434\u0438\u043d\u0430\u0442 \u043e\u0442\u0440\u0435\u0437\u043a\u0430).<\/p>\n<figure class=\"full-width\"><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/habrastorage.org\/r\/w1560\/getpro\/habr\/upload_files\/1b5\/7ed\/257\/1b57ed257fb000facd8b7b7908a9b721.png\" alt=\"\" title=\"\" width=\"1014\" height=\"644\" data-src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/1b5\/7ed\/257\/1b57ed257fb000facd8b7b7908a9b721.png\"\/><figcaption><\/figcaption><\/figure>\n<p>\u041d\u0430 \u0440\u0438\u0441\u0443\u043d\u043a\u0435 \u043f\u043e\u043a\u0430\u0437\u0430\u043d\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x) = H(\\{x, 1 -x \\})\" alt=\"f(x) = H(\\{x, 1 -x \\})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a79\/051\/0ea\/a790510eaae1d2f18f43cb09a2f019e5.svg\" width=\"180\" height=\"22\"\/>. \u041e\u0442\u0440\u0435\u0437\u043e\u043a <em>KL<\/em> \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u043e\u0439 <em>A<\/em> \u0432 \u043f\u0440\u043e\u043f\u043e\u0440\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"r_0:r_1\" alt=\"r_0:r_1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bca\/236\/ba2\/bca236ba22dd1fb776dfd2cd4db326b4.svg\" width=\"52\" height=\"15\"\/>.  <strong>\u0414\u043b\u0438\u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0430 <em>AB<\/em> \u0438 \u0435\u0441\u0442\u044c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 MI.<\/strong><\/p>\n<p>\u041c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u0430\u044f \u0434\u043b\u0438\u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0430 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u0430\u043a\u043e\u0439 \u0442\u043e\u0447\u043a\u0435, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u043d\u0430\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f'\" alt=\"f'\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fbf\/f77\/e0c\/fbff77e0ca7ddeca59f1cdb8eb7810f4.svg\" width=\"17\" height=\"23\"\/> \u0440\u0430\u0432\u043d\u0430 \u0443\u0433\u043b\u0443 \u043d\u0430\u043a\u043b\u043e\u043d\u0430 \u043e\u0442\u0440\u0435\u0437\u043a\u0430.<\/p>\n<p>\u041e\u0431\u043e\u0431\u0449\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0443 2.7 \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043c\u0435\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439, \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c:<\/p>\n<p><strong>\u0423\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 2.1:<\/strong> \u041f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043d\u0430\u043b\u0430 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f <em>\u043c\u0435\u0440\u043e\u0439 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u0438<\/em> \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f(x) = H({x_1, x_2, \\ldots, x_k})\" alt=\"f(x) = H({x_1, x_2, \\ldots, x_k})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e98\/f0e\/001\/e98f0e001973e0a324e2df2b8724ece4.svg\" width=\"208\" height=\"22\"\/> \u0432 \u0441\u0438\u043c\u043f\u043b\u0435\u043a\u0441\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f, \u0437\u0430\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u043c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u043c, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0440\u0430\u0437\u043d\u0438\u0446\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/443\/764\/bd2\/443764bd2517170882d42c047ddb4538.svg\" width=\"11\" height=\"21\"\/> \u043e\u0442 \u0430\u0444\u0438\u043d\u043d\u043e\u0439 (aka \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0439) \u0441\u0443\u043c\u043c\u044b \u0432\u0435\u0440\u0448\u0438\u043d \u0441\u0438\u043c\u043f\u043b\u0435\u043a\u0441\u0430 \u0438 \u0430\u0444\u0438\u043d\u043d\u043e\u0439 \u0441\u0443\u043c\u043c\u044b \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"f\" alt=\"f\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/7b5\/e30\/a54\/7b5e30a54e2671ac24cdb239e6fd8afc.svg\" width=\"11\" height=\"21\"\/> \u043d\u0430 \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u0445 \u0441\u0438\u043c\u043f\u043b\u0435\u043a\u0441\u0430. \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e \u0432\u0441\u0435\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c \u0432\u0435\u0441\u0430\u043c, \u0437\u0430\u0434\u0430\u044e\u0449\u0438\u0445 \u0430\u0444\u0438\u043d\u043d\u0443\u044e \u0441\u0443\u043c\u043c\u0443.<\/p>\n<p>\u0418\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e, \u0447\u0442\u043e \u043d\u0430 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043d\u0430\u043b\u0430 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u043a\u0430\u043a \u043d\u0430 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043c\u0435\u0440\u0443 \u043e\u0431\u044a\u0435\u043c\u0430, \u0437\u0430\u043a\u043b\u044e\u0447\u0451\u043d\u043d\u043e\u0433\u043e \u0432 \u0441\u0438\u043c\u043f\u043b\u0435\u043a\u0441\u0435, \u0437\u0430\u0434\u0430\u0432\u0430\u0435\u043c\u043e\u043c \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u043e\u043c \u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u043a\u0430\u043a \u0432\u0435\u0440\u0448\u0438\u043d\u0430\u043c\u0438.<\/p>\n<p><strong>\u041e\u043f\u0440. 2.4:<\/strong> \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"{P_1, P_2, \\ldots, P_n}\" alt=\"{P_1, P_2, \\ldots, P_n}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/62a\/bbd\/2f9\/62abbd2f9abc4356701c717a03d70c85.svg\" width=\"118\" height=\"20\"\/> \u043d\u0430 \u043e\u0434\u043d\u043e\u043c \u0438 \u0442\u043e\u043c \u0436\u0435 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. <a href=\"https:\/\/en.wikipedia.org\/wiki\/Jensen%E2%80%93Shannon_divergence\" rel=\"noopener noreferrer nofollow\"><strong>\u0414\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u0428\u0430\u043d\u043d\u043e\u043d\u0430-\u0414\u0436\u0435\u0439\u0441\u043e\u043d\u0430<\/strong><\/a> (Jensen\u2013Shannon Divergence, JSD) \u044d\u0442\u043e\u0433\u043e \u043d\u0430\u0431\u043e\u0440\u0430 c \u0432\u0435\u0441\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\pi_1, \\ldots, \\pi_n\\}\" alt=\"\\{\\pi_1, \\ldots, \\pi_n\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eb0\/322\/075\/eb03220750fa14ff69403b6dd0e4a3ed.svg\" width=\"104\" height=\"22\"\/> \u0432\u044b\u0447\u0438\u0441\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(input, output)\" alt=\"\\mathrm{MI}(input, output)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/e0b\/1db\/a15\/e0b1dba151d6766c2bfdfaf4425ab004.svg\" width=\"151\" height=\"22\"\/>\u0434\u043b\u044f<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"R=\\{\\pi_1, \\ldots,\\pi_n\\}, \\\\ T=\\|P_1,P_2,\\ldots, P_n\\|\" alt=\"R=\\{\\pi_1, \\ldots,\\pi_n\\}, \\\\ T=\\|P_1,P_2,\\ldots, P_n\\|\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/748\/699\/853\/748699853e8c8605c64d2046dfd240cb.svg\" width=\"697\" height=\"50\"\/><\/p>\n<p>\u0442\u043e \u0435\u0441\u0442\u044c<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"{\\rm JSD}_{\\pi_1, \\ldots, \\pi_n}(P_1, P_2, \\ldots, P_n) =\\\\= H\\left(\\sum_{i=1}^n \\pi_i P_i\\right) - \\sum_{i=1}^n \\pi_i H(P_i).\" alt=\"{\\rm JSD}_{\\pi_1, \\ldots, \\pi_n}(P_1, P_2, \\ldots, P_n) =\\\\= H\\left(\\sum_{i=1}^n \\pi_i P_i\\right) - \\sum_{i=1}^n \\pi_i H(P_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f64\/d7a\/22a\/f64d7a22a22cda1d7ef6bdb5dccf2773.svg\" width=\"697\" height=\"90\"\/><\/p>\n<p>\u0427\u0435\u043c \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043e\u0442\u043b\u0438\u0447\u0430\u044e\u0442\u0441\u044f \u0434\u0440\u0443\u0433 \u043e\u0442 \u0434\u0440\u0443\u0433\u0430, \u0442\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 JSD. \u041c\u0430\u043a\u0441\u0438\u043c\u0443\u043c<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\max_{\\pi_1, \\ldots, \\pi_n} {\\rm JSD}{\\pi_1, \\ldots, \\pi_n}(P_1, P_2, \\ldots, P_n)  = C(T)\" alt=\"\\max_{\\pi_1, \\ldots, \\pi_n} {\\rm JSD}{\\pi_1, \\ldots, \\pi_n}(P_1, P_2, \\ldots, P_n)  = C(T)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/079\/ea9\/345\/079ea93454423298abf16405afb2c4f8.svg\" width=\"380\" height=\"34\"\/><\/p>\n<p>\u0438 \u0435\u0441\u0442\u044c \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u043a\u0430\u043d\u0430\u043b\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"T=\\|P_1,P_2,\\ldots, P_n\\|.\" alt=\"T=\\|P_1,P_2,\\ldots, P_n\\|.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a80\/ef1\/aed\/a80ef1aed10595adb3cbf641830002ea.svg\" width=\"182\" height=\"22\"\/><\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.8:<\/strong> \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 <em>\u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <\/em><img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h)\" alt=\"(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/924\/1b5\/558\/9241b555860b0f2f8cfd2ca5f5179d91.svg\" width=\"49\" height=\"22\"\/>, \u0441 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma_w^2\" alt=\"\\sigma_w^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6a9\/a24\/938\/6a9a24938d9ca5c32473ba0ebadff50a.svg\" width=\"23\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma_h^2\" alt=\"\\sigma_h^2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fea\/fc9\/cd2\/feafc9cd256136bda5864a1508992e74.svg\" width=\"21\" height=\"25\"\/> \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u0438 \u043f\u0443\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u0430\u044f \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0439 \u0434\u043e\u0431\u0430\u0432\u043b\u0435\u043d\u0438\u0435\u043c \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0433\u043e \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0448\u0443\u043c\u0430 c \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0435\u0439 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma^2_n\" alt=\"\\sigma^2_n\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dd0\/c08\/b2a\/dd0c08b2abb7cd117463911694e33eb5.svg\" width=\"21\" height=\"22\"\/>: <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w = h + noise.\" alt=\"w = h + noise.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/437\/c51\/b17\/437c51b17981f01ef47e51dd0dcbb922.svg\" width=\"127\" height=\"18\"\/> \u0422\u043e\u0433\u0434\u0430  <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\sigma_w^2 = \\sigma_h^2 + \\sigma_n^2.\" alt=\"\\sigma_w^2 = \\sigma_h^2 + \\sigma_n^2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/a91\/07e\/386\/a9107e386137b05b5a2ded221a6d0a84.svg\" width=\"121\" height=\"25\"\/>  \u0427\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h)\" alt=\"\\mathrm{MI}(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/782\/22c\/9be\/78222c9bef7122f41aec24ae1d7e60b2.svg\" width=\"74\" height=\"22\"\/>?<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/03b\/287\/b16\/03b287b16fd8bef25efb1b2b51806ad1.svg\" width=\"14\" height=\"12\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h\" alt=\"h\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/353\/8fe\/9d7\/3538fe9d72f551686bb6a0e2e4b2ebc7.svg\" width=\"11\" height=\"17\"\/>\u0440\u0430\u0432\u043d\u044b<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"{1 \\over 2}\\cdot (1+\\log(2\\pi (\\sigma_h^2 + \\sigma_n^2))\\\\\\;\\;\\;\\mathrm{ \u0438 } \\;\\;\\;\\;{1 \\over 2}\\cdot (1+\\log(2\\pi \\sigma_h^2))\" alt=\"{1 \\over 2}\\cdot (1+\\log(2\\pi (\\sigma_h^2 + \\sigma_n^2))\\\\\\;\\;\\;\\mathrm{ \u0438 } \\;\\;\\;\\;{1 \\over 2}\\cdot (1+\\log(2\\pi \\sigma_h^2))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/bf7\/239\/eab\/bf7239eabad9626dfd8f6ff97ce247fc.svg\" width=\"615\" height=\"91\"\/><\/p>\n<p>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043f\u0430\u0440\u044b \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\{w,h\\}\" alt=\" \\{w,h\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/101\/01d\/3f5\/10101d3f5ecfd43ccbae0a1fcaf4d155.svg\" width=\"53\" height=\"22\"\/> \u0440\u0430\u0432\u043d\u0430<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"H(\\rho_{(w,h)})={1\\over 2}(1 + \\log(2\\pi \\sigma_h^2)) + {1\\over 2}(1 + \\log(2\\pi \\sigma_n^2))\" alt=\"H(\\rho_{(w,h)})={1\\over 2}(1 + \\log(2\\pi \\sigma_h^2)) + {1\\over 2}(1 + \\log(2\\pi \\sigma_n^2))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/91a\/d4d\/af5\/91ad4daf5e588d54387083a1de18cba8.svg\" width=\"423\" height=\"43\"\/><\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0435\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u043e\u0441\u043b\u0435 \u0441\u0443\u043c\u043c\u0435 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{h,noise\\}\" alt=\"\\{h,noise\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/fda\/1d5\/274\/fda1d527408293090808a4cb2f7ff2a1.svg\" width=\"86\" height=\"22\"\/>(\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043f\u0430\u0440\u044b \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0440\u0430\u0432\u043d\u0430 \u0441\u0443\u043c\u043c\u0435 \u0438\u0445 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439). \u0410 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{h, w\\}=\\{h,h+noise\\}\" alt=\"\\{h, w\\}=\\{h,h+noise\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5a0\/823\/6aa\/5a08236aa2600bb35a695058e36ed031.svg\" width=\"200\" height=\"22\"\/>\u0440\u0430\u0432\u043d\u0430 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u043f\u0430\u0440\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{h,noise\\},\" alt=\"\\{h,noise\\},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f8a\/bdc\/624\/f8abdc6247c505065a777ac9937f3cd2.svg\" width=\"91\" height=\"22\"\/> \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043b\u0438\u043d\u0435\u0439\u043d\u043e\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u0435 \u0432\u0435\u043a\u0442\u043e\u0440\u0430 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0434\u0430\u0451\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0441 \u0442\u043e\u0439 \u0436\u0435 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439 (\u0434\u043e\u043a\u0430\u0436\u0438\u0442\u0435 \u044d\u0442\u043e!).<\/p>\n<p>\u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(h,w) = H(\\rho_h) + H(\\rho_w) - H(\\rho_{(h,w)})\" alt=\"\\mathrm{MI}(h,w) = H(\\rho_h) + H(\\rho_w) - H(\\rho_{(h,w)})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/477\/7d1\/4c1\/4777d14c146516b8a2d63bda419abd2f.svg\" width=\"332\" height=\"25\"\/>\u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"\\mathrm{MI}(w, h) = {1 \\over 2}\\log(1+ {\\sigma_h^2 \\over \\sigma_n^2})\" alt=\"\\mathrm{MI}(w, h) = {1 \\over 2}\\log(1+ {\\sigma_h^2 \\over \\sigma_n^2})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/349\/e8e\/bf3\/349e8ebf3968caa056819b5cab9f6667.svg\" width=\"222\" height=\"53\"\/><\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 1: \u041a\u043e\u0433\u0434\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u044f (\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u044c) \u0448\u0443\u043c\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"noise\" alt=\"noise\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6d5\/d55\/90e\/6d5d5590efb4b526b369e52956a4cbea.svg\" width=\"46\" height=\"16\"\/> \u0440\u0430\u0432\u043d\u0430 \u0434\u0438\u0441\u043f\u0435\u0440\u0441\u0438\u0438 (\u043c\u043e\u0449\u043d\u043e\u0441\u0442\u0438) \u0441\u0438\u0433\u043d\u0430\u043b\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w,\" alt=\"w,\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/806\/b9a\/063\/806b9a063dd3c543a6a144dabd580415.svg\" width=\"19\" height=\"15\"\/> \u043a\u0430\u0436\u0434\u043e\u0435 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/089\/b94\/295\/089b94295dfeda016f96989abca5ba11.svg\" width=\"14\" height=\"12\"\/> \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 0.5 \u0431\u0438\u0442\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h.\" alt=\"h.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/758\/bf4\/f47\/758bf4f472230ecb4921598905fc6052.svg\" width=\"17\" height=\"17\"\/><\/p>\n<p>\u0417\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 2: \u0421\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u044d\u0442\u043e\u0442 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442 \u0438 \u0435\u0441\u0442\u044c <a href=\"https:\/\/en.wikipedia.org\/wiki\/Shannon%E2%80%93Hartley_theorem\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u0428\u0430\u043d\u043d\u043e\u043d\u0430-\u0425\u0430\u0440\u0442\u043b\u0438<\/a> \u0432  \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u043e\u043c \u0432\u0438\u0434\u0435.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.9:<\/strong> \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h_k)\" alt=\"(w, h_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/660\/3df\/b3c\/6603dfb3cd3f45974b387c1f519d095c.svg\" width=\"58\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d54\/fab\/d7c\/d54fabd7cfad5d94d6366d53d6d7c1e1.svg\" width=\"14\" height=\"12\"\/> \u0438\u043c\u0435\u0435\u0442 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/f1f\/267\/1bc\/f1f2671bcc2960e7bdefa8cf0896ae8a.svg\" width=\"11\" height=\"17\"\/>, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h_k = \\mathrm{floor}(k \\cdot w) \/ k\" alt=\"h_k = \\mathrm{floor}(k \\cdot w) \/ k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6f4\/9c3\/961\/6f49c39610f2d88fa7d1206fe9e94f51.svg\" width=\"160\" height=\"22\"\/>. \u0427\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h_k)\" alt=\"\\mathrm{MI}(w, h_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/314\/f56\/676\/314f5667644b9c3f594723fa95714a57.svg\" width=\"83\" height=\"22\"\/>? \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0441\u043e\u0445\u0440\u0430\u043d\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u0438 \u043e\u043a\u0440\u0443\u0433\u043b\u0435\u043d\u0438\u0438 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0434\u043e \u043a\u0430\u043a\u043e\u0433\u043e-\u0442\u043e \u0437\u043d\u0430\u043a\u0430. \u0421\u0440\u0430\u0432\u043d\u0438\u0442\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h_{10})\" alt=\"\\mathrm{MI}(w, h_{10})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cdb\/5cd\/a5b\/cdb5cda5bcd75852e88c5d5d4f60be95.svg\" width=\"90\" height=\"22\"\/> \u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h_{100}).\" alt=\"\\mathrm{MI}(w, h_{100}).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/beb\/166\/cc3\/beb166cc3a28fe4555082694815dbbd9.svg\" width=\"102\" height=\"22\"\/><\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043d\u0430 \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435. \u0418\u0437 \u043f\u0435\u0440\u0432\u043e\u0439 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043e\u0434\u043d\u043e\u0437\u043d\u0430\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0432\u0442\u043e\u0440\u043e\u0439. \u0417\u043d\u0430\u0447\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f MI \u0440\u0430\u0432\u043d\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0432\u0442\u043e\u0440\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"H(\\lambda^{1\/k})\/(1 - \\lambda^{1\/k})\" alt=\"H(\\lambda^{1\/k})\/(1 - \\lambda^{1\/k})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/14d\/d18\/160\/14dd18160666afd391abe93cdd2fd12e.svg\" width=\"160\" height=\"26\"\/>.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.10:<\/strong> \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h_k)\" alt=\"(w, h_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/96a\/347\/e40\/96a347e407a9cb1b5def7408e80399fb.svg\" width=\"58\" height=\"22\"\/>, \u0433\u0434\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w\" alt=\"w\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/413\/02a\/25b\/41302a25b9e901f51de8ce529831d0ce.svg\" width=\"14\" height=\"12\"\/> \u0438\u043c\u0435\u0435\u0442 \u0431\u0435\u0442\u0430-\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(\\alpha,\\;\\beta)\" alt=\"(\\alpha,\\;\\beta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/39a\/f0f\/0ef\/39af0f0ef101e7809debfbbe31d55aad.svg\" width=\"53\" height=\"22\"\/>, \u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"h_k\" alt=\"h_k\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6e5\/e76\/d2f\/6e5e76d2f9a9a38690e1151e49cc598d.svg\" width=\"20\" height=\"20\"\/>\u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0438\u0437 \u0431\u0438\u043d\u043e\u043c\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u043c\u0438 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(p, n) = (w, k)\" alt=\"(p, n) = (w, k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/2a3\/621\/a7f\/2a3621a7f81da1cddb84cce713a1d44a.svg\" width=\"119\" height=\"22\"\/>. \u0427\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h_k)\" alt=\"\\mathrm{MI}(w, h_k)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/983\/0a6\/54b\/9830a654b419d8624d80ee1b044d8d8c.svg\" width=\"83\" height=\"22\"\/>? \u0414\u0440\u0443\u0433\u0438\u043c\u0438 \u0441\u043b\u043e\u0432\u0430\u043c\u0438, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043f\u0440\u043e \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0439 CTR \u0440\u0435\u043a\u043b\u0430\u043c\u043d\u043e\u0433\u043e \u043e\u0431\u044a\u044f\u0432\u043b\u0435\u043d\u0438\u044f  \u043c\u043e\u0436\u043d\u043e \u0438\u0437\u0432\u043b\u0435\u0447\u044c \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u0438\u0437 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u043a\u043b\u0438\u043a\u043e\u0432 \u043d\u0430 <em>k<\/em> \u043f\u043e\u043a\u0430\u0437\u0430\u0445. <\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.11:<\/strong> \u0414\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h)\" alt=\"(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/935\/0f0\/8b7\/9350f08b7daa7ded8bdf8eca3d92c071.svg\" width=\"49\" height=\"22\"\/>\u043f\u043e\u043b\u0443\u0447\u0430\u044e\u0442\u0441\u044f \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c \u2013 \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430<img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\lambda\" alt=\" \\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dac\/ec9\/cbb\/dacec9cbb29be82fbd602e575a7cc346.svg\" width=\"11\" height=\"17\"\/>\u0438\u0437 \u044d\u043a\u0441\u043f\u043e\u043d\u0435\u043d\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0441\u043e \u0441\u0440\u0435\u0434\u043d\u0438\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda_0\" alt=\"\\lambda_0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/6ea\/267\/24a\/6ea26724a33465ba69a4fbb6c69f9fa2.svg\" width=\"20\" height=\"20\"\/>, \u0430 \u043f\u043e\u0442\u043e\u043c \u0441\u044d\u043c\u043f\u043b\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0434\u0432\u0435 \u043f\u0443\u0430\u0441\u0441\u043e\u043d\u043e\u0432\u0441\u043a\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435  \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"(w, h)\" alt=\"(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/935\/0f0\/8b7\/9350f08b7daa7ded8bdf8eca3d92c071.svg\" width=\"49\" height=\"22\"\/>\u0441  \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\lambda\" alt=\"\\lambda\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/dac\/ec9\/cbb\/dacec9cbb29be82fbd602e575a7cc346.svg\" width=\"11\" height=\"17\"\/>. \u0427\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(w, h)\" alt=\"\\mathrm{MI}(w, h)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/5fa\/4af\/711\/5fa4af7117480c46442dcb0bf5b66444.svg\" width=\"74\" height=\"22\"\/>? \u041e\u0434\u043d\u0430 \u0438\u0437 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0439 \u044d\u0442\u043e\u0439 \u0437\u0430\u0434\u0430\u0447\u0438 \u0442\u0430\u043a\u0430\u044f: \u0447\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u0430 \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043c\u0435\u0436\u0434\u0443 \u0447\u0438\u0441\u043b\u043e\u043c  \u043f\u0440\u043e\u0434\u0430\u0436 \u0432 \u043e\u0434\u043d\u0443 \u043d\u0435\u0434\u0435\u043b\u044e \u0438 \u0447\u0438\u0441\u043b\u043e\u043c \u043f\u0440\u043e\u0434\u0430\u0436 \u0432 \u0434\u0440\u0443\u0433\u0443\u044e \u043d\u0435\u0434\u0435\u043b\u044e \u043d\u0435\u043a\u043e\u0433\u043e \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043d\u0430\u043c \u0442\u043e\u0432\u0430\u0440\u0430. <\/p>\n<p>\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043c\u043e\u0436\u043d\u043e \u043c\u043e\u0434\u0435\u043b\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e <a href=\"https:\/\/en.wikipedia.org\/wiki\/Graphical_model\" rel=\"noopener noreferrer nofollow\">\u0433\u0440\u0430\u0444\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u044b\u0445 \u043c\u043e\u0434\u0435\u043b\u0435\u0439<\/a>, \u0432 \u0447\u0430\u0441\u0442\u043d\u043e\u0441\u0442\u0438, <a href=\"https:\/\/en.wikipedia.org\/wiki\/Bayesian_network\" rel=\"noopener noreferrer nofollow\">\u0431\u0430\u0439\u0435\u0441\u043e\u0432\u0441\u043a\u0438\u0445 \u0441\u0435\u0442\u0435\u0439<\/a>.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.12:<\/strong> \u0421\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"target\" alt=\"target\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/545\/c27\/4da\/545c274da9b6d990718c9fdd922da6d1.svg\" width=\"52\" height=\"20\"\/>\u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u0438\u0437 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\" \\{f_1,\\ldots, f_n,\\; noise\\}\" alt=\" \\{f_1,\\ldots, f_n,\\; noise\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/cd6\/c79\/2d7\/cd6c792d7a0e7e4f017f80b90f488add.svg\" width=\"162\" height=\"22\"\/>\u0441 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435\u043c <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92a\/b39\/095\/92ab39095f239d951916b312af3274fe.svg\" width=\"63\" height=\"23\"\/> \u0444\u043e\u0440\u043c\u0443\u043b\u0435 <\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"target=\\sum_i w_i\\cdot f_i+w_{noise}\\cdot noise\" alt=\"target=\\sum_i w_i\\cdot f_i+w_{noise}\\cdot noise\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/d64\/abe\/dc0\/d64abedc0740f3d6ae5711c2e2c27557.svg\" width=\"293\" height=\"45\"\/><\/p>\n<p>\u041a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u0435 \u0432\u0435\u0441\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{w_1,\\ldots,w_n\\}\" alt=\"\\{w_1,\\ldots,w_n\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/ca3\/0ab\/4e9\/ca30ab4e925783db22b4d110d208f6d9.svg\" width=\"110\" height=\"22\"\/>\u0432\u0430\u043c \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u044b, \u043d\u043e \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0435 \u0437\u043d\u0430\u043d\u0438\u0435 \u043e \u043d\u0438\u0445, \u044d\u0442\u043e \u0442\u043e, \u0447\u0442\u043e \u043e\u043d\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e \u0431\u044b\u043b\u0438 \u0441\u044d\u043f\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u044b \u0438\u0437 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathcal{N}(0,1)\" alt=\"\\mathcal{N}(0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/92a\/b39\/095\/92ab39095f239d951916b312af3274fe.svg\" width=\"63\" height=\"23\"\/>. \u0412\u044b \u0440\u0435\u0448\u0430\u0435\u0442\u0435 \u0437\u0430\u0434\u0430\u0447\u0443 \u0432\u044b\u0447\u0438\u0441\u043b\u0435\u043d\u0438\u044f \u043e\u0446\u0435\u043d\u043e\u043a \u0432\u0435\u0441\u043e\u0432 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\{\\hat{w_i}\\}_i\" alt=\"\\{\\hat{w_i}\\}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/eda\/d21\/523\/edad21523106d8365932e54a86cd1edf.svg\" width=\"47\" height=\"22\"\/>\u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u043c\u0435\u0442\u043e\u0434\u043e\u043c \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 \u0441\u0442\u0440\u043e\u0438\u0442\u0435 \u043f\u0440\u043e\u0433\u043d\u043e\u0437<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"formula\" source=\"predict = \\sum_i \\hat{w_i}\\cdot f_i\" alt=\"predict = \\sum_i \\hat{w_i}\\cdot f_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/117\/b66\/7f8\/117b667f8413e07ceb7b9b1e8403da30.svg\" width=\"169\" height=\"45\"\/><\/p>\n<p>\u041a\u0430\u043a \u0431\u0443\u0434\u0435\u0442 \u0440\u0430\u0441\u0442\u0438 \u043a\u0432\u0430\u0434\u0440\u0430\u0442\u0438\u0447\u043d\u0430\u044f \u043e\u0448\u0438\u0431\u043a\u0430 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"mse = M_{(target - predict)^2}\" alt=\"mse = M_{(target - predict)^2}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/78b\/f4a\/b9f\/78bf4ab9f1fa2d40952c6191224e0a98.svg\" width=\"189\" height=\"26\"\/>\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"\\mathrm{MI}(predict, target)\" alt=\"\\mathrm{MI}(predict, target)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/772\/70c\/3f7\/77270c3f76a0a5c222ff952837179950.svg\" width=\"161\" height=\"22\"\/>\u0441 \u0440\u043e\u0441\u0442\u043e\u043c \u0440\u0430\u0437\u043c\u0435\u0440\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0435\u0433\u043e \u043f\u0443\u043b\u0430? \u041f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u0443\u0439\u0442\u0435 \u043e\u0442\u0432\u0435\u0442 \u0434\u043b\u044f \u0441\u043b\u0443\u0447\u0430\u044f <img loading=\"lazy\" decoding=\"async\" class=\"formula inline\" source=\"w_{noise}=0\" alt=\"w_{noise}=0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/upload_files\/282\/ff4\/cbc\/282ff4cbcd724e754e6fee52691cbac3.svg\" width=\"84\" height=\"20\"\/>.<\/p>\n<\/p>\n<\/div>\n<\/div>\n<\/div>\n<div class=\"v-portal\" style=\"display:none;\"><\/div>\n<\/div>\n<p> <!----> <!----><br \/> \u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/post\/687546\/\"> https:\/\/habr.com\/ru\/post\/687546\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<div><\/div>\n<div id=\"post-content-body\">\n<div>\n<div class=\"article-formatted-body article-formatted-body article-formatted-body_version-2\">\n<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412 <a href=\"https:\/\/habr.com\/ru\/post\/686806\/\" rel=\"noopener noreferrer nofollow\">\u0447\u0430\u0441\u0442\u0438 1 <\/a>\u043c\u044b \u043f\u043e\u0437\u043d\u0430\u043a\u043e\u043c\u0438\u043b\u0438\u0441\u044c \u0441 \u043f\u043e\u043d\u044f\u0442\u0438\u0435\u043c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n<p>\u0412 \u044d\u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u044f \u0440\u0430\u0441\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u044e \u043f\u0440\u043e \u0412\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e (Mutual Information) \u2013 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u044e, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0442\u043a\u0440\u044b\u0432\u0430\u0435\u0442 \u0434\u0432\u0435\u0440\u0438 \u0432 \u043f\u043e\u043c\u0435\u0445\u043e\u0443\u0441\u0442\u043e\u0439\u0447\u0438\u0432\u043e\u0435 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435, \u0430\u043b\u0433\u043e\u0440\u0438\u0442\u043c\u044b \u0441\u0436\u0430\u0442\u0438\u044f, \u0430 \u0442\u0430\u043a\u0436\u0435 \u0434\u0430\u0451\u0442 \u043d\u043e\u0432\u044b\u0439 \u0432\u0437\u0433\u043b\u044f\u0434 \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0438 \u0440\u0435\u0433\u0440\u0435\u0441\u0441\u0438\u0438 \u0438 Machine Learning.  <\/p>\n<p>\u042d\u0442\u043e \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u0430\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u0430, \u0447\u0442\u043e\u0431\u044b \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438 \u043f\u0435\u0440\u0435\u0439\u0442\u0438 \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c ML \u043a\u0430\u043a \u043a \u0437\u0430\u0434\u0430\u0447\u0430\u043c \u0438\u0437\u0432\u043b\u0435\u0447\u0435\u043d\u0438\u044f \u0432\u0437\u0430\u0438\u043c\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u0444\u0430\u043a\u0442\u043e\u0440\u0430\u043c\u0438 \u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u0443\u0435\u043c\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u043e\u0439. \u041e\u0434\u0438\u043d \u0438\u0437 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u0432 \u043e\u0431\u044a\u044f\u0441\u043d\u0435\u043d\u0438\u044f \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0441\u0442\u0438 ML \u043c\u043e\u0434\u0435\u043b\u0435\u0439 \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u0438 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0435 <em>\u0431\u0443\u0442\u044b\u043b\u043e\u0447\u043d\u043e\u0435 \u0433\u043e\u0440\u043b\u044b\u0448\u043a\u043e<\/em>, \u043e\u0433\u0440\u0430\u043d\u0438\u0447\u0435\u043d\u043d\u043e\u0435 \u0430\u0432\u0442\u043e\u043f\u043e\u0434\u0441\u0442\u0440\u0430\u0438\u0432\u0430\u0435\u043c\u044b\u043c \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435\u043c \u0431\u0438\u0442 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u0430\u0435\u0442\u0441\u044f (\u0434\u0438\u0441\u0442\u0438\u043b\u043b\u0438\u0440\u0443\u0435\u0442\u0441\u044f) \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.  \u041d\u043e \u043f\u0440\u043e \u044d\u0442\u043e \u2013 \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0439 \u0447\u0430\u0441\u0442\u0438.<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u0431\u0443\u0434\u0435\u0442 \u0442\u0440\u0438 \u0432\u0430\u0436\u043d\u044b\u0445 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438:<\/p>\n<ul>\n<li>\n<p>\u043f\u0435\u0440\u0432\u0430\u044f \u2013 \u043f\u0440\u043e \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0438 \u0438\u0445 \u0432\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e;<\/p>\n<\/li>\n<li>\n<p>\u0432\u0442\u043e\u0440\u0430\u044f \u2013 \u043f\u0440\u043e \u043f\u043e\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0441\u0430\u043c\u043e\u0439 \u043a\u043e\u043d\u0446\u0435\u043f\u0446\u0438\u0438 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438  \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0438 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u043d\u0443\u043b\u0435\u0432\u0430\u044f \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u043d\u0435 \u0437\u043d\u0430\u0447\u0438\u0442 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c;<\/p>\n<\/li>\n<li>\n<p>\u0438 \u0442\u0440\u0435\u0442\u044c\u044f \u2013 \u043f\u0440\u043e \u0442\u043e, \u0447\u0442\u043e \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u0430\u044f \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u043e\u0433\u043e \u043a\u0430\u043d\u0430\u043b\u0430 \u0438\u043c\u0435\u0435\u0442 \u043f\u0440\u043e\u0441\u0442\u0443\u044e \u0433\u0435\u043e\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0443\u044e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044e \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0440\u0443 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u0438 \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n<\/li>\n<\/ul>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u044b \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u0443\u043f\u0440\u043e\u0449\u0451\u043d\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 <a href=\"https:\/\/en.wikipedia.org\/wiki\/Shannon%E2%80%93Hartley_theorem\" rel=\"noopener noreferrer nofollow\">\u0442\u0435\u043e\u0440\u0435\u043c\u044b \u0428\u0430\u043d\u043d\u043e\u043d\u0430-\u0425\u0430\u0440\u0442\u043b\u0438<\/a> \u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0439 \u043f\u0440\u043e\u043f\u0443\u0441\u043a\u043d\u043e\u0439 \u0441\u043f\u043e\u0441\u043e\u0431\u043d\u043e\u0441\u0442\u0438 \u043a\u0430\u043d\u0430\u043b\u0430 \u0441 \u0448\u0443\u043c\u043e\u043c.<\/p>\n<h2>2. Mutual Information<\/h2>\n<p>\u041a\u043e\u0433\u0434\u0430 \u0435\u0441\u0442\u044c \u0434\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b, \u043c\u043e\u0436\u043d\u043e \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u043e \u0442\u043e\u043c, \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u043e\u0431  \u043e\u0434\u043d\u043e\u0439 \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442\u0441\u044f \u0432 \u0434\u0440\u0443\u0433\u043e\u0439. <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#task_1.12\" rel=\"noopener noreferrer nofollow\">\u041f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0432 \u0447\u0430\u0441\u0442\u0438 1<\/a> \u043f\u043e \u0441\u0443\u0442\u0438 \u0431\u044b\u043b\u0438 \u043f\u0440\u043e \u044d\u0442\u043e \u2013 \u043f\u0440\u043e  \u0412\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d.<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c, \u0434\u043b\u044f \u043f\u0440\u0438\u043c\u0435\u0440\u0430, \u043f\u0430\u0440\u0443= (\u0432\u0435\u0441_\u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430, \u0440\u043e\u0441\u0442_\u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430). \u0414\u043b\u044f \u043f\u0440\u043e\u0441\u0442\u043e\u0442\u044b \u0431\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u044d\u0442\u043e \u0446\u0435\u043b\u044b\u0435 \u0447\u0438\u0441\u043b\u0430 \u0432 \u043a\u0438\u043b\u043e\u0433\u0440\u0430\u043c\u043c\u0430\u0445 \u0438 \u0441\u0430\u043d\u0442\u0438\u043c\u0435\u0442\u0440\u0430\u0445 \u0441 \u043a\u043e\u043d\u0435\u0447\u043d\u044b\u043c \u0447\u0438\u0441\u043b\u043e\u043c \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u0422\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438, \u043c\u044b \u043c\u043e\u0433\u043b\u0438 \u0431\u044b \u0441\u043e\u0431\u0440\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 7 \u043c\u043b\u0440\u0434. \u043b\u044e\u0434\u0435\u0439 \u0438 \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0434\u0432\u0443\u043c\u0435\u0440\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u043f\u0430\u0440\u044b \u2014 <strong>\u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435<\/strong> \u0434\u0432\u0443\u0445 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u041c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430 (\u0437\u0430\u0431\u044b\u0432 \u043f\u0440\u043e \u0440\u043e\u0441\u0442), \u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u043e\u0441\u0442\u0430 (\u0437\u0430\u0431\u044b\u0432 \u043e \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u0438\u0438 \u0432\u0435\u0441\u0430). \u042d\u0442\u0438 \u0434\u0432\u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <strong>\u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438<\/strong> \u0434\u043b\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u0438 <\/p>\n<p>\u042d\u0442\u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432 \u0434\u0430\u043d\u043d\u043e\u043c  \u043a\u043e\u043d\u0442\u0435\u043a\u0441\u0442\u0435 \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c <strong>\u0430\u043f\u0440\u0438\u043e\u0440\u043d\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438<\/strong> \u2014 \u043e\u043d\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043d\u0430\u0448\u0435\u043c\u0443 \u0437\u043d\u0430\u043d\u0438\u044e \u043e \u0432\u0435\u0441\u0435 \u0438 \u0440\u043e\u0441\u0442\u0435, \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u043d\u0438\u0447\u0435\u0433\u043e \u043d\u0435 \u0437\u043d\u0430\u0435\u043c \u043f\u0440\u043e \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430.<\/p>\n<p>\u042f\u0441\u043d\u043e, \u0447\u0442\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u043e \u0440\u043e\u0441\u0442\u0435 \u0447\u0435\u043b\u043e\u0432\u0435\u043a\u0430 \u0437\u0430\u0441\u0442\u0430\u0432\u0438\u0442 \u043d\u0430\u0441 \u043f\u0435\u0440\u0435\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435 &#171;\u0440\u043e\u0441\u0442 = 2 \u043c\u0435\u0442\u0440\u0430 10 \u0441\u043c&#187; \u0441\u043c\u0435\u0441\u0442\u0438\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u044c \u0431\u043e\u043b\u044c\u0448\u0438\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439. \u041d\u043e\u0432\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430 \u043f\u043e\u0441\u043b\u0435 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c <strong>\u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u044b\u043c<\/strong>. \u0421\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0435\u043d\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043f\u0438\u0441\u0430\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u043e\u0439 \u0432 \u044d\u0442\u043e\u043c \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438, \u043a\u0430\u043a \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0430\u043f\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0438 \u0430\u043f\u043e\u0441\u0442\u0435\u0440\u0438\u043e\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439:<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c <strong>\u0441\u043d\u0430\u0440\u0443\u0436\u0438 \u0444\u0438\u0433\u0443\u0440\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043e\u043a \u044f \u043f\u0438\u0448\u0443 \u0438\u043d\u0434\u0435\u043a\u0441<\/strong>,  \u043f\u043e \u043a\u043e\u0442\u043e\u0440\u043e\u043c\u0443 \u043d\u0443\u0436\u043d\u043e &#171;\u0431\u0435\u0436\u0430\u0442\u044c&#187; \u0432\u043d\u0443\u0442\u0440\u0438 \u0444\u0438\u0433\u0443\u0440\u043d\u044b\u0445 \u0441\u043a\u043e\u0431\u043e\u043a, <strong>\u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0441\u043f\u0438\u0441\u043e\u043a<\/strong>, \u0430 \u0435\u0441\u043b\u0438 \u0438\u043d\u0434\u0435\u043a\u0441\u043e\u0432 \u0434\u0432\u0430, \u0442\u043e<strong> \u043c\u0430\u0442\u0440\u0438\u0446\u0443<\/strong>.<\/p>\n<p>\u0412\u0430\u0436\u043d\u043e \u043e\u0442\u043c\u0435\u0442\u0438\u0442\u044c, \u0447\u0442\u043e \u043d\u0438\u043a\u0442\u043e \u043d\u0435 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u0443\u0435\u0442, \u0447\u0442\u043e \u044d\u0442\u0430 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0431\u0443\u0434\u0435\u0442 \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u0430\u044f. \u0412\u043e\u0437\u043c\u043e\u0436\u043d\u043e \u0442\u0430\u043a\u043e\u0435 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043f\u0440\u0438 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0438\u043c\u0435\u0435\u0442 \u0431<strong>\u043e<\/strong>\u043b\u044c\u0448\u0443\u044e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e (\u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u043d\u043e\u0441\u0442\u044c), \u043d\u0435\u0436\u0435\u043b\u0438 \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 . \u041d\u043e <strong>\u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c<\/strong> \u0434\u043b\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e, \u0430 \u0438\u043c\u0435\u043d\u043d\u043e, \u043c\u0430\u0442. \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043f\u043e\u043b\u043e\u0436\u0438\u0442\u0435\u043b\u044c\u043d\u043e:<\/p>\n<p>\u042d\u0442\u0443 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0443 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043d\u0430\u0437\u0432\u0430\u0442\u044c \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439 \u043e \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435  \u0432 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0435 . <strong>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043e\u043d\u0430 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u0430 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043f\u0435\u0440\u0435\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0432 \u043f\u0430\u0440\u0435<\/strong> .<\/p>\n<p><strong>\u041e\u043f\u0440. 2.1:<\/strong> <strong>\u0412\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d  \u2013  \u044d\u0442\u043e<\/strong><\/p>\n<p>\u0438\u043b\u0438<\/p>\n<p>\u0438\u043b\u0438<\/p>\n<p>\u042d\u0442\u043e \u0442\u0440\u0438 \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u044b\u0445 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u2014 \u044d\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f  \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u0443 \u043a\u043e\u0442\u043e\u0440\u043e\u0433\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u043d\u0435 \u0447\u0438\u0441\u043b\u0430, \u0430 \u043f\u0430\u0440\u044b \u0447\u0438\u0441\u0435\u043b . \u042d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u043e\u043a\u0430\u0436\u0435\u043c \u043d\u0438\u0436\u0435.<\/p>\n<p>\u0415\u0441\u0442\u044c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0442\u043e\u0433\u043e,  \u0447\u0435\u043c\u0443 \u0440\u0430\u0432\u043d\u043e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <em>MI<\/em>: <\/p>\n<figure class=\"full-width\"><figcaption><\/figcaption><\/figure>\n<p>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u043a\u0440\u0443\u0433\u0438 \u2013 \u0437\u0435\u043b\u0451\u043d\u044b\u0439 \u0438 \u043a\u0440\u0430\u0441\u043d\u043e\u0432\u0430\u0442\u044b\u0439, \u0438\u0445 \u043f\u043b\u043e\u0449\u0430\u0434\u0438  \u0440\u0430\u0432\u043d\u044b \u0438 , \u0430 \u043a\u043e\u0440\u0438\u0447\u043d\u0435\u0432\u0430\u044f \u043f\u043b\u043e\u0449\u0430\u0434\u044c \u0438\u0445 \u043f\u0435\u0440\u0435\u0441\u0435\u0447\u0435\u043d\u0438\u044f \u043a\u0430\u043a \u0440\u0430\u0437 \u0440\u0430\u0432\u043d\u0430 <\/p>\n<details class=\"spoiler\">\n<summary>\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043a\u0430\u043a \u043c\u0435\u0440\u0430<\/summary>\n<div class=\"spoiler__content\">\n<p>\u042d\u0442\u0430 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u0441 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u043d\u0435 \u0431\u043e\u043b\u0435\u0435 \u0447\u0435\u043c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f, \u043f\u043e\u0434\u0447\u0451\u0440\u043a\u0438\u0432\u0430\u044e\u0449\u0430\u044f, \u0447\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u2013 \u044d\u0442\u043e \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430, \u0438 \u0447\u0442\u043e\u0442\u043e\u0436\u0435 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430,  \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043c\u0435\u043d\u044c\u0448\u0435 \u043b\u0438\u0431\u043e \u0440\u0430\u0432\u043d\u0430 \u043e\u0431\u0435\u0438\u0445 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u0438 . \u041d\u043e, \u0441 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0435\u0441\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u044b\u0435 \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b, \u0447\u0442\u043e \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043f\u0440\u043e\u0441\u0442\u0440\u0430\u043d\u0441\u0442\u0432\u043e \u0441 \u043c\u0435\u0440\u043e\u0439, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u0430\u044f \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443,  \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u043f\u0440\u044f\u043c\u043e\u043c\u0443 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d (\u0442\u043e \u0435\u0441\u0442\u044c \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u0435 \u0432 \u043f\u0430\u0440\u0443), \u0430 \u043c\u0435\u0440\u0430 \u043f\u043e\u0434\u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432 \u0438 \u0435\u0441\u0442\u044c \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. <\/p>\n<\/div>\n<\/details>\n<p>\u0420\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u0435\u0435 \u043f\u0435\u0440\u0432\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435:<\/p>\n<p>\u0417\u0430\u043f\u0438\u0441\u044c  \u2014 \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u043a\u0440\u0430\u0449\u0435\u043d\u0438\u0435 \u0434\u043b\u044f<\/p>\n<p>\u0438 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f <a href=\"https:\/\/en.wikipedia.org\/wiki\/Conditional_entropy\" rel=\"noopener noreferrer nofollow\">\u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439<\/a>.<\/p>\n<p>\u0414\u043b\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <\/p>\n<p>\u0442\u0430\u043a \u043a\u0430\u043a \u043f\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438  \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0433\u043e  \u0430 \u0437\u043d\u0430\u0447\u0438\u0442 <strong>\u0434\u043b\u044f<\/strong> <strong>\u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0432\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 0<\/strong>. <\/p>\n<p>\u041e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u0432 \u043e\u0431\u0440\u0430\u0442\u043d\u0443\u044e \u0441\u0442\u043e\u0440\u043e\u043d\u0443 \u0442\u043e\u0436\u0435 \u0432\u0435\u0440\u043d\u043e, \u0442\u043e \u0435\u0441\u0442\u044c \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435  \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0410 \u0432\u043e\u0442 \u0434\u043b\u044f <a href=\"https:\/\/ru.wikipedia.org\/wiki\/%D0%9A%D0%BE%D1%80%D1%80%D0%B5%D0%BB%D1%8F%D1%86%D0%B8%D1%8F\" rel=\"noopener noreferrer nofollow\">\u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u0438<\/a> \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0435 \u0443\u0442\u0432\u0435\u0440\u0436\u0434\u0435\u043d\u0438\u0435 \u0431\u044b\u043b\u043e \u0431\u044b \u043d\u0435\u0432\u0435\u0440\u043d\u044b\u043c.<\/p>\n<p>\u0427\u0442\u043e\u0431\u044b \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 MI, \u0443\u0434\u043e\u0431\u043d\u043e \u0432\u0432\u0435\u0441\u0442\u0438 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f:<\/p>\n<ul>\n<li>\n<p> \u2014  \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u043e\u0441\u0442 \u0438 \u0432\u0435\u0441 \u0440\u0430\u0432\u043d\u044b .<\/p>\n<\/li>\n<li>\n<p>\u2014 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0440\u043e\u0441\u0442  \u0440\u0430\u0432\u0435\u043d  (\u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u043e\u0441\u0442\u0430).<\/p>\n<\/li>\n<li>\n<p>\u2014  \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0432\u0435\u0441  \u0440\u0430\u0432\u0435\u043d  (\u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0432\u0435\u0441\u0430).<\/p>\n<\/li>\n<\/ul>\n<p>\u0411\u0443\u0434\u0435\u043c \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0432\u0441\u0435 \u044d\u0442\u0438 \u0447\u0438\u0441\u043b\u0430 \u043d\u0435 \u0440\u0430\u0432\u043d\u044b 0.<\/p>\n<p>\u0412\u043e-\u043f\u0435\u0440\u0432\u044b\u0445, \u0437\u0430\u043c\u0435\u0442\u0438\u043c, \u0447\u0442\u043e <\/p>\n<p>\u0414\u0430\u043b\u0435\u0435 \u0434\u0435\u043b\u0430\u0435\u043c \u043f\u043e\u0434\u0441\u0442\u0430\u043d\u043e\u0432\u043a\u0438 \u0438 \u043f\u0440\u043e\u0441\u0442\u044b\u0435 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0441\u0442\u044c \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0438 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:<\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0435\u043d\u0438\u0435 \u0441\u043b\u0443\u0447\u0430\u044f, \u043a\u043e\u0433\u0434\u0430 \u043a\u0430\u043a\u0438\u0435-\u0442\u043e \u0438\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0440\u0430\u0432\u043d\u044b \u043d\u0443\u043b\u044e \u043e\u0441\u0442\u0430\u0432\u0438\u043c \u0443\u0447\u0435\u0431\u043d\u0438\u043a\u0430\u043c.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.1:<\/strong> \u041f\u0440\u0438\u0432\u0435\u0434\u0438\u0442\u0435 \u043f\u0440\u0438\u043c\u0435\u0440 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d, \u0434\u043b\u044f \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e, \u0430  \u043d\u0435 \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.2:<\/strong> \u0414\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043c\u043d\u043e\u0433\u043e \u0440\u0430\u0437 \u0438\u0437\u043c\u0435\u0440\u0438\u043b\u0438 \u0438 \u043d\u0430\u043d\u0435\u0441\u043b\u0438 \u0442\u043e\u0447\u043a\u0438 \u043d\u0430 \u043f\u043b\u043e\u0441\u043a\u043e\u0441\u0442\u044c. \u041a\u0430\u043a\u0438\u0435 \u043a\u0430\u0440\u0442\u0438\u043d\u043a\u0438 \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u044e\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u043c,  \u0430 \u043a\u0430\u043a\u0438\u0435 \u2013 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c?<br \/>\u0414\u043b\u044f  \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 \u043d\u0438\u0445 \u043a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f x \u0438 y \u0440\u0430\u0432\u043d\u0430 0?<\/p>\n<figure class=\"full-width\"><figcaption>\u0420\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u044b \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d.   \u041d\u0430 \u043a\u0430\u043a\u0438\u0445 \u0438\u0437 12 \u043a\u0430\u0440\u0442\u0438\u043d\u043e\u043a \u044d\u0442\u0438 \u0434\u0432\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b?<\/figcaption><\/figure>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442\u044b<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0417\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u0435: 3-\u0439, 4-\u0439, 5-\u0439, 8-\u0439, 11-\u0439, 12-\u0439.<\/p>\n<p>\u041a\u043e\u0440\u0440\u0435\u043b\u044f\u0446\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u043d\u0443\u043b\u044e \u0434\u043b\u044f \u0432\u0441\u0435\u0445, \u043a\u0440\u043e\u043c\u0435  4-\u0433\u043e, 5-\u0433\u043e, 8-\u0433\u043e \u0438 12-\u0433\u043e.<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.3:<\/strong> \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 MI(<em>w<\/em>=&#187;\u0447\u0438\u0441\u043b\u043e \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 6&#8243;, <em>h<\/em>=&#187;\u0447\u0438\u0441\u043b\u043e \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u043d\u0430 15&#8243;). \u041f\u0440\u0435\u0434\u043f\u043e\u043b\u0430\u0433\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u0431\u0435\u0440\u0451\u043c \u043e\u0434\u043d\u043e \u0438\u0437 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0438 \u0432\u0441\u0435 \u0447\u0438\u0441\u043b\u0430 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b. \u0427\u0442\u043e\u0431\u044b \u043d\u0435 \u043c\u0443\u0447\u0430\u0442\u0441\u044f \u0441 \u043f\u043e\u043d\u044f\u0442\u0438\u0435\u043c \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u043d\u0430 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u0447\u0438\u0441\u043b\u0430\u0445, \u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435, \u0447\u0442\u043e \u043c\u044b \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e \u0431\u0435\u0440\u0451\u043c \u0447\u0438\u0441\u043b\u043e \u0438\u0437 \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 {1, &#8230;, 30}.<\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p>\u041c\u044b \u0437\u043d\u0430\u0435\u043c \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f:  \u0438  \u041a\u0440\u043e\u043c\u0435 \u0442\u043e\u0433\u043e, \u043c\u044b \u0437\u043d\u0430\u0435\u043c \u0447\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0434\u0435\u043b\u0438\u0442\u0441\u044f \u0438 \u043d\u0430 6, \u0438 \u043d\u0430 15 \u0440\u0430\u0432\u043d\u0430 1\/30. \u0418\u0437 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439:<\/p>\n<p>\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c \u0444\u043e\u0440\u043c\u0443\u043b\u0443  \u0438 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c<br \/> MI=0.0311278<\/p>\n<\/div>\n<\/details>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.4:<\/strong> \u0414\u043e\u043a\u0430\u0436\u0438\u0442\u0435, \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u0435\u0449\u0451 \u043e\u0434\u043d\u043e \u044d\u043a\u0432\u0438\u0432\u0430\u043b\u0435\u043d\u0442\u043d\u043e\u0435 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 <\/p>\n<\/p>\n<p>\u0442\u043e \u0435\u0441\u0442\u044c <strong>MI \u2013 \u044d\u0442\u043e \u0442\u043e, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043a\u043e\u0434 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430 \u0434\u043b\u044f \u043f\u043e\u0442\u043e\u043a\u0430 \u043f\u0430\u0440  \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438  \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d <\/strong>(\u0442\u043e \u0435\u0441\u0442\u044c \u0432 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0435\u043d\u0438\u0438, \u0447\u0442\u043e \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u044e \u043c\u0430\u0440\u0436\u0438\u043d\u0430\u043b\u044c\u043d\u044b\u0445),<strong> \u0431\u0443\u0434\u0435\u0442 \u043c\u0435\u043d\u0435\u0435 \u044d\u0444\u0444\u0435\u043a\u0442\u0438\u0432\u0435\u043d, \u0447\u0435\u043c \u043a\u043e\u0434 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430, \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0439 \u043d\u0430 \u043d\u0430\u0441\u0442\u043e\u044f\u0449\u0435\u043c \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0438.  \u0418\u0437\u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u0441\u044d\u043a\u043e\u043d\u043e\u043c\u043b\u0435\u043d\u043d\u044b\u0445 \u0431\u0438\u0442\u0430\u0445 \u043d\u0430  \u0441\u0438\u043c\u0432\u043e\u043b (\u0441\u0438\u043c\u0432\u043e\u043b \u2013 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0435 \u043f\u0430\u0440\u044b ).<\/strong><\/p>\n<p>\u041c\u044b \u0434\u043e \u0441\u0438\u0445 \u043f\u043e\u0440 \u0436\u0438\u043b\u0438 \u0432 \u043e\u0431\u043b\u0430\u0441\u0442\u0438 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439. \u041f\u0435\u0440\u0435\u0445\u043e\u0434 \u043a \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u043c \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u043c \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f \u043f\u0440\u043e\u0441\u0442\u043e.<\/p>\n<p>\u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043f\u0440\u043e <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#task_1.7\" rel=\"noopener noreferrer nofollow\">\u0437\u0430\u0434\u0430\u0447\u0443 1.7<\/a>. \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043f\u0440\u0435\u0434\u043f\u043e\u043b\u043e\u0436\u0438\u043c, \u0447\u0442\u043e \u0443 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b , \u043d\u043e \u043c\u044b \u0438\u0445 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438  \u2014 \u043f\u0435\u0440\u0432\u0443\u044e \u043d\u0430 \u043a\u043e\u0440\u0437\u0438\u043d\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 ,  \u0430 \u0432\u0442\u043e\u0440\u0443\u044e  \u2014 \u043d\u0430 \u043a\u043e\u0440\u0437\u0438\u043d\u043a\u0438 \u0440\u0430\u0437\u043c\u0435\u0440\u0430 .  \u041f\u043e\u0434\u0441\u0442\u0430\u0432\u0438\u0432 \u0432 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435<\/p>\n<p>\u0432\u043c\u0435\u0441\u0442\u043e <em>H<\/em> \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u043d\u0443\u044e \u0444\u043e\u0440\u043c\u0443\u043b\u0443 (\u0441\u043c. \u0437\u0430\u0434\u0430\u0447\u0443 1.7)<\/p>\n<p>\u0434\u043b\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e\u0433\u043e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f, \u043c\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u043c, \u0447\u0442\u043e \u0438\u0437 \u043f\u0435\u0440\u0432\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u0432\u044b\u043b\u0435\u0437\u0435\u0442  \u0438\u0437 \u0432\u0442\u043e\u0440\u043e\u0433\u043e \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0433\u043e \u2014  \u0430 \u0438\u0437 \u0442\u0440\u0435\u0442\u044c\u0435\u0433\u043e \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u043e\u0433\u043e  \u2014 \u0438 \u044d\u0442\u0438 \u0442\u0440\u0438 \u043a\u0443\u0441\u043e\u0447\u043a\u0430 \u0441\u043e\u043a\u0440\u0430\u0442\u044f\u0442\u0441\u044f.<br \/>\u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u0432\u0437\u0430\u0438\u043c\u043d\u0443\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044e \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043a\u0430\u043a \u043f\u0440\u0435\u0434\u0435\u043b MI \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043f\u0440\u0438 \u0441\u0442\u0440\u0435\u043c\u043b\u0435\u043d\u0438\u0438 \u043a \u043a\u043e\u0440\u0437\u0438\u043d\u043a\u0430\u043c \u043d\u0443\u043b\u0435\u0432\u043e\u0433\u043e \u0440\u0430\u0437\u043c\u0435\u0440\u0430.<\/p>\n<p><strong>\u041e\u043f\u0440. 2.2:<\/strong> <strong>\u0412\u0437\u0430\u0438\u043c\u043d\u0430\u044f \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u044f \u0434\u0432\u0443\u0445 \u043d\u0435\u043f\u0440\u0435\u0440\u044b\u0432\u043d\u044b\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d<\/strong>  \u0440\u0430\u0432\u043d\u0430<\/p>\n<p>\u0417\u0434\u0435\u0441\u044c \u043c\u044b \u043f\u043e\u043b\u044c\u0437\u0443\u0435\u043c\u0441\u044f <em>H<\/em> \u0438\u0437 <a href=\"https:\/\/habr.com\/ru\/post\/686806\/#def_1.6\" rel=\"noopener noreferrer nofollow\">\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f 1.6 \u0447\u0430\u0441\u0442\u0438 1<\/a>.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.5:<\/strong> \u041e\u0446\u0435\u043d\u0438\u0442\u0435 \u0434\u043b\u044f \u043a\u0430\u043a\u043e\u0439-\u043b\u0438\u0431\u043e \u0438\u043c\u0435\u044e\u0449\u0435\u0439\u0441\u044f \u0443 \u0432\u0430\u0441 \u0437\u0430\u0434\u0430\u0447\u0438 \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0430 \u0447\u0435\u0433\u043e-\u043b\u0438\u0431\u043e. \u041f\u043e\u0441\u0447\u0438\u0442\u0430\u0439\u0442\u0435 , \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043b\u0438\u0437\u043a\u043e \u044d\u0442\u043e \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a 1?<\/p>\n<p>\u0417\u0430\u0434\u0430\u0447\u0430 \u043e\u0446\u0435\u043d\u043a\u0438 MI \u0434\u0432\u0443\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d \u043f\u043e \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0443 \u0438\u0445 \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u0439 \u043f\u043e \u0441\u0443\u0442\u0438 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u0437\u0430\u0434\u0430\u0447\u0435 \u0440\u0430\u0441\u0447\u0435\u0442\u0430 \u043c\u0430\u0442\u0440\u0438\u0446\u044b  \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u044d\u0442\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0445 \u0432\u0435\u043b\u0438\u0447\u0438\u043d. \u0427\u0435\u043c \u0431\u043e\u043b\u044c\u0448\u0435 \u043a\u043e\u0440\u0437\u0438\u043d\u043e\u043a \u0432 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0438, \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c, \u0441\u0432\u044f\u0437\u0430\u043d\u043d\u0430\u044f \u0441 \u044d\u0442\u043e\u0439 \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u0438\u0437\u0430\u0446\u0438\u0435\u0439, \u043d\u043e \u0442\u0435\u043c \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0434\u043b\u044f \u0442\u043e\u0447\u043d\u043e\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 .<\/p>\n<p>\u041e\u0446\u0435\u043d\u043a\u0430 MI \u043f\u043e \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c\u044b\u043c \u0438\u0437\u043c\u0435\u0440\u0435\u043d\u0438\u044f\u043c \u2014 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u0430\u044f \u0431\u043e\u043b\u044c\u0448\u0430\u044f \u0442\u0435\u043c\u0430, \u0438 \u043c\u044b \u043a \u043d\u0435\u0439 \u0435\u0449\u0451 \u0432\u0435\u0440\u043d\u0451\u043c\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0435 3.1.<\/p>\n<p><strong>\u0417\u0430\u0434\u0430\u0447\u0430 2.6:<\/strong> \u0414\u043e\u043a\u0430\u0436\u0438\u0442\u0435, \u0447\u0442\u043e \u0434\u043b\u044f \u043b\u044e\u0431\u043e\u0439 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u0438  \u0432\u0435\u0440\u043d\u043e, \u0447\u0442\u043e <\/p>\n<details class=\"spoiler\">\n<summary>\u041e\u0442\u0432\u0435\u0442<\/summary>\n<div class=\"spoiler__content\">\n<p> \u041f\u0443\u0441\u0442\u044c  . \u0412\u043e\u0437\u044c\u043c\u0451\u043c \u0434\u0432\u0435 \u0444\u043e\u0440\u043c\u0443\u043b\u044b<\/p>\n<p>\u041f\u0435\u0440\u0432\u044b\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0430 \u0432\u044b\u0447\u0438\u0442\u0430\u0435\u043c\u044b\u0435 \u0440\u0430\u0432\u043d\u044b, \u0442\u0430\u043a \u043a\u0430\u043a \u0438\u0445 \u0444\u0438\u0437\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0441\u043c\u044b\u0441\u043b \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 ,  \u0433\u0434\u0435  \u2014  \u044d\u0442\u043e \u0440\u0430\u0437\u043d\u044b\u0435 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u0435 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b,  \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u043c\u044b\u0435 \u0438\u0437 \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u0438\u043b\u0438, \u0447\u0442\u043e \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435 \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f . \u0423\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435  \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u043f\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439   \u0438\u043b\u0438, \u0447\u0442\u043e, \u043e\u043f\u044f\u0442\u044c \u0436\u0435, \u043d\u0435\u0432\u0430\u0436\u043d\u043e.<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u0442\u0435 \u043d\u0430 \u0438\u043d\u0442\u0435\u0433\u0440\u0430\u043b\u044b.  \u0417\u043d\u0430\u0447\u0435\u043d\u0438\u044f  \u0438 \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442, \u0438 \u0432 \u043e\u0431\u043e\u0438\u0445 \u0444\u043e\u0440\u043c\u0443\u043b\u0430\u0445 \u043f\u0440\u043e\u0438\u0441\u0445\u043e\u0434\u0438\u0442 \u0443\u0441\u0440\u0435\u0434\u043d\u0435\u043d\u0438\u0435 \u044d\u0442\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b \u043f\u043e \u043e\u0434\u043d\u043e\u0439 \u0438 \u0442\u043e\u0439 \u0436\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u043d\u043e\u0439 \u043c\u0435\u0440\u0435  \u043f\u0440\u043e\u0441\u0442\u043e \u043f\u043e-\u0440\u0430\u0437\u043d\u043e\u043c\u0443 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0437\u043e\u0432\u0430\u043d\u043d\u043e\u0439:  . <\/p>\n<\/div>\n<\/details>\n<p><strong>\u041e\u043f\u0440. 2.6:<\/strong> <strong>\u0418\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0439 \u043a\u0430\u043d\u0430\u043b<\/strong> \u2014  \u044d\u0442\u043e \u0446\u0435\u043f\u044c \u041c\u0430\u0440\u043a\u043e\u0432\u0430 \u0434\u043b\u0438\u043d\u044b 2, \u0437\u0430\u0434\u0430\u044e\u0449\u0430\u044f \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u044c \u043c\u0435\u0436\u0434\u0443 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0437\u0430\u0432\u0438\u0441\u044f\u0449\u0438\u043c\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u044b\u043c\u0438 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430\u043c\u0438, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f input, \u0430 \u0434\u0440\u0443\u0433\u0430\u044f \u2014  output. \u0427\u0430\u0441\u0442\u043e \u043f\u043e\u0434 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u043c \u043a\u0430\u043d\u0430\u043b\u043e\u043c \u0438\u043c\u0435\u044e\u0442 \u0432 \u0432\u0438\u0434\u0443 \u043b\u0438\u0448\u044c <strong>\u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439<\/strong>: \u0431\u0435\u0437 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f \u0432\u0445\u043e\u0434\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f. \u0420\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0431\u0443\u0434\u0435\u043c \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u0442\u044c \u043a\u0430\u043a \u0432\u0435\u043a\u0442\u043e\u0440  \u0430 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043a\u0430\u043a \u0432\u0435\u043a\u0442\u043e\u0440 <\/p>\n<p>\u0414\u043b\u044f \u0434\u0438\u0441\u043a\u0440\u0435\u0442\u043d\u044b\u0445 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u043c\u044b \u0434\u043b\u044f \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 <em>M<\/em> \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0432\u0445\u043e\u0434\u043e\u0432 \u0438\u043c\u0435\u0435\u043c \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u043d\u0430 <em>N<\/em> \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u044f\u0445 \u0432\u044b\u0445\u043e\u0434\u0430, \u0442\u043e \u0435\u0441\u0442\u044c \u043c\u044b \u043f\u043e \u0441\u0443\u0442\u0438 \u0438\u043c\u0435\u0435\u043c \u043c\u0430\u0442\u0440\u0438\u0446\u0443 \u0438\u0437 <em>M<\/em> \u0441\u0442\u043e\u043b\u0431\u0446\u043e\u0432 \u0438 <em>N<\/em> \u0441\u0442\u0440\u043e\u0447\u0435\u043a, \u0432 \u043a\u043e\u0442\u043e\u0440\u043e\u0439 \u0432\u0441\u0435 \u0447\u0438\u0441\u043b\u0430 \u043d\u0435\u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u044b\u0435, \u0430 \u0441\u0443\u043c\u043c\u0430 \u0447\u0438\u0441\u0435\u043b \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u0440\u0430\u0432\u043d\u0430 1.<\/p>\n<p>\u0422\u0430\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442\u0441\u044f <strong> \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438, \u0430 \u0442\u043e\u0447\u043d\u0435\u0435 \u043b\u0435\u0432\u044b\u043c\u0438 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u043c\u0438 \u043c\u0430\u0442\u0440\u0438\u0446\u0430\u043c\u0438<\/strong> <strong>(left stochastic matrix)<\/strong>.<\/p>\n<details class=\"spoiler\">\n<summary>\u041f\u0440\u043e \u043b\u0435\u0432\u044b\u0435 \u0438 \u043f\u0440\u0430\u0432\u044b\u0435 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b<\/summary>\n<div class=\"spoiler__content\">\n<p>\u0423 \u043b\u0435\u0432\u044b\u0445 \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u043c\u0430\u0442\u0440\u0438\u0446 \u0441\u0443\u043c\u043c\u0430 \u0447\u0438\u0441\u0435\u043b \u0432 \u043a\u0430\u0436\u0434\u043e\u043c \u0441\u0442\u043e\u043b\u0431\u0446\u0435 \u0440\u0430\u0432\u043d\u0430 1, \u0430 \u0443 \u043f\u0440\u0430\u0432\u044b\u0445 \u2013 \u0432 \u043a\u0430\u0436\u0434\u043e\u0439 \u0441\u0442\u0440\u043e\u0447\u043a\u0435. \u0411\u044b\u0432\u0430\u044e\u0442 \u0435\u0449\u0451 \u0434\u0432\u0430\u0436\u0434\u044b \u0441\u0442\u043e\u0445\u0430\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0435 \u043c\u0430\u0442\u0440\u0438\u0446\u044b, \u0432 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u0438 \u0441\u0442\u043e\u043b\u0431\u0446\u044b \u0438 \u0441\u0442\u0440\u043e\u0447\u043a\u0438 \u0441\u0443\u043c\u043c\u0438\u0440\u0443\u044e\u0442\u0441\u044f \u0432 1. \u042f \u0432\u044b\u0431\u0440\u0430\u043b \u0432\u0430\u0440\u0438\u0430\u043d\u0442, \u043a\u043e\u0433\u0434\u0430 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u0445\u043e\u0434\u0435 \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043a\u0430\u043a \u0441\u0442\u043e\u043b\u0431\u0435\u0446, \u0438 \u0447\u0442\u043e\u0431\u044b \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0439 \u043d\u0430 \u0432\u044b\u0445\u043e\u0434\u0435 \u043d\u0443\u0436\u043d\u043e \u043f\u0440\u043e\u0434\u0435\u043b\u0430\u0442\u044c \u043e\u0431\u044b\u0447\u043d\u043e\u0435 \u043c\u0430\u0442\u0440\u0438\u0447\u043d\u043e\u0435 \u0443\u043c\u043d\u043e\u0436\u0435\u043d\u0438\u0435 . <\/p>\n<p>\u0412  \u0430\u043d\u0433\u043b\u043e\u044f\u0437\u044b\u0447\u043d\u043e\u0439 \u043b\u0438\u0442\u0435\u0440\u0430\u0442\u0443\u0440\u0435 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u043f\u0440\u0438\u043d\u044f\u0442\u043e<\/p>\n<\/div>\n<\/details>\n<\/div>\n<\/div>\n<\/div>\n<\/div>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-338230","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/338230","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=338230"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/338230\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=338230"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=338230"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=338230"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}