{"id":488040,"date":"2026-07-21T12:16:55","date_gmt":"2026-07-21T12:16:55","guid":{"rendered":"https:\/\/savepearlharbor.com\/?p=488040"},"modified":"-0001-11-30T00:00:00","modified_gmt":"-0001-11-29T21:00:00","slug":"","status":"publish","type":"post","link":"https:\/\/savepearlharbor.com\/?p=488040","title":{"rendered":"\u041d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u043e\u0432 \u043d\u0430 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e"},"content":{"rendered":"<div xmlns=\"http:\/\/www.w3.org\/1999\/xhtml\">\n<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0441\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u043e\u0432 \u043d\u0430 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.<\/p>\n<p>\u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f &#8212; \u043e\u0434\u043d\u0430 \u0438\u0437 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041b\u044e\u0431\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u043e\u0432\u0438\u0447\u043a\u0438 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c, \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u044d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u0432\u0438\u0434, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0432\u043d\u0435 \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u043e\u0432 \u043e\u043d\u0430 \u043f\u0440\u0435\u043f\u043e\u0434\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u0430\u043d\u043d\u043e\u0441\u0442\u044c.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f<\/h3>\n<p>\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430: \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (\u0434\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0435\u0433\u043e MLE). \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043a\u0443\u0440\u0441 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438 \u0447\u0442\u043e \u0438\u0437 \u0441\u0435\u0431\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f.<\/p>\n<p>\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"D = \\{(x_i, y_i)\\}_{i=1}^{n}\" alt=\"D = \\{(x_i, y_i)\\}_{i=1}^{n}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1dc\/1dca943d0860ae0c0d63510dadac9743.svg\" width=\"128\" height=\"16\" data-width=\"16.585\" data-height=\"2.387\" data-vertical-align=\"-0.628\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1dc\/1dca943d0860ae0c0d63510dadac9743.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1dc\/1dca943d0860ae0c0d63510dadac9743.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta\" alt=\"p_\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg\" width=\"16\" height=\"16\" data-width=\"2.076\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/7e\/7e5\/7e532d9a606bff9bf4126b07c5c70884.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f &#8212; \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0440\u043e\u0432\u043d\u043e \u0442\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c, \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"L(\\theta) = p_\\theta(D) = \\prod_{i=1}^{n} p_\\theta(y_i \\mid x_i).\" alt=\"L(\\theta) = p_\\theta(D) = \\prod_{i=1}^{n} p_\\theta(y_i \\mid x_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/08\/080\/08093d45c7160914e5838497ef05edbf.svg\" width=\"232\" height=\"48\" data-width=\"29.607\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/08\/080\/08093d45c7160914e5838497ef05edbf.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/08\/080\/08093d45c7160914e5838497ef05edbf.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0443\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"p_\\theta(y \\mid x)\" alt=\"p_\\theta(y \\mid x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0f\/a0fce6aff14926e313d5fecffbe42e59.svg\" width=\"64\" height=\"16\" data-width=\"8.125\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0f\/a0fce6aff14926e313d5fecffbe42e59.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a0\/a0f\/a0fce6aff14926e313d5fecffbe42e59.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u043d\u0435 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"y\" alt=\"y\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg\" width=\"12\" height=\"12\" data-width=\"1.109\" data-height=\"1.464\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/41\/415\/415290769594460e2e485922904f345d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445, \u0430 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\theta\" alt=\"\\theta\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg\" width=\"12\" height=\"16\" data-width=\"1.061\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/2\/25\/255\/2554a2bb846cffd697389e5dc8912759.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 (\u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 <img decoding=\"async\" class=\"formula inline\" source=\"x_i\" alt=\"x_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg\" width=\"16\" height=\"12\" data-width=\"2.034\" data-height=\"1.357\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1ba\/1ba8aaab47179b3d3e24b0ccea9f4e30.svg 781w\" loading=\"lazy\" decode=\"async\"\/>):<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\hat{\\theta}_{\\text{MLE}} = \\arg\\max_{\\theta} L(\\theta).\" alt=\"\\hat{\\theta}_{\\text{MLE}} = \\arg\\max_{\\theta} L(\\theta).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca7\/ca74402e22401713a4e33da1b14196b4.svg\" width=\"160\" height=\"32\" data-width=\"20.927\" data-height=\"4.2\" data-vertical-align=\"-1.535\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca7\/ca74402e22401713a4e33da1b14196b4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/ca\/ca7\/ca74402e22401713a4e33da1b14196b4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: <img decoding=\"async\" class=\"formula inline\" source=\"y_i \\in \\{0, 1\\}\" alt=\"y_i \\in \\{0, 1\\}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4dc\/4dc340bfe8cf14595da5e1b26774f45c.svg\" width=\"80\" height=\"16\" data-width=\"10.145\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4dc\/4dc340bfe8cf14595da5e1b26774f45c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/4d\/4dc\/4dc340bfe8cf14595da5e1b26774f45c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}_i = p_\\theta(y_i = 1 \\mid x_i) \\in (0,1)\" alt=\"\\hat{y}_i = p_\\theta(y_i = 1 \\mid x_i) \\in (0,1)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea9\/ea91e470cb85787de8cd292f747df5c6.svg\" width=\"208\" height=\"16\" data-width=\"26.413\" data-height=\"2.398\" data-vertical-align=\"-0.633\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea9\/ea91e470cb85787de8cd292f747df5c6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ea\/ea9\/ea91e470cb85787de8cd292f747df5c6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438, \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p_\\theta(y_i \\mid x_i) = \\hat{y}_i^{\\,y_i} \\, (1 - \\hat{y}_i)^{\\,1 - y_i}.\" alt=\"p_\\theta(y_i \\mid x_i) = \\hat{y}_i^{\\,y_i} \\, (1 - \\hat{y}_i)^{\\,1 - y_i}.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f6\/f6d\/f6d88bec501c662802a0326bc7f39798.svg\" width=\"224\" height=\"16\" data-width=\"28.032\" data-height=\"2.682\" data-vertical-align=\"-0.775\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f6\/f6d\/f6d88bec501c662802a0326bc7f39798.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/f\/f6\/f6d\/f6d88bec501c662802a0326bc7f39798.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0440\u044e\u043a \u0441\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044f\u043c\u0438 \u0437\u0434\u0435\u0441\u044c \u0447\u0438\u0441\u0442\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439: \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y_i = 1\" alt=\"y_i = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/573\/573f4edda83d7091c8afbc705401b690.svg\" width=\"40\" height=\"12\" data-width=\"5.997\" data-height=\"1.971\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/573\/573f4edda83d7091c8afbc705401b690.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/573\/573f4edda83d7091c8afbc705401b690.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0438 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}_i\" alt=\"\\hat{y}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/996\/99600e95adcc97c986df86d4b612cf52.svg\" width=\"12\" height=\"16\" data-width=\"1.848\" data-height=\"2.398\" data-vertical-align=\"-0.633\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/996\/99600e95adcc97c986df86d4b612cf52.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/99\/996\/99600e95adcc97c986df86d4b612cf52.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u0440\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"y_i = 0\" alt=\"y_i = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67c\/67ce5d3a083d766bde56e3a40ac7b3c3.svg\" width=\"40\" height=\"12\" data-width=\"5.997\" data-height=\"1.971\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67c\/67ce5d3a083d766bde56e3a40ac7b3c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/67\/67c\/67ce5d3a083d766bde56e3a40ac7b3c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f <img decoding=\"async\" class=\"formula inline\" source=\"1 - \\hat{y}_i\" alt=\"1 - \\hat{y}_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d84\/d84d0b4246af90481ef1f4ae6b53ca74.svg\" width=\"40\" height=\"16\" data-width=\"5.745\" data-height=\"2.398\" data-vertical-align=\"-0.633\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d84\/d84d0b4246af90481ef1f4ae6b53ca74.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d8\/d84\/d84d0b4246af90481ef1f4ae6b53ca74.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u0451\u043b.<\/p>\n<p>\u041d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. \u041f\u0443\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 <img decoding=\"async\" class=\"formula inline\" source=\"K\" alt=\"K\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg\" width=\"16\" height=\"12\" data-width=\"2.011\" data-height=\"1.545\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a5\/a5f\/a5f3c6a11b03839d46af9fb43c97c188.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 <img decoding=\"async\" class=\"formula inline\" source=\"\\hat{y}_i = (\\hat{y}_{i1}, \\dots, \\hat{y}_{iK})\" alt=\"\\hat{y}_i = (\\hat{y}_{i1}, \\dots, \\hat{y}_{iK})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b4\/1b49392b0dc31e9d4ede397c640d4f73.svg\" width=\"136\" height=\"16\" data-width=\"17.585\" data-height=\"2.398\" data-vertical-align=\"-0.633\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b4\/1b49392b0dc31e9d4ede397c640d4f73.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1b\/1b4\/1b49392b0dc31e9d4ede397c640d4f73.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, <img decoding=\"async\" class=\"formula inline\" source=\"\\sum_k \\hat{y}_{ik} = 1\" alt=\"\\sum_k \\hat{y}_{ik} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee0\/ee0de03966d48a48601924f96c775a11.svg\" width=\"80\" height=\"32\" data-width=\"10.474\" data-height=\"4.899\" data-vertical-align=\"-1.884\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee0\/ee0de03966d48a48601924f96c775a11.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/ee\/ee0\/ee0de03966d48a48601924f96c775a11.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043c\u0435\u0442\u043a\u0443 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u043c one-hot \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c <img decoding=\"async\" class=\"formula inline\" source=\"y_i\" alt=\"y_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d6\/8d62e469fb30ed435a668eb5c035b1f6.svg\" width=\"12\" height=\"12\" data-width=\"1.848\" data-height=\"1.464\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d6\/8d62e469fb30ed435a668eb5c035b1f6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8d\/8d6\/8d62e469fb30ed435a668eb5c035b1f6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"y_{ik} = 1\" alt=\"y_{ik} = 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52d\/52dd04c9f5555fa9d32b446b863b5d38.svg\" width=\"48\" height=\"12\" data-width=\"6.83\" data-height=\"1.971\" data-vertical-align=\"-0.464\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52d\/52dd04c9f5555fa9d32b446b863b5d38.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/52\/52d\/52dd04c9f5555fa9d32b446b863b5d38.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0434\u043b\u044f \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"0\" alt=\"0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cf\/cfc\/cfcd208495d565ef66e7dff9f98764da.svg\" width=\"12\" height=\"12\" data-width=\"1.131\" data-height=\"1.557\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cf\/cfc\/cfcd208495d565ef66e7dff9f98764da.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/cf\/cfc\/cfcd208495d565ef66e7dff9f98764da.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438\u043d\u0430\u0447\u0435. \u0422\u043e\u0433\u0434\u0430 \u0442\u043e\u0442 \u0436\u0435 \u0442\u0440\u044e\u043a \u0441\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044f\u043c\u0438 \u0434\u0430\u0451\u0442<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p_\\theta(y_i \\mid x_i) = \\prod_{k=1}^{K} \\hat{y}_{ik}^{\\,y_{ik}},\" alt=\"p_\\theta(y_i \\mid x_i) = \\prod_{k=1}^{K} \\hat{y}_{ik}^{\\,y_{ik}},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/66\/66d\/66d2e34b820fedfc38f40e0499fa788c.svg\" width=\"160\" height=\"48\" data-width=\"20.089\" data-height=\"6.784\" data-vertical-align=\"-2.827\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/66\/66d\/66d2e34b820fedfc38f40e0499fa788c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/66\/66d\/66d2e34b820fedfc38f40e0499fa788c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 \u0432\u0441\u0451 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u043d\u043e\u0432\u0430 \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u0438\u043d \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c &#8212; \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430.<\/p>\n<p>\u041f\u043e\u0441\u043b\u0435 \u0431\u0435\u0440\u0451\u043c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0441 \u043d\u0438\u043c \u043b\u0435\u0433\u0447\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c (\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u0443\u043c\u043c\u0443 + \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0435\u0435). \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u043e\u0447\u043a\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0414\u043e\u043c\u043d\u043e\u0436\u0438\u043c \u0435\u0449\u0451 \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"-1\" alt=\"-1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6bb\/6bb61e3b7bce0931da574d19d1d82c88.svg\" width=\"16\" height=\"12\" data-width=\"2.891\" data-height=\"1.692\" data-vertical-align=\"-0.186\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6bb\/6bb61e3b7bce0931da574d19d1d82c88.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6b\/6bb\/6bb61e3b7bce0931da574d19d1d82c88.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0447\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0443\u044e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"-\\log L(\\theta) = -\\sum_{i=1}^{n} \\log p_\\theta(y_i \\mid x_i).\" alt=\"-\\log L(\\theta) = -\\sum_{i=1}^{n} \\log p_\\theta(y_i \\mid x_i).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2f\/a2f1792bc17d43fc6f1301b666ec1c1a.svg\" width=\"256\" height=\"48\" data-width=\"32.068\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2f\/a2f1792bc17d43fc6f1301b666ec1c1a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a2\/a2f\/a2f1792bc17d43fc6f1301b666ec1c1a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0437\u043d\u0430\u043a\u043e\u043c\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430. \u0414\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L} = -\\sum_{i=1}^{n} \\Big[\\, y_i \\log \\hat{y}_i + (1 - y_i)\\log(1 - \\hat{y}_i) \\,\\Big],\" alt=\"\\mathcal{L} = -\\sum_{i=1}^{n} \\Big[\\, y_i \\log \\hat{y}_i + (1 - y_i)\\log(1 - \\hat{y}_i) \\,\\Big],\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ea\/5eaf431155b14b61220fb89c1776b79c.svg\" width=\"336\" height=\"48\" data-width=\"42.267\" data-height=\"6.354\" data-vertical-align=\"-2.611\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ea\/5eaf431155b14b61220fb89c1776b79c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5e\/5ea\/5eaf431155b14b61220fb89c1776b79c.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0438 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0433\u043e<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\mathcal{L} = -\\sum_{i=1}^{n} \\sum_{k=1}^{K} y_{ik} \\log \\hat{y}_{ik} = -\\sum_{i=1}^{n} \\log \\hat{y}_{i, c_i},\" alt=\"\\mathcal{L} = -\\sum_{i=1}^{n} \\sum_{k=1}^{K} y_{ik} \\log \\hat{y}_{ik} = -\\sum_{i=1}^{n} \\log \\hat{y}_{i, c_i},\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab5\/ab5eff2529a64b01832f4eff7b155bd0.svg\" width=\"312\" height=\"48\" data-width=\"39.217\" data-height=\"6.784\" data-vertical-align=\"-2.827\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab5\/ab5eff2529a64b01832f4eff7b155bd0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab5\/ab5eff2529a64b01832f4eff7b155bd0.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"c_i\" alt=\"c_i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96f\/96fafac0c054b9eb47d3f630ed02c289.svg\" width=\"12\" height=\"12\" data-width=\"1.719\" data-height=\"1.357\" data-vertical-align=\"-0.357\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96f\/96fafac0c054b9eb47d3f630ed02c289.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/96f\/96fafac0c054b9eb47d3f630ed02c289.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0438\u043d\u0434\u0435\u043a\u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"i\" alt=\"i\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg\" width=\"12\" height=\"12\" data-width=\"0.781\" data-height=\"1.52\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/865\/865c0c0b4ab0e063e5caa3387c1a8741.svg 781w\" loading=\"lazy\" decode=\"async\"\/>-\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u0412 \u043f\u0440\u0430\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438\u0437-\u0437\u0430 one-hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0441\u0443\u043c\u043c\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c\u0443: \u0432 \u043b\u043e\u0441\u0441 \u0432\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u0438\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443.<\/p>\n<p>\u0412\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 MLE &#8212; \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0432\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u0430\u0451\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.<\/p>\n<h3>\u0412\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438<\/h3>\n<p>\u0412\u0432\u0435\u0434\u0451\u043c \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, &#8212; \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H(p) = -\\sum_{x} p(x) \\log p(x) = \\mathbb{E}_{x \\sim p}\\big[-\\log p(x)\\big].\" alt=\"H(p) = -\\sum_{x} p(x) \\log p(x) = \\mathbb{E}_{x \\sim p}\\big[-\\log p(x)\\big].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c5\/8c5f7a1b2805cec0f591cc9588cee1c3.svg\" width=\"368\" height=\"32\" data-width=\"46.156\" data-height=\"4.769\" data-vertical-align=\"-1.819\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c5\/8c5f7a1b2805cec0f591cc9588cee1c3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/8c\/8c5\/8c5f7a1b2805cec0f591cc9588cee1c3.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0414\u0430\u0431\u044b \u043d\u0435 \u043d\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439 \u0438 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043c\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0438\u043c\u0435\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u0438\u0434, \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043a\u0430\u0436\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0440\u043e\u0439 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b.<\/p>\n<p>\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f &#8212; \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0443\u044e \u043c\u043e\u043d\u0435\u0442\u043a\u0443. \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c 9 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043d\u0430 \u0432\u0438\u0434 \u043c\u043e\u043d\u0435\u0442, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043b\u0435\u0433\u0447\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445, \u0438 \u0447\u0430\u0448\u0435\u0447\u043d\u044b\u0435 \u0432\u0435\u0441\u044b. \u0417\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0430\u0439\u0434\u0451\u043c \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0443\u044e?<\/p>\n<p>\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u0430\u043a \u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043b\u044e\u0431\u0430\u044f \u0438\u0437 9 \u043c\u043e\u043d\u0435\u0442, \u0432\u0441\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H = \\log_2 9 \\approx 3.17 \\text{ \u0431\u0438\u0442\u0430.}\" alt=\"H = \\log_2 9 \\approx 3.17 \\text{ \u0431\u0438\u0442\u0430.}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/926\/926462851f171f1cbf36277748eec795.svg\" width=\"192\" height=\"16\" data-width=\"24.078\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/926\/926462851f171f1cbf36277748eec795.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/92\/926\/926462851f171f1cbf36277748eec795.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u0434\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u043a\u0430\u043d\u0430\u043b \u0441 \u0442\u0440\u0435\u043c\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u0430\u043c\u0438: \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0448\u0430 \u043b\u0435\u0433\u0447\u0435, \u043f\u0440\u0430\u0432\u0430\u044f \u043b\u0435\u0433\u0447\u0435, \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u0435. \u0411\u043e\u043b\u044c\u0448\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"\\log_2 3 \\approx 1.585\" alt=\"\\log_2 3 \\approx 1.585\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/362\/362f78e8cb381f8a7755256ea53af216.svg\" width=\"104\" height=\"16\" data-width=\"13.558\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/362\/362f78e8cb381f8a7755256ea53af216.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/36\/362\/362f78e8cb381f8a7755256ea53af216.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0438\u0442\u0430 \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043d\u0430\u043b \u0437\u0430 \u0440\u0430\u0437 \u043d\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0441\u0442, \u043f\u0440\u0438\u0447\u0451\u043c \u044d\u0442\u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0438\u0441\u0445\u043e\u0434\u0430 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b. \u0417\u043d\u0430\u0447\u0438\u0442, \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"\\frac{\\log_2 9}{\\log_2 3} = 2.\" alt=\"\\frac{\\log_2 9}{\\log_2 3} = 2.\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/449\/449881ad39011709d6e1e639451ed24a.svg\" width=\"88\" height=\"40\" data-width=\"11.16\" data-height=\"5.255\" data-vertical-align=\"-2.062\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/449\/449881ad39011709d6e1e639451ed24a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/44\/449\/449881ad39011709d6e1e639451ed24a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0418 \u044d\u0442\u043e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c: \u043a\u043b\u0430\u0434\u0451\u043c \u043f\u043e \u0442\u0440\u0438 \u043c\u043e\u043d\u0435\u0442\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0430\u0448\u0443, \u0442\u0440\u0438 \u043e\u0442\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0442\u0440\u0451\u0445 \u0438\u0441\u0445\u043e\u0434\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"1\/3\" alt=\"1\/3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/ba\/ba0\/ba0965330d709297a9d8b07f305169cd.svg\" width=\"24\" height=\"16\" data-width=\"3.394\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/ba\/ba0\/ba0965330d709297a9d8b07f305169cd.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/ba\/ba0\/ba0965330d709297a9d8b07f305169cd.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0442\u0440\u0438 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u043d\u0435\u0442\u044b; \u0432\u0442\u043e\u0440\u044b\u043c \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0451\u043c\u043e\u043c \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0443\u044e. \u0417\u0430\u043c\u0435\u0442\u043d\u043e, \u0447\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438 \u0441\u0430\u043c\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e: \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0440\u0430\u0432\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u044b \u0432\u044b\u0436\u0438\u043c\u0430\u044e\u0442 \u0438\u0437 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0431\u0438\u0442. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 12 \u043c\u043e\u043d\u0435\u0442\u0430\u043c\u0438, \u0433\u0434\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043b\u0435\u0433\u0447\u0435 \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0430\u044f \u0438\u043b\u0438 \u0442\u044f\u0436\u0435\u043b\u0435\u0435, \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043c \u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u0442\u0430\u043c <img decoding=\"async\" class=\"formula inline\" source=\"24\" alt=\"24\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1ff\/1ff1de774005f8da13f42943881c655f.svg\" width=\"16\" height=\"12\" data-width=\"2.262\" data-height=\"1.532\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1ff\/1ff1de774005f8da13f42943881c655f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1f\/1ff\/1ff1de774005f8da13f42943881c655f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u0430, <img decoding=\"async\" class=\"formula inline\" source=\"\\log_2 24 \/ \\log_2 3 \\approx 2.9\" alt=\"\\log_2 24 \/ \\log_2 3 \\approx 2.9\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a98\/a980774f403158ce01bc043e6f4eba8d.svg\" width=\"152\" height=\"16\" data-width=\"19.323\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a98\/a980774f403158ce01bc043e6f4eba8d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a9\/a98\/a980774f403158ce01bc043e6f4eba8d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043e\u0442\u043a\u0443\u0434\u0430 \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0432 3 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f.<\/p>\n<p>\u0414\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f: \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e \u0430\u043a\u0441\u0438\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0428\u0435\u043d\u043d\u043e\u043d\u0430 \u043c\u043e\u0436\u043d\u043e <a href=\"https:\/\/people.math.harvard.edu\/~ctm\/home\/text\/others\/shannon\/entropy\/entropy.pdf\" rel=\"noopener noreferrer nofollow\">\u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0428\u0435\u043d\u043d\u043e\u043d\u0430 1948 \u0433\u043e\u0434\u0430<\/a> (\u0440\u0430\u0437\u0434\u0435\u043b 6 \u0438 \u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 2).<\/p>\n<p>\u0412\u043d\u0443\u0442\u0440\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"-\\log p(x)\" alt=\"-\\log p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/963\/9638658f6480283209d8cfaf5f4bc668.svg\" width=\"72\" height=\"16\" data-width=\"9.598\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/963\/9638658f6480283209d8cfaf5f4bc668.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/963\/9638658f6480283209d8cfaf5f4bc668.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0435\u0451 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439, \u0438\u043b\u0438 \u00ab\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435\u043c\u00bb (surprisal). \u041b\u043e\u0433\u0438\u043a\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u0435\u0441\u043b\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u043d\u043e, <img decoding=\"async\" class=\"formula inline\" source=\"p(x) \\to 1\" alt=\"p(x) \\to 1\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c5\/5c5625a5db52c766925a1bddf5561eef.svg\" width=\"64\" height=\"16\" data-width=\"8.843\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c5\/5c5625a5db52c766925a1bddf5561eef.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5c\/5c5\/5c5625a5db52c766925a1bddf5561eef.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e, &#8212; \u044d\u0442\u043e \u043d\u043e\u043b\u044c \u043d\u043e\u0432\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"-\\log p(x) \\to 0\" alt=\"-\\log p(x) \\to 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/453\/453211187cca03b83d3ae06803b5fc47.svg\" width=\"112\" height=\"16\" data-width=\"14.249\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/453\/453211187cca03b83d3ae06803b5fc47.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/45\/453\/453211187cca03b83d3ae06803b5fc47.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0441\u043b\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043a\u0440\u0430\u0439\u043d\u0435 \u0440\u0435\u0434\u043a\u043e\u0435, <img decoding=\"async\" class=\"formula inline\" source=\"p(x) \\to 0\" alt=\"p(x) \\to 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab9\/ab9d4410c5e2ed148f57c9443d5d8a53.svg\" width=\"64\" height=\"16\" data-width=\"8.843\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab9\/ab9d4410c5e2ed148f57c9443d5d8a53.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ab\/ab9\/ab9d4410c5e2ed148f57c9443d5d8a53.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0435\u0433\u043e \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u0443\u0434\u0438\u0432\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e, \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"-\\log p(x) \\to \\infty\" alt=\"-\\log p(x) \\to \\infty\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/626\/626f685ec9c8f887ce4e314823b18aef.svg\" width=\"120\" height=\"16\" data-width=\"15.38\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/626\/626f685ec9c8f887ce4e314823b18aef.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/62\/626\/626f685ec9c8f887ce4e314823b18aef.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f &#8212; \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 \u0431\u0440\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"\\log_2\" alt=\"\\log_2\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5f8\/5f84e3dc6967c1a91547a57bea1185f5.svg\" width=\"24\" height=\"16\" data-width=\"3.879\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5f8\/5f84e3dc6967c1a91547a57bea1185f5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5f\/5f8\/5f84e3dc6967c1a91547a57bea1185f5.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0432\u0441\u0451 \u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0445 \u043d\u0430\u043c \u0431\u0438\u0442\u0430\u0445, \u0435\u0441\u043b\u0438 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0439 &#8212; \u0432 \u043d\u0430\u0442\u0430\u0445 (\u043e\u0442 \u0430\u043d\u0433\u043b. natural). \u041d\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u044b\u0431\u043e\u0440 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c.<\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0432\u0435\u0434\u0451\u043c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442 &#8212; KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"D_{\\mathrm{KL}}(p \\,\\|\\, q) = \\sum_{x} p(x) \\log \\frac{p(x)}{q(x)} = \\mathbb{E}_{x \\sim p}\\left[\\log \\frac{p(x)}{q(x)}\\right].\" alt=\"D_{\\mathrm{KL}}(p \\,\\|\\, q) = \\sum_{x} p(x) \\log \\frac{p(x)}{q(x)} = \\mathbb{E}_{x \\sim p}\\left[\\log \\frac{p(x)}{q(x)}\\right].\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/794\/794b0cbbc6b60ca0702fa7c67e609054.svg\" width=\"392\" height=\"40\" data-width=\"49.348\" data-height=\"5.923\" data-vertical-align=\"-2.396\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/794\/794b0cbbc6b60ca0702fa7c67e609054.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/79\/794\/794b0cbbc6b60ca0702fa7c67e609054.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0432\u0437\u044f\u0442\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e\u0447\u043d\u0435\u0435, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u0448\u0438\u0431\u0430\u0435\u043c\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u0434\u0443\u043c\u0430\u0435\u043c, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0445\u043e\u0442\u044f \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412\u043d\u0443\u0442\u0440\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0434\u0432\u0443\u0445 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0439: <img decoding=\"async\" class=\"formula inline\" source=\"\\log \\frac{p(x)}{q(x)} = (-\\log q(x)) - (-\\log p(x))\" alt=\"\\log \\frac{p(x)}{q(x)} = (-\\log q(x)) - (-\\log p(x))\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/962\/96224e82accb43c0511f63188d931f0c.svg\" width=\"288\" height=\"40\" data-width=\"36.858\" data-height=\"5.475\" data-vertical-align=\"-2.172\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/962\/96224e82accb43c0511f63188d931f0c.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/96\/962\/96224e82accb43c0511f63188d931f0c.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u0435\u0441\u0442\u044c \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043c\u0435\u043d\u044f \u0443\u0434\u0438\u0432\u0438\u043b \u0438\u0441\u0445\u043e\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0447\u0435\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b \u0431\u044b\u00bb.<\/p>\n<p>\u0423 KL \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u0438\u0442 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435:<\/p>\n<ol>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"D_{\\mathrm{KL}}(p \\| q) \\geq 0\" alt=\"D_{\\mathrm{KL}}(p \\| q) \\geq 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/94\/940\/940a7c35f3786c8ccc3b73d1d45d8a6f.svg\" width=\"104\" height=\"16\" data-width=\"13.524\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/94\/940\/940a7c35f3786c8ccc3b73d1d45d8a6f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/94\/940\/940a7c35f3786c8ccc3b73d1d45d8a6f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u0441\u0435\u0433\u0434\u0430 &#8212; \u044d\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0413\u0438\u0431\u0431\u0441\u0430, \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u0438 <img decoding=\"async\" class=\"formula inline\" source=\"-\\log\" alt=\"-\\log\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d4\/9d456af578b2d1ba91ceb6d6f9af2e65.svg\" width=\"40\" height=\"16\" data-width=\"5.029\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d4\/9d456af578b2d1ba91ceb6d6f9af2e65.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9d4\/9d456af578b2d1ba91ceb6d6f9af2e65.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0419\u0435\u043d\u0441\u0435\u043d\u0430. <a href=\"https:\/\/statproofbook.github.io\/P\/kl-conv\" rel=\"noopener noreferrer nofollow\">\u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043c\u043e\u0436\u043d\u043e \u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432\u043e\u0442 \u0442\u0443\u0442<\/a>.<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"D_{\\mathrm{KL}}(p \\| q) = 0\" alt=\"D_{\\mathrm{KL}}(p \\| q) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/ad0\/ad0bf1370b4e6a9491e72db025a3f741.svg\" width=\"104\" height=\"16\" data-width=\"13.524\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/ad0\/ad0bf1370b4e6a9491e72db025a3f741.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/ad0\/ad0bf1370b4e6a9491e72db025a3f741.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0442\u043e\u0433\u0434\u0430 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"p = q\" alt=\"p = q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/135\/135775cf204e9ca61b62e5b1cb21e493.svg\" width=\"40\" height=\"12\" data-width=\"5.196\" data-height=\"1.758\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/135\/135775cf204e9ca61b62e5b1cb21e493.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/13\/135\/135775cf204e9ca61b62e5b1cb21e493.svg 781w\" loading=\"lazy\" decode=\"async\"\/> (\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e\u0434\u0443). \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u043e\u043b\u044c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 &#8212; \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u043e\u0447\u043d\u043e \u0443\u0433\u0430\u0434\u0430\u043b\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435.<\/p>\n<\/li>\n<li>\n<p>\u042d\u0442\u043e \u043d\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435. <img decoding=\"async\" class=\"formula inline\" source=\"D_{\\mathrm{KL}}(p \\| q) \\neq D_{\\mathrm{KL}}(q \\| p)\" alt=\"D_{\\mathrm{KL}}(p \\| q) \\neq D_{\\mathrm{KL}}(q \\| p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3f\/b3ff980aa067aab8de381dba1c8f668a.svg\" width=\"168\" height=\"16\" data-width=\"21.769\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3f\/b3ff980aa067aab8de381dba1c8f668a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b3\/b3f\/b3ff980aa067aab8de381dba1c8f668a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 <em>\u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435<\/em> \u0442\u0443\u0442 &#8212; \u044d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u0435; \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0435\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u00ab\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f\u00bb.<\/p>\n<\/li>\n<\/ol>\n<p>\u0412\u0430\u0436\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u043e \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0438: \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0448\u0442\u0440\u0430\u0444\u0443\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0442\u043e\u0447\u043a\u0438, \u0433\u0434\u0435 \u0443 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0435\u0441\u0442\u044c \u043c\u0430\u0441\u0441\u0430. \u0415\u0441\u043b\u0438 <\/p>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"p(x) &gt; 0\" alt=\"p(x) &gt; 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/939\/93968ec3c2c52034734dc9f6c2df8d20.svg\" width=\"64\" height=\"16\" data-width=\"8.341\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/939\/93968ec3c2c52034734dc9f6c2df8d20.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/93\/939\/93968ec3c2c52034734dc9f6c2df8d20.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 <img decoding=\"async\" class=\"formula inline\" source=\"q(x) \\to 0\" alt=\"q(x) \\to 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/654658685434a79a0cb63ec25eb409d6.svg\" width=\"64\" height=\"16\" data-width=\"8.746\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/654658685434a79a0cb63ec25eb409d6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/65\/654\/654658685434a79a0cb63ec25eb409d6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u0434 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u044c, \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0432\u0437\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f. \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430: \u0442\u0430\u043c, \u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"p(x) = 0\" alt=\"p(x) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/048\/048d7a28a426531c29096ab8086f1ab0.svg\" width=\"64\" height=\"16\" data-width=\"8.341\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/048\/048d7a28a426531c29096ab8086f1ab0.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/04\/048\/048d7a28a426531c29096ab8086f1ab0.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"q(x)\" alt=\"q(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9db\/9dbcf8f4523b910764da7f544a192a69.svg\" width=\"32\" height=\"16\" data-width=\"4.095\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9db\/9dbcf8f4523b910764da7f544a192a69.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9db\/9dbcf8f4523b910764da7f544a192a69.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f. \u041e\u0442\u0441\u044e\u0434\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435: \u043f\u0440\u044f\u043c\u0430\u044f KL \u0434\u0430\u0451\u0442 mode-covering \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f (\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u043d\u0430\u043a\u0440\u044b\u0442\u044c \u0432\u0441\u0451, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f), \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL &#8212; mode-seeking (\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043b\u0438\u043f\u043d\u0443\u0442\u044c \u0432 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0443). <\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e. \u0420\u0430\u0437\u043e\u0431\u044c\u0451\u043c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c:<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"D_{\\mathrm{KL}}(p \\,\\|\\, q) = \\mathbb{E}_p[\\log p(x)] - \\mathbb{E}_p[\\log q(x)] = -H(p) + H(p, q),\" alt=\"D_{\\mathrm{KL}}(p \\,\\|\\, q) = \\mathbb{E}_p[\\log p(x)] - \\mathbb{E}_p[\\log q(x)] = -H(p) + H(p, q),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1ee\/1ee1deaa388fee0bb49aa0cd79626b13.svg\" width=\"464\" height=\"16\" data-width=\"58.291\" data-height=\"2.347\" data-vertical-align=\"-0.608\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1ee\/1ee1deaa388fee0bb49aa0cd79626b13.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1e\/1ee\/1ee1deaa388fee0bb49aa0cd79626b13.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u043e\u0442\u043a\u0443\u0434\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H(p, q) = H(p) + D_{\\mathrm{KL}}(p \\,\\|\\, q),\" alt=\"H(p, q) = H(p) + D_{\\mathrm{KL}}(p \\,\\|\\, q),\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/97d\/97dbf8adfc56ec73464a232084c79930.svg\" width=\"224\" height=\"16\" data-width=\"28.404\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/97d\/97dbf8adfc56ec73464a232084c79930.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/97\/97d\/97dbf8adfc56ec73464a232084c79930.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0433\u0434\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"H(p, q) = -\\sum_x p(x) \\log q(x)\" alt=\"H(p, q) = -\\sum_x p(x) \\log q(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/868\/8685eca023b7da54141fd1f841c1921f.svg\" width=\"216\" height=\"32\" data-width=\"27.685\" data-height=\"4.769\" data-vertical-align=\"-1.819\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/868\/8685eca023b7da54141fd1f841c1921f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/86\/868\/8685eca023b7da54141fd1f841c1921f.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043d\u0430\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f.<\/p>\n<h3>\u0422\u0430\u043a \u0438 \u0437\u0430\u0447\u0435\u043c \u0432\u0441\u0435 \u044d\u0442\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438?<\/h3>\n<p>\u041f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438: \u0438\u0437 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445. <img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u044d\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u0430\u043c\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442. <img decoding=\"async\" class=\"formula inline\" source=\"D_{\\mathrm{KL}}(p \\| q)\" alt=\"D_{\\mathrm{KL}}(p \\| q)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg\" width=\"72\" height=\"16\" data-width=\"9.376\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u044d\u0442\u043e \u0442\u043e, \u0441 \u0447\u0435\u043c \u043c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u043e\u043c\u0430\u0445\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0438\u043c\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 &#8212; \u044d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438: \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0438 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, <img decoding=\"async\" class=\"formula inline\" source=\"\\nabla_\\theta H(p, q_\\theta) = \\nabla_\\theta D_{\\mathrm{KL}}(p \\| q_\\theta)\" alt=\"\\nabla_\\theta H(p, q_\\theta) = \\nabla_\\theta D_{\\mathrm{KL}}(p \\| q_\\theta)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b4c\/b4c7747d3b73ba9d7fe068778b555911.svg\" width=\"208\" height=\"16\" data-width=\"26.805\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b4c\/b4c7747d3b73ba9d7fe068778b555911.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b4\/b4c\/b4c7747d3b73ba9d7fe068778b555911.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0412\u044b\u0447\u0438\u0442\u0430\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u043d\u0435\u0437\u0430\u0447\u0435\u043c. \u0414\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u043b\u043e, \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 KL: \u0442\u043e\u0433\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0437\u043d\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e, \u0430 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e, \u0442\u0430\u043a \u0447\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u0443\u044e KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u043c\u043e\u0436\u0435\u043c.<\/p>\n<p>\u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u044f\u0432\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434: \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u043e\u0441\u0441\u0430 \u043c\u0430\u043b\u043e \u043e \u0447\u0451\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442. \u041b\u043e\u0441\u0441 <img decoding=\"async\" class=\"formula inline\" source=\"0.3\" alt=\"0.3\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e8\/e85\/e85b79abfd76b7c13b1334d8d8c194a5.svg\" width=\"16\" height=\"12\" data-width=\"2.891\" data-height=\"1.557\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e8\/e85\/e85b79abfd76b7c13b1334d8d8c194a5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e8\/e85\/e85b79abfd76b7c13b1334d8d8c194a5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e \u0438\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e? \u041e\u0442\u0432\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0415\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u0448\u0443\u043c\u043d\u0430\u044f \u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u0447\u0438\u043a\u0438 \u0441\u0430\u043c\u0438 \u043d\u0435 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u0442\u043e <img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c <img decoding=\"async\" class=\"formula inline\" source=\"0.25\" alt=\"0.25\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/70d\/70da82175ec8a195a3d8b0fa8f69681d.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/70d\/70da82175ec8a195a3d8b0fa8f69681d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/70\/70d\/70da82175ec8a195a3d8b0fa8f69681d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043c\u044b \u043f\u043e\u0447\u0442\u0438 \u0443 \u0438\u0434\u0435\u0430\u043b\u0430. \u0415\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f, <img decoding=\"async\" class=\"formula inline\" source=\"H(p) = 0\" alt=\"H(p) = 0\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c8\/c87\/c874efff8afc930986d1dba6fbb8dae7.svg\" width=\"72\" height=\"16\" data-width=\"9.056\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c8\/c87\/c874efff8afc930986d1dba6fbb8dae7.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/c\/c8\/c87\/c874efff8afc930986d1dba6fbb8dae7.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u043c\u044b \u0432\u0441\u0451 \u0435\u0449\u0451 \u0434\u0430\u043b\u0435\u043a\u043e.<\/p>\n<p>\u041d\u043e \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, &#8212; \u044d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"-\\log_2 q(x)\" alt=\"-\\log_2 q(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/577\/577edf4bcf3e99095ca5ef5e6114d3e3.svg\" width=\"80\" height=\"16\" data-width=\"10.488\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/577\/577edf4bcf3e99095ca5ef5e6114d3e3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/57\/577\/577edf4bcf3e99095ca5ef5e6114d3e3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0432 \u0431\u0438\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u0438\u043f\u0438\u0448\u0435\u0442 \u0441\u0438\u043c\u0432\u043e\u043b\u0443 <img decoding=\"async\" class=\"formula inline\" source=\"x\" alt=\"x\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg\" width=\"12\" height=\"12\" data-width=\"1.294\" data-height=\"1.025\" data-vertical-align=\"-0.025\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9d\/9dd\/9dd4e461268c8034f5c8564e155c67a6.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u0427\u0430\u0441\u0442\u044b\u043c \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043a\u043e\u0434\u044b, \u0440\u0435\u0434\u043a\u0438\u043c &#8212; \u0434\u043b\u0438\u043d\u043d\u044b\u0435. \u0422\u043e\u0433\u0434\u0430:<\/p>\n<ul>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"H(p)\" alt=\"H(p)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg\" width=\"32\" height=\"16\" data-width=\"4.907\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/4\/46\/46b\/46bbb752c0f72ea66e5206edb12b5e78.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u043a\u043e\u0434 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e\u0434 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u042d\u0442\u043e \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c (\u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u0428\u0435\u043d\u043d\u043e\u043d\u0430 \u043e\u0431 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0435).<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"H(p, q)\" alt=\"H(p, q)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/adc\/adc3bf8d5f75ce0032c996e95f5f4a5b.svg\" width=\"48\" height=\"16\" data-width=\"6.954\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/adc\/adc3bf8d5f75ce0032c996e95f5f4a5b.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/ad\/adc\/adc3bf8d5f75ce0032c996e95f5f4a5b.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430, \u0435\u0441\u043b\u0438 \u043a\u043e\u0434 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e\u0434 <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0438\u0434\u0443\u0442 \u0438\u0437 <img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<\/li>\n<li>\n<p><img decoding=\"async\" class=\"formula inline\" source=\"D_{\\mathrm{KL}}(p \\| q)\" alt=\"D_{\\mathrm{KL}}(p \\| q)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg\" width=\"72\" height=\"16\" data-width=\"9.376\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> &#8212; \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430. \u041b\u0438\u0448\u043d\u0438\u0435 \u0431\u0438\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e.<\/p>\n<\/li>\n<\/ul>\n<p>\u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u041f\u0443\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0432\u044b\u0434\u0430\u0451\u0442 \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u0430 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"p = \\left(\\tfrac{1}{2},\\ \\tfrac{1}{4},\\ \\tfrac{1}{8},\\ \\tfrac{1}{8}\\right) \\quad \\text{\u0434\u043b\u044f } (A, B, C, D).\" alt=\"p = \\left(\\tfrac{1}{2},\\ \\tfrac{1}{4},\\ \\tfrac{1}{8},\\ \\tfrac{1}{8}\\right) \\quad \\text{\u0434\u043b\u044f } (A, B, C, D).\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0f4\/0f461aa9b94e2357c0f452abe91f5efe.svg\" width=\"296\" height=\"16\" data-width=\"37.438\" data-height=\"2.773\" data-vertical-align=\"-0.821\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0f4\/0f461aa9b94e2357c0f452abe91f5efe.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/0f\/0f4\/0f461aa9b94e2357c0f452abe91f5efe.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 (\u043a\u043e\u0434 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430) \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u043e\u0439:<\/p>\n<div>\n<div class=\"table\">\n<table>\n<tbody>\n<tr>\n<th>\n<p align=\"left\">\u0421\u0438\u043c\u0432\u043e\u043b<\/p>\n<\/th>\n<th>\n<p align=\"left\"><img decoding=\"async\" class=\"formula inline\" source=\"p\" alt=\"p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg\" width=\"12\" height=\"12\" data-width=\"1.138\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/83\/838\/83878c91171338902e0fe0fb97a8c47a.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<\/th>\n<th>\n<p align=\"left\">\u041a\u043e\u0434<\/p>\n<\/th>\n<th>\n<p align=\"left\">\u0414\u043b\u0438\u043d\u0430<\/p>\n<\/th>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">A<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/2<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>0<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">1<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">B<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/4<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>10<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">2<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">C<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>110<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<tr>\n<td>\n<p align=\"left\">D<\/p>\n<\/td>\n<td>\n<p align=\"left\">1\/8<\/p>\n<\/td>\n<td>\n<p align=\"left\"><code>111<\/code><\/p>\n<\/td>\n<td>\n<p align=\"left\">3<\/p>\n<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<\/div>\n<\/div>\n<p>\u0414\u043b\u0438\u043d\u044b \u0440\u043e\u0432\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 <img decoding=\"async\" class=\"formula inline\" source=\"-\\log_2 p(x)\" alt=\"-\\log_2 p(x)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/901\/901264ee1e1a9267d0147be8657ba57f.svg\" width=\"80\" height=\"16\" data-width=\"10.586\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/901\/901264ee1e1a9267d0147be8657ba57f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/90\/901\/901264ee1e1a9267d0147be8657ba57f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0438 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0440\u0430\u0432\u043d\u0430<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H(p) = \\tfrac{1}{2}\\cdot 1 + \\tfrac{1}{4}\\cdot 2 + \\tfrac{1}{8}\\cdot 3 + \\tfrac{1}{8}\\cdot 3 = 1.75 \\text{ \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b.}\" alt=\"H(p) = \\tfrac{1}{2}\\cdot 1 + \\tfrac{1}{4}\\cdot 2 + \\tfrac{1}{8}\\cdot 3 + \\tfrac{1}{8}\\cdot 3 = 1.75 \\text{ \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b.}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d6\/1d6e773cb5d20eb144e9592d0a66ca54.svg\" width=\"480\" height=\"16\" data-width=\"60.121\" data-height=\"2.773\" data-vertical-align=\"-0.821\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d6\/1d6e773cb5d20eb144e9592d0a66ca54.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1d6\/1d6e773cb5d20eb144e9592d0a66ca54.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c\u00bb \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c: <img decoding=\"async\" class=\"formula inline\" source=\"q = (\\tfrac{1}{4}, \\tfrac{1}{4}, \\tfrac{1}{4}, \\tfrac{1}{4})\" alt=\"q = (\\tfrac{1}{4}, \\tfrac{1}{4}, \\tfrac{1}{4}, \\tfrac{1}{4})\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3a8\/3a8f5296e032b725a4e8123d3bae1082.svg\" width=\"128\" height=\"16\" data-width=\"16.018\" data-height=\"2.737\" data-vertical-align=\"-0.803\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3a8\/3a8f5296e032b725a4e8123d3bae1082.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/3\/3a\/3a8\/3a8f5296e032b725a4e8123d3bae1082.svg 781w\" loading=\"lazy\" decode=\"async\"\/>. \u041f\u043e\u0434 \u0442\u0430\u043a\u043e\u0435 <img decoding=\"async\" class=\"formula inline\" source=\"q\" alt=\"q\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg\" width=\"12\" height=\"12\" data-width=\"1.041\" data-height=\"1.439\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/7\/76\/769\/7694f4a66316e53c8cdd9d9954bd611d.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 &#8212; \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u0432\u0430 \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b: <code>00<\/code>, <code>01<\/code>, <code>10<\/code>, <code>11<\/code>. \u041a\u043e\u0434 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439, \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u041d\u043e \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0442\u0435\u043f\u0435\u0440\u044c<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"H(p, q) = \\sum_x p(x) \\cdot 2 = 2 \\text{ \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b,}\" alt=\"H(p, q) = \\sum_x p(x) \\cdot 2 = 2 \\text{ \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b,}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/06\/060\/0600f3a069cc1d0ec40b1f694f71cee4.svg\" width=\"344\" height=\"32\" data-width=\"43.337\" data-height=\"4.769\" data-vertical-align=\"-1.819\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/06\/060\/0600f3a069cc1d0ec40b1f694f71cee4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/0\/06\/060\/0600f3a069cc1d0ec40b1f694f71cee4.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u0430 \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442<\/p>\n<p><img decoding=\"async\" class=\"formula\" source=\"D_{\\mathrm{KL}}(p \\,\\|\\, q) = 2 - 1.75 = 0.25 \\text{ \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b.}\" alt=\"D_{\\mathrm{KL}}(p \\,\\|\\, q) = 2 - 1.75 = 0.25 \\text{ \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b.}\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d7\/5d78e275f87dda6ef4c45572018d68f6.svg\" width=\"368\" height=\"16\" data-width=\"46.723\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d7\/5d78e275f87dda6ef4c45572018d68f6.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/5\/5d\/5d7\/5d78e275f87dda6ef4c45572018d68f6.svg 781w\" loading=\"lazy\" decode=\"async\"\/><\/p>\n<p>\u041f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u0430\u0451\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435: <img decoding=\"async\" class=\"formula inline\" source=\"\\tfrac{1}{2}\\log_2\\tfrac{1\/2}{1\/4} + \\tfrac{1}{4}\\log_2 1 + 2 \\cdot \\tfrac{1}{8}\\log_2\\tfrac{1\/8}{1\/4} = 0.5 + 0 - 0.25 = 0.25\" alt=\"\\tfrac{1}{2}\\log_2\\tfrac{1\/2}{1\/4} + \\tfrac{1}{4}\\log_2 1 + 2 \\cdot \\tfrac{1}{8}\\log_2\\tfrac{1\/8}{1\/4} = 0.5 + 0 - 0.25 = 0.25\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1df\/1df5b000ee2ae0f89f7e6fcc455b05e4.svg\" width=\"464\" height=\"24\" data-width=\"58.007\" data-height=\"3.607\" data-vertical-align=\"-1.238\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1df\/1df5b000ee2ae0f89f7e6fcc455b05e4.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/1\/1d\/1df\/1df5b000ee2ae0f89f7e6fcc455b05e4.svg 781w\" loading=\"lazy\" decode=\"async\"\/>.<\/p>\n<p>\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044b\u0439 \u0441\u0438\u043c\u0432\u043e\u043b A (\u0434\u0430\u043b\u0438 \u0435\u043c\u0443 2 \u0431\u0438\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e 1) \u0438 \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0434\u043a\u0438\u0435 C \u0438 D. \u041d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u044d\u0442\u043e 250 000 \u043b\u0438\u0448\u043d\u0438\u0445 \u0431\u0438\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a \u0436\u0435: \u043e\u0431\u0443\u0447\u0430\u044f \u0435\u0451 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439, \u043c\u044b \u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u0434 \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 &#8212; \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u0434. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 &#8212; \u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0439: <img decoding=\"async\" class=\"formula inline\" source=\"-\\log_2 0.001 \\approx 10\" alt=\"-\\log_2 0.001 \\approx 10\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a7\/6a7ca26bbe86713e23863ee5ff37d6d2.svg\" width=\"128\" height=\"16\" data-width=\"16.827\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a7\/6a7ca26bbe86713e23863ee5ff37d6d2.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/6\/6a\/6a7\/6a7ca26bbe86713e23863ee5ff37d6d2.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0431\u0438\u0442 \u0437\u0430 \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442.<\/p>\n<h4>\u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430<\/h4>\n<p>\u0418\u0437 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043f\u043e\u0447\u0442\u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u043f\u0430\u0434\u0430\u0435\u0442 \u0438\u0434\u0435\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438. \u0420\u0430\u0437 \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"D_{\\mathrm{KL}}(p \\| q)\" alt=\"D_{\\mathrm{KL}}(p \\| q)\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg\" width=\"72\" height=\"16\" data-width=\"9.376\" data-height=\"2.262\" data-vertical-align=\"-0.566\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/e\/e2\/e20\/e204c8cc50fe925683a90f85dad0e3d5.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0433\u0434\u0430 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"q = p\" alt=\"q = p\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d14\/d14da4fe7bba0d7f3a06cb011d013986.svg\" width=\"40\" height=\"12\" data-width=\"5.196\" data-height=\"1.758\" data-vertical-align=\"-0.439\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d14\/d14da4fe7bba0d7f3a06cb011d013986.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/d\/d1\/d14\/d14da4fe7bba0d7f3a06cb011d013986.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043d\u0430 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0438 \u043a\u043b\u0430\u0441\u0441\u0430, \u0430 \u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438 <strong>\u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439<\/strong>. \u041d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f (strictly proper scoring rule).<\/p>\n<p>\u0421\u0440\u0430\u0432\u043d\u0438\u043c \u0441 accuracy: \u043e\u043d\u0430 \u043d\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f <img decoding=\"async\" class=\"formula inline\" source=\"0.51\" alt=\"0.51\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/885\/88522fe985d5b24c3b46533d4f1ee326.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/885\/88522fe985d5b24c3b46533d4f1ee326.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/8\/88\/885\/88522fe985d5b24c3b46533d4f1ee326.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 <img decoding=\"async\" class=\"formula inline\" source=\"0.99\" alt=\"0.99\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b1\/9b185eba3656e2a8aad8774a278b083f.svg\" width=\"32\" height=\"12\" data-width=\"4.023\" data-height=\"1.557\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b1\/9b185eba3656e2a8aad8774a278b083f.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/9\/9b\/9b1\/9b185eba3656e2a8aad8774a278b083f.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e argmax \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435. \u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0436\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442.<\/p>\n<p>\u0422\u043e \u0435\u0441\u0442\u044c, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 <img decoding=\"async\" class=\"formula inline\" source=\"0.9\" alt=\"0.9\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a89\/a894124cc6d5c5c71afe060d5dde0762.svg\" width=\"16\" height=\"12\" data-width=\"2.891\" data-height=\"1.557\" data-vertical-align=\"-0.05\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a89\/a894124cc6d5c5c71afe060d5dde0762.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/a\/a8\/a89\/a894124cc6d5c5c71afe060d5dde0762.svg 781w\" loading=\"lazy\" decode=\"async\"\/>, \u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 90% \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0435\u0440\u043d\u044b\u043c. \u0415\u0441\u043b\u0438 \u0432\u0435\u0440\u043d\u044b\u0445 70%, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u0430, \u0438 \u0435\u0451 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0443 (\u043f\u043e\u0440\u043e\u0433\u0438, \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438, \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0440\u0438\u0441\u043a\u0443). \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438 (reliability diagram) \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u0432\u0440\u043e\u0434\u0435 ECE, \u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u043c \u0448\u043a\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c: \u0434\u0435\u043b\u0438\u043c \u043b\u043e\u0433\u0438\u0442\u044b \u043d\u0430 <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg\" width=\"12\" height=\"12\" data-width=\"1.593\" data-height=\"1.532\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c <img decoding=\"async\" class=\"formula inline\" source=\"T\" alt=\"T\" src=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg\" width=\"12\" height=\"12\" data-width=\"1.593\" data-height=\"1.532\" sizes=\"auto, (max-width: 780px) 100vw, 50vw\" srcset=\"https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 780w,&#10;       https:\/\/habrastorage.org\/getpro\/habr\/formulas\/b\/b9\/b9e\/b9ece18c950afbfa6b0fdbfa4ff731d3.svg 781w\" loading=\"lazy\" decode=\"async\"\/> \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0442\u0443 \u0436\u0435 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e.<\/p>\n<h3>\u0412\u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f<\/h3>\n<p>\u0418\u0442\u043e\u0433\u043e, \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u044a\u0435\u043a\u0442, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0439 \u0438\u0437 \u0442\u0440\u0451\u0445 \u0438\u0434\u0435\u0439: \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043f\u043b\u044e\u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0438 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412\u0441\u0435 \u0442\u0440\u0438 \u0432\u0437\u0433\u043b\u044f\u0434\u0430 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435: \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0430 \u043d\u0435 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u0447\u0430\u0449\u0435 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441. \u041c\u043d\u0435 \u043a\u0430\u0436\u0435\u0442\u0441\u044f, \u0438\u043c\u0435\u043d\u043d\u043e \u044d\u0442\u043e \u0438 \u0441\u0442\u043e\u0438\u0442 \u0432\u044b\u043d\u0435\u0441\u0442\u0438 \u0438\u0437 \u0441\u0442\u0430\u0442\u044c\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u043e\u0442\u0441\u044e\u0434\u0430 \u0435\u0441\u0442\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u043e \u0432\u044b\u0440\u0430\u0441\u0442\u0430\u0435\u0442 \u0438 \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430, \u0438 \u0431\u043e\u043b\u0435\u0435 \u0432\u043d\u0438\u043c\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u0435 \u043a \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f\u043c \u043c\u043e\u0434\u0435\u043b\u0438.<\/p>\n<p>\u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442\u0435 \u043f\u043e\u0441\u043c\u043e\u0442\u0440\u0435\u0442\u044c <a href=\"https:\/\/mmkuznecov.github.io\/posts\/several-views-on-cross-entropy\/\" rel=\"noopener noreferrer nofollow\">\u0441\u0442\u0430\u0442\u044c\u044e \u0432 \u043c\u043e\u0451\u043c \u0431\u043b\u043e\u0436\u0438\u043a\u0435<\/a>, \u0433\u0434\u0435 \u043c\u043e\u0436\u043d\u043e \u043f\u043e\u0442\u044b\u043a\u0430\u0442\u044c \u0438\u043d\u0442\u0435\u0440\u0430\u043a\u0442\u0438\u0432\u043d\u044b\u0435 \u0433\u0440\u0430\u0444\u0438\u043a\u0438.<\/p>\n<\/div>\n<p>\u0441\u0441\u044b\u043b\u043a\u0430 \u043d\u0430 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b \u0441\u0442\u0430\u0442\u044c\u0438 <a href=\"https:\/\/habr.com\/ru\/articles\/1061392\/\">https:\/\/habr.com\/ru\/articles\/1061392\/<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0412\u0441\u0435\u043c \u043f\u0440\u0438\u0432\u0435\u0442! \u0412 \u044d\u0442\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u044f \u0445\u043e\u0442\u0435\u043b \u0431\u044b \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043e\u0441\u0432\u0435\u0442\u0438\u0442\u044c \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0433\u043b\u044f\u0434\u043e\u0432 \u043d\u0430 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e \u0438 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u0441\u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u0443\u044e \u0438\u043d\u0442\u0443\u0438\u0446\u0438\u044e \u0441 \u0442\u043e\u0447\u043a\u0438 \u0437\u0440\u0435\u043d\u0438\u044f \u0442\u0435\u043e\u0440\u0438\u0438 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438.\u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f &#8212; \u043e\u0434\u043d\u0430 \u0438\u0437 \u0446\u0435\u043d\u0442\u0440\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u0440\u0438\u043a \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041b\u044e\u0431\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u0442\u0430\u043a \u0438\u043b\u0438 \u0438\u043d\u0430\u0447\u0435 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u0447\u0435\u0440\u0435\u0437 \u044d\u0442\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0443. \u041e\u0434\u043d\u0430\u043a\u043e \u043d\u043e\u0432\u0438\u0447\u043a\u0438 \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0437\u0430\u0434\u0430\u044e\u0442\u0441\u044f \u0432\u043e\u043f\u0440\u043e\u0441\u043e\u043c, \u043e\u0442\u043a\u0443\u0434\u0430 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u044d\u0442\u0430 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0438 \u043f\u043e\u0447\u0435\u043c\u0443 \u0438\u043c\u0435\u0435\u0442 \u0442\u0430\u043a\u043e\u0439 \u0432\u0438\u0434, \u0442\u0430\u043a \u043a\u0430\u043a \u043d\u0435\u0440\u0435\u0434\u043a\u043e \u0432\u043d\u0435 \u043f\u0440\u043e\u0444\u0438\u043b\u044c\u043d\u044b\u0445 \u043a\u0443\u0440\u0441\u043e\u0432 \u043e\u043d\u0430 \u043f\u0440\u0435\u043f\u043e\u0434\u043d\u043e\u0441\u0438\u0442\u0441\u044f \u043a\u0430\u043a \u0434\u0430\u043d\u043d\u043e\u0441\u0442\u044c.\u0412\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f\u041d\u0430\u0447\u043d\u0451\u043c \u0441 \u043a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0432\u044b\u0432\u043e\u0434\u0430: \u0447\u0435\u0440\u0435\u0437 \u043c\u0435\u0442\u043e\u0434 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f (\u0434\u0430\u043b\u0435\u0435 \u0431\u0443\u0434\u0435\u043c \u043d\u0430\u0437\u044b\u0432\u0430\u0442\u044c \u0435\u0433\u043e MLE). \u0412\u0441\u043f\u043e\u043c\u043d\u0438\u043c \u043a\u0443\u0440\u0441 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u0438 \u0447\u0442\u043e \u0438\u0437 \u0441\u0435\u0431\u044f \u0432\u043e\u043e\u0431\u0449\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f.\u0423 \u043d\u0430\u0441 \u0435\u0441\u0442\u044c \u0432\u044b\u0431\u043e\u0440\u043a\u0430  \u0438 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c . \u0424\u0443\u043d\u043a\u0446\u0438\u044f \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f &#8212; \u044d\u0442\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0443\u0432\u0438\u0434\u0435\u0442\u044c \u0440\u043e\u0432\u043d\u043e \u0442\u0435 \u0434\u0430\u043d\u043d\u044b\u0435, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0435\u043c, \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432:\u0422\u0443\u0442  \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u0430\u0442\u0440\u0438\u0432\u0430\u0435\u043c \u043d\u0435 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442  \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u0430\u0445, \u0430 \u043a\u0430\u043a \u0444\u0443\u043d\u043a\u0446\u0438\u044e \u043e\u0442  \u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445. \u041f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e\u0442\u043e\u043c\u0443, \u0447\u0442\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u044b \u0432\u044b\u0431\u043e\u0440\u043a\u0438 \u0441\u0447\u0438\u0442\u0430\u044e\u0442\u0441\u044f \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u044b\u043c\u0438 (\u043f\u0440\u0438 \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0445 ):\u0420\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043f\u0440\u043e\u0441\u0442\u0435\u0439\u0448\u0438\u0439 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439: , \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 . \u042d\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0411\u0435\u0440\u043d\u0443\u043b\u043b\u0438, \u0438 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u0430 \u0437\u0430\u043f\u0438\u0441\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u0443\u043b\u043e\u0439:\u0422\u0440\u044e\u043a \u0441\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044f\u043c\u0438 \u0437\u0434\u0435\u0441\u044c \u0447\u0438\u0441\u0442\u043e \u0442\u0435\u0445\u043d\u0438\u0447\u0435\u0441\u043a\u0438\u0439: \u043f\u0440\u0438  \u0432\u0442\u043e\u0440\u043e\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c \u043e\u0431\u0440\u0430\u0449\u0430\u0435\u0442\u0441\u044f \u0432 \u0435\u0434\u0438\u043d\u0438\u0446\u0443 \u0438 \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f , \u043f\u0440\u0438  &#8212; \u043d\u0430\u043e\u0431\u043e\u0440\u043e\u0442, \u043e\u0441\u0442\u0430\u0451\u0442\u0441\u044f . \u0422\u043e \u0435\u0441\u0442\u044c \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u043f\u0440\u043e\u0441\u0442\u043e \u0432\u044b\u0431\u0438\u0440\u0430\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0442\u043e\u0433\u043e \u0438\u0441\u0445\u043e\u0434\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u0451\u043b.\u041d\u0435\u0441\u043b\u043e\u0436\u043d\u043e \u043e\u0431\u043e\u0431\u0449\u0438\u0442\u044c \u043d\u0430 \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u044b\u0439 \u0441\u043b\u0443\u0447\u0430\u0439. \u041f\u0443\u0441\u0442\u044c \u043a\u043b\u0430\u0441\u0441\u043e\u0432 , \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 \u0432\u0435\u043a\u0442\u043e\u0440 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 , , \u0430 \u0446\u0435\u043b\u0435\u0432\u0443\u044e \u043c\u0435\u0442\u043a\u0443 \u043a\u043e\u0434\u0438\u0440\u0443\u0435\u043c one-hot \u0432\u0435\u043a\u0442\u043e\u0440\u043e\u043c , \u0433\u0434\u0435  \u0434\u043b\u044f \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 \u0438  \u0438\u043d\u0430\u0447\u0435. \u0422\u043e\u0433\u0434\u0430 \u0442\u043e\u0442 \u0436\u0435 \u0442\u0440\u044e\u043a \u0441\u043e \u0441\u0442\u0435\u043f\u0435\u043d\u044f\u043c\u0438 \u0434\u0430\u0451\u0442\u0438 \u0432\u0441\u0451 \u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u0441\u043d\u043e\u0432\u0430 \u0441\u0445\u043b\u043e\u043f\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0432 \u043e\u0434\u0438\u043d \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c &#8212; \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430.\u041f\u043e\u0441\u043b\u0435 \u0431\u0435\u0440\u0451\u043c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u0444\u0443\u043d\u043a\u0446\u0438\u0438 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u044f, \u0442\u0430\u043a \u043a\u0430\u043a \u0441 \u043d\u0438\u043c \u043b\u0435\u0433\u0447\u0435 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c (\u043f\u0440\u043e\u0438\u0437\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u043f\u0435\u0440\u0435\u0445\u043e\u0434\u0438\u0442 \u0432 \u0441\u0443\u043c\u043c\u0443 + \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u0442 \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e \u0441\u0442\u0430\u0431\u0438\u043b\u044c\u043d\u0435\u0435). \u041b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043c\u043e\u043d\u043e\u0442\u043e\u043d\u0435\u043d, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0442\u043e\u0447\u043a\u0430 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c\u0430 \u043d\u0435 \u043c\u0435\u043d\u044f\u0435\u0442\u0441\u044f. \u0414\u043e\u043c\u043d\u043e\u0436\u0438\u043c \u0435\u0449\u0451 \u043d\u0430 , \u0447\u0442\u043e\u0431\u044b \u0432\u043c\u0435\u0441\u0442\u043e \u043c\u0430\u043a\u0441\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u0442\u044c \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u0443\u044e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e:\u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0437\u043d\u0430\u043a\u043e\u043c\u0430\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u0430. \u0414\u043b\u044f \u0431\u0438\u043d\u0430\u0440\u043d\u043e\u0433\u043e \u0441\u043b\u0443\u0447\u0430\u044f\u0438 \u0434\u043b\u044f \u043c\u043d\u043e\u0433\u043e\u043a\u043b\u0430\u0441\u0441\u043e\u0432\u043e\u0433\u043e\u0433\u0434\u0435  &#8212; \u0438\u043d\u0434\u0435\u043a\u0441 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0433\u043e \u043a\u043b\u0430\u0441\u0441\u0430 -\u0433\u043e \u043e\u0431\u044a\u0435\u043a\u0442\u0430. \u0412 \u043f\u0440\u0430\u0432\u043e\u0439 \u0447\u0430\u0441\u0442\u0438 \u0438\u0437-\u0437\u0430 one-hot \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0432\u0441\u044f \u0432\u043d\u0443\u0442\u0440\u0435\u043d\u043d\u044f\u044f \u0441\u0443\u043c\u043c\u0430 \u0441\u0432\u043e\u0434\u0438\u0442\u0441\u044f \u043a \u043e\u0434\u043d\u043e\u043c\u0443 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u043c\u0443: \u0432 \u043b\u043e\u0441\u0441 \u0432\u0445\u043e\u0434\u0438\u0442 \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u0438\u043f\u0438\u0441\u0430\u043d\u043d\u0430\u044f \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u043c\u0443 \u043a\u043b\u0430\u0441\u0441\u0443.\u0412\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 MLE &#8212; \u0445\u043e\u0440\u043e\u0448\u0435\u0435 \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e\u0435 \u0430\u043d\u0430\u043b\u0438\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u0438, \u043e\u0434\u043d\u0430\u043a\u043e, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, \u0432\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u0430\u0451\u0442 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0431\u043e\u043b\u0435\u0435 \u0438\u043d\u0442\u0443\u0438\u0442\u0438\u0432\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u0435.\u0412\u044b\u0432\u043e\u0434 \u0447\u0435\u0440\u0435\u0437 \u0442\u0435\u043e\u0440\u0438\u044e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438\u0412\u0432\u0435\u0434\u0451\u043c \u0433\u043b\u0430\u0432\u043d\u044b\u0439 \u043e\u0431\u044a\u0435\u043a\u0442, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c \u0431\u0443\u0434\u0435\u043c \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c, &#8212; \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e:\u0414\u0430\u0431\u044b \u043d\u0435 \u043d\u0430\u0433\u0440\u0443\u0436\u0430\u0442\u044c \u0438\u0441\u0442\u043e\u0440\u0438\u0435\u0439 \u0438 \u0444\u043e\u0440\u043c\u0430\u043b\u0438\u0437\u043c\u043e\u043c, \u043f\u043e\u0447\u0435\u043c\u0443 \u0444\u043e\u0440\u043c\u0443\u043b\u0430 \u0438\u043c\u0435\u0435\u0442 \u0438\u043c\u0435\u043d\u043d\u043e \u0442\u0430\u043a\u043e\u0439 \u0432\u0438\u0434, \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u043a\u0430\u0436\u0435\u043c, \u0447\u0442\u043e \u044d\u0442\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0435\u0440\u043e\u0439 \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u0438 \u0441\u043b\u0443\u0447\u0430\u0439\u043d\u043e\u0439 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u044b.\u0425\u043e\u0440\u043e\u0448\u0430\u044f \u0438\u043b\u043b\u044e\u0441\u0442\u0440\u0430\u0446\u0438\u044f &#8212; \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043b\u043e\u0433\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u043f\u0440\u043e \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0443\u044e \u043c\u043e\u043d\u0435\u0442\u043a\u0443. \u041f\u0443\u0441\u0442\u044c \u0435\u0441\u0442\u044c 9 \u043e\u0434\u0438\u043d\u0430\u043a\u043e\u0432\u044b\u0445 \u043d\u0430 \u0432\u0438\u0434 \u043c\u043e\u043d\u0435\u0442, \u043e\u0434\u043d\u0430 \u0438\u0437 \u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043b\u0435\u0433\u0447\u0435 \u043e\u0441\u0442\u0430\u043b\u044c\u043d\u044b\u0445, \u0438 \u0447\u0430\u0448\u0435\u0447\u043d\u044b\u0435 \u0432\u0435\u0441\u044b. \u0417\u0430 \u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0439 \u0433\u0430\u0440\u0430\u043d\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u043e \u043d\u0430\u0439\u0434\u0451\u043c \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0443\u044e?\u041f\u043e\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u043d\u0430 \u0437\u0430\u0434\u0430\u0447\u0443 \u043a\u0430\u043a \u043d\u0430 \u043f\u0435\u0440\u0435\u0434\u0430\u0447\u0443 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438. \u0418\u0437\u043d\u0430\u0447\u0430\u043b\u044c\u043d\u043e \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u043e\u0439 \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u043b\u044e\u0431\u0430\u044f \u0438\u0437 9 \u043c\u043e\u043d\u0435\u0442, \u0432\u0441\u0435 \u0432\u0430\u0440\u0438\u0430\u043d\u0442\u044b \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b, \u0442\u043e \u0435\u0441\u0442\u044c \u0438\u0441\u0445\u043e\u0434\u043d\u0430\u044f \u043d\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0451\u043d\u043d\u043e\u0441\u0442\u044c \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u041e\u0434\u043d\u043e \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435 &#8212; \u044d\u0442\u043e \u043a\u0430\u043d\u0430\u043b \u0441 \u0442\u0440\u0435\u043c\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u043c\u0438 \u0438\u0441\u0445\u043e\u0434\u0430\u043c\u0438: \u043b\u0435\u0432\u0430\u044f \u0447\u0430\u0448\u0430 \u043b\u0435\u0433\u0447\u0435, \u043f\u0440\u0430\u0432\u0430\u044f \u043b\u0435\u0433\u0447\u0435, \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0441\u0438\u0435. \u0411\u043e\u043b\u044c\u0448\u0435  \u0431\u0438\u0442\u0430 \u0442\u0430\u043a\u043e\u0439 \u043a\u0430\u043d\u0430\u043b \u0437\u0430 \u0440\u0430\u0437 \u043d\u0435 \u043f\u0435\u0440\u0435\u0434\u0430\u0441\u0442, \u043f\u0440\u0438\u0447\u0451\u043c \u044d\u0442\u043e\u0442 \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u0432\u0441\u0435 \u0442\u0440\u0438 \u0438\u0441\u0445\u043e\u0434\u0430 \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b. \u0417\u043d\u0430\u0447\u0438\u0442, \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0439 \u043d\u0443\u0436\u043d\u043e \u043d\u0435 \u043c\u0435\u043d\u044c\u0448\u0435, \u0447\u0435\u043c\u0418 \u044d\u0442\u043e\u0442 \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0434\u043e\u0441\u0442\u0438\u0436\u0438\u043c: \u043a\u043b\u0430\u0434\u0451\u043c \u043f\u043e \u0442\u0440\u0438 \u043c\u043e\u043d\u0435\u0442\u044b \u043d\u0430 \u043a\u0430\u0436\u0434\u0443\u044e \u0447\u0430\u0448\u0443, \u0442\u0440\u0438 \u043e\u0442\u043a\u043b\u0430\u0434\u044b\u0432\u0430\u0435\u043c \u0432 \u0441\u0442\u043e\u0440\u043e\u043d\u0443. \u041a\u0430\u0436\u0434\u044b\u0439 \u0438\u0437 \u0442\u0440\u0451\u0445 \u0438\u0441\u0445\u043e\u0434\u043e\u0432 \u0438\u043c\u0435\u0435\u0442 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044c  \u0438 \u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u0440\u043e\u0432\u043d\u043e \u0442\u0440\u0438 \u043f\u043e\u0434\u043e\u0437\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u0435 \u043c\u043e\u043d\u0435\u0442\u044b; \u0432\u0442\u043e\u0440\u044b\u043c \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u0435\u043c \u0442\u0435\u043c \u0436\u0435 \u043f\u0440\u0438\u0451\u043c\u043e\u043c \u043d\u0430\u0445\u043e\u0434\u0438\u043c \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0443\u044e. \u0417\u0430\u043c\u0435\u0442\u043d\u043e, \u0447\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439\u043d\u0430\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u043f\u043e\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0438 \u0441\u0430\u043c\u0443 \u0441\u0442\u0440\u0430\u0442\u0435\u0433\u0438\u044e: \u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0443\u0436\u043d\u043e \u043d\u0430 \u0440\u0430\u0432\u043d\u044b\u0435 \u0447\u0430\u0441\u0442\u0438, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0435 \u0438\u0441\u0445\u043e\u0434\u044b \u0432\u044b\u0436\u0438\u043c\u0430\u044e\u0442 \u0438\u0437 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f \u043c\u0430\u043a\u0441\u0438\u043c\u0443\u043c \u0431\u0438\u0442. \u041a\u043b\u0430\u0441\u0441\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u0432\u0435\u0440\u0441\u0438\u044f \u0437\u0430\u0434\u0430\u0447\u0438 \u0441 12 \u043c\u043e\u043d\u0435\u0442\u0430\u043c\u0438, \u0433\u0434\u0435 \u043d\u0435\u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e, \u043b\u0435\u0433\u0447\u0435 \u0444\u0430\u043b\u044c\u0448\u0438\u0432\u0430\u044f \u0438\u043b\u0438 \u0442\u044f\u0436\u0435\u043b\u0435\u0435, \u0440\u0435\u0448\u0430\u0435\u0442\u0441\u044f \u0442\u0435\u043c \u0436\u0435 \u0441\u043f\u043e\u0441\u043e\u0431\u043e\u043c: \u0442\u0430\u043c  \u0440\u0430\u0432\u043d\u043e\u0432\u0435\u0440\u043e\u044f\u0442\u043d\u044b\u0445 \u0438\u0441\u0445\u043e\u0434\u0430, , \u043e\u0442\u043a\u0443\u0434\u0430 \u0447\u0435\u0441\u0442\u043d\u0430\u044f \u043d\u0438\u0436\u043d\u044f\u044f \u0433\u0440\u0430\u043d\u0438\u0446\u0430 \u0432 3 \u0432\u0437\u0432\u0435\u0448\u0438\u0432\u0430\u043d\u0438\u044f.\u0414\u043b\u044f \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u0443\u044e\u0449\u0438\u0445\u0441\u044f: \u043f\u043e\u0447\u0438\u0442\u0430\u0442\u044c \u043f\u0440\u043e \u0430\u043a\u0441\u0438\u043e\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u0432\u044b\u0432\u043e\u0434 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0428\u0435\u043d\u043d\u043e\u043d\u0430 \u043c\u043e\u0436\u043d\u043e \u0432 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u044c\u0435 \u0428\u0435\u043d\u043d\u043e\u043d\u0430 1948 \u0433\u043e\u0434\u0430 (\u0440\u0430\u0437\u0434\u0435\u043b 6 \u0438 \u041f\u0440\u0438\u043b\u043e\u0436\u0435\u043d\u0438\u0435 2).\u0412\u043d\u0443\u0442\u0440\u0438 \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u0432\u0435\u043b\u0438\u0447\u0438\u043d\u0430 , \u0435\u0451 \u043d\u0430\u0437\u044b\u0432\u0430\u044e\u0442 \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0435\u0439, \u0438\u043b\u0438 \u00ab\u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435\u043c\u00bb (surprisal). \u041b\u043e\u0433\u0438\u043a\u0430 \u043f\u0440\u043e\u0441\u0442\u0430\u044f: \u0435\u0441\u043b\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043f\u043e\u0447\u0442\u0438 \u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u043d\u043e, , \u0442\u043e \u0443\u0437\u043d\u0430\u0442\u044c \u043e \u0442\u043e\u043c, \u0447\u0442\u043e \u043e\u043d\u043e \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u043e, &#8212; \u044d\u0442\u043e \u043d\u043e\u043b\u044c \u043d\u043e\u0432\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u0438 . \u0415\u0441\u043b\u0438 \u0441\u043e\u0431\u044b\u0442\u0438\u0435 \u043a\u0440\u0430\u0439\u043d\u0435 \u0440\u0435\u0434\u043a\u043e\u0435, , \u0442\u043e \u0435\u0433\u043e \u043d\u0430\u0441\u0442\u0443\u043f\u043b\u0435\u043d\u0438\u0435 \u0443\u0434\u0438\u0432\u043b\u044f\u0435\u0442 \u0441\u0438\u043b\u044c\u043d\u043e, \u0438 . \u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f &#8212; \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0435. \u0415\u0441\u043b\u0438 \u0431\u0440\u0430\u0442\u044c , \u0432\u0441\u0451 \u043c\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u0432 \u043f\u0440\u0438\u0432\u044b\u0447\u043d\u044b\u0445 \u043d\u0430\u043c \u0431\u0438\u0442\u0430\u0445, \u0435\u0441\u043b\u0438 \u043d\u0430\u0442\u0443\u0440\u0430\u043b\u044c\u043d\u044b\u0439 &#8212; \u0432 \u043d\u0430\u0442\u0430\u0445 (\u043e\u0442 \u0430\u043d\u0433\u043b. natural). \u041d\u0430 \u043e\u043f\u0442\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044e \u0432\u044b\u0431\u043e\u0440 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u044f \u043d\u0435 \u0432\u043b\u0438\u044f\u0435\u0442, \u0442\u0430\u043a \u043a\u0430\u043a \u044d\u0442\u043e \u043f\u0440\u043e\u0441\u0442\u043e \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u043d\u044b\u0439 \u043c\u043d\u043e\u0436\u0438\u0442\u0435\u043b\u044c.\u0422\u0435\u043f\u0435\u0440\u044c \u0432\u0432\u0435\u0434\u0451\u043c \u0435\u0449\u0451 \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442 &#8212; KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e:\u041e\u043d\u0430 \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u043c\u0435\u0436\u0434\u0443 \u0434\u0432\u0443\u043c\u044f \u0432\u0437\u044f\u0442\u044b\u043c\u0438 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f\u043c\u0438  \u0438 , \u0442\u043e\u0447\u043d\u0435\u0435, \u043f\u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0435\u0442, \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u0432 \u0441\u0440\u0435\u0434\u043d\u0435\u043c \u043e\u0448\u0438\u0431\u0430\u0435\u043c\u0441\u044f, \u043a\u043e\u0433\u0434\u0430 \u0434\u0443\u043c\u0430\u0435\u043c, \u0447\u0442\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u044d\u0442\u043e , \u0445\u043e\u0442\u044f \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0432 \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u0438 \u044d\u0442\u043e . \u0412\u043d\u0443\u0442\u0440\u0438 \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u044f \u0441\u0442\u043e\u0438\u0442 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c \u0434\u0432\u0443\u0445 \u0443\u0434\u0438\u0432\u043b\u0435\u043d\u0438\u0439: , \u0442\u043e \u0435\u0441\u0442\u044c \u00ab\u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0441\u0438\u043b\u044c\u043d\u0435\u0435 \u043c\u0435\u043d\u044f \u0443\u0434\u0438\u0432\u0438\u043b \u0438\u0441\u0445\u043e\u0434 , \u0447\u0435\u043c \u0434\u043e\u043b\u0436\u0435\u043d \u0431\u044b\u043b \u0431\u044b\u00bb.\u0423 KL \u0435\u0441\u0442\u044c \u0442\u0440\u0438 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u0442\u043e\u0438\u0442 \u0434\u0435\u0440\u0436\u0430\u0442\u044c \u0432 \u0433\u043e\u043b\u043e\u0432\u0435: \u0432\u0441\u0435\u0433\u0434\u0430 &#8212; \u044d\u0442\u043e \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0413\u0438\u0431\u0431\u0441\u0430, \u0441\u043b\u0435\u0434\u0441\u0442\u0432\u0438\u0435 \u0432\u044b\u043f\u0443\u043a\u043b\u043e\u0441\u0442\u0438  \u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u0430 \u0419\u0435\u043d\u0441\u0435\u043d\u0430. \u0414\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u044c\u0441\u0442\u0432\u043e \u043c\u043e\u0436\u043d\u043e \u0433\u043b\u044f\u043d\u0443\u0442\u044c \u0432\u043e\u0442 \u0442\u0443\u0442. \u0442\u043e\u0433\u0434\u0430 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430  (\u043f\u043e\u0447\u0442\u0438 \u0432\u0441\u044e\u0434\u0443). \u0422\u043e \u0435\u0441\u0442\u044c \u043d\u043e\u043b\u044c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0440\u043e\u0432\u043d\u043e \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435 &#8212; \u043a\u043e\u0433\u0434\u0430 \u043c\u044b \u0442\u043e\u0447\u043d\u043e \u0443\u0433\u0430\u0434\u0430\u043b\u0438 \u043e\u0440\u0438\u0433\u0438\u043d\u0430\u043b\u044c\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435.\u042d\u0442\u043e \u043d\u0435 \u043c\u0435\u0442\u0440\u0438\u043a\u0430 \u0432 \u0441\u0442\u0440\u043e\u0433\u043e \u043c\u0430\u0442\u0435\u043c\u0430\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u043c \u0441\u043c\u044b\u0441\u043b\u0435. , \u0438 \u043d\u0435\u0440\u0430\u0432\u0435\u043d\u0441\u0442\u0432\u043e \u0442\u0440\u0435\u0443\u0433\u043e\u043b\u044c\u043d\u0438\u043a\u0430 \u043d\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0435\u0442\u0441\u044f. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u0440\u0430\u0441\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0442\u0443\u0442 &#8212; \u044d\u0442\u043e \u0441\u043a\u043e\u0440\u0435\u0435 \u043f\u0440\u043e\u0441\u0442\u043e \u043d\u0430\u0438\u043c\u0435\u043d\u043e\u0432\u0430\u043d\u0438\u0435; \u0444\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u0435\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u0442\u044c \u00ab\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f\u00bb.\u0412\u0430\u0436\u043d\u043e\u0435 \u0437\u0430\u043c\u0435\u0447\u0430\u043d\u0438\u0435 \u043f\u043e \u0430\u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0438: \u043e\u0436\u0438\u0434\u0430\u043d\u0438\u0435 \u0431\u0435\u0440\u0451\u0442\u0441\u044f \u043f\u043e , \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u0448\u0442\u0440\u0430\u0444\u0443\u044e\u0442\u0441\u044f \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u0435 \u0442\u043e\u0447\u043a\u0438, \u0433\u0434\u0435 \u0443  \u0435\u0441\u0442\u044c \u043c\u0430\u0441\u0441\u0430. \u0415\u0441\u043b\u0438 , \u0430 , \u043f\u043e\u0434 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u043e\u043c \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u0435\u0442 \u0431\u0435\u0441\u043a\u043e\u043d\u0435\u0447\u043d\u043e\u0441\u0442\u044c, \u0438 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438 \u0432\u0437\u0440\u044b\u0432\u0430\u0435\u0442\u0441\u044f. \u041e\u0431\u0440\u0430\u0442\u043d\u0430\u044f \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f \u043d\u043e\u0440\u043c\u0430\u043b\u044c\u043d\u0430: \u0442\u0430\u043c, \u0433\u0434\u0435 , \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435  \u0432\u043e\u043e\u0431\u0449\u0435 \u043d\u0435 \u043f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f. \u041e\u0442\u0441\u044e\u0434\u0430 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u043e\u0435 \u043f\u043e\u0432\u0435\u0434\u0435\u043d\u0438\u0435: \u043f\u0440\u044f\u043c\u0430\u044f KL \u0434\u0430\u0451\u0442 mode-covering \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u044f (\u043c\u043e\u0434\u0435\u043b\u044c \u043e\u0431\u044f\u0437\u0430\u043d\u0430 \u043d\u0430\u043a\u0440\u044b\u0442\u044c \u0432\u0441\u0451, \u0447\u0442\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e \u0432\u0441\u0442\u0440\u0435\u0447\u0430\u0435\u0442\u0441\u044f), \u043e\u0431\u0440\u0430\u0442\u043d\u0430\u044f KL &#8212; mode-seeking (\u043c\u043e\u0434\u0435\u043b\u044c \u043c\u043e\u0436\u0435\u0442 \u0437\u0430\u043b\u0438\u043f\u043d\u0443\u0442\u044c \u0432 \u043e\u0434\u043d\u0443 \u043c\u043e\u0434\u0443). \u0422\u0435\u043f\u0435\u0440\u044c \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u043b\u0435\u0433\u043a\u043e \u043c\u043e\u0436\u043d\u043e \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0442\u044c \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0435\u0435 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u043e. \u0420\u0430\u0437\u043e\u0431\u044c\u0451\u043c \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c \u043e\u0442\u043d\u043e\u0448\u0435\u043d\u0438\u044f \u043d\u0430 \u0440\u0430\u0437\u043d\u043e\u0441\u0442\u044c:\u043e\u0442\u043a\u0443\u0434\u0430\u0433\u0434\u0435  &#8212; \u0443\u0436\u0435 \u0438\u0437\u0432\u0435\u0441\u0442\u043d\u0430\u044f \u043d\u0430\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f.\u0422\u0430\u043a \u0438 \u0437\u0430\u0447\u0435\u043c \u0432\u0441\u0435 \u044d\u0442\u0438 \u0441\u043b\u043e\u0436\u043d\u043e\u0441\u0442\u0438?\u041f\u0435\u0440\u0435\u0439\u0434\u0451\u043c \u043a \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438: \u0438\u0437 \u0442\u043e\u0436\u0434\u0435\u0441\u0442\u0432\u0430 \u0432\u044b\u0448\u0435 \u0432\u0438\u0434\u043d\u043e, \u0447\u0442\u043e \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0441\u043f\u0430\u0434\u0430\u0435\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0430 \u0440\u0430\u0437\u043d\u044b\u0445 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u044b\u0445.  &#8212; \u044d\u0442\u043e \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0441\u0430\u043c\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438 \u043e\u043d\u0430 \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442.  &#8212; \u044d\u0442\u043e \u0442\u043e, \u0441 \u0447\u0435\u043c \u043c\u044b \u0440\u0430\u0431\u043e\u0442\u0430\u0435\u043c: \u043d\u0430\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u043d\u0430\u0448\u0430 \u043c\u043e\u0434\u0435\u043b\u044c  \u043f\u0440\u043e\u043c\u0430\u0445\u0438\u0432\u0430\u0435\u0442\u0441\u044f \u043c\u0438\u043c\u043e \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u0433\u043e \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f . \u0424\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0438 \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 &#8212; \u044d\u0442\u043e \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0430\u0446\u0438\u044f KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u0438: \u043f\u043e\u0441\u043a\u043e\u043b\u044c\u043a\u0443  \u043d\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432 \u043c\u043e\u0434\u0435\u043b\u0438, \u043e\u0431\u0435 \u0437\u0430\u0434\u0430\u0447\u0438 \u0438\u043c\u0435\u044e\u0442 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0438 \u043e\u0434\u043d\u0438 \u0438 \u0442\u0435 \u0436\u0435 \u0433\u0440\u0430\u0434\u0438\u0435\u043d\u0442\u044b, . \u0412\u044b\u0447\u0438\u0442\u0430\u0442\u044c  \u043f\u0440\u0438 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u0438 \u043f\u043e\u043f\u0440\u043e\u0441\u0442\u0443 \u043d\u0435\u0437\u0430\u0447\u0435\u043c. \u0414\u0440\u0443\u0433\u043e\u0435 \u0434\u0435\u043b\u043e, \u0435\u0441\u043b\u0438 \u043d\u0443\u0436\u043d\u043e \u0438\u043c\u0435\u043d\u043d\u043e \u0447\u0438\u0441\u043b\u0435\u043d\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 KL: \u0442\u043e\u0433\u0434\u0430  \u0437\u043d\u0430\u0442\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e, \u0430 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435  \u043d\u0430\u043c \u043e\u0431\u044b\u0447\u043d\u043e \u043d\u0435\u0434\u043e\u0441\u0442\u0443\u043f\u043d\u043e, \u0442\u0430\u043a \u0447\u0442\u043e \u0447\u0435\u0441\u0442\u043d\u0443\u044e KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044e \u043c\u044b \u043f\u043e\u0441\u0447\u0438\u0442\u0430\u0442\u044c \u043d\u0435 \u043c\u043e\u0436\u0435\u043c.\u041e\u0442\u0441\u044e\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442 \u0434\u043e\u0441\u0442\u0430\u0442\u043e\u0447\u043d\u043e \u044f\u0432\u043d\u044b\u0439 \u0432\u044b\u0432\u043e\u0434: \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e\u0435 \u0437\u043d\u0430\u0447\u0435\u043d\u0438\u0435 \u043b\u043e\u0441\u0441\u0430 \u043c\u0430\u043b\u043e \u043e \u0447\u0451\u043c \u0433\u043e\u0432\u043e\u0440\u0438\u0442. \u041b\u043e\u0441\u0441  &#8212; \u044d\u0442\u043e \u043f\u043b\u043e\u0445\u043e \u0438\u043b\u0438 \u0445\u043e\u0440\u043e\u0448\u043e? \u041e\u0442\u0432\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0438\u0442 \u043e\u0442 . \u0415\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u0448\u0443\u043c\u043d\u0430\u044f \u0438 \u0440\u0430\u0437\u043c\u0435\u0442\u0447\u0438\u043a\u0438 \u0441\u0430\u043c\u0438 \u043d\u0435 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f, \u0442\u043e  \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c , \u0438 \u043c\u044b \u043f\u043e\u0447\u0442\u0438 \u0443 \u0438\u0434\u0435\u0430\u043b\u0430. \u0415\u0441\u043b\u0438 \u0437\u0430\u0434\u0430\u0447\u0430 \u0434\u0435\u0442\u0435\u0440\u043c\u0438\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u0430\u044f, , \u0438 \u043c\u044b \u0432\u0441\u0451 \u0435\u0449\u0451 \u0434\u0430\u043b\u0435\u043a\u043e.\u041d\u043e \u0441\u0430\u043c\u043e\u0435 \u0438\u043d\u0442\u0435\u0440\u0435\u0441\u043d\u043e\u0435, \u043d\u0430 \u043c\u043e\u0439 \u0432\u0437\u0433\u043b\u044f\u0434, &#8212; \u044d\u0442\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u044f \u0447\u0435\u0440\u0435\u0437 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435. \u0412\u0435\u043b\u0438\u0447\u0438\u043d\u0430  &#8212; \u044d\u0442\u043e \u0434\u043b\u0438\u043d\u0430 \u0432 \u0431\u0438\u0442\u0430\u0445, \u043a\u043e\u0442\u043e\u0440\u0443\u044e \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 \u043f\u0440\u0438\u043f\u0438\u0448\u0435\u0442 \u0441\u0438\u043c\u0432\u043e\u043b\u0443 , \u0435\u0441\u043b\u0438 \u0441\u0447\u0438\u0442\u0430\u0442\u044c, \u0447\u0442\u043e \u0441\u0438\u043c\u0432\u043e\u043b\u044b \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0442 \u0438\u0437 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044f . \u0427\u0430\u0441\u0442\u044b\u043c \u0441\u0438\u043c\u0432\u043e\u043b\u0430\u043c \u0434\u043e\u0441\u0442\u0430\u044e\u0442\u0441\u044f \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0435 \u043a\u043e\u0434\u044b, \u0440\u0435\u0434\u043a\u0438\u043c &#8212; \u0434\u043b\u0438\u043d\u043d\u044b\u0435. \u0422\u043e\u0433\u0434\u0430: &#8212; \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f, \u0435\u0441\u043b\u0438 \u043a\u043e\u0434 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e\u0434 \u0438\u0441\u0442\u0438\u043d\u043d\u043e\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435. \u042d\u0442\u043e \u0442\u0435\u043e\u0440\u0435\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0439 \u043c\u0438\u043d\u0438\u043c\u0443\u043c (\u0442\u0435\u043e\u0440\u0435\u043c\u0430 \u0428\u0435\u043d\u043d\u043e\u043d\u0430 \u043e\u0431 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u0435). &#8212; \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430, \u0435\u0441\u043b\u0438 \u043a\u043e\u0434 \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d \u043f\u043e\u0434 , \u0430 \u0434\u0430\u043d\u043d\u044b\u0435 \u043d\u0430 \u0441\u0430\u043c\u043e\u043c \u0434\u0435\u043b\u0435 \u0438\u0434\u0443\u0442 \u0438\u0437 . &#8212; \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430. \u041b\u0438\u0448\u043d\u0438\u0435 \u0431\u0438\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043f\u043e\u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0438\u0437-\u0437\u0430 \u043e\u0448\u0438\u0431\u043e\u043a \u043f\u0440\u0438 \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0435\u043d\u0438\u0438 \u043a \u0440\u0435\u0430\u043b\u044c\u043d\u043e\u043c\u0443 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u044e.\u0420\u0430\u0437\u0431\u0435\u0440\u0451\u043c \u043d\u0430 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u0435. \u041f\u0443\u0441\u0442\u044c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a \u0432\u044b\u0434\u0430\u0451\u0442 \u0447\u0435\u0442\u044b\u0440\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u0430 \u0441 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u044f\u043c\u0438\u041e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 (\u043a\u043e\u0434 \u0425\u0430\u0444\u0444\u043c\u0430\u043d\u0430) \u0437\u0434\u0435\u0441\u044c \u0442\u0430\u043a\u043e\u0439:\u0421\u0438\u043c\u0432\u043e\u043b\u041a\u043e\u0434\u0414\u043b\u0438\u043d\u0430A1\/201B1\/4102C1\/81103D1\/81113\u0414\u043b\u0438\u043d\u044b \u0440\u043e\u0432\u043d\u043e \u0441\u043e\u0432\u043f\u0430\u0434\u0430\u044e\u0442 \u0441 , \u0438 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0440\u0430\u0432\u043d\u0430\u0422\u0435\u043f\u0435\u0440\u044c \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u0438\u043c, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u00ab\u043c\u043e\u0434\u0435\u043b\u044c\u00bb \u0441\u0447\u0438\u0442\u0430\u0435\u0442 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0440\u0430\u0432\u043d\u043e\u043c\u0435\u0440\u043d\u044b\u043c: . \u041f\u043e\u0434 \u0442\u0430\u043a\u043e\u0435  \u043e\u043f\u0442\u0438\u043c\u0430\u043b\u044c\u043d\u044b\u0439 \u043a\u043e\u0434 &#8212; \u0444\u0438\u043a\u0441\u0438\u0440\u043e\u0432\u0430\u043d\u043d\u044b\u0435 \u0434\u0432\u0430 \u0431\u0438\u0442\u0430 \u043d\u0430 \u0441\u0438\u043c\u0432\u043e\u043b: 00, 01, 10, 11. \u041a\u043e\u0434 \u043a\u043e\u0440\u0440\u0435\u043a\u0442\u043d\u044b\u0439, \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0434\u0435\u043a\u043e\u0434\u0438\u0440\u0443\u044e\u0442\u0441\u044f. \u041d\u043e \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0442\u0435\u043f\u0435\u0440\u044c\u0430 \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430 \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u041f\u0440\u044f\u043c\u0430\u044f \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043f\u043e \u0444\u043e\u0440\u043c\u0443\u043b\u0435 \u0434\u0430\u0451\u0442 \u0442\u043e \u0436\u0435 \u0441\u0430\u043c\u043e\u0435: .\u041f\u043e\u043b\u0443\u0447\u0430\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u043d\u0435\u0434\u043e\u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u0447\u0430\u0441\u0442\u044b\u0439 \u0441\u0438\u043c\u0432\u043e\u043b A (\u0434\u0430\u043b\u0438 \u0435\u043c\u0443 2 \u0431\u0438\u0442\u0430 \u0432\u043c\u0435\u0441\u0442\u043e 1) \u0438 \u043f\u0435\u0440\u0435\u043e\u0446\u0435\u043d\u0438\u043b\u0438 \u043e\u0442\u043d\u043e\u0441\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u0434\u043a\u0438\u0435 C \u0438 D. \u041d\u0430 \u043c\u0438\u043b\u043b\u0438\u043e\u043d\u0435 \u0441\u0438\u043c\u0432\u043e\u043b\u043e\u0432 \u044d\u0442\u043e 250 000 \u043b\u0438\u0448\u043d\u0438\u0445 \u0431\u0438\u0442. \u041c\u043e\u0434\u0435\u043b\u044c \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043c\u043e\u0436\u043d\u043e \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0442\u0430\u043a \u0436\u0435: \u043e\u0431\u0443\u0447\u0430\u044f \u0435\u0451 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0435\u0439, \u043c\u044b \u0441\u0442\u0430\u0440\u0430\u0435\u043c\u0441\u044f \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u044d\u043a\u043e\u043d\u043e\u043c\u043d\u044b\u0439 \u043a\u043e\u0434 \u0434\u043b\u044f \u0440\u0435\u0430\u043b\u044c\u043d\u044b\u0445 \u043c\u0435\u0442\u043e\u043a. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0438 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 &#8212; \u043a\u043e\u0440\u043e\u0442\u043a\u0438\u0439 \u043a\u043e\u0434. \u0423\u0432\u0435\u0440\u0435\u043d\u043d\u043e\u0435 \u0438 \u043d\u0435\u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u043e\u0435 &#8212; \u043e\u0447\u0435\u043d\u044c \u0434\u043b\u0438\u043d\u043d\u044b\u0439:  \u0431\u0438\u0442 \u0437\u0430 \u043e\u0434\u0438\u043d \u043e\u0431\u044a\u0435\u043a\u0442.\u041a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0430\u0418\u0437 \u043a\u043e\u0434\u043e\u0432\u043e\u0439 \u0438\u043d\u0442\u0435\u0440\u043f\u0440\u0435\u0442\u0430\u0446\u0438\u0438 \u043f\u043e\u0447\u0442\u0438 \u0441\u0440\u0430\u0437\u0443 \u0432\u044b\u043f\u0430\u0434\u0430\u0435\u0442 \u0438\u0434\u0435\u044f \u043a\u0430\u043b\u0438\u0431\u0440\u043e\u0432\u043a\u0438. \u0420\u0430\u0437 \u043f\u0435\u0440\u0435\u043f\u043b\u0430\u0442\u0430  \u043e\u0431\u043d\u0443\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0433\u0434\u0430 \u0438 \u0442\u043e\u043b\u044c\u043a\u043e \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 , \u0442\u043e \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u043d\u0435 \u043d\u0430 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u043d\u0438\u0438 \u043a\u043b\u0430\u0441\u0441\u0430, \u0430 \u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0438 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439. \u041d\u0430 \u044f\u0437\u044b\u043a\u0435 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0438 \u044d\u0442\u043e \u043d\u0430\u0437\u044b\u0432\u0430\u0435\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0433\u043e \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u043f\u0440\u0430\u0432\u0438\u043b\u043e\u043c \u043e\u0446\u0435\u043d\u0438\u0432\u0430\u043d\u0438\u044f (strictly proper scoring rule).\u0421\u0440\u0430\u0432\u043d\u0438\u043c \u0441 accuracy: \u043e\u043d\u0430 \u043d\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u044f  \u0438 , \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e argmax \u0432 \u043e\u0431\u043e\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u044f\u0445 \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435. \u041a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0436\u0435 \u0440\u0430\u0437\u043b\u0438\u0447\u0430\u0435\u0442.\u0422\u043e \u0435\u0441\u0442\u044c, \u0435\u0441\u043b\u0438 \u043c\u043e\u0434\u0435\u043b\u044c \u0432\u044b\u0434\u0430\u0451\u0442 , \u0442\u043e \u043f\u0440\u0438\u043c\u0435\u0440\u043d\u043e \u0432 90% \u0442\u0430\u043a\u0438\u0445 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u0430\u043d\u0438\u0435 \u0434\u043e\u043b\u0436\u043d\u043e \u043e\u043a\u0430\u0437\u044b\u0432\u0430\u0442\u044c\u0441\u044f \u0432\u0435\u0440\u043d\u044b\u043c. \u0415\u0441\u043b\u0438 \u0432\u0435\u0440\u043d\u044b\u0445 70%, \u043c\u043e\u0434\u0435\u043b\u044c \u043f\u0435\u0440\u0435\u0443\u0432\u0435\u0440\u0435\u043d\u0430, \u0438 \u0435\u0451 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u043d\u0435\u043b\u044c\u0437\u044f \u043f\u043e\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u0442\u044c \u0432 \u0431\u0438\u0437\u043d\u0435\u0441-\u043b\u043e\u0433\u0438\u043a\u0443 (\u043f\u043e\u0440\u043e\u0433\u0438, \u043e\u0436\u0438\u0434\u0430\u0435\u043c\u0430\u044f \u0441\u0442\u043e\u0438\u043c\u043e\u0441\u0442\u044c \u043e\u0448\u0438\u0431\u043a\u0438, \u0440\u0430\u043d\u0436\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u043f\u043e \u0440\u0438\u0441\u043a\u0443). \u041f\u0440\u043e\u0432\u0435\u0440\u044f\u0435\u0442\u0441\u044f \u044d\u0442\u043e \u0434\u0438\u0430\u0433\u0440\u0430\u043c\u043c\u043e\u0439 \u043d\u0430\u0434\u0451\u0436\u043d\u043e\u0441\u0442\u0438 (reliability diagram) \u0438 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u0432\u0440\u043e\u0434\u0435 ECE, \u0430 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442\u0441\u044f, \u043d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u0442\u0435\u043c\u043f\u0435\u0440\u0430\u0442\u0443\u0440\u043d\u044b\u043c \u0448\u043a\u0430\u043b\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c: \u0434\u0435\u043b\u0438\u043c \u043b\u043e\u0433\u0438\u0442\u044b \u043d\u0430  \u0438 \u043f\u043e\u0434\u0431\u0438\u0440\u0430\u0435\u043c  \u043d\u0430 \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u0438, \u043c\u0438\u043d\u0438\u043c\u0438\u0437\u0438\u0440\u0443\u044f \u0442\u0443 \u0436\u0435 \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044e.\u0412\u043c\u0435\u0441\u0442\u043e \u0437\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u044f\u0418\u0442\u043e\u0433\u043e, \u043a\u0440\u043e\u0441\u0441-\u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043f\u043e\u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0432 \u0437\u0430\u0434\u0430\u0447\u0430\u0445 \u043a\u043b\u0430\u0441\u0441\u0438\u0444\u0438\u043a\u0430\u0446\u0438\u0438 \u043a\u0430\u043a \u043e\u0434\u0438\u043d \u0438 \u0442\u043e\u0442 \u0436\u0435 \u043e\u0431\u044a\u0435\u043a\u0442, \u0432\u043e\u0437\u043d\u0438\u043a\u0430\u044e\u0449\u0438\u0439 \u0438\u0437 \u0442\u0440\u0451\u0445 \u0438\u0434\u0435\u0439: \u043e\u0442\u0440\u0438\u0446\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0435 \u043b\u043e\u0433\u0430\u0440\u0438\u0444\u043c\u0438\u0447\u0435\u0441\u043a\u043e\u0435 \u043f\u0440\u0430\u0432\u0434\u043e\u043f\u043e\u0434\u043e\u0431\u0438\u0435 \u0432 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0435, KL-\u0434\u0438\u0432\u0435\u0440\u0433\u0435\u043d\u0446\u0438\u044f \u043f\u043b\u044e\u0441 \u043a\u043e\u043d\u0441\u0442\u0430\u043d\u0442\u0430 \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u0440\u0430\u0441\u0445\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0439 \u0438 \u0441\u0440\u0435\u0434\u043d\u044f\u044f \u0434\u043b\u0438\u043d\u0430 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0432 \u0442\u0435\u0440\u043c\u0438\u043d\u0430\u0445 \u043a\u043e\u0434\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f. \u0412\u0441\u0435 \u0442\u0440\u0438 \u0432\u0437\u0433\u043b\u044f\u0434\u0430 \u0441\u0445\u043e\u0434\u044f\u0442\u0441\u044f \u0432 \u043e\u0434\u043d\u043e\u0439 \u0442\u043e\u0447\u043a\u0435: \u043e\u043f\u0442\u0438\u043c\u0443\u043c \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u0442\u0441\u044f \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043c\u043e\u0434\u0435\u043b\u044c \u0441\u043e\u043e\u0431\u0449\u0430\u0435\u0442 \u0438\u0441\u0442\u0438\u043d\u043d\u044b\u0435 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438, \u0430 \u043d\u0435 \u0442\u043e\u0433\u0434\u0430, \u043a\u043e\u0433\u0434\u0430 \u043e\u043d\u0430 \u0447\u0430\u0449\u0435 \u0443\u0433\u0430\u0434\u044b\u0432\u0430\u0435\u0442 \u043a\u043b\u0430\u0441\u0441. &#8230;<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[],"tags":[],"class_list":["post-488040","post","type-post","status-publish","format-standard","hentry"],"_links":{"self":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/488040","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=488040"}],"version-history":[{"count":0,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=\/wp\/v2\/posts\/488040\/revisions"}],"wp:attachment":[{"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=488040"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=488040"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/savepearlharbor.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=488040"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}